머신 러닝 기반 웹소설 맞춤형 사운드 생성 시스템에 관한 연구

2-1 청각을 활용한 전자 출판물 연구

사운드를 활용한 전자 출판물의 효과에 관한 다양한 연구들은 적절한 사운드가 독서 경험을 향상시킬 수 있음을 보여준다. UWE Bristol, Bath Spa University 그리고 University of Birmingham의 연구팀은 ‘미래의 책’이라는 주제로 Ambient Literature라는 프로젝트를 발표했다[6]. 독자의 모바일 기기 정보까지 활용하는 새로운 전자 출판물 형태로, 프로젝트 결과물 중 하나인 Breath는 귀신이 말을 건네는 형태의 작품으로, 독자의 모바일 카메라 및 위치, 시간 정보 등을 시각 및 청각적 효과와 결합하여, 보다 실감 나는 스토리텔링 경험을 전달하려고 하였다[7]. Helsinki School of Economics의 Kallinen는 카페와 같은 야외 환경에서 음악을 들으며 전자기기로 독서할 때, 그 효과에 관한 연구를 진행하였다. 실험 결과, 야외에서 음악을 들으며 독서한 사람이 그렇지 않은 사람보다 높은 만족감과 몰입감을 나타냈다고 검증하였다[8]. Eindhoven University of Technology의 Holenderski와 Hu는 기능적 자기공명영상(fMRI)을 활용해 실제로 음악이 독서에 어떤 영향을 주는지 확인했다[9]. 이를 위해, 피실험자에게 단편 소설을 읽게 하면서, 소설의 내용과 어울리는 음악을 독서 속도에 맞춰 재생하였다. 실험 결과에 따르면, 독자가 사운드트랙을 들으며 전자책을 감상할 때, 음악이 작품의 특정 부분에서 독자의 각성(Arousal) 수준을 높임을 확인하였다. 위와 같은 사례들은, 효과적인 전자 출판물 설계를 위해 청각적인 요소가 중요한 역할을 할 수 있음을 보여준다.

2-2 정서 분석과 시청각적 매핑

정서 분석(Sentiment Analysis)은 텍스트에 표현된 의견과 감정을 컴퓨터로 분석하는 연구를 지칭한다[11]. 모바일 기기의 보급과 SNS(Social Network Service)의 성장으로 사람들의 생각이 온라인에 쌓이면서, 이러한 텍스트 데이터를 다루는 정서 분석이 주목받게 되었으며, 정서 분석 연구는 대량의 텍스트 데이터를 바탕으로 진행되기 때문에 주로 트위터(Twitter)와 같은 SNS 혹은 신문 기사, 블로그 리뷰 기반의 연구가 진행되었다.

정서 분석은 크게 사전 기반 기법(Lexicon based approach)과 머신러닝(Machine-learning approach)으로 나뉜다. 사전 기반 기법은 정서 분석에 사용되는 '정서 사전'을 사용자가 직접 제작하여 적용하는 방법이다. 분석할 텍스트에 '정서 사전'의 단어가 어느 정도 포함되어 있는지 확인한 후, 분석한 값을 합산하여 최종 정서를 분류하는 방법이다. 반면, 머신러닝 기법은 라벨링(Labelling) 된 텍스트 정보로 학습을 진행하는 방법이다. 학습이 진행되면서 개별 정서만의 특징을 추출한다. 일반적으로 대량의 문서를 분석할 때는 정서 정보를 학습하여 구축된 정서 분석 모델을 활용하여 진행하기 때문에 머신러닝 기법을 활용한다[12].

정서 분석 결과를 시각화하거나 청각화하여, 정보를 직관적으로 전달하려는 연구들이 진행되었다. We Feel은 트위터에 올라오는 대량의 트윗(Tweet)을 정서 분석한 뒤 시각화하여 보여주는 도구이다[13]. 트위터의 위치 정보를 활용하여 개인 혹은 집단의 감정을 실시간으로 분석한 후에 보여줌으로써, WHO(World Health Organization)의 데이터와 같이 연 단위로 발표되는 정보를 활용할 수밖에 없었던 정신 건강 연구자들에게 실시간으로 유용한 정보를 제공할 수 있도록 설계되었다. 국내 유사 사례로는 2017년 진행된 김재민의 연구가 있다[14]. ‘불안’을 기준으로 트위터를 정서 분석한 뒤, 지역별로 불안의 정도를 시각화하여 보여준 연구이다. 사회 문제들을 기존의 연구 방법인 설문조사보다 체계적으로 접근할 수 있도록 설계하였다. 한편, 2011년 발표된 트위터 기분 상태의 청각화 인터페이스 연구[15]는 정서 분석 결과를 시각이 아닌 청각을 활용해서 직관적으로 전달하려는 시도로서 차별점을 지닌다. 인간의 정서를 여섯 가지로 구분한 뒤, 해당 정서와 연관된 단어를 토대로 트윗을 정서 분석하였다. 분석 결과를 사용하여 청각화 작업을 진행하였다. 이를 통해, 사용자가 트위터 내용을 읽지 않고 음의 상승과 하강만을 들으며 타임라인(Timeline)의 함축적인 분위기를 파악할 수 있도록 하였다. 유사 연구로, 2017년 진행된 Seiça, M.의 연구가 있다[16]. Plutchik이 정의한 인간의 8가지 기본 감정을 바탕으로[17] 트윗을 정서 분석한 뒤 청각화한 연구이다. 각 감정에 멜로디(Melody), 리듬(Rhythm), 하모니(Harmony)와 같은 음악의 세부 요소들을 할당 및 조절하여 섬세한 표현이 가능하도록 설계하였다.

2-3 머신러닝 기반 사운드 생성

1959년 아서 사무엘(Arther Samuel)이 최초로 정의한 머신러닝은 인공지능의 한 분야로, 명시적으로 프로그램을 작성하지 않고 컴퓨터에 학습할 수 있는 능력을 부여하기 위한 연구를 의미한다[18]. 이는 곧 스스로 데이터에 접근하고 배우는 컴퓨터 프로그램의 개발에 초점을 두고 있다.

머신러닝 기술을 활용한 사운드 연구로는 구글의 마젠타 프로젝트가 대표적이다[19]. 구글이 진행하는 인공지능 예술 프로젝트의 일환으로, 음악과 시각 예술 작품을 창작하는 다양한 프로젝트가 오픈 소스(Open source)로 공개되어 있다. MuseNet[20]은 2019년 미국의 스타트업 OpenAI[21]가 공개한 인공지능 음악 제작 프로젝트이다. 심층 신경망 알고리즘을 사용한 프로젝트로, 4분 정도의 음악을 10개의 악기로 구성하여 제작할 수 있다. Flow Machines는 일본 Sony CSL[22]의 프로젝트로, 인공지능 작곡 시스템을 주제로 다양한 서비스를 발표 중이다[23]. 2016년 공개한 노래 Daddy’s Car는, 연구소의 머신러닝 알고리즘이 밴드 비틀스(The Beatles)의 음악을 학습한 후 만들어 낸 음악으로 주목을 받았다. AIVA[24]는 상용화된 머신러닝 음악 서비스이다. 장르와 템포 같은 사용자의 기본 설정을 반영하여 음악이 제작된다. 작곡가 협회에도 정식 등록된 AIVA는 게임과 영화 사운드트랙 같은 다양한 상업 음악 분야에서 활동 중이다.

3-1 자연어 처리 알고리즘 기반 웹소설 장면 분리

머신러닝 기반의 배경 음악 자동 생성을 위해서, 자연어 처리 알고리즘을 활용하여, 다수의 장면으로 웹소설을 분리한다. 이는 영화의 컷(Cut)과 같이 웹소설 한 편을 여러 장면으로 세분화하여, 한 작품 속의 다양한 감정을 세밀하게 연출하기 위함이다.

개발한 시스템 프로토타입에서는, 자연어 처리 오픈 소스 라이브러리인 Gensim[25]을 활용하여, 웹소설을 장면들로 분리하였다. Gensim은 토픽 모델링, 정보 검색, 유사도 분석 등 머신러닝 알고리즘을 바탕으로 한 자연어 처리 기능을 제공한다. 본 연구에서는, Gensim의 summarize 기능을 활용하여, 본문의 주요 문장을 추출하였다. 이 기능은 TextRank 알고리즘을 통해 요약을 진행하는 방식으로, 문서의 문장과 단어에 가중치를 매겨 요약을 진행하게 된다. Gensim의 summarize ratio 파라미터값을 조정하여 장면 분류를 위한 주요 문장의 추출 빈도 조절로, 장면의 개수를 조정할 수 있다. 웹소설의 길이에 따라 장면 개수가 증가하도록 설정한다.

3-2 장면별로 분리된 텍스트의 감정 추출

분리된 장면들은 정서 분석 기술을 활용하여 하나의 주요 감정으로 분류된다. 프로토타입에서는 정서 분석을 위해 솔트룩스[26]의 아담(ADAMS) 오픈 AI 서비스 중 "감성&감정 API"를 활용하였다. 해당 API(Application Programming Interface)는 한국어 문장에 대해 정서와 감정 분석 결과를 제공한다. 문장을 입력하면, 기쁨, 신뢰, 공포, 기대, 놀라움, 슬픔, 혐오, 분노 총 8가지 감정 중 밀접한 정서로 분류되고, 0부터 1 사이 수치의 신뢰도와 함께 출력된다.

프로토타입에서는, 각 장면에 포함되는 개별 문장의 정서와 신뢰도 값을 산출하여, 신뢰도 평균이 높은 정서를 해당 장면의 대표 감정으로 선정한다.

3-3 머신러닝 기반 감정에 어울리는 사운드 생성

감정에 영향을 주는 음악적 요소에 관한 연구는 오랫동안 진행되어 왔으며, 음계, 하모니, 리듬, 빠르기, 음고, 멜로디가 주요한 음악적 요소로 연구되어 왔다.

이 중 Meyers, O.[27]는, 음계, 하모니, 리듬, 빠르기 그리고 세기, 총 다섯 가지를 정서에 영향을 주는 음악적 요소로 정의한 후, 사용자 정서 맞춤형 음악 추천 시스템을 제안하였다. 본 연구에서는 이 연구를 기반으로, 해당 다섯 가지 요소를 머신러닝 기반 배경 음악 생성의 파라미터로 활용하여 음악을 생성한다. 각 요소는 감정에 따라 다음과 같은 성질을 지닌다.

• • 음계는 긍정적일수록 장조이고(Major), 부정적일수록 단조이다(Minor).
• • 하모니는 긍정적일수록 단순하고(Simple), 부정적일수록 복잡해진다(Complexity).
• • 리듬은 긍정적일수록 규칙적이며(Regular), 부정적일수록 불규칙적이다(Irregular).
• • 빠르기는 긍정적일수록 빠르며(Fast), 부정적일수록 느리다(Slow).
• • 세기는 긍정적일수록 높고(High), 부정적일수록 낮다(Low).

위 성질을 토대로, 본 연구에서는, 각 감정에 따른 다섯 가지 파라미터값을 디자인하여 배경 음악을 생성하였다.

프로토타입 개발을 위하여, 구글 마젠타의 머신러닝 작곡 프로젝트 중 하나인 Performance RNN[28]을 활용하였다. 해당 프로젝트는 LSTM(Long Short-Term Memory) 알고리즘을 활용한 머신러닝 작곡 프로젝트로, 파라미터 조절을 통해 음악 제작이 가능하다. LSTM은 RNN(Recurrent Neural Network)의 그래디언트 소실 문제(Gradient Vanishing Problem)를 해결하기 위해 제안된 모델로, 이전의 정보를 기억할 수 있는 메모리 셀을 활용하여, 길이가 긴 시퀀스 데이터를 처리할 수 있는 모델이다. 자연어 처리 및 음악 생성과 같은 시계열 데이터 예측 분야에 활용된다. 표 1은 실험을 위해 프로토타입의 작품으로 사용된 웹소설 ‘전지적 독자 시점’으로부터 추출된 세 가지 주요 감정(신뢰, 혐오, 분노)에 대해, 연구자가 실험을 통해 최종적으로 매핑한 다섯 가지의 음악 파라미터값을 나타낸다. 각 음악 파라미터별 세부 내용은 다음과 같다.

Table 1.

Music parameter settings for trust/disgust/anger emotions (Performance RNN)

3-4 작품의 장르에 따른 가상악기 설정

본 연구에서는 웹소설의 장르에 따라 차별화되는 가상 악기(Virtual Instruments)를 설정하여, 작품의 장르적 표현을 유도한다. 가상 악기란 컴퓨터에서 소프트웨어를 사용하여 하드웨어 악기를 모방하며 연주할 수 있게 한 가상의 악기를 말한다[34]. MIDI(Musical Instrument Digital Interface) 파일의 정보를 바탕으로, 가상 악기 소프트웨어를 활용하여 피아노 혹은 전자기타와 같은 소리로 출력할 수 있다.

영화 음악이 영상을 보조하듯이, 웹소설의 음악 또한 텍스트를 보조한다. 이에 따라, 가상 악기를 활용하는 영화 음악 가, 한스 짐머(Hans zimmer)의 음악적 특징[35]을 참고하여, 장르별 음악적 표현을 유도할 수 있도록 설정하였다. 표 2는 한스 짐머가 영화의 장르별로 사용한 가상 악기 종류를 바탕으로, 웹소설 장르별로 배치한 가상 악기들을 나타낸다.

Table 2.

Virtual instruments settings according to web novel genre

3-5 장면 전환을 위한 인터랙션 디자인

프로토타입은 웹소설이 주로 소비되는 모바일 기준으로 인터페이스 디자인을 진행하였다.

본 연구에서는, 웹소설의 내용에 따른 머신러닝 기반 자동 음악 생성 시스템의 효과성을 보는 것이 주요 내용이지만, 프로토타입의 주요 특징인, 장면별로 분리된 텍스트와 머신러닝 사운드를 보다 명확히 전달하기 위해, 모바일 기기 사용자의 주요 동작인 밀어 올리기(Swipe-Up) 인터랙션을 장면 전환 방법으로 활용하였다. 밀어 올리기는 사용자가 모바일 화면의 아랫부분을 화면 위로 당기는 동작을 말한다. 독자는 밀어 올리기 동작으로 장면과 장면을 이동하고, 종 스크롤(Vertical Scroll) 동작으로 개별 장면을 감상하게 된다. 장면의 전환과 함께, 이전 장면의 배경 음악은 페이드아웃(Fade-Out) 되고, 새로운 장면의 배경 음악이 페이드인(Fade-In) 되도록 설계하였다.

Fig. 2.

Mobile screen shots from the prototype

4-1 실험 대상 선정 및 실험 설계

기존의 웹소설 플랫폼과 본 연구에서 제안하는 시스템 방식 간에, 독자의 읽기 경험 증진에 있어 어떠한 차이가 발생하는지 그리고 제안하는 시스템의 개별 특징에 관한 평가를 알아보기 위해 실험을 설계하였다.

Table 3.

Participants' demographic information

이를 위해, 웹소설에 친숙한 20대 연령층 29명을 SNS 및 온라인 커뮤니티로부터 모집하여 실험을 진행하였다. 웹소설 사용 경험이 있는 사람들은 24명(82.76%)이었다. 참가자는 같은 작품을 기존 웹소설 플랫폼 형태와 제안하는 프로토타입 형태로 각각 감상한 후 평가를 진행하였다. 감상 순서의 효과를 상쇄하기 위해, 참가자들을 A, B 두 그룹으로 나누어 두 개의 웹소설 감상 순서를 다르게 하여 진행하였다. A그룹은 기존 웹소설 형태의 작품을 감상한 후에 프로토타입을 감상했고, B그룹은 프로토타입 감상 후에 기존 웹소설 작품을 감상하였다. 한 형태의 작품 감상이 완료될 때마다 개별 평가를 진행하였고, 감상 사이에는 감정 중화 영상을 5분 이상 시청하도록 하여, 다음 작품 감상에 영향이 가지 않도록 하였다.

4-2 실험 평가 항목

읽기 경험에 관한 주제는 지속해 연구되어 왔으나, 이를 검증할 수 있는 합의된 공통의 기준과 문항은 존재하지 않는다. 본 실험에서는 제안하는 시스템의 효과성 검증을 위해 효과성을 다음의 세 가지로 나누어 측정하였다: 몰입성(표 4. A-1, A-2, A-3), 유용성(표 4. B-1), 사용성(표 4. B-2).

Table 4.

Questions for comparison between established platform and proposed platform

몰입(flow)이란 미국 심리학자 칙센트미하이(Mihaly Csikszentmihalyi)가 제시한 개념으로 어떤 행위에 완전히 집중하여 주변에 신경 쓰지 않는 상태이며, 행위 자체가 즐거워서 단지 행위 자체를 목적으로 희생을 감수하려는 상태로 정의된다[36]. 그중에서도 기본적이면서 광범위한 몰입을 경험할 수 있는 것으로, 독서 활동을 예로 들었다. 본 연구에서는 위의 이론을 토대로, 몰입 수준의 측정 도구를 제안한, 석임복의 평가 문항을 참고하여 작성하였다[37]. 몰입 측정 관련 문항 중, 자의식의 상실(표 4. A-1 번 문항), 시간 감각의 왜곡(표 4. A-2 번 문항), 자기 목적적 경험(표 4. A-3 번 문힝)과 연관한, 세 개 문항을 선정해 작성하였다.

또한, 웹소설 서비스와 연관한 본 연구의 특성상, 서비스 경험에 관한 평가를 위해, 사용자 경험의 해석과 평가를 위한 도구로 UX 연구에서 활용되는, 피터 모빌(Peter Morville)의 허니콤 평가 모델(Honeycomb Model)을 참고하였다. 이 모델은 사용자 경험을 7가지 측면으로 평가할 수 있는 모델로, 본 연구에서는, 유용성(표 4. B-1 번 문항)과 사용성(표 4. B-2 번 문항)으로 두 개의 문항을 구성하였다.

모든 설문 항목은 5점 척도의 리커트 스케일로 구성하였으며, 기존 웹소설과 프로토타입의 개별 감상이 끝날 때마다, 피험자 평가를 받았다. 정성평가를 위해 주관식 답변도 기술하도록 하였다.

또한, 프로토타입 디자인의 개별 요소에 관한 의견을 받기 위하여, 네 가지 추가 문항을 위와 동일한 5점 척도의 리커트 스케일로 구성하였다(표 5). 이 문항들에 대한 설문은 피험자가 프로토타입으로 감상을 완료한 직후에만 실시하였다.

Table 5.

Questions only for proposed platform features

4-3 Case Study: ‘전지적 독자 시점’

제안하는 웹소설 시스템의 효과성 검증을 위해, 유명 웹소설인 '전지적 독자 시점'[38]을 실험 작품으로 선정하였다. 해당 작품은 2018년 1월 6일 웹소설 플랫폼 문피아에서의 첫 연재를 시작으로, 누적 판매 수 1위를 기록하며 2020년 2월 2일 551화로 완결된 소설이다.

약 15분 정도의 독서 시간이 소요되는, 다섯 회차분의 작품을 활용하였다. 해당 작품은 회당 평균 3.4개의 장면으로 분리되어, 다섯 회차 안에서 총 17개의 장면이 추출되었다. 개별 장면의 텍스트는 문장별로 분리된 후, 문장별 감정 분석이 진행되었다. 1화 106문장, 2화 196문장, 3화 147문장, 4화 183문장, 5화 246문장으로 총 878문장이 분석되었고, 장면별 대표 감정이 선정되었다. 최종적으로 신뢰 6장면, 혐오 6장면, 분노 5장면으로 분석되었다.

분석된 결과를 바탕으로 머신러닝 기법으로 사운드를 생성하였고, 제안하는 모바일 인터페이스에 적용하여 프로토타입을 제작하였다. 비교실험을 위해, 같은 작품을 사용한 기존 형태의 웹소설도 제작하였다.

4-4 두 시스템 간 정량 비교 평가 결과

우선, 본 프로토타입의 효과성 검증을 위한 설문에서 사용된 ‘몰입도’ 문항 관련 신뢰도 검증을 위해 척도 신뢰도 검사를 실시하였다. 척도 신뢰도 분석 결과 0.888의 결과로 신뢰도가 있는 것으로 판단하였다(표 6).

Table 6.

Scale reliability check results

본 연구에서 제안한 방법과 기존 웹소설의 사용자 평가에 관한 차이를 보기 위해 대응 표본 t-검증을 진행하였다. 표 7은 5개의 평가 문항에 대한 개별 분석 결과이다.

Table 7.

Paired sample t-test result between established platform and proposed platform

제안한 프로토타입이 몰입도 3개의 평가 항목에서 모두 통계적으로 유의한 차이를 나타냈다(표 7. A-1 자의식의 상실: t(28)=-3.84, p=.001; 표 7. A-2 시간 감각의 왜곡: t(28)=-2.10, p=.045; 표 7. A-3 자기 목적적 경험: t(28)=-3.88, p=.001). 즉, 본 연구에서 제안한 방법으로 구현한 프로토타입에서 참가자들은 통계적으로 유의하게 높은 몰입감을 느꼈음을 확인하였다.

반면, 참가자들은 내용 이해에 도움을 주었는지 여부에서는 차이를 느끼지 못했고(표 7. B-1 유용성: t(28)=0.41, p=.682), 읽는 방식의 편리성 측면에서는 기존의 시스템이 더 편리하다고 보고하였다(표 7. B-2 사용성: t(28)=4.85, p=.001)

4-5 프로토타입 디자인 정량 평가 결과

프로토타입 디자인 개별 요소에 관한 5점 척도의 리커트 스케일 평가에서는 장면전환에 사용된 Swipe-Up 방식이 사용자 평가 문항 중 최저점 3.00을 받았다(표 8. C-1 장면 전환). 반면, 배경 음악이 웹소설의 주제나 감정에 부합하였다는 응답은 3.79로 평가 문항 중 상대적으로 최고점을 받았다(표 8. C-3 머신러닝 생성 사운드).

Table 8.

Average response to proposed platform features

4-6 정성 결과

정성평가를 위해, 실험 참가자에게 프로토타입의 장단점을 물어보았다. 본 프로토타입에서 생성된 배경음악에 대해 긍정적인 의견으로는 독서 경험을 보다 몰입적으로 만들었다는 의견이 가장 많았다.

“처음에는 배경음악이 생소하게 들렸지만 집중하다 보니 상황에 더 잘 어울리는 것 같고 재밌었다.”
“일단 음악 자체는 극 흐름하고 잘 어울렸다. 초반부라 그런가 읽으면서 몰입도 빠르게 되는 데는 음악이 도움을 준 것 같다.”
“음악이 긴장감을 더 키워주고 좋았던 것 같다.”

부정적인 의견으로는 평소 독서 스타일에 따라 배경음악 자체가 오히려 방해 요소로 작용하였다는 의견이 보고되었다.

“글을 조용히 읽는 것을 선호해서 배경음악이 방해 요소로 작용하였다.”
“조용하게 혼자 읽는 공간에서 웹소설을 읽는 것을 즐기는 타입이라 음악이 거슬렸다.”

장면별로 넘어가는 밀어 올리기 방식에 대해서는 부정적인 의견을 얻었다. 기존 웹소설의 종 스크롤 방식과 달라지면서 이질감을 발생시켰으며, 페이지 전환 속도 및 장면의 이동 같은 세밀한 부분에 불편함이 생기면서 발생한 의견으로 추정된다.

“Swipe-Up 실행 시 지연이 있어 불편하다.”
“스와이프 업 방식으로 한 번에 확 넘어가는 형식이 평소 스크롤 스타일과 잘 맞지 않았다.”

그밖에 다크 모드의 부재와 같은 개인별 독서 취향에 관한 세밀한 디자인 요소들에 관한 의견도 보고되었다.