Journal Archive

음악 감상 경험에서 음악적 요소(악곡 구조), 개인적 요소(개인의 곡 선호도 및 감정 상태), 맥락적 요소(감상 환경)는 서로 깊게 상호작용하며 청자의 전체 경험 만족도에 영향을 준다[12]. 연구자들은 템포, 세기, 조음 등 음악적 요소들과 청자의 감정 기제와의 연결에 대한 연구[13]에서 더 나아가, 음악 감상에 있어 맥락적 요소의 영향에 대해 연구해 왔다. 가령, 콘서트와 같은 집단 몰입 음악 환경은 강력한 음악적 경험을 촉발하며[14, 15], 타 관객들과 함께 듣는 몰입 경험은 청자 간 동질감을 형성해 더 강렬한 음악적 경험을 돕는다[16]. 한편, Liljeström 외 연구팀은 50명 대학생을 대상으로 음악 감상의 개인적 요소와 맥락적 요소가 청자의 경험 만족도에 미치는 영향을 탐구하였다. 청자가 곡을 직접 선택하고, 청자가 알고 있는 타인과 함께 감상할 경우, 행복감, 즐거움, 감탄 등의 긍정적인 감정이 개인적으로 감상할 때 보다 더 강하게 느껴진다고 보고되었다[17]. 또 다른 연구에서는 맥락적 요소 중 음악이 전달되는 공간의 특성에 따라 생기는 소리의 반향 차이가 청자의 음악 감상 중 감정적 경험에 영향을 미친다는 것을 발견하였다[18].

Kamiyama 등은 음악 감정과 얼굴 표정간 상호작용에 관한 연구에서 음악 감정에 맞는 얼굴 표정 정보를 음악 감상에 앞서 미리 보여줬을 때, 청자들은 음악 감상 중 해당 감정을 더 빠르게 발견한다고 보고하였으며[19], Thompson 등도 음악 감상에서 연주자의 표정과 같은 시각적 정보가 제시될 경우 청자들에게 보다 강한 감정 유발을 일으킨다고 보고하였다[20]. 이는 얼굴 표정을 통해 더 효과적이고 빠른 음악 감정의 전달 또는 유도가 가능함을 보여준다. 한편, 3D 캐릭터를 사용한 멀티미디어 음악 감상 경험은 음악 감상 경험 중 몰입도와 만족도에 긍정적인 영향을 미칠 수 있다. 특히 사용자들은 친숙한 가상 캐릭터들과 준사회적 (Parasocial) 관계를 맺을 수 있어[21], 자폐 아동의 사회적 성장과 정서 교육을 위해서도 쓰이고 있다[22]. 최근 한 연구팀은 3D 캐릭터의 무용 움직임이 표현하고자 하는 감정을 청자들에게 전달할 수 있는지에 대한 연구를 진행했다[23]. 노래가 없었음에도 불구하고 참가자들의 70% 이상이 음악의 감정을 바르게 추측했고, 캐릭터가 표현하는 감정이 청자의 감상 후 감정 상태에도 영향을 미쳤다. 이러한 연구들은 비언어적인 얼굴표정이나 신체 움직임을 통해 감정전이를 일으킬 수 있으며 특히 가상 캐릭터를 통할 경우 더 효과적으로 이루어질 수 있음을 암시한다.

음악 분야에서 얼굴 표정을 사용한 연구는 크게 얼굴 표정을 음악을 생성하기 위한 새로운 악기로 사용한 연구[24] 와 음악 감상에 보조적인 수단으로 사용한 연구로 나뉠 수 있다. 얼굴 표정을 음악 감상에서 감정 전달의 보조 수단으로 사용한 한 예로, EmotionFace는 연주되는 음악의 여러 특징에 따라 2D 얼굴 모델의 기하학적 수치를 변화시켜 표정을 바꾸는 시스템으로, 악곡 내 각성도 (Arousal) 와 정서가 (Valence) 값에 따라 기본적인 눈매와 입의 근육 움직임을 변화시키는 시스템이다[25, 26]. 이 연구에서는 기존 자기보고를 통해 미리 측정된 각성과 정서가만을 적용하였고, 기본적인 얼굴 움직임만을 표현할 수 있다는 한계점이 있었다. 이에 더 나아가 MusicFace 시스템은 같은 2차원 감정 모델을 3D 캐릭터에 적용시킨 것으로, 곡의 세기, 리듬, 조음 각각에 대해 정서가와 각성도를 측정하여 3D 애니메이션 캐릭터로 더 세심한 감정을 표현하려고 하였다[27]. 이러한 연구들은 음악에서 발견되는 기본적인 특징들을 임의로 표정으로 자동화하여 매핑시킨 방식으로, 음악의 섬세한 감정을 표현하기에는 부족하다는 한계를 지닌다.

본 연구는 음악에 대한 전문성을 갖추고 표정 연기를 훈련 받은 사람의 얼굴 표정을 실시간으로 인식, 캐릭터로 매핑시켜 청자에게 시각적 자극으로 전달함으로써 음악 감정 전달을 돕는 방식으로, 기존 방식과는 차별성을 지니며 아울러 그 효과성을 검증한 실증 연구로서 의의를 지닌다.

캐릭터는 연주되는 곡의 분위기 및 청중의 연령대, 성별, 문화적 배경 등을 고려하여 선정된다. 콘서트의 성격에 맞는 캐릭터가 선정되면 3D 모델링과 리깅 작업을 통해 실시간 애니메이션을 준비하게 된다.

Fig. 1. 
Character-assisted music listening system

얼굴 표정 연기를 캡쳐하기 위한 배우 선정에는 해당 콘서트에서 연주되는 곡을 깊이 이해하는지, 감정을 얼굴 표정을 통해 전달하는 기술을 훈련 받았는지 고려한다. 배우는 무대에서 라이브로 연주되는 음악을 들으며 얼굴 표정 캡쳐 시스템의 카메라 앞에서 표정 연기를 하게 된다. 이 때 표정을 연기하는 배우가 청중석을 모니터링할 수 있게 하여, 캐릭터의 표정을 통해 청중과 실시간으로 교감하고, 라이브 공연 환경을 적극적으로 활용한다.

인식된 배우의 머리 움직임과 얼굴 표정은 실시간으로 미리 준비한 3D 캐릭터 모델에 입혀진다. 실시간으로 생성된 3D 애니 메이션은 청중이 바라보며 음악을 감상하고 있는 무대 쪽에 렌더링된다. 이 캐릭터 표정에 기반한 감정 전이 유발 효과를 통해 새로운 음악 감상 경험을 제공하게 된다.

캐릭터와 함께 청취한 실험 집단 참가자를 대상으로 주관식 응답과 심층 인터뷰를 통해 전체적인 경험 만족도와 함께 음악 감상에 대한 긍정적, 부정적 피드백을 알아보았다. 긍정적인 피드백으로는 캐릭터의 흥미 유발 및 집중 유도 효과에 대한 언급이 가장 많았다. 대부분의 참가자들은 캐릭터의 시각적 모달리티 자체가 경험의 흥미를 높여 집중에 도움이 되었다고 보고했다.

“음악이 잔잔해지면 캐릭터도 움직임이 줄어들고, 음악이 세지거나 멜로디가 화려하게 변할 때면 캐릭터의 움직임도 그 변화에 따라 함께 격해졌던 것 같다. 그래서 더 음악에 몰입할 수 있었고, 더 좋았다.” (P09, 20세, 여성)

“클래식인데도 졸리게 느껴지지 않고 뭔가 재미있고, 즐거운 느낌으로 캐릭터를 따라갈 수 있었다. 또한 가끔 눈을 깜빡이는데, 그 순간마다 더 집중하게 되었다.” (P14, 20세, 여)

한편, 부정적인 피드백으로는 캐릭터의 그래픽 수준이나 부자연스런 움직임이 음악 감상에 방해가 되었다는 의견이 많았다.

“음악적 경험은 기계적이지 않은데, 그리고 음악의 흐름 역시 유기적이고 매끄럽게 흘러가야 되는데 캐릭터의 표정변화와 고개를 끄덕임 등의 행동은 그러한 음악의 면모를 빼앗았다.” (P07, 22세, 여성)

캐릭터와 음악장르의 매치에 대해서도 몇 차례 언급되었다. 또한, 몇몇은 캐릭터의 표정이 자신과 다른 감정을 표현하거나, 감정을 유도하거나, 음악의 감정표현을 단순화하는 것이 인식될 때 불편함을 느꼈다고 보고하였다.

“우디라는 캐릭터는 굉장히 좋아하지만 이 음악과는 조금 안 어울리는 이미지였고 … 음악과 별개로 그 이미지들이 떠올라 Distract하는 경향이 있었다.” (P13, 21세, 여성)

본 실험에서는 슬픈 음악 그룹보다 기쁜 음악 그룹에서 감정 변화가 더 많이 보고되었다. 슬픈 음악보다 기쁜 음악에서 감정이 더 반응한 결과는 선행 연구 결과에서도 확인되어진다. 일반적으로 청자들은 음악에 내포된 긍정적인 감정(사랑, 뿌듯함, 감탄 등)을 더 잘 인지하며, 부정적인 감정은 긍정적 감정과 비교했을 때 내적으로 느껴지기보다는 인지 수준에서 더 자주 머무는 것으로 보고되었다[32]. 캐릭터는 대부분의 참가자들에게 흥미를 유발하여 집중도를 높였으나, 일부 참가자들에게는 오히려 음악에 대한 집중력을 흐리게 하는 요인으로 작용하였다. 그 주요 요인으로는 클래식 음악에 대해 평소 조예가 깊고 자신의 고유한 감상방식이 있는 사람에게는 다른 부가적인 요소가 방해가 되었을 가능성을 추측할 수 있다. 그밖에 캐릭터의 선호도, 악곡과의 이미지 연관성, 그래픽 퀄리티, 표정 변화의 제한된 다양성 등이 영향을 미쳤을 것으로 추측된다.

본 실험 결과는 몇 가지 제한점을 가진다. 첫째, 이 실험은 20대 대학생들을 대상으로, 특정 캐릭터를 사용하여 진행되었기 때문에, 아동과 같은 다른 연령대나 다른 캐릭터로 결과를 일반화 시킬 수는 없다. 둘째, 실험에 사용된 3D 모델링과 애니메이션 퀄리티가 상용화된 애니메이션 수준이 아니기에 사용자들의 기대수준 보다 비교적 낮은 캐릭터 퀄리티가 실험 결과에 영향을 미쳤음을 배제할 수 없다. 이것은 심층 인터뷰에서도 부정적인 의견으로 보고되었는데, 이에 따라 추후 실험에서는 더 높은 그래픽 퀄리티로 실험을 진행할 필요가 있다.