Journal Archive

영상 콘텐츠의 초기 형태인 무성영화가 촬영될 시기에도 등장인물의 목소리는 실재하였고, 에디슨의 축음기와 같은 기술로 소리를 기록하고 재생할 수 있었다. 다만, 당시 기술적 여건상 음향과 영상의 동기화(synchronization)가 어려웠기 때문에 콘텐츠를 상영하는 극장 현장에서는 음향적 요소들을 관객에게 전달할 수 없었다. ‘재즈 싱어’를 통해 유성영화 시대가 열렸으나 영화 제작자들은 상당한 회의감을 갖기도 하였다. 현장에서 연기하는 배우의 목소리를 녹음하기 위해서는 필수적으로 조용한 환경이 필요했기 때문이다. 무성영화가 촬영될 때보다 시간적, 기술적, 장소적인 제약이 따를 수밖에 없었다. 이러한 우려는 영화의 예술성이 이미지와 사운드의 결합으로 인해 제한되고 파괴된다는 우려로 번지게 되기도 하였다. 사운드의 예술성 부재의 원인에 대해 Rick Altman은 다음과 같이 말했다. 첫째는 유성영화 초기 감독들이 가지고 있던 사운드의 예술적 가치에 대한 회의, 둘째는 이미지 위주의 용어 개발로 사운드에 대한 관심 약화, 셋째로는 영향력 있는 비평가들의 이미지 위주의 문제인식이 사운드에 무관심해지거나 소홀해지게 만들었다고 분석하였다[5]. 하지만 유성영화의 등장은 예술적 잠재능력을 제시하였고, 관객들이 갈망하던 시각과 청각의 결합을 넘어 소리를 통한 내러티브의 기호화를 실현 가능하게 하였다.

‘듣지 못하는 영화’(무성영화)에서 ‘발성 영화’(유성영화)로 넘어오면서, 극 중 배우의 음성적 표현을 관객이 들을 수 있다는 것은 다음과 같은 의미를 지닌다. 먼저 영상 콘텐츠 속 등장인물의 음성적 연기를 통해 내러티브를 보다 생생하게 느낄 수 있었다. 무성영화가 촬영될 때에도 배우들은 유성영화처럼 카메라 앞에서 직접 대사를 하며 연기하였다. 단지 대사가 녹음되지 않았을 뿐이었다. 따라서 관객들은 극에서 표현되는 분위기를 통해 인물의 목소리를 떠올리거나, 자막을 통해 표현되는 대사 지문을 보며 인물의 목소리를 상상하였다. 그렇기 때문에 유성영화 시대로 접어들면서 배우의 발성을 들을 수 있게 된 것이 관객들이 상상한 것과 충돌이 일어났고[6], 몇몇 사람들이 유성영화에 대한 회의감을 가지게 된 계기 중 하나가 되었다. 하지만 관객들은 이것에 익숙해졌고, 이는 곧 유성영화의 흥행으로 이어졌다. 두 번째로 자막으로 표현되었던 대사가 음성으로 전달되면서 관객들에게 정보 전달을 더 신속하게 하였다. 당시 교육환경과 문맹률 등을 고려했을 때, 상황과 행동 연기를 통해 내용을 짐작할 수 있었지만, 자막을 통해 전달되는 정보를 유추하기 어려웠을 것이다. 그래서 한국이나 일본의 경우, 변사가 상황에 대해 설명을 하며, 등장인물의 목소리를 흉내내어 관객에게 전달하였다. 하지만 기술발전으로 음향과 영상을 동기화할 수 있게 되면서 관객들은 청각을 통해 배우의 목소리를 들을 수 있었다. 시각적 정보처리를 매개하는 빛의 속도는 소리의 속도보다 약 88만 배 이상 빠르지만 감각적 반응 측면에서는 청각이 시각보다 더 빠른 특성이 있다[7]. 따라서 관객들은 배우의 대사를 통해 전달되는 의미를 보다 더 빠르게 이해할 수 있었다. 세 번째로 등장인물이나 제3의 인물이 시각적 이미지로 전달하기 힘든 내용을 내레이션(narration) 또는 보이스 오버(voice-over)를 통해 전달하는 역할을 담당하였다. 누군가의 목소리만 등장하여 과거를 회상하거나 시대적 상황, 인물의 묘사 등을 관객에게 전달하기도 한다.

리액션성 대사의 음량과 시청자 감정의 관련성을 찾기 위해서는 악기론과 같은 음악적인 접근이 필요하다. 음악에서는 연주의 세기를 통해 곡의 분위기와 감정을 전달하기도 한다. 이를 효과적으로 표현하는 악기로는 피아노가 대표적이다. 피아노가 탄생하기 이전에는 쳄발로와 하프시코드를 많이 사용하였는데, 이 악기들이 소리를 내는 방식은 연주자가 건반을 눌렀을 때, 악기 내부에 있는 장치가 현을 뜯어서 소리를 내는 방식이었다. 따라서 연주자가 건반을 누르는 세기가 어떠하든 동일한 소리를 냈다. 하지만 이탈리아 쳄발로 제작가인 바르톨로메오 크리스토포리가 쳄발로의 몸체를 개조하여, ‘피아노 포르테(Piano Forte)’라는 악기를 만들었다[8]. 현을 뜯는 방식이 아닌 해머로 현을 때리는 방식으로 제작하였고, 이는 피아노의 원형이 되었다(그림 1). 피아노는 쳄발로나 하프시코드와 달리 건반을 누르는 세기에 따라 강약을 조절할 수 있었기 때문에 셈여림(dynamics)을 폭넓게 표현할 수 있었고, 소리의 크기를 통한 자연스러운 감정 전달을 할 수 있게 되었다. 셈여림은 음악을 표현하고 해석함에 있어 중요한 역할을 하는데, 음악이 진행함에 있어 인간의 감정적 긴장과 이완을 통해 음악적 표현을 깊게 한다.

Fig. 1. 
The Principle and Structure of Piano Making Sounds

이러한 셈여림의 변화는 음악의 분위기를 결정하는데 큰 영향을 미칠 뿐만 아니라 연주자의 해석에 따라서 음악에 다양한 표정을 담는 중요한 요소가 된다[9]. 셈여림은 기호로써 표현되지만 정확한 수치로 나타나기 보다는 감각적 판단으로 이루어지기 때문이다(표 1). MIDI에서는 벨로시티의 수치로 셈여림을 표현한다. 연주를 하지 않는 0에서부터 가장 여리게 표현하는 1, 가장 세게 연주하는 127까지 셈여림을 표현 가능하다. 셈여림 그리고 벨로시티와 볼륨의 차이점은 연주자의 세기를 반영하는가에 있다. 매우 센 셈여림의 경우 큰 소리를 발생함과 동시에 큰 어택타임(attack time)을 가진다. 반면 볼륨은 소리의 크기만을 표현하며 연주의 세기를 표현하지는 않는다. 즉, 여린 셈여림의 오디오를 센 셈여림의 크기만큼 증폭한다 하더라도 동일한 결과를 얻을 수는 없다. 따라서 볼륨이 크다고 해서 셈여림이 세다고 볼 수 없으나 셈여림은 볼륨과의 관계가 연결되어 있다.

한편, 마준호에 따르면 음악의 소리 크기에 따라 정서 변화에 차이가 있음이 검증되었다[10]. 소리 크기에 따른 정서적 변화는 방송매체에서도 나타났는데, 박덕춘에 따르면 텔레비전으로 드라마를 시청할 때, 볼륨이 큰 음향으로 시청한 시청자가 볼륨이 작은 음향으로 시청한 시청자보다 몰입도가 더 높았다[11]. 하지만 이 결과들은 음원 및 드라마 오디오가 마스터링이 된 결과를 토대로 연구된 것이기 때문에 리액션성 대사의 크기에 따른 시청자 감정의 영향을 분석하기에는 한계가 있다.

따라서 본 연구에서는 내러티브가 있는 영상에서 표현되는 음향 요소 중 리액션성 대사의 음량이 시청자에게 미치는 감정적 영향을 탐색하고자 한다.

본 연구의 평가실험 참가자는 22명의 일반인(남성: 7명, 여성: 15명; 평균 28.3세)으로 영상 콘텐츠 감성평가에 필요한 시각 및 청각 기능이 정상임과 감성평가 대상인 영상콘텐츠에 대한 사전경험이 없음을 확인한 후 참여하였다.

본 연구의 평가실험은 영상 콘텐츠 속 리액션성 대사의 음량 수준에 따른 감성평가 차이를 검증하기 위해 독립변인인 리액션성 대사의 음량을 세 가지 수준으로 조건화하여 그에 따른 영상 콘텐츠 감성평가 점수를 통계적으로 비교 분석하고자 하였다.

실험설계에서 독립변인인 리액션성 대사의 음량수준 세 조건은 첫 번째로 영상 콘텐츠에서 리액션성 대사가 제거된 조건(요소없음)으로, 이는 리액션성 대사에 의한 영상 콘텐츠의 감성평가를 이해하는 기준(baseline)이 된다. 두 번째는 영상 콘텐츠의 음향적 요소를 최적화하는 작업인 사운드 디자인 과정이 완료된 음량 수준으로 국내방송 표준이 적용되는 –24 LUFS를 마스터 오디오 레벨로 설정하여 사용하는 조건(기본음량)이다[12]. 세 번째는 기본음량에서 리액션성 대사의 음량을 증폭하여 영상 콘텐츠의 감성평가에 미치는 영향을 살펴보기 위한 6dB(데시벨) 증가 조건인데, 소리의 특성상 물리적 크기 변화보다는 청각적 감각기준으로 두 배 크기의 소리를 만들어주는 6dB 증가를 통해 충분한 크기 변화를 인식시키기 위함이다[13].

또한 실험설계에서 종속변인에 해당하는 영상 콘텐츠의 감성평가는 실제 평가대상인 드라마에 포함된 등장인물들 사이의 액션씬에서 발생하는 흥분감정과 고통감정의 정도를 10점 척도로 평가하였다. 이와 함께 다양한 콘텐츠에 대한 감성평가에서 기본적이 감성특성을 이해하는데 도움을 주는 Russell의 감정차원모델(circumplex model)과 Thayer의 감정모델(2D emotion model) 감정가-각성수준(valence-arousal) 2차원 감성모델에 근거한 감성평가(각 차원별 5점 척도)를 진행하였다[14,15].

평가실험에서는 감성평가의 대상인 영상 콘텐츠로서 몇 가지 리액션성 대사를 포함하고 있는 국내 드라마 콘텐츠를 선정하였다.

평가실험에서 동일한 참가자에게 3가지 수준의 음량을 평가 받아야하므로 같은 영상 콘텐츠의 반복 시청의 문제가 발생하는데, 이를 해결하기 위해 표 2와 같이 서로 다르지만 유사한 리액션성 대사가 포함된 3개 드라마를 이용하여 참가자별로 조건과 영상의 짝(pair)을 달리하는 방식, 즉 라틴스퀘어(Latin Square) 설계 방식으로 진행하였다. 선정된 영상 콘텐츠(드라마)는 세 가지 영상 모두 액션씬(action scene)이 포함된 장면으로, 다른 장면에 비해 빠른 움직임이나 강한 힘을 사용하는 부분이 많아서 배우의 비언어적 대사인 리액션성 대사가 비교적 잘 표현되었다. 선정된 구체적인 작품 정보는 SBS의 ‘굿캐스팅’과 ‘배가본드’, 그리고 JTBC의 ‘언더커버’ 등이다(그림 2 참조). TV 드라마는 극의 내러티브를 진행하기 좋은 매체이며 비교적 쉽게 접할 수 있을 뿐만 아니라, 인간의 감정적 반응을 자연스럽게 이끌어 낼 수 있으며, 유사한 장면이 가지는 시청자 감정의 변화를 파악하기에 적합한 것으로 판단되었다. 다만 평가실험에서는 드라마의 일부분만 시청하기 때문에 참가자가 영상 콘텐츠의 맥락(context)을 파악하기 어려울 수 있고, 그 결과로 내러티브 요소가 전달되지 않을 수 있다. 그래서 본 연구에서는 참가자가 영상 콘텐츠를 시청하기 전 내용 맥락을 파악하는데 도움을 주는 줄거리 설명 정보를 제공하였다. 또한 앞서 소개한 바와 같이 본 연구의 목적이 영상 콘텐츠의 여러 가지 음향적 요소 가운데 리액션성 대사의 음량만을 주요 변수로 고려하기 때문에 평가대상인 영상 콘텐츠의 음향적 요소 중 배경음악이나 언어적 대사 등은 제외하였다.

Fig. 2. 
Screenshots of video content(drama) used in the evaluation; SBS's ‘Good Casting’(top), ‘Vagabond’(middle), JTBC's ‘Undercover’(bottom)

평가실험 참가자의 영상 콘텐츠 시청환경은 LED TV와 기준음량 79dB로 설정하며, 시청환경의 음량측정은 1kHz 및 C-Curve를 적용하였다. 이는 시각적인 측면에서는 일반적인 환경이지만, 청각적인 측면에서는 사운드 디자이너가 음향 제작을 할 때 크기와 유사한 환경에서 참가자에게 들려주기 위함이다. 참가자의 실험 참여과정은 다음의 순서와 같았다.

• ① 실험에 대한 설명과 실험참험자의 참가 동의 확인
• ② 영상 시청 전 참가자에게 A영상에 대한 줄거리 설명
• ③ 영상 시청 및 A영상에 대한 감성평가 진행(집단마다 다른 조건이 적용된 영상 시청)
• ④ 영상 시청 전 참가자에게 B영상에 대한 줄거리 설명
• ⑤ 영상 시청 및 B영상에 대한 감성평가 진행(집단마다 다른 조건이 적용된 영상 시청)
• ⑥ 영상 시청 전 참가자에게 C영상에 대한 줄거리 설명
• ⑦ 영상 시청 및 C영상에 대한 감성평가 진행(집단마다 다른 조건이 적용된 영상 시청)
• ⑧ 평가실험 종료 및 참가자 퇴실 안내

영상 콘텐츠의 내러티브가 포함하는 감성에 대한 공감(흥분감정, 고통감정) 평가결과 분석절차는 리액션성 대사의 음량조건(요소없음, 기본음량, 6dB증가)을 세 가지 수준으로 하는 반복측정 변량분석(ANOVA)을 통해 진행되었다.

그림 3과 4의 결과 그래프에서 볼 수 있듯이, 참가자들은 전반적으로 리액션성 대사가 없을 때보다는 기본음량 이상으로 있을 때 영상 콘텐츠의 내러티브 감성인 흥분감정(excited feeling)을 더 크게 평가하였다(F(2,42)=4.385, p=.019).

Fig. 3. 
The statistically analyzed results of the excited feeling score according to the sound level conditions(Non, Basic, 6dB+) of reactive dialogue

Fig. 4. 
The statistically analyzed results of the pain feeling score according to the sound level conditions(Non, Basic, 6dB+) of reactive dialogue

이러한 차이는 요소없음(M=6.09)과 기본음량(M=7.46) 사이에서 특히 통계적 차이가 나타났다(t=2.942, p=.016). 그러나 고통감정(pain feeling)에 대한 평가에서는 리액션성 대사의 음량조건 세 가지 수준에 따른 차이가 통계적으로 유의미하지는 않았다(F(2.42)=0.490, p>.05). 이와 같은 결과는 리액션성 대사의 음량조건이 영상 콘텐츠의 내러티브 감성 측면에서 등장인물의 고통에 대한 공감 보다는 내러티브의 분위기적 요소로서 흥분적 상황에 대한 공감이 커지는데 역할을 하는 것으로 이해될 수 있다.

평가대상인 영상 콘텐츠에 대한 전반적인 감성특성을 평가하기 위한 감정가-각성수준(valence-arousal) 2차원 모델 감성평가 결과분석 또한 리액션성 대사의 음량조건(요소없음, 기본음량, 6dB증가)을 세 가지 수준으로 하는 반복측정 변량분석(ANOVA)을 통해 진행되었다.

먼저 그림 5의 결과 그래프를 살펴보면, 감성차원의 감정가(유쾌/불쾌)에 대한 평가결과에서는 리액션성 대사의 음량조건 세 가지 수준에 따른 통계적 차이가 나타나지 않았다(F(2.42)=1.675, p>.05).

Fig. 5. 
The statistically analyzed results of the valence level according to the sound level conditions(Non, Basic, 6dB+) of reactive dialogue

즉 영상 콘텐츠에 대한 시청자의 감정가(유/불쾌)는 리액션성 대사의 음량조건에 영향을 받지 않은 것으로 보인다. 반면 그림 6의 결과 그래프에서 확인할 수 있는 바와 같이, 감성차원의 각성수준(정적/동적)에 대한 평가결과에서는 리액션성 대사의 음량조건 세 가지 수준에 따른 통계적 차이가 유의미하게 나타났다(F(2,42)=4.783, p=.013). 즉 참가자들이 리액션성 대사의 음량에 영향을 받아 영상 콘텐츠에 대한 각성수준을 상대적으로 높게 평가한 것이다. 이러한 차이는 요소없음(M=3.64)과 기본음량(M=4.27) 사이에서 특히 통계적 차이가 나타났다(t=3.052, p=.012). 이러한 결과는 앞선 영상 콘텐츠의 내러티브 감성에 대한 공감 측면에서 나타난 흥분감정의 공감효과와 일맥상통하는 것으로 이해될 수 있다. 즉 영상 콘텐츠 속 등장인물들의 상황적 분위기에 공감하는 흥분감정의 고조가 영상 콘텐츠에 대한 전반적인 감성평가로서의 각성수준과 일치되어 리액션성 대사의 음량조건에 따라 달리 영향 받았다는 것이다.

Fig. 6. 
The statistically analyzed results of the arousal level according to the sound level conditions(Non, Basic, 6dB+) of reactive dialogue

그림 7은 기본적인 2차원 감성모델에서 리액션성 대사의 음량조건 세 수준이 어떤 공간적 위치를 갖는지 확인하고 비교할 수 있는 포지셔닝(positioning)의 결과이다. 즉 감정가(valence)와 각성수준(arousal)의 두 가지 차원을 동시에 고려하여 리액션성 대사의 음량조건이 갖는 효과 차이를 시각적으로 확인할 수 있는 것이다. 이를 통해 앞서 논의한 바와 같이, 리액션성 대사의 음량이 갖는 효과는 가로축인 감정가(valence)에서 보다는 세로축인 각성수준(arousal)에서 확인되었다.

Fig. 7. 
The positioning of the sound level conditions(Non, Basic, 6dB+) of reactive dialogue on basic 2D emotion model