Journal Archive

영상 콘텐츠의 자막은 분류에 따라 다양한 정의를 내릴 수 있다. 베이커(Baker)는 자막을 크게 언어학적 관점과 기술학적 관점으로 분류하였고, 각각의 관점을 좀 더 세분화하여 정의하였다[16]. 언어학적 관점은 언어 내 자막(Intralingual Subtitles)과 언어 간 자막(Interlingual Subtitles)으로 분류하였으며, 기술학적 관점은 열린 자막(Open Subtitles)과 닫힌 자막(Closed Subtitles)로 분류하였다.

언어학적 관점에서의 언어 내 자막은 음성 언어와 텍스트 언어가 동일하게 구성된 자막을 말한다. 초기에는 청각 장애를 가진 사람들을 위해 제작한 자막을 의미하였으나, 최근에는 청각 장애인들을 위한 프로그램뿐만 아니라 여러 프로그램에서 다양한 목적으로 쓰이고 있다. 음성 언어가 영어로 제작된 영화에서 영어 자막이 함께 제시되는 경우가 언어 내 자막이 사용된 사례라고 할 수 있다. 반면에 언어 간 자막은 음성으로 제시되는 언어를 다른 언어로 제시하는 자막을 말한다.

기술학적 관점에서의 열린 자막은 일반적으로 영화 또는 TV프로그램에서 영상과 함께 제시되는 자막을 의미한다. 음성 언어가 영어로 제작된 영화에서 한국어 자막이 제공되는 경우가 열린 자막이 사용된 사례이다. 닫힌 자막은 열린 자막과 비교하였을 때, 좀 더 특정한 대상을 위해 만들어진 자막을 지칭한다. 예를 들어, 청각 장애인들을 위한 자막은 대사를 가급적 생략하지 않고 거의 모든 대사를 제시한다.

본 연구에서는 외화를 시청하는 사람들의 자막 참조 특성을 살펴보고자 하므로 언어학적 관점에서는 언어 간 자막을, 기술학적 관점에서는 열린 자막에 초점을 두고 연구를 진행하였다.

본 연구에서 실시한 실험의 목적은 다음과 같다. 첫째, 외화 시청 중 외국어 수준에 따른 자막 참조 횟수(times/min.)의 특성을 비교한다. 둘째, 외화 시청 중 외국어 수준에 따른 자막 총 참조 시간(msec.)의 특성을 비교한다. 셋째, 외화 시청 중 외국어 수준에 따른 자막 1회 참조당 참조 지속 시간(msec.)의 특성을 비교한다.

본 실험에서는 외국어 수준에 따른 외화 시청자의 자막 참조 특성을 비교하고자 하므로, 성별에 의한 자막 참조 특성은 고려하지 않는다는 것을 전제로 실험을 실시하였다. 실험 대상은 20대 성인 남성 12명으로, 충청 지역 소재 대학교의 대학생들로 구성되었다. 피실험자들이 취득한 공인 어학 성적은 TOEIC과 TOEFL iBT 등으로 증명의 종류가 다양하였다.

따라서 실험 종료 후 각각의 공인 어학 성적을 CEFR 기준에 따라 표준 등급으로 환산한 후, 피실험자들의 외국어 수준을 나누고 집단을 분류하였다. 피실험자들의 실험 참가 순서는 외국어 수준과 관계없이 무작위로 진행되었다. Table 3는 피실험자들의 공인 어학 성적을 CEFR에 근거하여 집단을 분류한 결과를 나타낸다.

본 연구에서는 시선 추적 장치를 활용한 실험을 통해 피실험자들의 시선 추적 데이터를 수집하였다. 시선 추적 장치는 일본 Takei 회사의 TalkEye Lite T.K.K.2950를 사용하였으며, 5-point Calibration으로 영점을 조정하였다. 모든 피실험자들은 1가지 섹션으로 구성된 실험 프로토콜을 수행하였으며, 한 사람당 총 90분이 소요되었다. 실험 프로토콜은 아래의 Fig. 3와 같다.

Fig. 3. 
Eye Tracking Experiment Protocol

실험에 사용된 동영상 플랫폼은 Netflix Korea이며 음성 언어는 영어, 자막 언어는 한국어로 제시하였다. 영화는 가로 231.6 cm, 세로 173.6 cm의 스크린에 빔 프로젝터로 조사하였다. 실험실의 조도는 60 lx로 유지되었으며, 스크린으로부터 피실험자까지의 거리는 200 cm이다. 예비실험(Pilot Test)은 본 실험과 동일한 조건 및 환경에서 총 4회 실시하였다.

피실험자는 시선 추적 장치를 착용하고 5분 동안 5점 영점 조정을 실시한다. 5점 영점 조정이 끝나면 5분간 그 자리에서 대기를 하며 실험 전 안정을 취한다. 실험 1회당 소요 시간은 총 90분으로, 피실험자는 1편당 20분으로 제작된 영화 3편을 시청한다. 앞선 영화의 시청 경험 및 피로도가 다음 영화의 자막 참조 특성에 영향을 줄 수 있으므로 각 영화 종료 후 10분간 휴식시간을 가졌다. 실험 종료 후, 피실험자들의 인적 사항과 공인 어학 성적, 렌즈 또는 안경의 착용 유무, 시력 등을 묻는 설문조사를 진행하였다. 피실험자가 선호하는 장르와 제시되는 영화의 시청 경험, 영화의 시청 순서가 본 실험의 객관성에 영향을 줄 수 있으므로, 피실험자들이 공통적으로 시청한 경험이 없는 서로 다른 종류의 영화를 선정하여 무작위 순서로 제시하였다. 실험간 제시된 영화는 Brooklyn Nine-Nine(2013)와 Unbreakable Kimmy Schmidt(2015), Kim’s Convenience(2016)이다.

Fig. 4. 
Eye Tracking Experiment

본 실험의 독립변인은 피실험자, 외국어 수준, 영화의 종류이며, 종속변인은 자막 참조 횟수(times/min.), 자막 총 참조 시간(msec.), 자막 1회 참조당 참조 지속 시간(msec.)의 평균값(Mean)과 표준편차(SD; Standard Deviation)이다. 수집된 시선 추적 데이터는 Takei 영상 해석 프로그램(Takei 動画解析プログラム)을 활용하여 분석하였으며, 자막 부분을 관심영역으로 설정하여 AOI 방식으로 데이터를 추출하였다[27]. AOI를 통해 얻은 시선 추적 데이터는 자막의 참조 횟수, 자막의 총 참조 시간, 1회 자막 참조당 평균 시간이다. 해당 데이터들은 IBM SPSS Statistics 25에서 일변량 분산분석(Two-way ANOVA)을 실시하였으며, 본 실험에서의 유의수준은 p < 0.05이다.

자막 참조 횟수는 외화 시청 중 1분당 자막을 참조한 횟수를 의미하며, 단위는 times/min.이다. Two-way ANOVA 결과를 나타낸 Table 4에서는 No. Ref으로 표기하였다. Type III Sum of Squares는 제 3유형 제곱합을 의미하고, d.f.는 자유도(Degrees of Freedom)를 나타내며, F는 F-value를 의미한다. Sig.는 유의확률(p-value)를 의미한다. Sig.의 값이 유의수준 0.05보다 작을 때 해당 변인으로부터 유의한 영향을 받는다고 할 수 있다.

Table 4의 Two-way ANOVA 결과를 살펴보면, 외국어 수준에서 유의한 차이를 확인할 수 있었다(F=4.882, p=0.027<0.05). 또한 외국어 수준과 영화의 종류 간 교호작용에서도 유의한 차이가 나타났다(F=3.547, p=0.010<0.05). 이는 외화 시청 중의 자막 참조 횟수는 시청자의 외국어 수준으로부터 유의한 영향을 받을 뿐만 아니라, 외국어 수준과 영화의 종류 간 교호작용으로부터도 유의한 영향을 받는다고 할 수 있다. 그밖에 자막 참조 횟수가 피실험자의 성향으로부터는 유의한 영향을 받지 않는 것으로 나타났으며(F=2.420, p=0.135>0.05), 영화의 종류도 자막 참조 횟수에 유의한 영향을 주지 않는 것으로 나타났다(F=0.485, p=0.633>0.05).

Fig. 5. 
Variation of No. Ref Due to Language Level

위의 Fig. 5을 살펴보면, 외화를 시청하는 사람의 외국어 수준이 높아질수록 자막을 참조하는 횟수가 점차 감소하는 경향을 확인할 수 있다.

자막 총 참조 시간은 외화 시청 중 자막을 참조한 시간의 총합을 의미하며, 단위는 msec.이다. Two-way ANOVA 결과를 나타낸 Table 5에서는 Total Ref Time으로 표기하였다.

Table 5의 ANOVA 결과를 살펴보면, 피실험자 변인에서 유의한 차이를 확인할 수 있다(F=6.528, p=0.019<0.05). 그리고 영화의 종류와 외국어 수준의 교호작용에서도 유의한 차이를 보였다(F=5.309, p=0.001<0.05). 이는 외화 시청 중의 총 자막 참조 시간이 시청자의 성향으로부터 유의한 영향을 받으며, 영화의 종류와 외국어 수준의 교호작용 또한 외화 시청 중의 총 자막 참조 시간에 영향을 준다는 것을 의미한다. 영화의 종류는 총 자막 참조 시간에 유의한 영향을 주지 않았으며(F=0.597, p=0.573>0.05), 외국어 수준의 영향도 유의하지 않았다(F=2.615, p=0.115>0.05).

Fig. 6. 
Variation of Total Ref Time Due to Language Level

위의 Fig. 6을 살펴보면, 외화 시청자의 외국어 수준이 높아질수록 자막을 참조하는 총 누적 시간이 짧아지는 경향을 확인할 수 있다.

자막 1회 참조당 참조 지속 시간은 자막을 1회 참조할 때 응시를 유지한 시간이며, 단위는 msec.이다. Two-way ANOVA 결과를 나타낸 Table 6과 Table 7에서는 평균값을 mean Ref Time으로, 표준편차를 sd Ref Time으로 표기하였다.

Fig. 7. 
Comparison of Ref Time (mean ± sd) over Language Level

Table 6과 Table 7의 ANOVA 결과를 살펴보면, 자막 1회 참조당 참조 지속 시간에 유의한 영향을 주는 변인은 없는 것으로 나타났다. 다만, 외국어 수준 변인에서 유의확률과 근소한 차이로 유의성이 나타나지 않았다(F=3.661, p=0.052>0.05). 따라서 더 많은 수의 피실험자를 대상으로 실험을 진행할 경우에는 외국어 수준 변인으로부터 통계적으로 유의한 결과를 얻을 수도 있다는 점을 시사하였다.

문장을 읽을 때 시선을 어디에 고정하는지(Where to move), 그리고 언제 움직이는지(When to move)는 인간의 언어 정보 처리 양상을 살펴봄에 있어 매우 중요한 단서가 된다[28]. 이를 바탕으로 읽기 과정에서의 언어 정보 처리 능력에 관한 연구도 활발히 진행되고 있다[29]. 이와 관련된 한 연구에서는 문장 읽기 과정에서 예측 가능한 단어가 그렇지 못한 단어에 비하여 시선의 고정 횟수가 적고, 시선의 고정 시간 또한 짧다는 것을 밝혀냈다[30]. 이는 문장 읽기에서 예측 가능한 단어가 그렇지 않은 단어에 비해 정보 처리 속도가 빠르다는 것을 의미하며, 이러한 현상을 예측성 효과(Contextual Effect)라고 한다. 즉, 문장 읽기 과정에서 중요한 변인 중 하나가 예측성(Predictability)이며, 문장 읽기 시간에 대한 예측성 효과는 수많은 선행 연구들에서도 검증되었다[31]-[36].

자막을 참조하는 것은 짧은 길이의 문장을 읽는 것과 같다. 본 실험 결과에 따르면, 외화 시청 과정에서 외국어 수준이 높은 시청자일수록 자막을 참조하는 횟수가 적게 나타났다. 이는 외국어 수준이 높은 학습자가 풍부한 어휘력을 바탕으로 예측성 효과를 더 많이 활용하고 있는 것으로 보인다. 덧붙여서, 외국어 수준이 높은 학습자는 자막의 맥락 정보를 파악하고 이해하는 데 있어 더 적은 시간이 소요된다고 할 수 있다. 따라서 앞서 밝힌 예측성 효과에 관한 연구 결과와 외국어 수준이 높을수록 자막을 참조하는 횟수가 적다는 실험 결과에 근거하여, 학습자의 외국어 수준에 따라 자막 문장 내 어휘 수를 다르게 하여 제시하는 방안을 제안하고자 한다.

외국어 수준이 높은 학습자에게는 자막을 대사의 원문 그대로 제시하는 것이 아니라 핵심 단어 또는 전문용어와 같은 높은 수준의 단어 위주로 제시한다. 외국어 수준이 높은 학습자는 이미 알고 있는 풍부한 어휘력이 맥락 정보를 파악하는 데 도움을 줌으로써 학습 효율을 높일 수 있을 것으로 기대된다. 이때 자막의 핵심 단어 또는 전문용어에서만 학습자의 주의(Attention)를 끌어 낼 수 있도록 일반적인 단어와 중요한 단어 간의 글자색 대비를 크게 하거나, 중요 단어의 굵기를 더 굵게 설정하는 방안, 그리고 글꼴을 다르게 하는 디자인하는 방안 등이 있다. 이와 반대로, 외국어 수준이 낮은 학습자에게는 기존의 자막과 같이 대사의 생략 없이 원문 그대로 제시하여 맥락 정보를 파악하는 데 도움을 줄 수 있도록 설계한다. 앞서 서두에서 밝힌 바와 같이, 학습자가 문장의 표현이나 단어의 의미를 유추하는 과정에 너무 많은 시간을 소비하지 않고, 학습 과정에 대한 흥미를 느껴 학습 동기를 강화할 수 있도록 유도한다[8].

또 다른 방안으로는 학습자에게 제시되는 자막의 번역 수준을 외국어 수준에 따라 다르게 디자인하는 방법이 있다. 본 실험 결과에 따르면, 학습자의 외국어 수준이 높을수록 총 자막 참조 시간이 짧아지는 경향을 보였다. 즉, 외국어 수준이 높을수록 제시되는 자막에 대하여 주의 깊게 참조하는 시간이 짧다는 것을 알 수 있다. 이는 외국어 수준이 높은 학습자의 경우, 자신이 이해한 부분은 자막을 적게 참조하거나 건너뛰는 것으로 보인다.

그러므로 외국어 수준이 낮은 학습자에게는 대사를 상세하게 번역하여 영화의 내용이나 표현을 이해하는 데 도움을 주는 한편, 외국어 수준이 높은 학습자에게는 자신이 듣고 이해한 내용을 간단히 확인하며 시청할 수 있는 수준의 자막 번역을 제공한다. 예를 들어 "Don't let the bed bugs bite you."라는 대사에 대하여 외국어 수준이 낮은 학습자에게는 “(취침 인사) 네가 잠을 자는 동안 침대 벌레에게 물리지 않기를 바랄게.”와 같이 상세한 번역을 통해 그 상황에 쓰일 수 있는 다양한 표현을 가르쳐 주는 자막을 디자인할 수 있다. 이와 반대로, 외국어 수준이 높은 학습자에게는 “잘 자.”라고 번역한 자막을 제시하여 간단하게 의미를 확인하고 넘어갈 수 있는 수준의 자막을 제시하여 학습 효율을 높이는 디자인 방안이 있다.