외화 시청 중 외국어 수준과 자막 참조 특성의 비교

Ⅰ. 연구의 배경 및 목적

오늘날 통신 기술이 발달함에 따라 과거에 비해 외국 문물을 쉽게 접할 수 있게 되었다. 그 결과, 외국 문화를 비롯하여 다양한 해외 콘텐츠에 흥미를 느끼는 사람들의 수가 늘어나고 있다. 이와 동시에 외국의 음악이나 영화, 영상 콘텐츠 등 다양한 시각적 · 청각적 매체를 통한 언어 능력 향상에 관심을 갖는 학습자들의 수도 꾸준히 증가하고 있다. 특히 왓챠 플레이(Watcha Play), 넷플릭스(Netflix), 유튜브(YouTube)와 같은 온라인 동영상 스트리밍 서비스(OTT Service; Over the Top Service)를 활용하는 20~30대의 외국어 학습자가 매우 빠르게 늘어나고 있으며, 이러한 흐름에 발맞추어 영상 콘텐츠를 통해 외국어를 학습할 수 있는 애플리케이션 또한 증가하고 있는 추세이다[1].

외화(外畫)를 감상하는 경우, 시청자는 수많은 어휘와 다양한 표현들을 습득하고 이해하고 있을 때 비로소 듣기 능력에만 의존하여 원활한 영화 감상을 할 수 있다[2]. 반면에 외국어가 능숙하지 않은 시청자들은 자막의 도움을 통해 영화의 내용을 쉽게 이해할 수 있게 된다. 따라서 해외 영상 콘텐츠를 통해 외국어를 학습하는 경우, 영상 언어로서 자막의 역할이 매우 중요하다고 할 수 있다.

그러나 외국어 학습 애플리케이션의 대부분은 자막을 활용한 학습 지원 서비스를 제공하지 않고 있다. 예를 들어, 언어 수준에 따라 자막의 제시 빈도를 다르게 하거나 자막의 제시 속도를 조절할 수 있는 기능이 없다. 대부분의 학습 애플리케이션은 영화의 대사를 듣고 학습자가 따라서 발음해 보거나 대사를 들으며 대본의 빈 칸을 채우는 활동 또는 영화에 나온 원어민들의 표현을 설명해 주는 수준에 그치고 있다. 그러므로 본 연구의 목적은 외화 시청 중 외국어 수준에 따른 영상 자막 참조 특성을 파악하여, 외국어 학습자들을 위한 애플리케이션 개발에 도움을 줄 수 있는 효과적인 자막 활용 방안을 제안하는 것이다.

본 연구에서는 시선 추적 장치를 활용하여 피실험자들의 자막 참조 특성에 관한 시선 추적 데이터를 수집하였다. 실험 종료 후에는 피실험자들의 공인 어학 성적을 바탕으로 유럽언어공통기준에 근거하여 외국어 수준을 분류하였다. 마지막으로, 앞서 분류한 피실험자들의 외국어 수준과 시선 추적 데이터의 분석 결과를 일변량 분산분석(Two-way ANOVA; Two-way Analysis of Variance)하여 최종 연구 결과를 도출하였다.

Ⅱ. 선행 연구 동향

외화를 활용한 외국어 학습에 관한 선행 연구 문헌을 찾아 본 결과, 다수의 문헌에서 긍정적인 학습 효과가 나타난다는 것을 확인할 수 있었다[3]-[7]. 한 연구 문헌에서는 영상 콘텐츠가 외국어 학습자에게 시각적 · 청각적 정보를 동시에 제공하므로 학습자의 이해력을 향상시킬 수 있으며, 이와 더불어 학습자가 상황에 대한 현실감을 느낄 수 있어 학습 동기 및 외국어 학습에 대한 흥미를 불러일으키기 쉽다고 주장하였다[8]. 또 다른 연구 문헌에 의하면, 영화는 외국어 학습에 활용되는 대표적인 영상 콘텐츠이며, 영화를 활용한 학습 방법은 외국어 학습자들의 언어 능력 향상에 유의한 효과가 있다고 밝히고 있다[9].

반면에 언어 능력 향상을 위해 외화를 시청하는 학습자에게 자막을 제공하는 것이 긍정적인 영향만 주는 것은 아니라는 주장도 있다. 외국어로 듣게 되는 음성 언어에 대해 자막을 활용하여 시각적으로 직접 제공하는 경우, 학습자가 외국어의 의미를 받아들이는 과정에 있어서 오히려 학습 효과를 저해하고, 학습자가 정보를 청각적으로 처리하기보다 시각적으로 처리하게 된다고 밝힌 연구도 있었다[10]. 즉, 외국어 수준이 높지 않은 학습자들은 자막 읽기에만 집중하는 문제가 발생할 수 있다고 주장하였다. 또 다른 연구에서는, 읽기 능력이 부족한 시청자에게 있어 자막이 제시되는 속도에 따라 자막이 방해 요인으로 작용할 수 있다고 지적하였다[11].

선행 연구 문헌들을 종합해 본 결과, 외화 시청자들의 자막 참조 특성을 파악하여 무조건적으로 제시되는 현재 자막의 문제점을 보완하고 외국어 학습자의 수준에 적절한 자막을 제시한다면, 외화를 통해 외국어를 학습하는 사람들의 부족한 어휘력이나 문장에 대한 이해력을 높이고 학습에 대한 흥미를 높여 언어 능력 향상에 도움을 줄 수 있을 것으로 판단된다.

Ⅲ. 이론적 배경

3-1 외국어 수준과 유럽언어공통기준

1) CEFR의 개념

유럽의회(Council of Europe)는 2001년에 유럽언어공통기준(CEFR; the Common European Framework of Reference for Languages: Learning, Teaching, Assessment)을 발간하였는데, CEFR을 통해 유럽 국가들의 언어 교육을 위한 수업 설계와 교육 과정, 시험, 교재 등을 개발하기 위한 공통 기준을 마련하고자 하였다[12]. 또한 사원들의 외국어 능력을 평가해야 하는 기업이나 교육 기관들에게 명확한 등급 기준을 제공하고자 하는 목적도 있다[13]. 즉, CEFR은 교육 및 평가 측면에서 능동적으로 활용할 수 있도록 설계된 표준 등급 기준이며, 특히 언어학 연구와 교육 분야에서 언어 숙련도를 나타내는 척도로 널리 활용되고 있다[14].

2) CEFR의 활용

외국어 수준을 객관적으로 분류하는 기준에는 대표적으로 CEFR을 비롯하여, 캐나다 언어 벤치마크(CLB; the Canadian Language Benchmarks), 미국외국어교육위원회의 숙련도 지침(ACTFL; the American Council on the Teaching of Foreign Languages Proficiency Guidelines), 미국 연방정부의 언어능력표준등급(ILR; the Interagency Language Roundtable Scale) 등이 있으나, 북미에서 만들어진 다른 표준들과 달리 CEFR은 대부분의 유럽 국가들뿐만 아니라 아시아와 남미 등 전 세계적으로 다수의 국가에서 언어 교육 및 평가 지표로써 널리 활용되고 있다[15]. 한 예로, 유럽 내 교육부의 대부분은 중등학교 학생들에게 제 2외국어는 B2, 제 3외국어는 B1 수준을 갖출 것을 졸업 요건으로 규정하고 있다.

3) CEFR의 등급 분류

CEFR에서는 언어 숙련도의 분류 체계를 초급, 중급, 고급의 고전적인 방식에서 좀 더 세분화하여 등급을 분류하고 있다. 아래의 Table 1은 다양한 공인 영어 시험들의 CEFR 등급 기준을 나타내고 있다.

Table 1.

CEFR Level of Certified English Tests

A1과 A2 등급은 Basic User 그룹으로, 초급 수준이다. Basic User 그룹은 간단한 자기소개나 날씨, 취미와 같은 일상적인 의사소통이 가능한 사람들이 속한다. B1 등급부터 B2+ 등급까지는 Independent User 그룹으로, 중급 수준에 속한다. Independent User 그룹의 학습자들은 다양한 주제에 관련하여 간단하게 자신의 의견을 이야기할 수 있으며, 학사 과정에서 요구하는 언어 수준의 기준이 되기도 한다. C1 등급부터 C2 등급은 Proficient User 그룹으로 고급 수준을 의미한다. Proficient User 그룹의 학습자들은 광범위한 주제뿐만 아니라 학업이나 직업 환경에서 격식 또는 비격식체를 구분하여 사용할 수 있다. 또한 외국어 사용에 있어 어려움을 느끼지 않으며 원활한 의사소통이 가능하다.

3-3 시선 추적 장치의 이해

1) 시선 추적 장치의 개념

어떠한 대상을 본다는 것은 대상을 구조적으로 파악하고 직접적인 지각 경험에 의해서 새로운 의미를 발견하게 되는 과정을 의미하며, 이러한 과정을 시지각 현상이라고 한다[17]. 그리고 시지각 현상을 객관적으로 분석할 수 있는 기기가 시선 추적 장치(Eye Tracker)이다[18].

시선 추적 장치는 사람의 주관적인 성향이나 기억의 왜곡으로부터 영향을 받지 않고 신뢰성 있는 자료를 정량적으로 수집할 수 있게 해주는 특징이 있다[19]. 또한 시선 추적 장치를 활용하면 실험이 진행되는 동안 피실험자가 바라보고 있는 곳을 관찰자들이 동시에 파악할 수 있다는 장점이 있다[20]. 더 나아가, 이러한 동시 디스플레이만으로도 시선 추적 데이터를 깊이 있게 분석하기 전에, 다른 방식으로는 파악하기 어려운 내용까지 파악할 수 있다[21]. 최근에는 심리학과 디자인, 광고, 마케팅, 인간공학 등 다양한 분야에서 폭넓게 활용되면서 시선 추적 시스템에 대한 신뢰도가 높아지고 실험 장치의 사용편의성 또한 향상되고 있는 추세이다.

2) 시선 추적 장치의 원리

시선 추적 기술에는 여러 가지가 있으나, 일반적으로 적외선 비디오 카메라와 적외선이 함께 사용된다[22]. 피실험자의 눈을 향해 적외선을 쏘아 각막에서 반사를 만들어내고, 이때 동공의 위치를 비교하여 경로를 분석함으로써 시선 추적 데이터를 수집한다. 그러므로 실험기기가 동공의 움직임을 원활하게 추적할 수 있도록 피실험자의 안구 패턴을 등록한 후, 2점 영점 조정(2-point Calibration) 또는 5점 영점 조정(5-point Calibration)으로 영점을 조정해야 한다.

Fig. 2.

Pattern Registration for Eyeball Detection

3) 시선 추적 실험의 분석

시선 추적 데이터를 분석하기 위해 활용하는 지표에는 시선 고정(Fixation)과 시선 도약(Saccade)이 있다. 시선 고정은 정의된 영역 내에서 안구의 움직임이 멈추는 것을 말하며, 시선 도약은 시선이 한 곳에 머물렀다가 다음 목표로 이동하는 것을 말한다. 시선 도약은 시선 고정의 이동을 의미하며 선으로 표현된다. 이 과정에서는 시각적 정보처리가 거의 이루어지지 않는다.

시선 추적 데이터의 분석 결과는 관심영역(AOI; Areas of Interest)의 설정에 따라 크게 Statics와 Visualization으로 나눌 수 있다[23]. Statics는 관심영역에 해당하는 응시 시간(Fixation Duration), 응시 횟수(Fixation Count), 방문 시간(Visit Duration), 방문 횟수(Visit Count) 등의 통계치를 추출할 수 있다[24]. Visualization의 대표적인 방법으로는 선과 원으로 시선 이동을 나타내는 Gaze Plot, 그리고 색상의 차이로 오래 본 영역일수록 진한 적색으로 표시하는 Heat Map 등이 있다[25]. Table 2는 이러한 분석 방법들의 예시 화면을 나타낸다[26].

Table 2.

Analysis Methods of Eye Tracking Data

Ⅳ. 연구 방법

4-2 피실험자

본 실험에서는 외국어 수준에 따른 외화 시청자의 자막 참조 특성을 비교하고자 하므로, 성별에 의한 자막 참조 특성은 고려하지 않는다는 것을 전제로 실험을 실시하였다. 실험 대상은 20대 성인 남성 12명으로, 충청 지역 소재 대학교의 대학생들로 구성되었다. 피실험자들이 취득한 공인 어학 성적은 TOEIC과 TOEFL iBT 등으로 증명의 종류가 다양하였다.

따라서 실험 종료 후 각각의 공인 어학 성적을 CEFR 기준에 따라 표준 등급으로 환산한 후, 피실험자들의 외국어 수준을 나누고 집단을 분류하였다. 피실험자들의 실험 참가 순서는 외국어 수준과 관계없이 무작위로 진행되었다. Table 3는 피실험자들의 공인 어학 성적을 CEFR에 근거하여 집단을 분류한 결과를 나타낸다.

Table 3.

Classification of Subject Group based on CEFR

4-3 실험 방법

본 연구에서는 시선 추적 장치를 활용한 실험을 통해 피실험자들의 시선 추적 데이터를 수집하였다. 시선 추적 장치는 일본 Takei 회사의 TalkEye Lite T.K.K.2950를 사용하였으며, 5-point Calibration으로 영점을 조정하였다. 모든 피실험자들은 1가지 섹션으로 구성된 실험 프로토콜을 수행하였으며, 한 사람당 총 90분이 소요되었다. 실험 프로토콜은 아래의 Fig. 3와 같다.

Fig. 3.

Eye Tracking Experiment Protocol

실험에 사용된 동영상 플랫폼은 Netflix Korea이며 음성 언어는 영어, 자막 언어는 한국어로 제시하였다. 영화는 가로 231.6 cm, 세로 173.6 cm의 스크린에 빔 프로젝터로 조사하였다. 실험실의 조도는 60 lx로 유지되었으며, 스크린으로부터 피실험자까지의 거리는 200 cm이다. 예비실험(Pilot Test)은 본 실험과 동일한 조건 및 환경에서 총 4회 실시하였다.

피실험자는 시선 추적 장치를 착용하고 5분 동안 5점 영점 조정을 실시한다. 5점 영점 조정이 끝나면 5분간 그 자리에서 대기를 하며 실험 전 안정을 취한다. 실험 1회당 소요 시간은 총 90분으로, 피실험자는 1편당 20분으로 제작된 영화 3편을 시청한다. 앞선 영화의 시청 경험 및 피로도가 다음 영화의 자막 참조 특성에 영향을 줄 수 있으므로 각 영화 종료 후 10분간 휴식시간을 가졌다. 실험 종료 후, 피실험자들의 인적 사항과 공인 어학 성적, 렌즈 또는 안경의 착용 유무, 시력 등을 묻는 설문조사를 진행하였다. 피실험자가 선호하는 장르와 제시되는 영화의 시청 경험, 영화의 시청 순서가 본 실험의 객관성에 영향을 줄 수 있으므로, 피실험자들이 공통적으로 시청한 경험이 없는 서로 다른 종류의 영화를 선정하여 무작위 순서로 제시하였다. 실험간 제시된 영화는 Brooklyn Nine-Nine(2013)와 Unbreakable Kimmy Schmidt(2015), Kim’s Convenience(2016)이다.

Fig. 4.

Eye Tracking Experiment

Ⅴ. 연구 결과

5-1 외국어 수준과 자막 참조 횟수의 비교

자막 참조 횟수는 외화 시청 중 1분당 자막을 참조한 횟수를 의미하며, 단위는 times/min.이다. Two-way ANOVA 결과를 나타낸 Table 4에서는 No. Ref으로 표기하였다. Type III Sum of Squares는 제 3유형 제곱합을 의미하고, d.f.는 자유도(Degrees of Freedom)를 나타내며, F는 F-value를 의미한다. Sig.는 유의확률(p-value)를 의미한다. Sig.의 값이 유의수준 0.05보다 작을 때 해당 변인으로부터 유의한 영향을 받는다고 할 수 있다.

Table 4.

Two-way ANOVA Result of No. Ref

Table 4의 Two-way ANOVA 결과를 살펴보면, 외국어 수준에서 유의한 차이를 확인할 수 있었다(F=4.882, p=0.027<0.05). 또한 외국어 수준과 영화의 종류 간 교호작용에서도 유의한 차이가 나타났다(F=3.547, p=0.010<0.05). 이는 외화 시청 중의 자막 참조 횟수는 시청자의 외국어 수준으로부터 유의한 영향을 받을 뿐만 아니라, 외국어 수준과 영화의 종류 간 교호작용으로부터도 유의한 영향을 받는다고 할 수 있다. 그밖에 자막 참조 횟수가 피실험자의 성향으로부터는 유의한 영향을 받지 않는 것으로 나타났으며(F=2.420, p=0.135>0.05), 영화의 종류도 자막 참조 횟수에 유의한 영향을 주지 않는 것으로 나타났다(F=0.485, p=0.633>0.05).

Fig. 5.

Variation of No. Ref Due to Language Level

위의 Fig. 5을 살펴보면, 외화를 시청하는 사람의 외국어 수준이 높아질수록 자막을 참조하는 횟수가 점차 감소하는 경향을 확인할 수 있다.

5-2 외국어 수준과 자막 총 참조 시간의 비교

자막 총 참조 시간은 외화 시청 중 자막을 참조한 시간의 총합을 의미하며, 단위는 msec.이다. Two-way ANOVA 결과를 나타낸 Table 5에서는 Total Ref Time으로 표기하였다.

Table 5.

Two-way ANOVA Result of Total Ref Time

Table 5의 ANOVA 결과를 살펴보면, 피실험자 변인에서 유의한 차이를 확인할 수 있다(F=6.528, p=0.019<0.05). 그리고 영화의 종류와 외국어 수준의 교호작용에서도 유의한 차이를 보였다(F=5.309, p=0.001<0.05). 이는 외화 시청 중의 총 자막 참조 시간이 시청자의 성향으로부터 유의한 영향을 받으며, 영화의 종류와 외국어 수준의 교호작용 또한 외화 시청 중의 총 자막 참조 시간에 영향을 준다는 것을 의미한다. 영화의 종류는 총 자막 참조 시간에 유의한 영향을 주지 않았으며(F=0.597, p=0.573>0.05), 외국어 수준의 영향도 유의하지 않았다(F=2.615, p=0.115>0.05).

Fig. 6.

Variation of Total Ref Time Due to Language Level

위의 Fig. 6을 살펴보면, 외화 시청자의 외국어 수준이 높아질수록 자막을 참조하는 총 누적 시간이 짧아지는 경향을 확인할 수 있다.

5-3 외국어 수준과 자막 1회 참조당 참조 지속 시간의 비교

자막 1회 참조당 참조 지속 시간은 자막을 1회 참조할 때 응시를 유지한 시간이며, 단위는 msec.이다. Two-way ANOVA 결과를 나타낸 Table 6과 Table 7에서는 평균값을 mean Ref Time으로, 표준편차를 sd Ref Time으로 표기하였다.

Table 6.

Two-way ANOVA Result of mean Ref Time

Table 7.

Two-way ANOVA Result of sd Ref Time

Fig. 7.

Comparison of Ref Time (mean ± sd) over Language Level

Table 6과 Table 7의 ANOVA 결과를 살펴보면, 자막 1회 참조당 참조 지속 시간에 유의한 영향을 주는 변인은 없는 것으로 나타났다. 다만, 외국어 수준 변인에서 유의확률과 근소한 차이로 유의성이 나타나지 않았다(F=3.661, p=0.052>0.05). 따라서 더 많은 수의 피실험자를 대상으로 실험을 진행할 경우에는 외국어 수준 변인으로부터 통계적으로 유의한 결과를 얻을 수도 있다는 점을 시사하였다.

Ⅵ. 자막 디자인 방향 제안

Ⅶ. 고찰 및 결론

오늘날 영상 매체의 발전 속도가 빨라지면서 외국의 문화와 콘텐츠를 쉽게 접할 수 있게 되었고, 이와 더불어 외화를 통해 외국어를 학습하고자 하는 사람들 또한 꾸준히 증가하고 있다. 본 연구에서는 이와 같은 외국어 학습자들의 학습 효율을 높일 수 있도록, 외화 시청 중 외국어 수준에 따른 자막 참조 특성을 파악하여 효과적인 자막 활용 방안을 제안하고자 하였다. 외화 시청 중의 자막 참조 특성을 파악하기 위해 시선 추적 실험을 실시하였고, 일변량 분산분석(Two-way ANOVA)을 통해 외국어 수준과 자막 참조 횟수, 외국어 수준과 총 자막 참조 시간, 외국어 수준과 자막 1회 참조당 참조 지속 시간을 각각 비교하여 그 특성을 파악하였다.

먼저 외국어 수준과 자막 참조 횟수를 비교한 결과, 시청자의 외국어 수준뿐만 아니라 영화의 종류와 외국어 수준 간의 교호작용도 자막 참조 횟수에 유의한 영향을 주는 것으로 나타났다. 특히, 외국어 수준이 높을수록 자막 참조 횟수는 감소하는 경향을 보였다. 다음으로 외국어 수준과 총 자막 참조 시간을 비교한 결과, 시청자의 성향이 총 자막 참조 시간에 유의한 영향을 주며 자막 참조 횟수와 마찬가지로 영화의 종류와 외국어 수준 간의 교호작용도 총 자막 참조 시간에 영향을 주는 것으로 나타났다. 그리고 외국어 수준이 높을수록 총 자막 참조 시간이 짧아지는 것을 알 수 있었다. 마지막으로 외국어 수준과 자막 1회 참조당 참조 지속 시간을 평균 및 표준편차로 비교한 결과, 유의한 차이를 보이는 요인이 나타나지 않았다. 다만, 외국어 수준에 따른 자막 1회 참조당 참조 지속 시간의 유의확률이 유의수준을 근소하게 초과하였던 점은 더 많은 피실험자들을 대상으로 실험을 진행하여 표본을 충분히 확보한다면 통계적으로 유의한 결과를 얻을 수도 있다는 것을 시사하였다.

실험 결과를 종합해 보면, 외국어 수준이 낮은 사람이 외국어 수준이 높은 사람보다 자막에 더 많은 주의를 기울이는 것으로 나타났다. 이는 문장 읽기 과정에서 나타나는 예측성 효과와도 연관이 깊은 것으로 보인다. 이와 같은 맥락에서, 첫 번째 자막 디자인 방향으로는 학습자의 외국어 수준에 따라 자막 내 단어의 수를 다르게 제시하는 방안을 제안하였다. 두 번째 디자인 방향으로는 학습자의 외국어 수준에 따라 자막의 번역 수준을 다르게 제시하는 방안을 제안하였다. 외화 시청자들의 외국어 수준에 따른 자막 참조 특성을 파악하여 새로운 자막 디자인의 방향성을 고려했다는 점에서, 일반 자막을 참조할 때보다 외국어 학습효과가 향상될 것으로 기대된다. 즉, 본 연구는 학습 목적으로 외화를 활용하는 외국어 학습자들을 위해 외국어 수준에 따른 자막 참조 특성을 파악하고, 그러한 특성을 고려한 자막 디자인의 방향성을 제안하였다는 점에서 의의가 있다.

한편, 본 연구에서는 외국어의 표본으로서 영어를 활용하였다. 그러나 전 세계적으로 수많은 언어가 존재하기 때문에 외국어 표본을 좀 더 확보하여 언어학적 요인이 자막 참조 특성에 영향을 주는지 향후 연구할 필요가 있다. 또한 본 연구에서는 성별에 의한 자막 참조 특성을 고려하지 않는 것을 전제로, 피실험자를 남성으로만 구성하여 실험을 진행하였다. 성별에 의해서도 자막 참조 특성이 달라질 수 있으므로, 남녀 성비를 균등하게 확보하여 향후 연구를 진행해 볼 필요가 있다.

마지막으로, 앞서 새로 제안한 자막 디자인 방향대로 사람이 일일이 자막을 제작하는 것은 여간 힘든 일이 아닐 것이다. 영상 매체의 발달 못지않게 인공지능(A.I.; Artificial Intelligence)의 발전 속도 또한 빠르게 진행되고 있는 만큼, 본 연구에서 진행했던 바와 같이 A.I.가 시청자의 특성을 파악하여 효과적인 자막을 제시할 수 있는 시스템을 연구하고 구축할 필요가 있다.

참고문헌

• BBC News. How Netflix went from pioneer to powerhouse. Available: https://www.bbc.com/news/business-44904368, .
• Y. J. Huh, “The relative predicting power of vocabulary depth and grammar in Korean EFL learners' reading comprehension,” Korean Journal of Applied Linguistics, Vol. 30, No. 3, pp. 3-25, September 2014. [https://doi.org/10.17154/kjal.2014.09.30.3.3]
• S. K. Cho, “Smartphones used for foreign language learning,” Multimedia-Assisted Language Learning, Vol. 12, No. 3, pp. 211-228, December 2009. [https://doi.org/10.15702/mall.2009.12.3.211]
• Y. H. Kwon, “A case study of college EFL learners’ mobile-assisted language learning with smart applications,” Multimedia-Assisted Language Learning, Vol. 16, No. 1, pp. 37-65, March 2013. [https://doi.org/10.15702/mall.2013.16.1.37]
• S. K. Jeong, “A study on the college students’ use and perception of smartphones for English learning,” Multimedia-Assisted Language Learning, Vol. 15, No. 3, pp. 165-185, October 2012. [https://doi.org/10.15702/mall.2012.15.3.165]
• M. M. H. Choi, “Multimedia application and ubiquitous English education environment,” Journal of Digital Contents Society, Vol. 13, No. 3, pp. 393-399, September 2012. [https://doi.org/10.9728/dcs.2012.13.3.393]
• S.D. Yoon and D. K. Ahn, “The effect of film with or without subtitles on learners’ vocabulary enhancement in Korea: Using subtitles from Aladdin, The little mermaid and The lion king,” STEM Journal, Vol. 13 No. 3, pp. 73-87, November 2012. [https://doi.org/10.16875/stem.2012.13.3.73]
• S. H. Kim and I. C. Kim, "Using videos for English teaching," The Journal of English Education, No. 31, pp. 53-67, October 2005.
• J. Y. Lee, E. J. Moon and O. H. Park, "The effects of utilizing movies in the Korean EFL classroom: A meta-analysis," STEM Journal, Vol.14, No. 3, pp. 87-107, November 2013. [https://doi.org/10.16875/stem.2013.14.3.87]
• T. H. Lee, “The effect of translated Korean subtitle on English listening comprehension and interpretation education,” Interpretation and Translation, Vol. 5, No. 2, pp. 127-147, December 2003.
• C. M. Koolstra and J. W. J. Beentjes, "Children's vocabulary acquisition in a foreign language through watching subtitled television programs at home," Educational Technology Research and Development, Vol. 47, pp. 51–60, 1999. [https://doi.org/10.1007/BF02299476]
• EF Education First. How did they make the CEFR?. Available: https://www.efset.org/ko/cefr/, .
• EF Education First. Why did they make the CEFR?. Available: https://www.efset.org/ko/cefr/, .
• S. J. Kang, "The application and the utility of learning journal writing for immigrant adolescent Korean learners - considering its application as a qualitative assessment, in the form of language portfolio based on CEFR -," The Journal of Multicultural Society, Vol. 13, No. 1, pp. 5-49, May 2020. [https://doi.org/10.14431/jms.2020.02.13.1.05]
• EF Education First. What is the CEFR?. Available: https://www.efset.org/ko/cefr/, .
• M. Baker and G. Saldanha, Routledge encyclopedia of translation studies, 2nd ed. London, UK: Routledge, 2009. [https://doi.org/10.4324/9780203872062]
• W. J. Hong and K. W. Park, "A study on the characteristics of electrooptic device and its design case," A Journal of Brand Design Association of Korea, Vol. 15, No. 4, pp. 177-188, December 2017. [https://doi.org/10.18852/bdak.2017.15.4.177]
• S. H. Yin, M. H. Park, M. K. Hwang, G. Y. Nam and M. W. Kwon, “A study on the visual perception of characters using eye tracking,” Journal of the Korea Contents Association, Vol. 19, No. 6, p. 107, June 2019.
• H. E. Lee and H. Y. Shim, "Eye tracking user research for comparative advantage analysis of premium design elements," Journal of the Korean Society Design Culture, Vol. 21, No. 2, pp. 563-574, June 2015.
• T. Tullis and W. Albert, Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics, 2nd ed. Morgan Kaufmann, ch. 7, pp. 165-170, 2013.
• S. H. Yin, M. H. Park, M. K. Hwang, G. Y. Nam and M. W. Kwon, “A study on the visual perception of characters using eye tracking,” Journal of the Korea Contents Association, Vol. 19, No. 6, pp. 108-109, June 2019.
• eVOC Insights. Methodology Spotlight. Available: http://evocinsights.com/methodology-spotlight/, .
• Takei Scientific Instruments Co.,Ltd. T.K.K. 2950 TalkEye Lite Processing Program Operation Manual. Available: https://www.takei-si.co.jp/index.html/, .
• H. S. Lee and W. I. Choi, "Predictability effects Modulated by Age during Sentence Reading - An Eye-tracking Study -," The Korean Journal of Cognitive and Biological Psychology, Vol. 31, No. 1, pp. 17-20, January 2019. [https://doi.org/10.22172/cogbio.2019.31.1.002]
• S. F. Ehrlich and K. Rayner, "Contextual effects on word perception and eye movements during reading," Journal of Verbal Learning and Verbal Behavior, Vol. 20, pp. 641-655, December 1981. [https://doi.org/10.1016/S0022-5371(81)90220-6]
• H. S. Lee and W. I. Choi, "Predictability effects Modulated by Age during Sentence Reading - An Eye-tracking Study -," The Korean Journal of Cognitive and Biological Psychology, Vol. 31, No. 1, pp. 17-38, January 2019. [https://doi.org/10.22172/cogbio.2019.31.1.002]
• D. A. Balota, A. Pollatsek, and K. Rayner, "The interaction of contextual constraints and parafoveal visual information in reading," Cognitive Psychology, Vol. 17, pp. 364-390. July 1985. [https://doi.org/10.1016/0010-0285(85)90013-1]
• W. Choi, M. W. Lowder, F. Ferreira, T. Y. Swaab, and J. M. Henderson, "Effects of word predictability and preview lexicality on eye movements during reading: A comparison between young and older adults," Psychology and Aging, Vol. 32, No. 3, pp. 232-242, 2017. [https://doi.org/10.1037/pag0000160]
• D. Drieghe, M. Brysbaert, T. Desmet, and C. De Baecke, "Word skipping in reading: On the interplay of linguistic and visual factors," European Journal of Cognitive Psychology, Vol. 16, pp. 79-103, 2004. [https://doi.org/10.1080/09541440340000141]
• D. Drieghe, K. Rayner, and A. Pollatsek, "Eye movements and word skipping during reading revisited," Journal of Experimental Psychology: Human Perception and Performance, Vol. 31, pp. 954-969, 2005. [https://doi.org/10.1037/0096-1523.31.5.954]
• S. Frisson, D. R. Harvey, and A. Staub, "No prediction error cost in reading: Evidence from eye movements," Journal of Memory and Language, Vol. 95, pp. 200-214, August 2017. [https://doi.org/10.1016/j.jml.2017.04.007]