영상 콘텐츠의 언어적 정보 이해에 미치는 자막의 시각 우세성 효과

Ⅰ. 서 론

초기 영상 콘텐츠에서 자막(subtitle)의 적극적인 사용은 방송용 영상 제작 환경에서 일종의 유행을 넘어 영상 커뮤니케이션의 중요한 표현 방식으로 자리 잡고 있다. 영상 제작자는 시청자에게 영상의 내용을 이해시키기 위한 정보 요약의 기능뿐만 아니라 출연자의 캐릭터 설정이나 제작진과 시청자의 직간접적 소통의 수단 등으로 자막을 사용하고 있다. 이러한 추세를 살펴보면 영상 콘텐츠의 자막은 그 역할과 기능이 확장되어 보조적인 수단을 넘어서는 독립적인 기능과 역할을 수행하고 있음을 알 수 있다[1].

한편 영상 제작 과정에서 이러한 자막 활용의 증가로 인해 시청자들은 영상 콘텐츠 소비 시 시각적 화면과 청각적 음성 메시지뿐만 아니라 다양한 형태의 문자 정보(시각적 언어정보)도 함께 처리해야하는 복잡한 정보처리 상황에 처하게 된다[2]. 일반적으로 영상 콘텐츠는 화면과 소리를 통해 수용자의 시각과 청각을 자극함으로써 보는 것과 듣는 것이 동시에 일어나는 시청각 콘텐츠라고 알려져 있다. 하지만 이러한 영상 콘텐츠에 자막이 더해지며 시청자는 한층 더 복합적인 정보 전달을 경험하게 된다. 즉 자막 자체는 시각적으로 처리되지만 내포하는 정보가 언어적 속성을 가지고 있으므로 영상 속 음성을 통해 들리는 언어적 정보를 시각으로도 읽고 처리하는 행위가 중복적으로 발생하는 것이다. 이렇게 언어적 정보가 음성과 자막의 형태로 경쟁적인 정보처리 상황에서 시청자는 자막이 있는 영상을 보며 청각적으로 인지해야 하는 음성 정보를 시각적인 읽기 행위로 대신하게 될 수 있다.

이러한 다중감각적 정보 전달 상황에서 시청자는 어떠한 우선순위로 정보를 이해하고 처리하는지에 대해 연구할 필요성이 있다[3],[4]. 지금까지 영상 콘텐츠의 정보 전달과 자막 효과에 대한 연구는 많이 진행되어왔지만, 이를 다중감각 정보처리 상황이라는 관점에서 언어적 정보의 속성에 따른 시각적 인지와 청각적 인지 과정과 그 관계성을 밝히는 연구는 충분히 이루어지지 않았기 때문이다[5]. 이러한 연구를 통해 영상 콘텐츠 소비가 증가하는 현대사회에서 보다 효과적인 정보 전달과 미디어 커뮤니케이션이 특성을 이해하는 것이 가능해질 것이다.

Ⅱ. 본 론

2-1 자막이 결합된 영상 콘텐츠의 다중감각적 특성

영상 콘텐츠가 전달하는 정보의 속성과 표현 방식에 따라 시각 정보는 표 1과 같이 일종의 그림(동영상, 정지사진, 그림)과 문자(자막)로 구분할 수 있고, 청각 정보는 음성(대사, 내레이션)과 음향 효과(효과음, 배경음)로 구별할 수 있다[6]. 이 가운데 문자와 음성은 동일한 언어적 정보이지만 시각과 청각이라는 서로 다른 감각을 통해 처리된다.

Table 1.

Type of Information and Communication Modality [6]

영상 콘텐츠가 표현하려는 언어적 메시지가 화면에서 자막을 통해 문자의 형태로 제공된다면 시각적이지만, 음성을 통해 대사의 형태로 전달된다면 청각적이기 때문이다. 즉 자막은 청각을 통해 전달되는 음성과 같은 언어적 정보이지만 동시에 그림 또는 이미지 정보와 마찬가지로 시각을 통해 전달된다는 점에서 독특한 커뮤니케이션 양상을 보인다[6].

풍부한 정보로 메시지를 전달하는 커뮤니케이션 채널의 특성을 다루는 Daft & Lengel의 미디어 풍부성 이론(Media richness theory, MRT)에 따르면 커뮤니케이션 전달 양상이 많아지면 정보 단서가 많아지고 커뮤니케이션 채널 능력이 증가하기 때문에 커뮤니케이션 효과가 높아진다[7],[8]. 그러나 정보처리과정과 커뮤니케이션에서의 제한용량 이론(Limited capacity model of mediated message processing, LC4MP)과 인지부하 이론(Cognitive load theory, CLT) 등에서는 멀티미디어의 등장으로 전달 양상의 조합이 다양해졌기 때문에 오히려 너무 많은 정보의 동시적 전달은 비효과적이라고 본다[9]-[11]. 실제로 영상 콘텐츠에서 자막(subtitle)은 시각과 청각의 언어적 정보를 중복해서 제시하는 요소로서 빈번하게 사용된다. 특히 예능 프로그램의 자막은 영상 콘텐츠의 재미 요소를 극대화하기 위한 목적으로 출연자의 음성 언어(vocal)가 제작진의 의도에 따라 선별되고 재해석되기도 한다[12](그림 1 참조). 이혜연 등의 연구[13]에 의하면 한국 버라이어티 프로그램에는 60분 분량의 영상 속에 자막이 총 1,617개, 분당 평균 26.95개의 자막이 등장한다. 정보의 전달 양상이 다양할 뿐만 아니라 양적 비중 또한 높은 것이다. 이러한 영상 콘텐츠 시청 상황에서 시청자들은 인지적 과부하(cognitive overload) 상황에 놓이게 될 가능성이 높다.

Fig. 1.

Example of subtitles that contain the interpretation of the director rather than the dialogue of the program performers (source: MBC ‘Hangout with Yoo’)

정보처리과정에서 시각정보와 청각정보가 동시에 제시될 때, 두 정보가 모두 지각되기 보다는 시각정보가 더 우세하게 지각되는 현상을 시각 우세성 효과(visual dominance effect)라고 한다[15]-[16]. 시청각 정보가 동시에 제공되는 영상 콘텐츠에서 실시간으로 많은 정보가 제시된다면 사람들은 빠르게 정보를 처리하기 위해 시각적인 정보에 더 주의를 갖게 될 가능성이 높다. 그리고 이러한 우선적인 정보처리 때문에 동시에 처리해야하는 청각정보에 대한 이해도가 저하될 것이라고 가정할 수 있다.

따라서 정보의 속성과 전달 양상의 조합이 다양한 영상 콘텐츠 시청 상황에서 시각 우세성 효과가 어떻게 작용하는지 살펴볼 필요가 있다.

즉 본 연구에서는 시청각 정보의 인지적 과부하 환경에서 시각정보 의존성에 따라 청각정보에 대한 이해가 감소하는지, 또한 정보 전달 양상의 중복이나 조합의 차이가 어떠한 영향을 미치는지 살펴보고자 한다. 영상 콘텐츠에서 시청각 정보의 인지부하 상황을 발생시키는 요인은 여러 가지가 있을 수 있다. 그 중에서도 제작자의 의도가 가미되어 편집을 통해 개입할 수 있는 요소는 과도한 장면 전환이나 효과음, 배경 음악, 자막의 사용 등이 있을 것이다. 본 연구에서는 그 중에서도 자막이라는 요소에 주목해서 살펴보고자 한다.

Ⅲ. 평가실험: 자막과 음성의 언어적 정보 일치성 조건에 따른 영상 콘텐츠 시청경험 평가

3-2 평가방법 및 절차

평가실험을 위한 실험설계는 청각적 언어정보(음성)와 시각적 언어정보(자막) 제시 유형을 조합해 출연자의 음성과 자막 내용이 일치하는 정보일치 조건(congruent subtitle), 출연자의 음성과 자막 내용이 일치하지 않는 정보불일치 조건(incongruent subtitle), 효과 차이의 기저선(baseline) 역할을 위한 자막 미제시 조건(no subtitle) 등 세 가지 조건으로 구성된 자막 정보 특성을 독립변인으로 선정하였다(그림 2).

Fig. 2.

Screenshots of video content(source: Netflix ‘Busted!’) used in the evaluation; No subtitle condition(top), Congruent subtitle condition(middle), Incongruent subtitle condition(bottom)

그리고 독립변인의 세 가지 조건들에 따른 시각 우세성 효과의 영향을 확인하기 위해 영상 콘텐츠가 포함한 청각적 언어정보(음성) 내용들에 대한 이해도, 그리고 콘텐츠 시청경험의 만족도 평가요소로서 시청 몰입도 및 재미 점수 등을 종속변인으로 평가하여 통계적 비교 분석을 수행하였다. 김기만 외[18]에 의하면 제한용량모델에 기반한 정보처리 세부 과정의 효율성은 기억의 민감성을 통해 측정할 수 있다. 또한 정보입력의 효율성은 재인(recognition)으로, 정보저장은 단서회상(cued recall)으로, 저장된 정보의 인출은 자유회상(free recall)으로 측정된다. 여기서 재인은 제시된 정보가 기억에 존재하는지를 확인하는 것으로 주로 객관식 문항으로 측정된다. 반면 회상은 제시된 정보를 인출하여 재구성하는 과정이다. 단서회상은 저장된 정보에 대한 단서가 주어졌을 때 인출하는 것이며, 자유회상은 아무런 단서 없이 저장된 정보를 인출하는 것으로 이 두 가지는 주관식 문항으로 측정될 수 있다.

이에 근거하여 참가자들에게 각 조건별 영상 콘텐츠를 시청하게 한 후 참가자들의 인지적 이해 정도와 시청 몰입도, 재미 점수를 측정하였다. 표 2과 같이 기술형 질문(description)은 자유회상 유형으로, 응답 시간을 3분 이내로 제한하고 주어진 시간을 모두 사용해서 시청한 영상 콘텐츠의 출연자 음성 정보 내용을 자유롭게 기억하여 응답하도록 안내하였다.

Table 2.

Evaluation question items and response type

영상 콘텐츠에 대한 시청 몰입도와 재미 점수는 5점 척도로 평가하였다(표 2).

평가실험에 사용된 영상 콘텐츠를 살펴보면, 자막이 없는 예능 영상 3개(넷플릭스 ‘범인은 바로너!’, tvN ‘신서유기2’, VLIVE ‘슈주 리턴즈’)를 선정하여 세 가지 자막 정보 제시 유형을 적용한 총 9개의 영상물을 제작하였다.

Table 3.

Assignment of experimental conditions by video viewing group

본 연구에서 예능 영상 3개를 선정한 이유는 동일한 영상 콘텐츠를 한 참가자에게 반복 시청하며 평가 측정할 경우 영상 콘텐츠에 대해 처음 시청 시 이미 내용을 이해하게 되는 학습효과의 문제가 발생하기 때문이다. 따라서 각 조건별로 다른 동영상을 제시하고 조건별로 제시된 동영상의 차이는 참가자별로 조건과 영상의 짝(pair)을 달리하는 방식, 즉 라틴스퀘어(Latin Square) 설계 방식으로 진행하여 해결하였다.

평가실험에 사용된 예능 영상 3개는 음성 정보의 양이 서로 비슷하도록 출연자의 대사를 기준으로 공백 제외 560~630자 내외의 장면을 선정하였고, 각각 재생 시간이 2분이 되도록 편집하였다. 자막이 제시되는 정보일치 조건과 정보불일치 조건에서는 음성 대사와 시각 자막의 비율을 2대 1로 설정해 자막 정보의 양을 음성 대사의 절반 수준으로 유지했다. 또한 자막 제시 시간 차이에 따른 기억 효과를 최대한 배제하고자 정보일치 자막의 제시 시간은 음성 발화 시간과 동일하게 맞추고 불일치 자막은 평균적으로 약 2-3초의 시간을 유지하였다. 또한 영상 콘텐츠 내의 자막 효과에 대한 기존 연구[19]에 의하면 영상 자막의 크기와 기법, 자막 제시 시간, 제시되는 영상 화면의 크기 등이 시청자의 인지적 효과에 유의미한 영향을 미친다. 이에 본 연구에서도 평가실험 자극의 자막을 다양한 기법으로 표현하지 않고 한 가지 방식으로 일관되게 제시하기 위해 글씨 크기는 20포인트, 색상은 흰색에 노란색 테두리가 있는 나눔고딕체를 사용해 영상 중앙 하단에 배치하였다(그림 2).

영상 콘텐츠 시청 환경에 따른 변수를 통제하기 위해 모든 참가자가 동일한 공간에서 동일한 음량으로 영상을 시청하였으며 시청 후 세 가지 평가문항에 응답하는 방식으로 평가실험을 진행하였다. 참가자들은 1개의 실험 자극 영상을 시청한 후 1개씩 평가지를 작성하는 방식으로 총 3회에 걸쳐 세 가지 영상 콘텐츠를 시청하고 평가에 참여하였다.

Ⅳ. 실험결과 및 분석

영상 콘텐츠에 대한 인지적 이해도를 측정하고자 했던 기술형 응답을 수치화하기 위해 참가자들이 작성한 자유회상 내용과 영상 콘텐츠의 스크립트가 의미적으로 일치하는지 분석하였다. 스크립트를 기준으로 비교한 이유는 청각적 언어정보에 대한 이해도, 즉 청각적 언어정보 내용 기억률이 독립변인의 조건들에 따라 유의미한 차이를 보이는지 파악하고자 했기 때문이다. 분석 시 참가자들이 작성한 문장이 출연자의 대사와 일치하거나, 또는 완전히 일치하지 않아도 사용한 단어나 표현이 의미적으로 같다고 여겨지면 일치하는 것으로 보았다. 그러나 영상 콘텐츠 속 상황을 참가자가 주관적으로 해석해 기술했거나 핵심적인 키워드가 없는 경우 불일치로 판단하였다. 또한 영상 콘텐츠의 상황을 전반적으로 기술해 출연자의 대사와 연결하기 어려운 경우 불일치로 보았다. 만약 참가자가 작성한 문장 중에 출연자가 여러 번 반복해서 말한 내용이 있다면 가장 유사한 대사 1개만 일치하는 것으로 간주하였다. 이를 바탕으로 스크립트의 전체 글자 수 대비 참가자가 작성한 응답과 일치하는 스크립트의 글자 수를 비교해 비율로 환산하고 이것을 참가자의 음성 정보 내용 기억률, 즉 음성 정보 이해도로 판단하였다. 음성 정보 내용 기억률과 시청 몰입도 및 재미 등 세 가지 종속변인 측정 결과에 대한 통계적 분석은 자막 정보 일치성 조건(미제시 조건, 정보일치 조건, 정보불일치 조건)을 독립변인으로 하는 일요인 반복측정 변량분석(one-way repeated measures ANOVA)으로 진행했다.

통계적 분석 결과를 살펴보면, 영상 콘텐츠가 포함하는 청각적 언어정보(음성)와 시각적 언어정보(자막)의 정보 일치성 조건에 따라 음성 내용 이해도, 즉 내용 이해를 통한 자유회상 기억률에서 통계적 차이가 유의미하게 나타났다(F(2,56)=3.886, p=.026)(그림 3). 이에 대한 본페로니 수정(Bonferroni correction) 절차를 통한 사후분석(Post-hoc analysis)에 따르면, 이러한 차이는 정보일치 조건(M=10.10)과 정보불일치 조건(M=6.79) 사이의 통계적 차이에서 비롯된 결과이다(Bonferroni correction; t=2.638, p=.032).

Fig. 3.

The statistically analyzed results of the free recall rate for video content’s verbal information according to the information congruency conditions(No subtitle, Congruent subtitle, Incongruent subtitle)

Fig. 4.

The statistically analyzed results of the immersive feeling score for video content’s verbal information according to the information congruency conditions(No subtitle, Congruent subtitle, Incongruent subtitle)

Fig. 5.

The statistically analyzed results of the fun feeling score for video content’s verbal information according to the information congruency conditions(No subtitle, Congruent subtitle, Incongruent subtitle)

즉 청각적 언어정보와 시각적 언어정보가 동시에 제공되는 영상 콘텐츠에서 청각과 시각 정보가 불일치하면 청각 언어정보에 대한 이해가 저하된다는 것을 알 수 있다. 이는 시각적 언어 정보인 자막의 정보 속성에 따라 청각적 언어 정보의 주의 감소나 인지적 정보처리과정에 영향을 미친다고 해석할 수 있다.

한편 평가실험 종료 후 참가자들의 반응 가운데 영상 콘텐츠에 자막이 있으므로 내용을 이해하기가 수월했다는 의견을 여러 참가자들이 제시하였던 것에 비해 자막 미제시 조건(M=7.47)과 정보일치 조건(M=10.10) 사이에는 유의미한 통계적 차이는 보이지 않았다(Bonferroni correction; t=2.101, p=.121).

이는 참가자들의 주관적으로 느낀 자막의 영상 콘텐츠 이해도 개선 효과가 객관적인 지표인 내용 기억률에서는 충분하게 나타나지 않은 것이지만, 자막의 내용 이해도 효과가 전혀 없다고 해석하기에는 무리가 있다. 오히려 정보일치 조건과의 차이가 유의미한 수준까지 나타나지 않았으나, 그 경향성은 통계적 결과나 결과 그래프 등을 통해 유추가 가능하다.

한편 영상 콘텐츠가 포함하는 청각적 언어정보와 시각적 언어정보의 일치성 조건에 따른 몰입도 점수와 재미 점수의 차이는 통계적으로 유의미하게 나타나지 않았다(몰입도 점수: F(2,56)=0.641, p>.05; 재미 점수: F(2,56)=0.437, p>.05). 영상 콘텐츠의 자막이 포함 여부와 포함된 자막의 청각 및 시각적 언어정보의 일치성 여부가 시청경험의 만족도에 영향을 미치는 요소인 시청 몰입도와 재미에 대한 평가에는 유의미한 수준의 영향을 주지 않은 것으로 해석된다.

결과적으로 청각적 언어정보(음성)와 시각적 언어정보(자막)의 정보가 일치하지 못하면 영상 콘텐츠의 내용 기억율이 저하된다는 것이 확인되었으므로, 본 연구에서 수행한 평가실험의 결과를 통해 핵심 연구문제에 대한 전반적인 설명이 가능한 것으로 판단된다. 즉 자막을 통한 영상 콘텐츠 내용에 대한 개입이나 연출의 효과와는 별개로 인지적 정보처리 측면에서 영상 콘텐츠가 제공하는 감각양상별 언어정보의 차이가 내용 이해를 저하시킬 수 있음을 실증적으로 확인한 것이다. 또한 이러한 배경에는 영상 콘텐츠가 포함하는 시청각적 정보제시 가운데 시각 우세성에 따른 효과가 영향을 미친 것으로 해석할 수 있다. 다만, 몰입도 및 재미 점수와 같은 주관적 시청경험 평가요소에서는 조건간에 통계적 차이가 크지 않았는데, 이러한 부분은 영상 콘텐츠에 대한 참가자들의 평가 점수에 있어 개인적 취향이나 선호 등의 편차가 영향을 미쳤을 가능성이 있고, 또한 평가실험 참가자들이 독립변인의 각 조건에 따른 차이를 명시적으로 알지 못하는 상황에서 평가실험에 참여하였으므로 나타난 결과로도 이해될 수 있다.

Ⅴ. 결 론

영상 콘텐츠에서 자막의 역할이 확대되면서 효과적인 미디어 커뮤니케이션을 위해 자막의 정보전달 특성과 인지적 특성을 이해하는 것이 중요해졌다. 자막은 언어적인 속성을 가지고 있으나 청각이 아닌 시각적으로 처리되는 정보로서 영상 콘텐츠 내에서 청각 또는 시각적 정보와 언어적 의미가 중복되거나 기존 정보와 관계없는 개별적인 정보로 제시되는 등 커뮤니케이션 전달 양상이 다양하고 복잡하다. 이러한 자막이 결합된 영상 콘텐츠에서 시청자들은 보통은 귀로 듣는 언어(음성) 정보를 눈(자막)으로 읽는 다중감각적 커뮤니케이션(multisensory communication)을 경험하게 된다. 시각 정보와 청각 정보가 동시에 제공될 때 시각 정보가 우세하게 지각되는 현상을 시각 우세성 효과라고 한다. 따라서 자막이 결합된 영상 콘텐츠 시청 상황에서 다중감각적 특성을 지닌 자막에도 이러한 시각 우세성 효과로 인지적 이해도가 영향 받는지, 시청경험의 만족도 요소인 몰입과 재미 등에도 영향을 미치는지에 대해 실증적 평가실험을 수행하였다.

평가실험의 독립변인은 자막의 정보 일치성을 조건으로 출연자의 음성과 자막 내용이 일치하는 정보일치 조건, 출연자의 음성과 자막 내용이 일치하지 않는 정보불일치 조건, 그리고 기저선 역할을 위해 자막이 제시되지 않는 미제시 조건 등으로 조건화하였다. 그리고 평가대상으로 자막이 포함되지 않은 예능 프로그램의 영상 3개를 선정하여 세 가지 조건들을 반복측정하기 위하여 총 9개의 영상물을 평가실험의 자극으로 제작하였다. 참가자들은 이렇게 제작한 영상 콘텐츠를 시청한 후 평가지를 통해 조건별 영상 콘텐츠에 대한 음성 정보 이해도, 몰입도, 재미 정도에 유의미한 차이를 보이는지 측정 및 통계적 분석을 진행하였다.

평가실험의 분석 결과는 영상 콘텐츠의 청각적 언어정보(음성)와 시각적 언어정보(자막)가 내용적으로 일치하는 조건에서 불일치하는 조건보다 음성 정보에 대한 이해도가 높게 나타났다. 달리 말하면, 불일치 조건에서는 음성과 다른 내용의 자막이 시각 우세성 효과에 따라 음성정보에 대한 시청자의 정보처리를 제한한 것이다. 이는 영상 콘텐츠의 시각적 언어정보인 자막의 정보 속성에 따라 음성 정보 이해도에 영향을 미치는 것을 알 수 있는 결과로서 눈으로 읽는 언어정보인 자막이 귀로 듣는 언어정보인 음성의 이해도에 영향을 미칠 것이라는 연구 가설을 뒷받침하는 결과이다. 청각적 언어정보인 음성 정보가 통제된 평가실험 조건에서 시각적 언어정보인 자막의 정보 속성에 따라 음성 정보 이해도에 차이가 나타난 것은 시청자의 음성 정보 이해에 시각 정보가 우세하게 영향을 미치는 것으로 해석할 수 있다. 반면 영상 콘텐츠가 포함하는 청각적 언어정보와 시각적 언어 정보의 일치성 조건에 따른 몰입도와 재미 점수의 변화는 통계적으로 유의미한 차이를 보이지 않았다. 음성과 자막의 정보 일치 조건의 차이가 영상 콘텐츠에 대한 시청자의 시청경험의 만족도 요소에는 유의미한 영향을 주지 않는 것으로 보인다.

영상 콘텐츠에서 언어 정보가 시각과 청각이라는 두 가지 감각 기관을 통해 제공될 때, 청각 정보 이해도에 시각 정보가 우세한 영향을 미친다는 본 연구 결과를 고려하여 영상 콘텐츠 제작 시 자막을 활용해 시청자의 청각적 주의를 높이거나 감소시키는 등 제작자의 의도에 맞춰 청각 정보를 선택적으로 소비하게 할 수 있을 것이다. 추후 영상 콘텐츠의 다중감각적 속성으로 인한 인지적 특성에 대한 세부적인 연구들이 뒤따른다면 이러한 영상 콘텐츠 시청 상황에서 이루어지는 청각 정보와 시각 정보의 인지적 특성이 영상 콘텐츠가 아닌 다른 다중감각 상황에도 적용될 수 있는지 살펴볼 필요도 있을 것이다. 또한 시각과 청각을 통한 다중감각 정보의 인지적 중복 상황에 반복해서 노출될 경우 청각 정보를 시각적으로 인지하는 것에 익숙해지면 언어적 정보에 대한 청각적 주의 처리는 감소할 가능성이 있을지에 대한 연구로 그 범위와 내용을 확장할 수 있을 것이다.

Acknowledgments

본 연구는 2021년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임(NRF-2020S1A5A2A03045921).

References

• J. W. Kim, “A Study on Visual Configuration and Expression Style of Caption for Entertainment Program -focusing on MBC-,” Bulletin of Korean Society of Basic Design & Art, Vol. 14, No. 2, pp. 101-111, April 2013.
• O. T. Kim and K. S. Hong, “Effects of TV Visual Character on Attention, Emotion, and Memory: A Comparison of Entertainment and Information Program,” Korean Journal of Journalism & Communication Studies, Vol. 56, No. 3, pp. 5-27, June 2012.
• B. S. Kim, Y. K. Min, and L. Fan, “Interactions of spatial, visual, auditory information in multiple information presentation: Implications for display and control design,” The Korean Journal of Experimental Psychology, Vol. 20, No. 2, pp. 95-107, June 2008. [https://doi.org/10.22172/cogbio.2008.20.2.004]
• Y. Hwang, and D. Shin, “Visual cues enhance user perception in virtual environments,” Social Behavior and Personality, Vol. 46, No. 1, pp. 11-24. January 2018. [https://doi.org/10.2224/sbp.6500]
• C. Koppen, A. Alsius, and C. Spence, “Semantic congruency and the Colavita visual dominance effect,” Experimental Brain Research, Vol. 184, pp. 533-546, February 2008. [https://doi.org/10.1007/s00221-007-1120-z]
• S. S. Joe, “A Study of Visual Modality Effects in Broadcasting Text as Verbal Information: Focusing on Cognitive Effects of Learning in Case of <Knowledge Channel e>,” Korean Journal of Journalism & Communication Studies, Vol. 56, No. 6, pp. 310-333, December 2012.
• R. L. Daft and R. H. Lengel, “Organizational Information Requirements, Media Richness and Structural Design,” Management Science, Vol. 32, No. 5, pp. 554-571, May 1986. [https://doi.org/10.1287/mnsc.32.5.554]
• R. L. Daft, R. H. Lengel, and L. K. Trevino, “Message Equivocality, Media Selection, and Manager Performance: Implications for Information Systems,” MIS Quarterly, Vol. 11, No. 3, pp. 355-366, September 1987. [https://doi.org/10.2307/248682]
• A. Lang, “The Limited Capacity Model of Mediated Message Processing,” Journal of Communication, Vol. 50, No. 1, pp. 46–70, March 2000. [https://doi.org/10.1111/j.1460-2466.2000.tb02833.x]
• J. Sweller, “Cognitive Load during Problem Solving: Effect on Learning,” Cognitive Science, Vol. 12, No. 2, pp. 257-285, April 1988. [https://doi.org/10.1207/s15516709cog1202_4]
• D. Shin, “The perception of humanness in conversational journalism: An algorithmic information-processing perspective,” New Media & Society, pp. 1-25. March 2021. [https://doi.org/10.1177/1461444821993801]
• S. Y. Jung, “A Study on the Feature and the Function of TV Visual Character: Focusing on the Real Variety Shows,” Korean Journal of Journalism & Communication Studies, Vol. 53, No. 6, pp. 153-176, December 2009.
• H. Y. Lee, J. E. Kim, and H. W. Kim, “An Effect of Subtitle on User's TV Show Interpretation - Focused on TV Variety Shows of Korea, USA and Japan,” Korean Society of Design Science Conference Proceeding, Seoul, pp. 168-169, May 2009.
• M. I. Posner, M. J. Nissen, and R. M. Klein, “Visual dominance: An information-processing account of its origins and significance,” Psychological Review, Vol. 83, No. 2, pp. 157-171, March 1976. [https://doi.org/10.1037/0033-295X.83.2.157]
• S. Sinnett, C. Spence, and S. Soto-Faraco, “Visual Dominance and Attention: The Colavita effect revisited,” Perception and Psychophysics, Vol. 69, pp. 673-686, July 2007. [https://doi.org/10.3758/BF03193770]
• B. S. Kim and Y. K. Min, “The Changes of the Visual Dominance Effect due to Semantic Congruence of Visual and Auditory Information,” Korean Journal of Cognitive Science, Vol. 20, No. 2, pp. 109-124, June 2009. [https://doi.org/10.19066/cogsci.2009.20.2.001]
• S. Y. Kim, “A Study on the Language Usage Aspect in TV Entertainment Program,” Korean Semantics, Vol. 41, pp. 51-77, August 2013.
• K. M. Kim, S. J. Baek, H. M. Lee, and D.-H. Chung, “Effects of Visual Character Portal Site Advertising on Attention, Memory, Evaluation, and Intention,” Korean Journal of Broadcasting and Telecommunication Studies, Vol. 27, No. 6, pp. 37-74, November 2013.
• K. S. Lee and N. M. Moon, “Analysis of Perception on TV Caption and Graphics,” Proceedings of The Korean Society Of Broad Engineers Conference, Seoul, pp.77-80, November 2008.