Korea Digital Contents Society
[ Article ]
Journal of Digital Contents Society - Vol. 22, No. 11, pp.1815-1823
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 30 Nov 2021
Received 23 Aug 2021 Revised 22 Sep 2021 Accepted 05 Sep 2021
DOI: https://doi.org/10.9728/dcs.2021.22.11.1815

AI 기반 실감형 인터랙티브 콘텐츠, <영원한 증언>:일본군 위안부 피해자 증언의 인터랙티브 콘텐츠 제작을 통해 본 ‘증언의 현재성(The present of testimony)’ 고찰

김상용
서강대학교 아트앤드테크놀로지학과 조교수
AI Based Realistic Interactive Content, <Eternal Testimony>:A Study of ‘The present of testimony’ through the production of interactive documentary film of the testimonies of Japanese military sexual slavery victims
Sangyong Kim
Assistant Professor, Department of Art&Technology, Sogang University, Seoul, Korea

Correspondence to: *Sangyong Kim Tel: +82-2-705-7933 E-mail: sacerdos@sogang.ac.kr

Copyright ⓒ 2021 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

본 연구의 목적은 ‘증언의 현재성(the present of Testimony)’을 실감형 인터랙티브 콘텐츠를 통해 참여자들에게 실제적인 경험이 가능한지를 실험하려는 데에 있다. 이를 위해 본 연구의 방법은 증언자들의 증언 내용을 실감형 콘텐츠로 제작하는 데에 있고, 그 범위는 일본군 위안부 피해자 여성, 이용수 할머니와 이옥선 할머니의 일본군 위안부 생활의 인권침해에 관한 역사적 사실을 디지털 아카이빙하는 데 있다. 연구의 결과는 참여자들이 증언자들의 증언 내용을 실감형 콘텐츠를 통해 ‘증언의 현재성’을 체험하기에 충분할 만큼 의의가 있었다. 향후, 남은 연구의 과제는 한국 현대사에서 역사적인 여러 증언 내용이 본 연구의 주요한 목적인 ‘증언의 현재성’을 매개로 더욱 의미 있는 기록학적 사료가 될 수 있도록 보다 폭넓은 상호작용적 매체 간 융합이 요구된다고 할 수 있겠다.

Abstract

The purpose of this study is to test whether a practical experience is possible for the participants through realistic interactive content for ‘the present of Testimony’. To this end, the method of this study is to produce the testimonies of the witnesses into realistic content. Furthermore, its scope is to digitally archive historical facts about the human rights violations of Japanese military sexual slavery victims, Lee Yong-soo, and Lee Ok-sun's life as comfort women. The results of the study were meaningful enough for the participants to experience the ‘the present of testimony’ through realistic contents of the testimonies of the witnesses. In the future, the remaining research task is that a wider range of interactive media convergence is required so that various historical testimonies in Korean modern history can become more meaningful archivological material through the main purpose of this study, ‘the present of testimony’.

Keywords:

Digital Archiving, XR, Testimony, Interactive Documentary, Convergence, AI, Japanese military comfort women

키워드:

디지털 아카이빙, 엑스알, 증언, 인터랙티브 다큐멘터리, 융합, 에이아이, 일본군 위안부

Ⅰ. 서 론

1-1 연구 개요

‘증언(Testimony)’의 목적은 일어난 일들에 관한 사실을 진실하게 발화하는 것으로 진실에 접근하고자 하는 인간 행위의 가장 근원적인 내적 고백이라고 할 수 있다. [1] 특별히 첨예한 진실 공방이 이뤄지고 있는 역사적 논쟁의 지점에 있어서 이 증언의 의미란 그 자체로 매우 중요하다고 할 수 있겠다. 최근 한, 일간의 역사적 사실에 대한 공방은 날로 그 거리감을 더 요원하게 넓혀가고 있고, 이 중심에는 일본의 역사 왜곡의 노골적인 시도 자체가 자리하고 있다.[2]

이러한 와중에, 현재 국내에 현존하는 일본군 위안부 피해자 여성의 살아있는 증언 자체는 그 내용으로 이미 역사적이며 또 사실에 접근하고자 하는 기록학(Archival Science)의 관점에서 매우 중차대하다고 할 수 있겠다. 더구나, 생존 피해 여성들의 고령화로 인하여 증언의 횟수와 그 내용의 전달 과정에서 사회적 환기의 빈도수마저 매우 낮아지고 있는 현실이다.

따라서 AI를 기반으로 하는 실감형 인터랙티브 콘텐츠인 이른바, ‘대화형 증언(Interactive Testimony)’의 실험적 시도는 21세기를 살아가는 젊은이들, 특별히 일본의 역사 왜곡에 심각히 영향을 받는 세계시민 사회에 선한 영향력을 미칠 연구라는 사명감으로 시작되었다.

1-2 연구의 배경 및 목적

본 연구의 배경은 생존하는 일본군 위안부 피해자의 고령화로 인하여 촉발되었다. 더는 공개적인 공간에서 자유로이 증언하기에 증언자들의 고령화로 인해 증언 자체가 불가능한 건강 상태가 되었기 때문이다. 그럴 뿐만 아니라, 전 세계적으로 만연한 COVID-19의 팬데믹 영향과 무엇보다도 점점 줄어드는 증언자들의 현저한 숫자 감소로 인한 심각한 위기감에서 시작되었다.

이미 거의 90세를 넘긴 생존 증언자들의 증언 내용 자체를 아카이빙 해야 하는 긴박감이 연구의 시발점이었다. 동시에, 증언자들의 증언 내용을 마치 법정에서 ‘현재성’을 지닌 내용으로 재구성해 내면서 ‘증언의 사실성’을 더욱 높이고 싶었고 아울러 생존하는 피해자 숫자의 극감으로 인해 당연히 대두되는 그들의 생존 시간의 제약이라는 절대적 장벽 앞에서 첨단 기술이 보유한 AI 기반의 디지털 아카이빙은 이러한 기존의 문제들과 한계들을 단숨에 극복할 수 있게 하는 새로운 매체와 ‘증언’과의 결합이라고 할 수 있다. 따라서, 본 연구는 다음의 세 가지 목적을 가지고 진행되었다.

첫째, 앞서 언급한 ‘일본군 위안부 피해자들의 증언’이 AI기술을 기반으로 한 디지털 아카이빙 데이터 베이스를 거쳐 어떻게 실감형 콘텐츠로 제작될 수 있었는지에 대한 과정을 살핀다.

둘째, 이때 증언의 내용이 다큐멘테이션 되는 과정에서 기존의 전통적 다큐멘타리와 인터랙티브 다큐멘터리의 차이를 살피려 한다.

마지막으로 ‘증언’ 자체의 목적이랄 수 있는 ‘사실성’과 ‘현재성’이 어떻게 실감형 인터랙티브 콘텐츠에 의해 더 효과적으로 구현될 수 있는지를 실험하려 한다. 이는 역사적 사건에 대한 뚜렷한 진실성을 전인적인 기억을 통해 다시 소환하여 진실에 접근하고자 시도하는 일련의 인간학적 행위를 증언이라고 정의하는 이유에서이다. [3]

1-3 연구의 방법 및 내용

인간이 증언에 임할 때, 어느 특정한 사건에 대한 인간의 기억은 단순히 증언되는 구술내용(storytelling)에만 국한되는 것이 아니라, 그 증언자의 표정, 미세한 움직임 등 전인적인 증언자 내면의 이른바 ‘내적 맥락(inner context)’이 증언의 사실성을 더욱 부가시켜준다. 이러한 내적 맥락을 염두에 두고 본 연구의 방법 및 내용은 다음과 같이 요약될 수 있다.

본 연구의 시작은 고령화로 인하여 생존 증언자들의 급격한 감소로 말미암아 촉발된 현존 증언자의 부재 상황에 대한 긴박감으로부터 출발하였다. 이를 극복하고자 증언자들의 증언 내용을 인터랙티브 콘텐츠로 제작하기 위하여 6명의 연구원과 함께 대화형 시나리오팀을 꾸려 역사적 사실관계를 전문가 자문을 받으며 2개월간 작업하였다. 이를 토대로 증언자 두 명(이용수, 이옥선)에 각각 3천여 개가 넘는 질문지를 추출하였다. 이를 토대로 본 연구는 모든 증언의 디지털화 곧 디지털 촬영을 4K로 진행하여 증언자의 내적 움직임과 구술내용 모두를 마치 현장에서 바로 자신 앞에 앉아 증언하는 몰입감을 배가시킴으로써 진행하고자 시도하였다. 이를 위해 역사적 사실로 근거가 된 생존 피해자의 피해 당시의 사료들을 면밀히 조사하여 이 사료를 바탕으로 최종적으로 인터랙티브 다큐멘타리 ‘영원한 증언’의 최종 시나리오가 완성되기에 이른다. 이때, 실제 디지털 아카이빙에서 사용한 총 1,000여개의 질문들이 생존 피해자 구술 및 증언을 도출하기 위한 결정적 트리거가 되도록 심혈을 기울였다.

따라서 콘텐츠의 구현 방향은 대화형 시나리오 개발을 통해 추출된 질문들을 받은 증언자가 증언하는 내용을 디지털 아카이빙하여 유효한 답변 들을 추려내는 과정으로 시작된다고 할 수 있다. 그리고 구글 다이어로그플로어(Dialogflow)의 프로그램에 따라 자연어 처리를 거쳐 실감형 인터랙티브 콘텐츠 제작의 윤곽이 드러날 수 있었다. 아울러 수용자 반응을 조사하기 위하여 베타 테스트 위원회를 꾸려 12일 동안 서강대학교 이주연 갤러리에서 시연(2020/11/16 ~ 11/27)을 통해 참여자들의 ‘증언의 현재성(the present of testimony)’ 체험을 실험하였다.

1-4 선행연구 사례

미국 남가주 대학(USC)의 USC Institute for Technology에서는 Shoah Foundation과 협력하여 이른바, <증언의 새로운 차원(New Dimension in Testimony)>이라는 실감형 인터랙티브 콘텐츠를 제작한 바 있다. [4] 이때, 그들은 과거 제2차 세계대전 당시, 홀로코스트에서 살아남은 유대인 희생자들의 증언을 4K 촬영으로 채집하여 이때 증언 및 구술된 내용을 디지털 아카이빙 하였다. 이 내용을 AI 기술 기반으로 프로그래밍 한 결과, 인터랙티브한 실감형 증언 콘텐츠를 개발할 수 있었다.

이번 연구가 기존의 선행연구와 뚜렷한 차이를 갖는 지점은 다음 두 가지로 요약된다.

첫째, 역사적 사실관계의 논쟁이 첨예한 한-일 관계 아래에서 역사적 진실성을 획득하기 위하여 매우 구체적으로 시나리오가 구성되었다는 점을 들 수 있다. 예를 들어, 기존의 USC 선행연구 주제였던 홀로코스트에 관한 역사성 문제는 논쟁의 여지가 없는 사실성을 전 세계가 보편적으로 인정하고 콘텐츠로 만들어졌기 때문에 인터랙티브한 콘텐츠임에도 불구하고 내용 자체가 후세대를 위한 다소 주입식 교육 혹은 정보에 국한되지만, 본 연구는 일본군 위안부 동원과 관련한 이른바, ‘강제성’이라는 첨예한 역사적 논쟁의 지점에서 증언자들의 사료가치가 높은 첫 증언들이 다수 나올 수 있도록 구성되어서 참여자들에게 이 강제성 여부를 구체적으로 확인할 수 있게 하는 역사적 사료로서의 높은 가치를 들 수 있겠다.

둘째, 기존의 USC 선행연구에서는 증언자들이 2차 세계대전에 대한 구술하는 과정을 오로지 말하기(storytelling) 방식으로만 구성했지만, 본 연구 과제에서는 다양한 역사적 구술이 나올 때 옆 화면에 인포그래픽(infographics)을 띄워 다양한 역사적 사실들을 이미지, 그래프, 짧은 사료적 해설 등을 함께 연동시켜 당대의 역사에 정보가 없는 후세대에 다양한 역사적 맥락 등을 이해시킬 수 있는 차별화된 가치를 보유했다고 할 수 있다.

본 연구에서는 이를 바탕으로 일본군 위안부 피해자들의 증언을 기록하되 보다 다음 세대들, 즉 일본군 위안부 피해 사실 자체의 ‘역사적 사실’로부터 현저한 시간적 거리감을 가지고 있는 젊은 세대들을 위한 교육적 목적이 부가되어 위의 [그림1.]과 같이 연구가 진행되었다.

Fig. 1.

Digital capturing of the witness Japanese military comfort women, Ok-sun Lee(above), Yong-soo Lee(below)


Ⅱ. 본 론

2-1 연구의 핵심과제

본 연구의 핵심은 고령화되는 생존 피해 여성들의 증언이 될 수 있으면 많은 데이터로만 기록되는 데 그치지 아니하고, 이 데이터들이 인터랙티브하게 체험자에게 어떻게 작용하여 ‘증언’ 내용 자체를 사실성과 현재성으로 확장해 갈 수 있겠는가 하는 근본적인 질문에 대한 응답 과정이라고 할 수 있다.

여기서 이야기하는 ‘증언의 현재성(the present time of testimony)’은 본 연구에서 가장 중요한 요소라고 할 수 있다. 기존의 증언 방식을 매체 안에서 수용했던 장르는 전통적 다큐멘터리 필름이라고 할 수 있다. 이 기록영화 방식 안에서 증언들은 매체의 특성상 일방향적으로 전달되는 주입식 정보전달의 한계로 인해서 시간이 지나고 나면, 증언의 내용 자체가 함께 노화되어 옛 기억의 편린 정도로 곡해되곤 한다. 특별히, 한-일 관계처럼 역사적 왜곡이 노골적으로 드러나는 현 상황 하에서의 이러한 일방향적 증언의 형태는 그 한계를 뚜렷이 드러내 왔다.[5]

본 연구의 쟁점 과제 중의 하나였던 기존의 다큐멘타리 제작 방식 아래에서 증언이 기록되는 전통적인 방식과 본 논문에서 제시한 인터랙티브 다큐멘타리 제작에서 획득할 수 있는 새로운 차이점은 다음과 같다.

첫째, 대화형 인터뷰가 가능하다는 장점으로 인하여 기존의 전통적 기록방식에서 기대할 수 없었던 교감(communion)을 이뤄낼 수 있다는 근본적인 차이점이 인터랙티브 다큐멘터리 제작에서 갖는 가장 큰 차이점이라고 할 수 있을 것이다. 특히, 증언의 내용이 역사적 사건 아래에서 비롯한 매우 민감한 사안들, 즉 인권침해와 관련한 피해의 구술내용이 증언의 주요한 부분을 차지하는 내용이라면 이와 같은 청자와의 교감은 매우 필수적이라고 할 수 있겠다. 본 실험의 베타 테스트에서도 이러한 대화형 증언이 실제로 참여자에게 많은 공감을 일으키며 당대의 역사적 사실로 몰입하게 하는 데 큰 역할을 하고 있었음을 확인할 수 있었다.

둘째, 대화형 인터뷰가 가능해짐에 따라 청자가 증언자에게 궁금한 내용을 주도적으로 물어봄으로써 자연스럽게 발생하게 되는 참여자 중심의 스토리텔링이 가능해진다는 것이 특이할 점이라고 말할 수 있겠다. 특별히 한 삶의 구술사 내용을 통사적으로 접근하는 긴 인터뷰 내용을 일방향적으로 들어야 하는 기존의 방식에서 참여자가 직접 질문자(interviewer)가 되어 자신이 궁금한 사항들을 물어봄으로써 생성되는 증언의 새로운 내용이 어떤 특정한 스토리텔링을 만들어 냄으로써 참여자 맞춤형 역사 스토리텔링이 가능하다는 장점이 확인되었다.

마지막으로, 청자와 증언자 사이에 형성되는 ‘현재성(presence)’이라는 새로운 분위기 형성을 본 실험이 갖는 기존 매체의 전통적 기록방식과 매우 중요한 차이점이라고 말 할 수 있다. 실감형 콘텐츠가 가능하게 한 대화형 증언은 참여자가 증언자에게 자신의 궁금한 지점들을 실시간으로 인터뷰하듯이 물어 볼 수 있는 이 콘텐츠의 특이점을 통해 참여자는 증언자의 존재감을 현재 분위기로 전달받으면서 증언 내용 자체가 마치 자신에게 특별히 구술되는 매우 친밀한 교감을 느끼게 된다. 이로써 증언의 내용이 ‘증언의 현재성(the present time of testimony)’으로 독특한 분위기(aura)를 형성해 내게 되어 이제 역사적 증언 내용 자체에 큰 영향력을 더하게 된다. 이 영향력은 증언자의 현재 증언 내용이 매우 진실하다는 인상을 받게 참여자를 이끌었다. 따라서, 기존의 전통적 방식의 매체들과 비교할 때 인터랙티브 다큐멘타리 제작방식은 ‘증언의 현재성’으로 인해 증언 내용 자체의 고유한 진실성 획득에 더욱 기여하고 있는 것이 가장 큰 차이점이라고 말 할 수 있다.

이처럼 기술의 발달로 인터랙티브한 매체의 개발에 힘입어 AI의 기술이 접목된 첨단 실감형 인터랙티브 콘텐츠의 등장은 ‘증언의 현재성’을 더욱 부각시키면서 그 중요성을 담론의 장으로 견인해 온 것이다. 증언의 현재성(the present time of testimony)이란, 역사적 기억에 입각한 생존 피해 여성들의 진술 내용들이 마치 실시간으로 지금 ‘나’에게, 심지어 나의 질문에 긍정적 영향을 받는 대답의 형태로 되돌려지는 그들 증언과의 교감의 순간들을 말한다. 이는 단순한 인터랙티브한 효과를 넘어설 뿐만 아니라, 과거의 역사가 현재의 법정으로 소환되어 현재성의 엄중한 진실과의 조우를 가능케 하는 가히 혁신적인 증언 기록의 새로운 매체 실험이라고 해도 과언이 아닐 것이다. 이를 위하여 기존의 다큐멘터리 촬영 중 인터뷰의 내용이라고 할 수 있는 증언 내용을 채집하기 위하여 본 연구에서는 피해자 증언과 연관된 관련 사료들을 모두 취합하여 시나리오팀을 구성, 그 팀 안에서 실제 사용할 1,000개의 질문들을 도출하였고, 그 질문들을 토대로 증언의 내용들을 채집 분류하여 데이터베이스 할 수 있었다.

2-2 증언자-청자 사이의 인터랙티브 교감

‘공감(compassion)’의 라틴어 어원은 함께(com-) 고통에 이르는(passion) 감정을 의미한다. 여기에서 주목해야 할 것은 ‘함께(com-)’라는 단어인데, 이런 방향에서 인터랙티브한 매체의 특성은 바로 교감이라는 측면에서 매체를 통해 구현되는 콘텐츠의 진행에 관람자 혹은 참여자가 ‘함께’ 참여하고 있는가 하는 문제가 지금까지의 인터랙티브 콘텐츠의 제한된 영역이었다. 본 연구에서는 단순한 ‘참여(participation)’의 성격을 넘어서서 참여자가 함께 고통을 느끼고 슬퍼하는 것을 주요한 목표로 두었다. 이러한 공감적 인터랙티브 콘텐츠의 확장이 증언(Testimony)이라는 역사적 테제를 인간학적으로 수행하고 있다는 측면에서 기존의 실감형 콘텐츠와 변별력을 갖는다고 말할 수 있겠다. 왜냐하면, AI 기반의 실감형 콘텐츠로 개발된 본 연구의 핵심은 바로, 지나간 역사 안에서 자행된 폭력의 역사를 구술로 증언하는 증언자의 실재감이 참여자로 하여금 함께 고통을 체험하고 느낌으로써(com-passion) 지금까지 잘 몰랐던 역사의 영역에 실재 지금 현장에서 증언되고 있는 몰입감을 동반한 증언자의 증언 내용을 통해 본 연구의 목표 지점이라고 할 수 있는 증언자와 청자 사이의 인터랙티브한 교감을 확보하는 것이기 때문이다.

따라서 본 연구의 중점과제는 증언자와 그 증언을 듣는 청자 사이의 상호작용(interactivity) 자체라고 요약할 수 있겠다. 이 상호작용의 원활한 수행이 가능해질 때 앞서 언급한 ‘증언의 현재성’을 견인해줄 수 있을 뿐만 아니라, 이 증언의 현재성이야말로 증언 자체가 가지고 있는 이른바, 역사성과 사실성을 담보해주는 까닭이다. 증언은 인간만이 행위할 수 있는 일종의 언어의 성사(sacrament of language)이다.[1] 따라서 증언은 그 증언을 듣는 청자-증언자 사이의 상호 교감이 관건이며 이 상호 교감의 극대치가 중요한 진술을 듣는 청자로 하여금 기존의 역사적 가치관과 역사관 자체에 큰 영향을 미칠 수 있게 한다. 이때 발생 되는 증언의 현재성은 상호 교감의 가장 중요한 요소로 작동될 뿐만 아니라, 청자로 하여금 모든 과거의 역사적 산물들이 바로 ‘지금 여기에서(hic et nunc)’ 현재형으로 수행되고 있는 진실의 순간에 참여하게 해 주는 진정한 인터랙티브 콘텐츠의 순기능을 경험하게 해 준다. 이 체험은 첨단 기술과 역사 인문의 융합으로 말미암아 비로소 가능하게 된 증언 사료의 기록으로써 국내 초유의 기록학적인 실험이라고 말 할 수 있겠다. 예를들어, [그림2.]와 같이 위안부 피해자 이옥선 할머니를 디지털 아카이빙 하는 과정에서 인터뷰 과정 전반에 걸쳐 상호 교감이라는 가장 중요한 정서적 공감을 제1 실험 목표로 두었다.

Fig. 2.

Production site of digital archiving Digital archiving from Lee, Ok-Sun, the victimf Japanese military comfort woman at House of Sharing in Gyeonggi

2-3 작품의 기술적 계획 및 연구실험 제작 과정표

본 연구에서 구현한 AI 기반의 실감형 콘텐츠 제작의 계획 및 과정은 다음과 같다.

Digital Archiving Production Schedule

위[표 1.]에서 제시하는 내용에서 알 수 있듯이 대화형 시나리오 개발에는 총 31일이라는 시간이 소요되면서 관련 연구 및 분석을 마쳤으며, 이를 기반으로 특수촬영을 진행하였다. 촬영을 마친 이후, 모든 인터뷰 내용을 텍스트로 다시 데이터 베이스하는 작업을 거쳐 최종적으로 영상 편집 및 영상 데이터 베이스 작업을 완료하였다.

2-4 대화형 시나리오(Interactive Scenario)

대화형 시나리오를 구성하기에 앞서 본 연구는 1차 사료의 중요성 들을 간과해서는 아니 된다는 사실을 주지하고 있었다. 여기서 말하는 1차 사료란, 그동안 일본군 위안부 피해 여성들의 육성이 담긴 모든 구술 정리 내용, 영상 기록 및 참고문헌과 역사적 사실을 기술한 일제의 제국주의 침략 전쟁 등의 시대적 배경을 의미한다.[6] 이를 바탕으로 시나리오 제작에 들어갔는데, 대화형 시나리오란, 증언을 듣게 될 불특정 다수의 청자(the listener)를 가정하여 구성한 유효한 질문지를 말한다. [그림3.] 이때, 증언자와의 대화 유도를 위하여 친밀감을 형성할 수 있는 비교적 가벼운 대화에서 본격적인 역사적 증언의 내용에 이르기까지 단계별로 질문들을 분류하고 모두 데이터베이스화하였다. 이때 주의할 사안은 증언자의 데이터가 질문자의 질문 데이터와 매칭이 되지 않는, 이른바 비 유효 질문들(Fallback-questions)이 발생했을 당시[그림4.], 자연스럽게 이미 데이터베이스화해둔 일반적인 증언자의 발화내용으로 자동 매칭되는 방법을 구사하였다.

Fig. 3.

An example of Interactive script

Fig. 4.

An example of fallback

2-5 AI 기반 인터랙티브 콘텐츠, <영원한 증언>의 구조

기본적인 대화형 시나리오의 실제적 구현은 구글 다이어로그플로어(Dialogflow)의 체계를 따라 수행했다. 이때 이용수 할머니의 경우, 총 질문수 3338개의 질문(여기서는 반복되는 질문 및 친밀도 형성을 위한 질문 모두 포함) 가운데에서 유효한 증언 및 의도가 분명한 답변은 538개의 답변이었다. 같은 경우, 이옥선 할머니의 답변은 총 질문 3,420 가운데 유효한 의도의 답변은 548개에 달했다.

앞서 제시한 본 연구에서의 그린 스크린(Green Screen)을 활용한 크로마키 촬영 원본에서 추출한 증언자의 영상과 구글 다이어로그플로우(Dialogflow)의 대화형 AI 기술을 활용한 장치들로 새롭게 구성한 이른바, 실감형 인터랙티브 콘텐츠, <영원한 증언(Eternal Testimony)>의 기본적인 형태가 갖추어졌다. 인공지능의 자연어 처리를 통해 실제로 본 연구에서 구현을 시도한 청자(the listener)와 증언자(the witnesses) 교감의 상태를 기본적인 질문지들을 활용하여 베타 테스트를 거쳤다. [그림5.], [그림6] 실시간으로 질의와 그에 합당한 증언자들의 답변이 큰 무리 없이 작동되고 있었다.

Fig. 5.

The testimony of Lee, Ok-Sun, the victim

Fig. 6.

The testimony of Lee, Yong-Soo, the victim

2-6 최종구현

시연의 장소는 서강대학교 부설 <이주연 갤러리>에서 사전 참여자 신청을 미리 받아 실시하였다. 불특정 다수의 참여자가 거대한 모니터 앞에 서서 증언자가 등장하는 거대 모니터 앞에서 서서히 말을 걸고 인사를 나누며 친밀도를 쌓은 다음, 드디어 증언자에게 역사의 총체적 진실을 다루는 증언의 내용을 묻기 시작했고 그 질문들에 실시간으로 모니터 안의 증언자들은 자신들이 겪은 과거의 인권 유린의 참혹한 상태들에 관해 증언하였다.

베타 테스트에서 주목한 것은 질문과 증언 사이의 틈새가 발생하는 기술적인 결함에 있지 아니했다. 그것은 테크닉이라고 불릴 수 있는 문제였다. 본질적인 것은 실제 구동되는 인터랙티브 콘텐츠의 증언 내용 자체에서 청자로 하여금 지금 구술되는 역사적 증언 내용 자체에 있어서, 본 연구가 지향하는 ‘증언의 현재성(the present of testimony)’이 탐지될 수 있는가 하는 문제였다.

최종구현의 단계에서 이 증언의 현재성은 불특정 다수의 참여자에게서 충분히 발휘되었다. 특히 몰입감을 높일 수 있는 거대 모니터나 명징한 소리로 증언의 내용을 마치 옆에서 이야기하듯이 들을 수 있도록 돕는 미디어 환경은 인터랙티브 콘텐츠의 주제를 전달할 환경적 핵심 요소라는 사실을 다시금 확인시켜 주었다. 몰입감을 배가시키는 미디어 환경과 상호작용(interctivity)이 커뮤니케이션의 주요한 매커니즘인 실감형 인터랙티브 콘텐츠에서는 이렇듯 미디어 환경과 매커니즘의 결합은 필수적이다. 이처럼 미디어 환경과 상호작용의 매커니즘이 결합한 실감형 콘텐츠의 시도는 증언(testimony)이 몰입감(immersive sense)과 만날 수 있도록 조성되면서 이번 연구의 핵심 문제로 여겨질 수 있는 현재성(present moment)을 포획할 수 있는 계기가 되었다.

증언의 현재성은 본 연구에서 매우 중요한 실험의 한 부분이었다. 현존감(presence)은 증언을 수행하는 이에게나 그것을 듣는 청자의 처지에서 모두 중요한 부분이라고 말할 수 있겠다. 듣는 청자의 입장에서의 미디어 환경의 몰입감은 앞서 설명한 대로 증언자의 현존감을 느끼게 하기에 외부적 조건으로써 필요한 기본 환경(default setting)이었기에 실물 크기의 모니터 환경과 고해상도의 화질 자체는 관건이면서 동시에 필요불가결한 요소라고 할 수 있다.

동시에 내부적 조건으로서는 증언 내용을 실감형으로 인터랙티브하게 교감하면서 증언자의 증언 자체가 어떤 인격성(personality)을 청자에게 체험케 함으로써 지금 본인이 듣고 있는 증언의 사실이 미디어 환경(media environment)이라기 보다는 인격적 대화의 환경(personal relationship)과 흡사한 현실감으로 전달되는 것을 시도하는데 필요한 조건들을 의미한다. 바로 지금 본인이 듣고 있는 내용이 ‘사실(the truth)’이라는 긍정의 대화 효과까지 거두게 되는 것이다. [7]

‘증언(testimony)’의 고대 희랍어 어원은 ‘호모로게오(homologeo)’인데, ‘고백하다(confess)’ 혹은 ‘증언하다(witness)'라는 의미이다. 여기서 의미하는 인간학적인 고찰은 매우 의미심장하다고 할 수 있겠다. 왜냐하면, ‘같은 것(homou-;the same)’을 의미하는 접두사와 ‘증언하다-말하다(logeo;statement)’가 조합되어 한 단어로서 만들어진 이 말은 사실을 고백함에 있어서 ‘같은 말(the same statement)’을 계속 반복해서 사용하는 것을 의미했다. 이는 고대 그리스 문명 아래에서 행해진 법정 상황을 이해하면 쉽게 이 말이 지니는 엄중한 실체에 인간학적인 접근을 해 볼 수 있다. 법정에는 사건과 사건의 피해자와 사건을 일으킨 가해자가 있으며, 동시에 이 사건을 목격한 증언자가 있다. 이때 증언자는 사건의 피해 당사자와 ‘똑같은 말(homologeo)’을 법정 앞에서 발언함으로써 법적인 효력이 발생할 뿐만 아니라, 증언자들이 발화하는, 피해자와 똑같은 말의 효력이 지니는 ‘증언’으로 인해 객관적 진실 속으로 심판관을 견인할 수 있었다.

본 연구에서 진행한 피해 할머니들의 증언을 통해 산출된 이른바, ‘같은 말(homologeo)’이라는 의미는 피해자이면서 동시에 증언자인 그들이 ‘사건의 언어(language of the event; 피해당한 구체적 사실들)’를 가장 똑같이 말함으로써 실체라고 할 수 있는 역사적 진실성으로 역사의 심판관이라고 할 수 있는 참여자들 혹은 후세대들을 견인하고 있는 것이다. 실제로 디지털 아카이빙을 위한 증언의 채집 과정 전반을 걸쳐 증언자 할머니들은 자신들의 피해 사건으로 기억을 옮겨 갔을 때, 계속되는 반복적인 언어와 중첩되는 사건 자체의 이야기로 옮겨가려는 강한 의지가 지속적으로 반복되고 있었다. [8]

따라서 일관성 있는 말이 같은 의미로(homou-), 또 지속적으로 발화되어 말해지는(logeo) 이 인간학적인 일관된 진술은 본 연구의 핵심과제이면서 역사적 진실 앞에서 피해 여성들이 겪었던 과거의 사건들이 어떻게 현재에도 일관되게 ‘같은 의미로 말해져 오고 있는가(homologeo)’를 보여주는 매우 본질적인 인간의 행위라고 할 수 있다.

Fig. 7.

Final execution of <Eternal Testimony>

그러므로 일본군 위안부 피해 여성들의 증언이 가져오는 이 일관된 같은 말의 반복은 단순히 중언부언이나 혹은 동어 반복의 기계적 반복이 아님을 본 연구에서 살피는 것이 매우 중차대했다.

예를 들어, 같은 질문의 반복 앞에서 실감형 콘텐츠 <영원한 증언>의 인터랙티브한 답변이 설령 반복되는 똑같은 발화자의 응답이라 할지라도 본 연구의 콘텐츠 앞에서 이 진술을 듣는 청자들의 인간학적인 느낌과 감상들은 앞서 기술한 내용 그대로 ‘같은 말(homologeo)’을 일관되게 증언하는 증언자의 진심이 진실로 전달되는 순간을 맞이할 수 있게 도와주었다.

피해 여성들이 기억하는 역사적 사실 자체가 국제 사회에서 일본 정부의 흉계로 말미암아 심각하게 훼손되고 있는 작금의 국제정치의 상황[9]에서 일본군 위안부 피해 여성들의 증언이 앞서 언급한 몰입감 자체가 존재의 실재성(existential reality)을 담보해주는 실감형 콘텐츠로의 진화는 지금껏 실감형 콘텐츠가 엔터테인먼트의 영역에 국한되어 발전되어 오던 외연을 확연히 넓혀주는 계기가 될 수 있다는 가능성을 보여준 중요한 연구의 진척이라고 할 수 있다. 이는 본 실험을 통해 피해 여성들이 구술하는 증언이 존재감을 가지고 상호 교감이라는 인간학적인 필수요소라고 할 ‘공감(compassion)’의 단계로까지 확장되어 갈 수 있는 인터랙티브한 매체의 중요한 요소를 확인하였기 때문이다.


Ⅲ. 결 론

현재 동아시아 정치사회의 상황은 일본 정부가 국제 사회와 피해 당사국에 대한 진정성 있는 사과와 더불어 책임 있는 보상 문제가 절실히 요구되고 있는 시점이기도 하다. 하지만, 이와는 상당한 거리감을 지닌 일본 정부는 책임 있는 사과는커녕 오히려 역사적 사실 자체를 왜곡, 폄훼, 조작의 시도[10] 등으로 국제 사회가 요구하고 있는 화해와 희망의 밝은 전망의 미래 세대를 위한 새로운 관계 자체를 요원하게 하고 있다. [3]

이러한 사회적 맥락 속에서 디지털 문화의 첨단 기술이 사회적 통합의 과제로 어떠한 역할을 기능할 수 있는지에 대한 진지한 고민은 인문(역사), 사회과학(정치) 그리고 첨단 공학 기술이라는 AI 기술의 진정한 융합을 시대적 담론으로 떠오르게 했다. 이 융합은 앞으로 기술 문명의 지향점이 어디로 향하고 공공선이라는 공익의 가치를 어떻게 구현해야 할지를 고민하고 또 실천 방향을 모색하게 하였다. 이에 본 연구는 일본군 위안부 피해 여성의 생존자들을 통해 그들의 증언이 우선, 어떻게 기록, 보존되어야 할지를 진지하게 고민하였다. 왜냐하면, 그들 모두가 이제 90세를 넘긴 상당한 고령인 데다가 기억력의 감퇴와 대화 자체의 난점 등이 이러한 역사적 사실에 대한 기억의 증언을 매우 힘들게 바라볼 수밖에 없는 시점이 빠르게 도래하고 있었기 때문이다.

따라서 본 연구는 우선 증언의 기록이 시급하였고 이어서 이 증언이 현대 기술이 가진 유익함과 연결되어 어떻게 발전할 수 있을지를 연구하였다. 그 결과, 앞선 연구 목표에서 제시하였던 세 가지 목적들을 다음과 같이 달성할 수 있었다.

첫째, 어떻게 실감형 콘텐츠로 제작될 수 있었는지에 대한 과정에 대한 앞선 기술에서 볼 수 있었듯이 대화형 시나리오를 개발하여 이용수 할머니와 이옥선 할머니에게 해당하는 질문 수 총 6,758개의 질문을 역사적 사료를 바탕으로 제작하였다. 이를 바탕으로 디지털 아카이빙 작업을 통해 유효한 답변 총 1,086개로 추출하여 구글 다이어로그플로어(Dialogflow)의 체계를 따라 수행하면서 궁극적으로 실감형 인터랙티브 콘텐츠 제작에 임할 수 있었다.

둘째, 기존의 다큐멘타리 제작방식과 인터랙티브 다큐멘터리 제작의 현저한 차이는 다음과 같았다. 실감형 인터랙티브 다큐멘타리는 대화가 가능한 인터뷰가 진행됨으로써 교감을 형성할 수 있다는 차이와 참여자 주도의 스토리텔링이 가능하다는 매체의 특성 및 청자와 증언자 사이의 ‘현재성’이라는 새로운 분위기(aura)가 형성되는 특이점을 도출해 낼 수 있었다는 것이다.

마지막으로 ‘증언의 현재성(the present of testimony)’이 인간학적으로 독특하고 고유한 진실성을 내포 할 수 있다는 점에 착안하여 어떻게 청자(후속 세대)들이 증언자의 증언 내용을 현재 진행형으로 들을 수 있겠는지를 고민하였다. 무엇보다도 본 연구자는 이번 실험을 통하여 우리 근 현대사의 소중한 역사적 사료를 이른바, 21세기형 기록방식인 디지털 아카이빙을 통해 매우 귀중한 증언 사료를 채집하였을 뿐만 아니라, 인문과 공학이 만나는 진정한 의미의 융합을 통하여 ‘증언(testimony)’의 인간학적인 측면을 실감형 콘텐츠로 구현하였다는 데에 큰 의의가 있다고 할 수 있겠다.

여기서 의미하는 인간학적인 측면이란 증언자들이 같은 말을 계속 반복하는 행위는 그 일을 기억하는 증언자의 일관성을 담보해 줄 뿐만 아니라, 아울러 같은 말이 갖는 비중은 그 언어의 심층부에 있는 이른바, ‘사건(event-인권피해)’이 그들 증언자의 기억에 아로새겨놓은 상처의 흔적으로써 고스란히 언어로 상징화시켜 진실을 봉인하였을 것이란 의미이다. 따라서 그 진실의 언어가 바로 ‘증언(testimony)’의 그리스어 어원인 호모로게오(homologeo)로서 우리에게 인간학적으로 그 심오한 철학적 깊이를 알려 주듯이, ‘같은 말(homologeo)’의 반복이 사실은 단순한 반복이 아니라 진실의 일관성이라는 측면으로서의 변함없이 항구한 증언이라는 것을 가리키고 있다. 그 결과, 증언의 인문적인 고민, 즉 사실성 획득과 법정 진술의 현재성으로 확보될 수 있는 ‘증언의 현재성(the present of testimony)’이 인간학적으로 독특하고 고유한 진실성을 내포 할 수 있다는 점에서 어떻게 후속 세대들이 증언자의 증언 내용을 계속해서 현재 진행형으로 들을 수 있겠는지를 고민하였다.

Fig. 8.

Final presentation of <Eternal Testimony> At Lee Ju-Yeon Gallery of Sogang University 2020/11/16 ~ 11/27

이 문제의 지점은 단순히 기존의 전통적인 다큐멘터리 영화의 기록 양식에서 보여주는 일 방향적인 기록(one-way archiving)에서 쌍방향적인 기록(interactive archiving)의 가능성을 모색하는 계기가 되었다. 기존의 다큐멘터리 기록 방식은 그 시대가 지나고 나면 ’현재성(present moment)'을 상실하게 되어 증언의 방식이 기록될 경우, 현재성의 중요한 아우라를 잃어버리게 되어 사료(historical material)로서만 기능하게 되는 한계를 보여 온 것이 현실이었다.

이와 반대로, 증언의 내용을 듣는 청자가 직접 증언자들과 교감하는 실감형 인터랙티브 콘텐츠로서의 새로운 시도는 청자들이 묻는 말을 실시간으로 영상에 위치한 증언자들이 대답하고, 그 질문들이 참여자에 의하여 깊여질 때 증언의 내용 마저도 마치 바로 앞에서 구술하듯이 진행되는 과정 전체를 통해 ‘증언의 현재성(the present of testimony)’이 획득되도록 설계된 것이다.

바로 이러한 증언의 현재성이 목표하는 것은 미래 세대들이 역사적 사실에 대한 정확한 인지 교육을 통하여 ‘과거의 문제(the past matter)’가 바로 현재 '지금 여기의 문제(no and here matter)'로 자연스럽게 변환되는 인간학적인 인지 과정(anthropological cognitive process)에 어떻게 AI 기술이 대화형 증언과 만나 영향을 미칠 수 있는지를 목격하는 것이었다.

그 결과, 베타 테스트와 본 전시를 통해 얻은 결론은 AI 기술을 기반으로 한 실감형 인터랙티브 콘텐츠, <영원한 증언(Eternal Testimony)>의 청자로 참여한 20대의 청년들이 몰입감을 주는 거대한 모니터 안에 앉아 계신 일본군 위안부 피해자 할머니들과의 대화형 체험을 통해 실제로 할머니와 함께 대화하는 것 같은 사실감을 느꼈다고 증명해 주었다. 그럴 뿐만 아니라, 시간이 지나면서 질문의 깊이가 깊어 질수록 앞서 본 연구의 가장 중요한 지점이라고 할 수 있는 ‘증언의 현재성(the present of testiminy)’을 느끼고 그 현재성으로 말미암아 역사적 사실이 훨씬 더 깊이 각인 될 뿐만 아니라, 과거의 사건(the past event)이 바로 현재 지금 여기에 이어지는 지금의 문제(matter of now)로 그 심각성의 심급을 전환하게 하는[11] 효과적이고 결정적인 요소로 작용할 수 있다는 결론을 얻게 되었다.

마지막으로, AI 기반 실감형 인터랙티브 콘텐츠, <영원한 증언(Eternal Testimony)>은 증언의 현재성이 갖는 콘텐츠적인 외연 확장의 기대를 하게 하여 후속 연구의 중요한 단서가 되었다. 한국 현대사 안에서 여전히 증언의 담론들이 현재성을 겸비한 채 기록되어야 하는 사료들이 산적해 있는 까닭이다. 이러한 증언의 현재성이 갖는 기록학적인 장점들을 잘 살리고 본 연구에서 거둔 성과들을 잘 발전시켜 한국의 기록학이 어떻게 첨단 기술과 만날 수 있는지에 대한 학제 간 연구의 진정한 융합을 시도하려 한다.

Acknowledgments

본 연구는 2020년도 한국여성인권진흥원의 지원에 의하여 이루어진 연구로서, 여성가족부와 관계부처에 감사드립니다.

References

  • Giorgio Agamben, Il Sacramento del Linguaggio: Archeologia del giuramento(Homo Sacer II-3), 1st ed. Gius, Laterza, pp. 47-149, 2012.
  • Tetsuya Takahashi, Kiouku No Ethica, 1st ed. Tokyo, Japan, ch.1, pp. 12-49, 2021.
  • Jaques Derrida, Historie du mensonge, 1st ed. Paris, France, pp.7-119, 2012.
  • USC Shoah Foundation New Dimension in Testimony Project [Internet] Available: https://sfi.usc.edu/dit/interviewees
  • Nichols, Bill. Introduction to Documentary, 3rd Edition, Indiana University Press, 2017. [https://doi.org/10.2307/j.ctt2005t6j]
  • Arendt Hannah, Lying in Politics:Reflections on the Pentagon Papers, Crises of the Republics, New York, Harcourt Brace Jovanovich. 1972.
  • Arendt Hannah, TRUTH AND POLITICS, Originally published in The New Yorker, Emont Jon, The Propaganda Precursor to <The Act of Killing>, The New Yorker, October 24, 2015, February 25, 1967, Truth:Engagements Across Philosophical Traditions, edited by Medina and Wood, 2005 CIA Research Study, INDONESIA 1965-The Coup That Backfired, CIA, 1968.
  • Derrida, Jacques Without Alibi, trans. Peggy Kamuf, Stanford, CA: Stanford University Press, 2002.
  • Spivak, Gayatri Chakravorty, A Critique of Postcolonial Reason: Towarda History of the Vanishing Present, Cambridge: Harvard UP, 1999. [https://doi.org/10.2307/j.ctvjsf541]
  • Evans Gareth Obituary, Anwar Congo, the mass killer who re-enacted his crimes, BBC News November 2019
  • BBC, Vital Kamerhe: DRC president's chief of staff found guilty of corruption, 2020.6.20.

저자소개

김상용(Sangyong Kim)

1999년 : 한국예술종합학교 영상원 졸업

2005년 : 서강대학교 대학원 (미디어 예술학석사) 졸업

2009년 : 미국 Santa Clara University 대학원 (신학석사) 졸업

2012년 : 미국 뉴욕, SVA (인터랙티브 다큐멘터리 전공 석사 M.F.A.) 졸업

2012년~2015년: 덕성여자대학교 강사

2015년~현 재: 서강대학교 지식융합미디어학부 아트앤드테크놀로지 학과 교수

2020년~현 재: 서강대학교 인재센터 소장

※관심분야 : 인터랙티브 다큐멘터리(Interactive Documentary), VR/AR, 메타버스(metaverse) 등

Fig. 1.

Fig. 1.
Digital capturing of the witness Japanese military comfort women, Ok-sun Lee(above), Yong-soo Lee(below)

Fig. 2.

Fig. 2.
Production site of digital archiving Digital archiving from Lee, Ok-Sun, the victimf Japanese military comfort woman at House of Sharing in Gyeonggi

Fig. 3.

Fig. 3.
An example of Interactive script

Fig. 4.

Fig. 4.
An example of fallback

Fig. 5.

Fig. 5.
The testimony of Lee, Ok-Sun, the victim

Fig. 6.

Fig. 6.
The testimony of Lee, Yong-Soo, the victim

Fig. 7.

Fig. 7.
Final execution of <Eternal Testimony>

Fig. 8.

Fig. 8.
Final presentation of <Eternal Testimony> At Lee Ju-Yeon Gallery of Sogang University 2020/11/16 ~ 11/27

Table 1.

Digital Archiving Production Schedule

Detailed schedules Performance details Date of execution
(2020)
Interactive Scenario Development Extraction of questionnaires based on related historical sources
(A total of 1,000 questionnaires were extracted, 500 each for each witness)
-Research on relevant historical sources
(7/9 ~ 7/31)
-Questionnaire extraction process
(8/1 ~ 8/5)
-Create interactive scenarios
(8/6 ~ 8/9)
Special shooting Using the green screen(See Figure 1) 4K resolution video shooting.
Recording of all facial expressions and postures of the witnesses
-1st digital archiving production: the victim, Yong-soo Lee
(8/1~8/5; Place-Mapo-Gu Moonlight Studio)

-2nd digital archiving production : the victim, Ok-sun Lee (8/24~ 8/26; Place-House of Sharing in Gyeonggi)

-Completed hearing and archiving of testimony through a total of 1,113 questions
-Total shooting time 30 hours(4 TB)
Transcribing During digital archiving, the contents of all the video footage taken as text are stored in the database. -Transcribing (8/31 ~ 9/9)
-Text editing (9/10 ~9/16)
-Expert supervision and translation
(9/17 ~ 10/31)
Image database Image are digitized and data-based -Film editing (9/17 ~ 11/13)
-Voice over recording in English(for Global exhibition; 11/9 ~ 11/13)