조선 시대 기록화의 디지털 스토리텔링 기반 확장현실 콘텐츠 전시기획 연구 :《화성원행도병》의<서장대야조도>를 중심으로

2-1 문화유산 전시실의 디지털 시스템 도입

문화유산 전시실에서 디지털 시스템을 도입하여 전시에 활용한 사례는 최근 더 증가하는 추세이며 기술발달에 따라 단순한 영상매체 등의 활용을 넘어 360° 영상, 동작 인식, AR, VR과 같은 ICT 기술을 적극적으로 활용하고 있다. 이에 본 연구에서는 박물관 및 여러 전시실에서 활용되었거나 제안된 디지털 시스템을 고찰하고 정리하였다.

먼저 서울시립대학교 기획전시를 중심으로 디지털 매체 활용을 제시한 연구에서는 근현대사를 주제로 영상, 그래픽 패널, LCD 모니터 등을 활용하여 관람객과 상호작용하고 지루하지 않은 전시기획 방안을 제안하였으며[4], 익산의 백제 문화유산의 디지털 콘텐츠 활용 방안 연구에서는 다양한 특별전 사례를 분석한 후 4D 영상, VR 시스템, 립 모션(leap motion) 등의 디지털 콘텐츠 전시기획을 제안하였다[5]. 또한 한성 백제 신화를 고전 서사 원형으로 한 관광문화 콘텐츠 기획 제시 연구에서는 한국 설화를 기반으로 왕위 즉위식 과정을 관람할 수 있는 AR 시스템과 가상 캐릭터 육성 VR 시스템을 제안하였다[2]. 전통문화와 미디어 융합을 위한 연구에서는 3D 프린터를 통해 소실된 문화유산을 복원하고 이를 기반으로 하는 AR/VR 콘텐츠를 개발하여 교육프로그램으로 활용하고자 하였다[6]. 또한 2015~2019년 진행된 국립중앙박물관 특별전[7]에서는 디지털 프로젝션을 사용한 미디어아트, 디지털 인터렉션 월 기반 시스템을 통해 관람객과 상호작용하였다. 그리고 현재 국립중앙박물관에서는 디지털 실감 영상관을 운영하여 문화유산 관련 파노라믹 비디오 (panoramic video: 시야각이 확장된 화면 출력 영상), 인터렉션 월, VR 시스템 사용으로 이전보다 관람객과 적극적인 소통을 시도하고 있다[19].

이와 같은 선행연구에서 활용되거나 제안된 기술들을 아래 Table 1. 에 정리한 결과, 각각의 전시나 연구를 위해 두 개 이상의 기술을 활용 또는 제안한 것을 알 수 있다. 이는 해당 콘텐츠의 연출을 입체적으로 표현하거나, 또는 각 기술의 단점을 보완하고 전시효과를 극대화하기 위함이다.

Table 1.

Technology used in the exhibition

하지만 콘텐츠의 스토리텔링을 기반으로 전시구조를 설계하거나, 단일 주제의 콘텐츠 스토리 맥락을 활용하여 기술적 요소를 결합하고 전시구조에 맞춰 적절히 배치하는 것을 고려한 연구는 미미했다.

이에 본 연구에서는 야간군사훈련 <서장대야조도> 콘텐츠의 스토리 연출 및 전시효과 극대화를 위해 디지털 스토리텔링을 기반으로 콘텐츠 전시 방향과 구조를 설계하고 다양한 디지털 기술 활용하여 효과적인 XR 콘텐츠 전시기획 방안을 제안하고자 한다.

2-2 디지털 스토리텔링 구조 및 설계

디지털 시스템에서 표현 도구로 활용되는 스토리텔링은 ‘디지털 스토리텔링(digital storytelling)’으로 정의되며 이는 ‘디지털 테크놀로지(digital technology)’와 스토리텔링을 결합한 합성어로 스토리텔링을 디지털 시스템에 적용할 수 있도록 변형한 형태를 말한다. 디지털 스토리텔링은 다양한 디지털 시스템에서 여러 가지 형태로 표현됨으로써 관람객들의 흥미를 유도한다[8]. 이러한 디지털 스토리텔링은 여러 분야에서 활용되어 웹툰[9], 영화[10], 시나리오 가상 콘텐츠 기획[11] 등의 연구를 확인할 수 있다.

대부분의 문화재 또는 문화유산 기반 콘텐츠는 역사적 사실과 관련 스토리를 포함한다. 더욱이 역사적 스토리를 담고 있는 궁중 기록화는 전시기획에 앞서 해당 콘텐츠를 분석하여 관람객에게 잘 전달하기 위한 스토리텔링의 원칙과 설계가 매우 중요하다.

본 연구는 <서장대야조도>의 디지털 스토리텔링을 위해 두 가지 사항을 고려하여 원칙을 설정하였다. 첫째는 조선 시대 기록화에 대한 관람객의 자연스럽고 흥미로운 접근이다. 박물관에 전시되어있는 병풍의 이미지는 관람객들에게 접근하기 어려운 인상을 주기 때문이다. 두 번째는 복합적인 정보에 대한 쉬운 이해이다. <서장대야조도>에 내포된 정보는 간단한 사실부터 복잡한 훈련 내용까지 복합적으로 구성되어 함축적으로 그려져 있다. 이 때문에 정보를 관람객이 이해하기 쉽게 정리하고 전달할 수 있어야 한다.

이에 선행연구 중에서 복합적인 정보의 핵심을 정리할 수 있는 원칙을 제시한 연구와 문화유산의 흥미를 유발하는 스토리텔링 구조 설계 원칙을 제시한 연구를 선정하여 본 연구의 디지털 스토리 텔링을 위한 기본 구조로 활용하였다. 선정된 연구 결과는 아래와 같다.

먼저, 학습 효과향상을 위해 과학관에서 진행한 디지털 스토리텔링 활용연구에서는 선행연구를 기반으로 과학관 맥락에서의 통합적 디지털 스토리텔링 설계원칙을 도출하였다[12].

설계원칙은 1) 구조적인 측면, 2) 내용적인 측면, 3) 지식통합의 측면으로 구분하고 세부 항목을 작성하였는데 이러한 원칙은 학습자에게 어려울 수 있는 주제를 난이도 단계별로 학습하게 하여 학습효과를 높였다.

매체 서사 교육을 위한 콘텐츠 분석 연구에서는 스토리를 이해한 독자가 제3의 관객에게 전달하는 ‘스토리 리텔링(Story retelling) [13]’ 개념을 설명하고 이 과정의 단계와 구성요소를 3단계로 정리하였다. 단계별 구성요소의 핵심은 지표어를 선택하고 해석하여 설명하는 것으로 단어, 문장, 사건 등으로 스토리를 분석하고 맵핑하는 방법을 활용하였다.

마지막으로 전체 구조의 원칙으로 활용한 연구는 외국인 학습자 대상 한국문화교육을 위해 동영상 콘텐츠의 한국문화교육 활용방안을 모색한 연구이다[14]. 외국인 학습자에게 적합한 한국 문화 내용을 전달하기 위해 ‘경험학습 이론’을 바탕으로 디지털 스토리텔링을 적용한 학습법을 제안하였는데 이 방법으로 낯선 내용을 자연스럽게 인식하고 접근할 수 있도록 사용자의 흥미를 유도하였다.

이와 같은 연구를 통해 디지털 스토리텔링을 활용하여 교육의 효과 상승시키고 제3의 관람객에게 콘텐츠의 의미를 전달할 수 있음을 확인하였다. Table 2.와 Fig.1은 위의 3가지 선행연구의 디지털 스토리텔링의 구조 및 설계원칙이다.

Table 2.

Structure and Design Principles of Digital Storytelling in Prior Studies [12],[13]

Fig. 1.

Design Principles of Digital Storytelling in Prior Studies [14]

본 논문에서는 <서장대야조도>의 역사 스토리 기반 디지털 스토리텔링 중 첫 번째 원칙을 위해 선행연구[12]의 구조적 영역, 지식통합 영역과 선행연구[13]의 1, 2단계의 구성요소를 사용하고 두 번째 원칙을 위해 마지막 선행연구[14]에서 제시한 구성원리를 전시구조 설계에 적용하였다.

3-1 《화성원행도병》의<서장대야조도> 개요

《화성원행도병》은 조선 시대 왕실 행사 기록화의 하나로 정조 19년(1795년) 윤달 2월 9일부터 16일까지 8일 동안 혜경궁 홍씨를 모시고 수원화성에 행차하여 있었던 일들을 그림으로 기록하여 8폭 병풍으로 제작한 것이다[20]. 정조는 이 행차 때에 현륭원 방문과 혜경궁 홍씨의 회갑연 등 다양한 행사를 진행하였고 여러 중요 내용을 기록으로 남기도록 명하여 《원행을모정리의궤》, 《화성원행도병》등으로 현재까지 남아있다[17]. 그 중 <서장대야조도>는 현륭원을 참배하고 돌아온 정조가 서장대(西將臺)에 올라 주간, 야간 군사훈련을 진행한 군례(軍禮)를 묘사한 그림이다.

Fig. 2.

A picture of a folding screen depicting military training conducted at Seojangdae [20]

정조 군사의 위세와 훈련의 지휘체계, 신호체계를 확인할 수 있는 이 군사훈련은 군대의 방어체계를 점검하고 화성을 수비하려는 목적으로 실시되어 성조(城操: 낮 동안 진행된 훈련)와 야조(夜操: 야간에 진행된 훈련)로 나누어 12시간 동안 진행되었다. 장용외영 친군위·성정군·응원군 등 3900명이 훈련에 참여하고 대신·근신·시위 관원 등 2,800여 명이 참관한 기록으로 훈련의 규모를 짐작할 수 있게 한다[15]. 낮부터 밤까지 긴 시간 동안 진행된 훈련과정을 한 폭의 그림에 그려 넣었기 때문에 그림 곳곳에 각기 다른 시간대에 훈련 내용이 나타나 있는데 이는 주로 설명을 위한 왕실 기록화의 특징으로 볼 수 있다.

이처럼 왕실 기록화의 특징을 가지고 있기 때문에 회화 주제가 스토리를 담고 있는 <서장대야조도>는 군사훈련의 내용뿐만 아니라 행궁, 4개의 성문과 성곽, 방화수류정 등 수원화성의 건축에 대한 정보와 관료, 병사들의 복식 정보 및 기물, 무기 등의 정보, 마지막으로 그림에 표현된 환경 요소 (지형, 계절) 등의 다양한 정보를 확인할 수 있다. 이처럼 <서장대야조도>는 훈련과정의 스토리 뿐 아니라 여러 역사 정보를 갖고 있음을 확인할 수 있다.

3-2 <서장대야조도> 역사 스토리 분석

《화성원행도병》의<서장대야조도> 역사 스토리 분석은 역사 정보와 훈련과정(스토리)으로 나누어 분석하였다. 복식, 건축, 기물 등 문화유산의 단편적인 정보와 시간 순서에 다른 훈련과정 스토리를 정리하고 분석하여 <서장대야조도> 디지털 스토리텔링 전시기획에 활용될 핵심 요소를 도출하였다.

1) <서장대야조도>의 역사 정보

<서장대야조도>에서 확인할 수 있는 역사 정보는 《화성원행도병》의<서장대야조도> 자체 정보(그림이 그려진 시기, 그림의 종류, 의미 등)와 그림 안에 포함되어있는 정보- 건축(성문, 성곽, 행궁, 방화수류정 등)과 지형(수원화성 일대), 계절의 정보(윤달 2월 9일-16일), 정조, 관료, 군사들의 복식 정보, 무기와 기물의 정보로 정리할 수 있다 (Table 3).이처럼 스토리가 없는 정보들은 XR 시스템 안에서 사용자에게 명료하게 전달할 수 있도록 분류할 수 있다. 분류된 정보들은 정보 속성 타입(type)별로 나누어 구분하였다.

Table 3.

<Seojangdaeyajodo> History information list

2) <서장대야조도>의 훈련과정

앞서 언급한 것처럼 <서장대야조도>는 성조와 야조로 나누어 진행된 군사훈련으로 훈련의 절차와 훈련체계에 따른 신호체계를 가지고 있다. 훈련과정의 스토리와 특징을 효율적으로 분석하기 위해 의궤 등 역사 자료를 토대로 성조와 야조의 훈련 순서, 내용, 참여 인물, 인물의 역할 및 행위 결과 등을 상세히 조사한 후 분석하였다. 조사 분석한 훈련과정의 내용 검증을 위해 관련 전문가 4명에게 자문요청을 하였고 자문받은 결과를 바탕으로 수정작업을 거쳐 훈련과정 스토리 분석을 진행하였다. 분석 결과는 Table 4. 에 정리하였으며 훈련과정 중 중요도가 높은 훈련은 원의 크기를 크게 하고 각 훈련과정 명칭 밑에는 간단한 내용을 정리하여 작성하였다.

Table 4.

Analysis of story of training procedure of <Seojangdaeyajodo>

스토리 분석 결과, <서장대야조도>의 핵심 요소는 성조보다 야간에 진행된 야조의 훈련에 있는 것으로 확인되었다. 야조는 야간에 진행된 화성 방어, 수비 훈련으로 성문을 닫고 성곽에 불을 밝히며 주화(조총, 포등을 사용한 방어훈련)를 진행하는 등 야간 훈련만의 특징을 가지고 있었다. 특히 ‘현등’ 훈련은 화성 내부에 거주하는 마을 백성들이 참여하여 집마다 훈련을 위해 설치된 등을 밝히는 것으로 적들로부터 수원화성을 방어하기 위해 노력하는 백성들의 모습을 보여 준다. 결과적으로 야조의 핵심 훈련 부분은 성곽에 불을 밝히는 ‘연거’, 방어훈련의 핵심‘주화’, 등을 밝히는 ‘현등’으로 볼 수 있다.

3-3 <서장대야조도> 디지털 스토리텔링 설계

<서장대야조도>의 스토리를 분석한 결과와 선행연구의 설계원칙을 토대로 디지털 스토리텔링을 진행하였다. 결과적으로 Table 5. 에 선행연구 [12] 의 구조적 요소, 지식 통합적 영역, 선행연구 [13] 의 1, 2단계를 통합하였다.

Table 5.

<Seojangdaeyajodo> Digital storytelling

스토리텔링의 전체 구조는 4단계로 설계하였다. 1단계에서는 전체 ‘스토리 지도 그리기’로 <서장대야조도> 회화 작품의 역사적 의미와 특징 등을 발견하고 전체 스토리텔링의 기초를 마련한다. 2단계는 ‘지표어 구성’의 단계로 <서장대야조도>의 핵심 요소를 분석한 결과를 지표어로 선택 후 적절한 맥락의 스토리 뼈대를 구성한다. 이 단계에서 앞서 선택된 3가지 핵심 요소를 기반으로 <서장대야조도>의 기본 정보 제공, 역사 정보 제공, 군사훈련 체험 제공으로 스토리를 구성하였다. 3단계는 ‘주제 구조화’로 관람객과 적절한 상호작용을 활용하여 매력적인 스토리를 구성하며 관람객 입장을 고려한 인터페이스를 제공함을 목적으로 한다. 이 단계에서는 <서장대야조도> 전시 시스템 활용 부분을 함께 고려하여 적절한 디바이스 선택을 유도한다. 마지막으로 4단계 ‘지식통합’의 단계는 전시 관람 시 시각적 효과를 적절히 적용하고 관람객들의 지속적인 참여를 장려한다. 이 단계에서 역시 디바이스 활용 및 전시 콘텐츠 제작 부분에서 활용된다.

앞서 선행연구에서 언급한 것처럼 디지털 콘텐츠 전시는 활용 디바이스 및 매체의 영향을 받는다. 본 연구에서는 선행연구를 통해 도출된 디지털 스토리텔링의 1, 2단계를 통해 전체 스토리 맥락을 결정하고 3, 4단계를 통해 실질적 전시 공간을 설계할 디바이스 및 콘텐츠 방향 기획을 결정할 수 있다.

4-1 디지털 스토리텔링 기반 전시 구조 설계

본 논문에서는 <서장대야조도>의 역사 정보 및 스토리를 통한 핵심 요소를 도출한 바 있다. 이에 앞서 선행연구 [14]에 제시된 디지털 스토리텔링의 구성원리를 <서장대야조도>의 전시구조 설계에 적용할 것으로 설정하였다. Fig 1.의 구성원리의 전체 흐름은 디지털 콘텐츠나 문화상품 기획뿐 아니라 전시기획에 활용할 수 있다. 이를 활용한 <서장대야조도>의 전시 구조 설계는 Fig. 3.에 명시하였다.

Fig. 3.

<Seojangdaeyajodo> exhibition structure design

본 논문에서 제시하는 <서장대야조도>의 전시구조는 총 3단계로 간접체험, 정보습득, 훈련 체험으로 구성되어있다. 새로운 인식과 참여를 위하여 간접 체험을 제공하는 원칙에 따라 <서장대야조도>인트로 부분을 설정하였다. 이 부분에서는 <서장대야조도>에 대한 이미지, 영상 등으로 간접 경험을 제공하여 새로운 정보를 체험하기에 앞서 분위기를 환기하는 역할을 한다. 이것으로 관람객에게 새로운 호기심을 불러일으키며 해당 콘텐츠에 대한 참여를 자연스럽게 유도할 수 있다. 이후 <서장대야조도>의 정보습득을 통해 관람객이 역사적 정보를 접하고 관찰하는 단계에서는 핵심 요소에서 언급된 역사 정보 사실들을 제공한다. 마지막으로 간접 경험을 구체화하고 참여와 소통으로 이끄는 훈련 체험단계에서는 관람객들에게 앞선 두 가지 단계의 이해를 바탕으로 군사훈련 콘텐츠를 체험하게 하여 최종적으로 조선 시대 기록화인 <서장대야조도>의 정보와 스토리를 효과적으로 경험할 수 있도록 한다.

4-2 <서장대야조도> XR 시스템 전시기획

앞서 설계한 <서장대야조도>의 전시구조와 2-1의 선행연구를 바탕으로 전체적인 XR 콘텐츠 전시기획을 설계하였다.

전시 콘텐츠를 효과적으로 전달하고 각 시스템의 단점을 보완하기 위해 전시구조 단계별로 각각 다른 유형의 시스템과 디바이스를 사용하고 전체적 맥락을 고려하여 순차적인 체험을 유도하는 방향으로 전시기획을 진행하였다 (Table 6).

Table 6.

<Seojangdaeyajodo> XR content exhibition planning

전시구조와 디지털 스토리텔링을 기반으로 전체 전시의 맥락을 설정하여 각기 다른 시스템을 배치하고자 첫 번째 전시 인트로 단계에서는 파노라믹 비디오(panoramic video) 콘텐츠를 기본으로 사용자와 간단한 상호작용이 가능한 인터랙티브 미디어 월 (Interactive media wall) 시스템으로 설정하였다.

미디어 월 벽면 전체에 파노라믹 형태의 콘텐츠 영상을 출력하여 <서장대야조도>의 기본적인 이미지 및 영상을 몰입감 높게 제공하기 때문에 분위기를 환기하는 전시 인트로에 활용하기 적절하다. 또 벽면 터치가 가능한 인터랙티브 터치 패널 (Interactive touch panel)을 일부 설치하여 <서장대야조도>의 영상과 간단한 상호작용을 할 수 있도록 유도하면 관람객의 흥미 유도에 적합할 것으로 보인다.

두 번째 단계인 역사 정보 제공 단계에서는 새롭게 접하는 <서장대야조도>의 다양한 정보에 대한 사용자의 직접적인 관찰이 이루어지며 이를 위해 이미지 기반 AR 시스템 활용을 제안한다. 이미지 기반 AR 시스템은 현실 기반 환경에 3D 가상객체를 증강하는 방식으로 태블릿이나 모바일 기기를 사용한다. 이 방식은 화면의 간단한 터치 인터랙션으로 역사 정보를 명확하게 전달할 수 있다. 익숙하고 간단한 사용환경이 새로운 정보를 탐색하는 과정 중의 불편함을 최소화하여 <서장대야조도>의 다양한 정보에 집중하기 적당하다고 판단되었다.

마지막으로 <서장대야조도>의 군사훈련 체험을 제공하는 단계에서는 모형기반 XR 시스템을 활용한다. 전시 모형은 박물관 등의 전시실에서 다양한 형태로 전시되어 있지만 관람객과 상호작용할 수 있도록 사용된 사례는 적은 편이고 특히 XR 시스템과 함께 활용된 사례는 거의 없었다. 본 전시기획에서는 3D 형태의 <서장대야조도> 지형 모형을 인식하여 XR 시스템을 구동하고 XR HMD (Head Mounted Display)를 사용하여 <서장대야조도>의 야간군사훈련 체험을 진행하는 방식을 제안한다. 모형을 기반으로 콘텐츠를 제작하기 때문에 시스템 구동 전에는 실물 모형에 표현된 지형, 건축물을 확인하는 것으로 전체 공간에 대한 이해도를 높일 수 있고 3D 가상객체가 증강된 후엔 가상 캐릭터의 위치에 알맞은 군사훈련 애니메이션을 표현하기에 효과적이다. 또 HMD 사용으로 시스템 속에서 사용자의 몰입감 증대 효과를 기대할 수 있다.