맥락적 체험을 위한 궁중 기록화의 가상현실 콘텐츠 연구

2-1 맥락적 체험과 가상현실 콘텐츠

John H. Falk와 Lynn D. Dierking[9]은 박물관에서의 관람객들의 경험에 대해 각자의 고유한 특성과 공통점 및 차이점을 이해하기 위해 세 가지 맥락을 제시하였다. 이는 관람객이 박물관을 방문하는 이유와 박물관에서의 행동, 관람 후 어떠한 것들을 기억하는지를 이해하기 위한 목적으로 제시되었으며 개인적 맥락, 사회적 맥락, 물리적 맥락이 그것이다. 개인적 맥락은 관람객 개개인이 가지는 박물관에 대한 경험과 지식을 말하며 관람객이 박물관에 방문할 때 흥미를 느끼는 것, 전시물을 관람하는 방법, 얻고자 하는 경험 등을 이해할 수 있다. 사회적 맥락은 관람객이 개인으로 방문했는지 집단으로 방문했는지, 박물관에서 다른 관람객이나 박물관 직원과 대화를 나누었는지를 의미한다. 이는 관람객의 박물관 관람 경험에 큰 영향을 미치며 관람객의 행동을 이해하는 것에 도움이 된다. 물리적 맥락은 관람객이 방문한 박물관의 물리적 특성에 대한 내용이다.

박물관 건물과 박물관 공간이 주는 느낌, 박물관에 전시된 전시품을 포함하며 디스플레이 방식, 분위기 등 관람객의 경험에 영향을 주는 물리적 구성요소를 의미한다. Falk와 Dierking은 이 세 가지 맥락의 지속적인 상호작용을 통해 관람객의 경험이 형성되며 이를 바탕으로 관람객 개개인은 같은 전시를 관람했어도 각자 다른 관람 경험을 겪게 됨을 알 수 있다. <그림 1>은 ‘맥락적 학습 모형’이며 개인적 맥락, 사회적 맥락, 물리적 맥락이 서로 접점을 유지하며 관람객의 학습 경험에 영향을 미침을 나타내고 있다[2]. 이 세 가지 원은 고정된 크기를 갖지 않고 가변적인 형태를 보이며 관람객의 박물관 경험 또한 같은 성격으로 형성된다.

Fig. 1.

Contextual model of learning[2]

[2]의 연구에서는 박물관의 전시기획이 맥락적 학습 모형을 바탕으로 관람객에게 어떠한 맥락적 접근이 이루어지고 있는지 기존 사례를 통해 분석하였다. 독일의 네안데르탈 박물관(The Neanderthal Museum, Germany)에서는 텍스트 등의 설명 없이 용도가 같은 과거의 유물과 현대의 물품을 함께 전시하여 관람객의 이해를 이끌었으며 이는 관람객의 사전지식을 활용한 사례로 관람객의 개인적 맥락으로 연결된 학습적 이해에 기반한 기획이다. [3]은 일상생활 속의 맥락들을 학습 상황과 연계하여 높은 몰입감과 학습 효율성을 이끌어내는 학습 서비스를 제안하였다. 학습 서비스 모델은 스마트폰 어플리케이션을 기준으로 하여 제시되었으며 사용자가 스마트폰을 들고 이동하는 과정에서 특정 위치를 인식하여 해당 위치의 맥락과 연결되는 학습 콘텐츠를 즉각적으로 제공하였으며 이는 물리적 맥락에 기반한 사례이다. [4]는 어린이들이 박물관에 방문할 때 가족 또는 집단 단위로 방문하는 경향을 고려하여 사회적 맥락을 고려한 학습 시스템을 제안하였다. 모바일 게임 기반의 학습 디자인 방법으로 시스템상에서의 활동 결과를 다른 사람들과 공유하도록 하여 사회적 맥락으로 인한 학습 효과가 향상되도록 하였다.

VR은 박물관의 공간적 한계와 물리적 접근성을 확장해줄 수 있는 기술이며 이는 관람객의 관람 비율과 관람 가능성을 높인다. VR 콘텐츠는 하나의 독립된 시간성과 공간성을 가지고 있어 박물관에 나열되는 것을 필수로 하지 않는 개별적인 소재를 주제로 시간적, 물리적 한계를 넘는 콘텐츠의 개발이 가능하다. 이는 곧 VR 전통문화 콘텐츠는 그 자체로 문화재의 시간적, 공간적 맥락성을 생성하여 사용자에게 새로운 경험을 제공한다는 것을 의미한다[5]. 그러나 최근의 VR 전통문화 콘텐츠는 교육적 기능보다 오락적 기능의 추구로 인해 박물관의 진정성이 위협되는 경향이 있어, 박물관에서 요구되는 교육적 기능을 충족하며 박물관 고유의 진정성을 훼손하지 않고 원본이 가진 이야기를 그대로 전달하는 것 또한 중요하다[6]. [7]은 진시황릉과 병마용을 심도있게 관찰하고자 하는 사용자의 수요를 바탕으로 VR 인터랙션 게임 콘텐츠를 개발하였다. 보존 등을 이유로 실제 방문이 어려운 문화유산의 투어 관람을 대체하기 위해 360도 파노라마 촬영과 3D 모델링으로 VR 환경을 구성하고 지능형 질문-답변 기술을 활용하여 게이미피케이션 기반 콘텐츠를 제작하였다. 사용자는 VR 환경에서 진시황릉을 가상으로 투어하며 관련 지식과 현장감을 얻을 수 있어 공간에 대한 물리적 맥락과 유적지를 관찰하고자 하는 개인적 맥락을 충족하는 사례라 할 수 있다. 그러나 게이미피케이션 방식을 응용한 체험 요소가 실제 대상 유물과 맥락적으로 연결되지 않으며 학습 목적과도 연결성이 떨어지는 한계점이 있다. [11]은 고구려 고분벽화 VR 콘텐츠를 개발하였다. 북한 평양 인근에 있는 유네스코 세계문화유산인 고구려 고분벽화 안악 3호분을 VR로 체험가능하도록 하였으며 1인 체험에 특화된 VR 콘텐츠의 한계를 극복하기 위해 전시공간의 전면에 VR 체험자가 보는 화면을 투영하였다. 이는 체험자와 대기자 간의 사회적 맥락이 발생하는 사례로 대기자는 체험순서를 기다리며 체험자의 화면을 실시간으로 보게 되는데 이것이 대기자의 체험에 영향을 주기 때문이다.

이러한 이론과 연구사례들을 참고하여 VR 회화 체험 콘텐츠를 개발하였을 시 사용자에게 몰입감과 흥미를 동반한 맥락적 체험을 제공하여 원본 회화 작품에 대한 관심과 이해도를 높일 것이라 전망된다.

2-2 기존 회화 소재 가상현실 콘텐츠 사례

회화를 소재로 제작된 VR 콘텐츠는 재현 방식에 따라 전시장 형식과 입체적 재구성 형식으로 나눌 수 있다. 전시장 형식의 VR은 실제 박물관 공간을 방문하기 어려운 사용자에게 전시 관람 경험을 제공하고 물리적 공간의 한계를 벗어나 작품의 수량과 규모에 제한 없이 전시구성이 가능한 장점이 있다. 그러나 전시장 형태의 회화 VR 콘텐츠는 높은 해상도의 이미지뿐 아니라 조명의 각도와 조명색상에 따른 작품 표면 질감 및 재질 등을 재현하여 실재감 있는 감상 경험을 제공하는 사례가 전무한 상황이다. 또한 HMD 장비의 좁은 시야각과 렌즈로 인한 시야 왜곡의 한계로 인해 실제 작품을 보는 듯한 시각적, 공간적 몰입감 전달이 어려우며 이러한 한계점이 개선되지 못하면 온라인 상에서 작품 이미지를 보는 것과 큰 차이가 없는 경험을 사용자에게 제공하게 된다.

회화 작품의 입체적 재구성을 통한 VR 콘텐츠 사례는 감상형과 학습형으로 나눌 수 있다. 감상형은 원본 작품이 개인의 감정, 심상 표현을 목적으로 풍경, 정물, 인물, 추상 등을 그린 그림을 VR 입체로 재구성하고 콘텐츠의 목적도 감상인 사례이다. 학습형 콘텐츠는 역사적 사실 등을 그림으로 기록한 작품을 VR 입체로 재구성하고 원본 작품에 담긴 정보를 VR 체험을 통해 제공하는 사례이다.

감상형의 사례는 원본 회화 작품의 화풍에 따라 입체형을 구성하기 위한 3D 모델링과 전체 가상환경의 모습 및 제작 기준이 크게 달라진다. <그림 2>의 The night cafe : A VR Tribute to Van Gogh(2016)[16]는 빈센트 반 고흐의 작품 ‘The night cafe’를 입체로 재구성한 VR 콘텐츠이다. 해당 콘텐츠는 빛에 따라 변하는 시각적 인상을 예술가의 심상에 따라 주관적으로 표현한 인상주의 작품을 입체로 재구성한 것이다. <그림 3>의 Dreams of Dali(2020)[17]는 초현실주의 화가 살바도르 달리의 여러 작품을 하나의 VR 콘텐츠에 입체적으로 재구성한 것이다. 달리는 초현실주의 화가 중에서도 사실적인 화풍을 가지고 있어 VR로 제작된 <그림 3>을 보면 <그림 2>의 사례와 재현된 모습이 시각적으로 차이가 나는 것을 알 수 있다. 이와 같이 감상형의 사례는 그림에 표현된 등장물의 사실적인 재현보다 원본 작품을 기준으로 재현한다.

Fig. 2.

The night cafe : A VR Tribute to Van Gogh(2016)[16]

Fig. 3.

Dreams of Dali(2020) [17]

감상형 입체적 회화 VR 콘텐츠는 회화 작품을 입체로 재구성하여 VR로 감상하는 것에 의의가 있어 따로 학습 정보를 구축하지 않은 것으로 유추할 수 있으며, 원본 회화 작품 또한 역사적 사건에 대한 기록을 목적으로 한 그림이 아니기 때문에 작품 자체에서 개인적, 사회적, 물리적 맥락을 찾아 콘텐츠로 구성하기에는 어려움이 있다. 원본 작품 자체에서 시간적 특정성을 가지고 있지 않아 VR 콘텐츠로 제작하였을 때 시간적 흐름으로 인한 맥락 발생이 어려워 각 상호작용의 맥락적 연결성이 낮다. 학습 정보를 제시하기 위해서는 작품의 화면이 가진 예술적 표현법에 대한 정보나 예술가에 대한 정보를 제시할 수 있으나 이는 VR 기술이 가진 실존하지 않는 것을 체험할 수 있게 하는 이점을 충분히 활용하지 못하는 방법이다. 따라서 감상형 콘텐츠 사례와 같은 주관적인 심상을 표현한 회화는 시각적 표현을 기준으로 시각, 청각, 공감각 위주로 사용자의 몰입감과 감상 효과를 극대화하는 것에 목적을 두는 것이 맥락적 체험으로 인한 학습효과의 향상을 목적으로 하는 것보다 적절하다고 볼 수 있다.

<그림 4>와 <그림 5>는 학습형 입체적 회화 콘텐츠 사례이다. <그림 4>는 외규장각 의궤에 기록된 장렬왕후의 국장도감을 그린 반차도를 입체로 재구성한 콘텐츠이다[18]. 웹 VR 콘텐츠로 키보드와 마우스를 사용하여 입체로 재현된 가상 환경을 자유롭게 이동하며 캐릭터를 클릭하여 텍스트와 음성으로 학습 정보를 얻을 수 있다. 역사적 사건을 그림으로 기록한 기록화 성격의 반차도는 원본 작품에 표현되어 있는 장면과 그 전, 후로 시간적 맥락성을 가지고 있으며 VR 환경에서 시간적, 공간적 흐름에 따라 맥락적 상호작용을 구성할 수 있다. 그러나 <그림 4>의 콘텐츠는 사용자가 상호작용하는 사용자 인터페이스(user interface, UI)를 정해진 순서 없이 한 장면에 배치하여 시간적, 공간적 맥락을 표현하지 못한 한계점이 있다. 이는 사용자가 콘텐츠를 이용하며 정보를 학습할 때 학습 효율성을 떨어뜨릴 수 있으며 특정 시간적, 공간적 맥락을 기록한 기록화의 특성과 현존하지 않는 것을 체험 가능하게 하는 VR의 이점을 충분히 활용하지 못한 예이다. 또한 콘텐츠 내 사용자가 진행하는 상호작용은 배치된 캐릭터를 클릭하여 정보를 확인하는 방식으로만 이루어져 있어 사용자의 몰입감과 흥미를 떨어뜨리며 원본 작품과 맥락적 연결성이 부족하다.

Fig. 4.

VR of Uigwe for the Funeral of Queen Jangryeol(2014) [18]

Fig. 5.

The Slaves in Their Original Homeland(2020)[19]

<그림 5>는 체코의 예술가 알폰스 무하가 슬라브 민족의 서사시를 소재로 그린 20점 회화 중에서 한 작품을 대상으로 VR 콘텐츠를 제작한 것이다[19].

해당 콘텐츠는 입체화한 모습을 보여주기 전에 가상 전시장에서 콘텐츠의 대상이 되는 작품과 연작들이 전시된 모습을 보여줌으로써 먼저 작품의 맥락을 제시한다. 사용자에게 작품을 감상하도록 하며 음성으로 설명을 제공한 뒤, 입체적으로 재구성된 그림 속으로 진입한다. 사용자는 시선을 유도하는 UI를 응시하여 인터랙션을 발생시키는데 응시한 등장물이 짧은 애니메이션으로 움직이며 음향 효과가 재생되어 당시의 상황을 시각적, 청각적으로 몰입감 있게 보여준다. 본 콘텐츠는 전시장 모습과 입체로 재구성한 회화를 연결하여 보여주며 몰입감을 더하는 공간적 흐름을 제시하였으며, 연작에 포함되는 작품들을 전시장 공간에서 먼저 보여줌으로써 사용자에게 대상작품 외부의 맥락적 파악을 돕는 차별점이 있다. 그러나 입체적으로 재구성한 가상환경 안에서의 상호작용은 시간 순서에 따른 배치나 안내가 이루어지지 않아 사용자가 체험으로 내용을 맥락적으로 파악하기에 어려움이 있었다.

기록화는 특정 역사적 사건을 그림으로 기록하였기 때문에 작품 자체에 시간적, 공간적 맥락성을 내포하고 있으며 그 맥락성은 작품으로 그려진 사건의 전, 후와도 연결되어 있다. 이는 VR이 가진 시간적, 공간적 흐름과 맞물리며 이러한 성격으로 기록화를 입체적으로 재구성하여 VR 콘텐츠를 제작하였을 때 사용자에게 새로운 환경에서의 경험을 제공하게 된다. 따라서 회화를 입체적으로 재구성한 가상환경 안에서 사용자의 체험이 어떻게 이루어지는지에 대해 착안하여 개발하여야 하며 VR 콘텐츠가 생성하는 시간적, 공간적 맥락과 사용자가 가상환경에서 새롭게 가지는 개인적, 사회적, 물리적 맥락의 접점에 유의하여 최적의 감상 경험과 함께 맥락적 체험으로 원본 회화에 대한 학습 정보를 효율적으로 얻도록 한다. 그림으로 기록하여 다음 세대에 전달하고자 하는 것이 기록화의 목적이라면 VR로 구현하여 현 시대에 체험할 수 있도록 재현했을 때 해당 기록화의 가치를 재조명할 수 있으며 역사적, 교육적 가치도 얻고 사용자에게도 흥미롭고 유익한 경험이 될 것이다.

3-1 기획 의도 및 대상 작품 선정

본 논문에서는 기록화의 입체적 재구성에 따른 공간감을 동반하면서 작품의 내용에 기반한 맥락적인 체험으로 원본 회화 작품의 이해를 돕는 VR 콘텐츠를 제시한다. 입체적 재구성을 거친 회화 작품은 VR 환경 안에서 시간적, 공간적 맥락을 갖게 되며 고증된 정보를 응용한 개별적인 상호작용 요소는 전체적인 맥락 속에 놓인다. 각각의 상호작용 요소는 전과 후의 요소들과 연결되며 또한 원본 작품과도 연결된다. <그림 6>은 회화 작품을 입체적 VR로 구현하였을 시의 각 상호작용 요소와 해당 VR 콘텐츠, 원본 회화 작품과의 맥락적 연결을 표현한 것이며 이를 바탕으로 제안하는 방법의 시스템을 구성하고자 한다.

Fig. 6.

Contextual elements of VR content that reconstructed documentary painting to three dimensions

제안하는 방법으로 VR 콘텐츠를 제작할 원본 회화 작품은 궁중 기록화를 대상으로 한다. 궁중 기록화는 전통 회화 중에서도 특정 사건을 그림으로 그려 기록하는 목적으로 제작되었기 때문에 작품에 내재된 내용을 맥락적 체험을 제공하는 콘텐츠에 활용하기 적절하다. 특히 의궤에 같은 상황에 대한 내용을 따로 기록하기도 하여 콘텐츠 제작 및 교육을 위한 정보의 정확성이 높고 상대적으로 고증 연구를 진행하기에 용이하다. 궁중 기록화는 특정 한 상황이나 여러 상황을 한 화면에 그리는 과정에서 실제 공간이나 건물이 왜곡되고 시간적 순서 또한 표현되지 못한다. 이 때문에 작품 이미지를 보는 것만으로는 내용의 파악이 어려우며 텍스트로 제공되는 작품 설명은 관람객에게 상황의 구체적인 전달을 제공할 수 없는 한계가 있다. 이는 실제 박물관에서 궁중 기록화를 감상할 때에도 발생되며 기존의 전시형 VR 회화 콘텐츠 형식으로는 해소하기 어렵다. 따라서 본 논문에서 제안하는 콘텐츠는 이러한 궁중 기록화의 오프라인 관람과 VR 콘텐츠에서 발생하는 한계를 해소하는 것에 도움이 될 수 있으며 제시하는 형식을 다른 회화 작품에 응용하여 회화의 맥락적 체험을 통한 이해와 감상을 제공하는 VR 콘텐츠 제작에 기여할 수 있다.

맥락적 체험을 제공하는 VR 콘텐츠를 제작하기 위한 원본 회화 작품은 득중정어사도<그림 7>[20]로 선정하였다. 득중정어사도는 정조(1776~1800)가 아버지 사도세자(1735~1762)의 무덤인 현륭원을 방문하기 위해 수원 화성에 어머니 혜경궁 홍씨(1735~1815)와 방문하여 어머니의 회갑연과 군사훈련 등의 여러 행사를 치르며 1795년 윤 2월 9일부터 2월 16일까지 8일간 머문 모습을 그린 화성원행도 8폭 병풍<그림 8>[20] 중의 한 폭이다[10]. 정조는 2월 13일에 어머니 혜경궁 홍씨의 회갑연을 연 후 다음날인 14일에는 어머니와 동갑인 61세 노인들부터 80세 원로들을 초대해 연회를 베풀었다. 그 후 오후부터 저녁까지 신하들과 친목 목적의 활쏘기 행사를 진행하고, 밤 중에는 현대의 불꽃놀이라 할 수 있는 매화포를 감상하였다. 득중정어사도는 2월 14일의 일화 중 활쏘기와 매화포 감상만을 표현하였으며 시간대가 다른 일화를 한 화면에 그려넣었고 실제 거리와 건물 규모가 왜곡되어 있다. 또한 득중정어사도는 화성원행도에 포함되어 그림에 그려진 내용을 포괄하는 큰 맥락이 있기 때문에 그림 외부부터 내부까지 보다 넓은 맥락적 이해의 제공이 가능하다.

Fig. 7.

Deukjungjeongeosado[20]

Fig. 8.

Hwasungwonhaengdo[20]

3-2 맥락적 체험을 고려한 고증 내용의 콘텐츠화

제안하는 방법은 화성원행도 안에서의 득중정어사도에 대한 맥락과 득중정어사도에 그려진 활쏘기와 매화포 감상 두 행사에 대한 맥락을 사용자가 체험으로써 학습하는 것을 목표로 한다. 화성원행도 안에서의 득중정어사도에 대한 맥락은 ‘작품 외부적 맥락’으로 득중정어사도에 그려진 2월 14일의 전과 후 상황에 관련된 맥락이며, 득중정어사도 안에 표현된 행사에 대한 맥락은 ‘작품 내부적 맥락’으로 활쏘기와 매화포 관람의 시간적, 공간적 흐름을 반영한다. 사용자에게 체험으로 맥락적 정보를 전달하기 위해서 각 행사를 단위별로 분리하여 순서대로 진행하도록 게임 엔진의 scene 기능을 활용하여 설계한다.

<그림 9>는 득중정어사도의 고증 내용을 scene 기능에 활용하기 위한 설계를 보여주는 이미지이다. Scene 분리는 활쏘기와 매화포 관람을 기준으로 하여 두 가지로 크게 나눈 후 ‘작품 외부적 맥락’을 제공하기 위해 scene 1을 추가하였다. 이어 활쏘기와 매화포 관람 scene을 등장인물들과 상호작용하는 scene과 사용자가 직접 역사 속의 장면을 체험하는 scene으로 분리하여 진행에 혼선이 없도록 하였다.

Fig. 9.

separation of scenes for contextual experience of historical evidence

Scene 1에서는 화성원행도 전체의 이미지를 보여주며 사용자에게 ‘작품 외부적 맥락’을 제공한다. 사용자가 득중정어사도의 내용과 관련한 체험을 진행하기 전에 화성원행도의 내용과 득중정어사도로 연결되는 맥락을 파악할 수 있도록 정보를 제공하는 UI를 배치한다. 제공되는 정보는 정조의 화성원행에 대한 간략한 안내와 득중정에서의 행사가 언제, 어떤 흐름에서 일어났는지를 짧게 정리한 내용이다.

Scene 2에서 사용자는 활쏘기를 하고 있는 정조의 모습을 볼 수 있으며 배치된 인물 캐릭터들과 기물들 위의 UI를 클릭하여 음성으로 득중정 활쏘기에 대한 내용을 듣고 텍스트로도 확인할 수 있다. 이 scene에서는 정조의 활쏘기 성적과 활쏘기와 관련한 단어의 의미, 활쏘기 행사의 역할, 유엽전 과녁의 점수 체계, 기물에 대한 안내, 그림으로 표현하기 위해 왜곡된 부분, 해당 scene 전과 후에 어떤 일이 있었는지를 음성과 텍스트로 전달하며 캐릭터의 대화체로 구성하여 상황 속에서의 맥락과 사용자의 몰입도와 흥미를 높였다.

당시 상황과 관련하여 사용자에게 맥락적 이해를 돕는 내용은 말풍선 모양의 UI를 캐릭터의 머리 위에 배치하고 캐릭터와 어울리는 음성으로 대화하는 듯한 느낌을 주도록 하였고, 그림으로 표현되기 위해 사실과 다르게 왜곡된 부분이나 기물에 대한 소개는 해당 대상물 위에 느낌표 모양의 UI로 배치하고 나레이션 톤의 음성으로 정보를 제공하였다.

Scene 3은 사용자가 활쏘기 체험을 하도록 준비된 scene이다. 해당 scene으로 들어온 사용자는 scene 2에서 정조가 화살을 쏘던 과녁에 VR 컨트롤러를 사용하여 화살을 발사한다. 사용자는 이미 scene 2에서 득중정에서의 활쏘기가 군신 간의 화합을 위한 행사이며 정조의 활쏘기 이후 신하들이 쏠 것이라는 정보를 확인하였기 때문에 자연스럽게 활쏘기 체험의 맥락을 인지할 수 있다.

Scene 4는 scene 2, 3에서의 활쏘기 이후 행해지는 매화포 관람행사이므로 시간대와 장소가 다르다. 사용자는 정조의 화성원행을 기록한 원행을묘정리의궤에서 발췌한 대화를 말풍선 UI를 통해 듣고, 이동을 안내하는 화살표 UI를 따라 매화포 관람이 이루어지는 장안문 앞 광장으로 이동한다. 해당 scene에서도 다른 scene과 같이 사용자가 맵 내부를 이동하며 곳곳에 배치된 UI를 통해 정보를 얻을 수 있다.

마지막 scene 5는 사용자가 직접 매화포에 불을 붙이는 체험이 가능하다. 사용자의 위치 앞에 놓인 매화포 심지에 VR 컨트롤러를 조작하여 불을 붙이는 상호작용을 한다. 매화포가 터지는 동안에 사용자는 맵을 자유롭게 이동하며 관람할 수 있다.

<그림 10>은 제안하는 방법의 시스템 구조이다. VR 체험을 위한 HMD 기기는 HTC Vive Pro이며 시스템 제작은 Unity 게임 엔진의 2020.3.12.f1(64-bit)버전을 사용하였다. 시스템 구조는 크게 하드웨어, 시스템 모듈로 구성되며 HTC Vive Pro의 베이스 스테이션으로 설정한 공간 범위 안에서의 컨트롤러 조작 및 HMD 위치가 실시간으로 데스크톱에 입력된다. 베이스 스테이션은 VR을 사용 시 공간을 설정하는 장비로 블루투스를 통해 연동된다. 사용자는 VR 컨트롤러로 UI 버튼을 클릭하는 방식으로 시스템에 입력하며 사운드 모듈 안의 음향 효과와 캐릭터 목소리를 재생시킬 수 있고, 시스템의 scene change, teleport, particle effect, arrow shoot을 작동할 수 있다. Scene change는 시스템 내부에 설정한 scene을 변경하는 기능이며 teleport는 VR 컨트롤러를 사용하여 VR 환경을 자유롭게 이동하는 기능이다. particle effect는 매화포의 불꽃이 튀는 효과와 화살이 과녁에 맞았을 때 파편이 튀는 효과를 활성화한다. Arrow shoot은 활쏘기를 하는 기능이며 사용자가 VR 컨트롤러의 트리거 버튼을 클릭했을 시 화살이 발사되도록 한다. 사용자의 입력에 대한 출력은 모두 사용자가 착용한 HMD의 디스플레이와 스피커로 연결된다.

Fig. 10.

The structure of VR system of Deukjungjeongeosado

3-3 몰입감을 고려한 가상현실 설계

사용자가 체험을 진행할 VR 환경은 득중정어사도[20]를 기반으로 서장대야조도(화성원행도)[20], 화성행궁도(원행을묘정리의궤)[10], 화성행궁전도(화성성역의궤)[21], 현재 수원화성의 항공사진[22]을 참고하여 사용자 1인이 상호작용할 수 있는 거리의 범위로 제작하였다. 이 이미지들은 모두 득중정어사도에 등장하는 건물과 지형을 포함하고 있어 득중정어사도에 표현되지 못한 부분이나 왜곡된 부분을 보완하는 용도로 참고하였다. 지형은 Unity 엔진의 terrain 기능을 사용하여 제작하고 완성된 지형 위에 득중정어사도와 수원화성, 장안문이 보이는 지도와 항공사진을 참고하여 건물을 배치하였다.

득중정과 장안문의 위치를 전체 지형에서의 배치 기준으로 정하고 득중정과 낙남헌과 같은 중심적인 건물을 배치한 후 민가를 배치하였다. Scene 2와 3, scene 4와 5는 각각 활쏘기와 매화포 관람 장면으로 나뉘는데 활쏘기는 오후 4시부터 저녁까지 이루어졌고 매화포 관람은 밤중에 진행하였기 때문에 sky box 에셋과 lighting setting을 활용해 다른 시간대를 표현하여 시간적 맥락을 더하였다. 득중정어사도에 등장하는 인물들과 기물들 또한 고증 데이터를 기반으로 배치하였다[표 1]. 또한 scene 4, 5에는 장안문 앞에 많은 수의 군중들이 등장하며 낙남헌에서 장안문 앞으로 사용자가 직접 이동해야 하므로 공간의 변화를 자연스럽게 인지하도록 하기 위해 장안문 주변에만 군중들이 웅성거리는 소리를 배치하였다. 사용자는 낙남헌에서의 상호작용을 마치고 장안문으로 이동하면서 점점 군중 소리가 가까워지는 경험을 할 수 있다.

Table 1.

Arrangement of characters, buildings and objects according to their location

[표 2]는 사용자가 상호작용하기 위한 체험 요소를 정리한 내용이다. 사용자는 VR 컨트롤러의 touch pad를 클릭하여 teleport 기능을 사용한다. VR 컨트롤러의 레이저 포인터로 클릭하는 지점으로 자유롭게 이동할 수 있으며 이때 0.15초간 카메라가 암전되었다가 다시 켜지는 효과로 실제 눈을 깜빡이는 듯한 효과를 주고 발걸음 소리를 재현한 audio source를 재생하여 실제 걷는 듯한 몰입감을 준다. 말풍선과 느낌표 UI로 제공되는 학습 정보들은 Unity의 button 기능을 사용하였다. 클릭하면 느낌표였던 버튼은 이미지를 포함한 정보로 바뀌고 나레이션 톤의 음성으로 내용을 들을 수 있다. 말풍선 버튼을 클릭하면 해당 scene과 관련한 정보를 적은 대화체로 바뀌며 말풍선이 배치된 캐릭터와 어울리는 음성이 재생된다. Scene 2에서 정조가 활을 쏘는 모습을 볼 수 있는데 3D MAX에서 리깅, 애니메이션을 제작하고 Unity로 import하여 활성화한다. Scene 2에서는 다른 캐릭터들과 달리 정조 캐릭터에만 애니메이션을 설정하여 사용자가 보다 유심히 살펴보도록 하였다. 화살은 VR 컨트롤러의 trigger를 클릭하여 발사되도록 하였다. 유엽전 과녁에 명중하였을 시 화살이 박히는 particle 효과와 음향 효과를 재생하여 몰입감을 높였다. 매화포 심지에 불을 붙이는 상호작용은 slider 기능을 활용하였다. 사용자에게 value 값이 0인 slider를 클릭하도록 하고 클릭을 유지하는 시간을 수학적 값으로 환산해 0인 value 값에 일정 값을 더하여 1에 도달하면 매화포 particel 효과와 음향 효과가 동시에 재생되도록 한다. 사용자는 이로써 자신이 직접 매화포를 터트리는 듯한 경험을 할 수 있다.

Table 2.

Interaction design elements

4-1 실험 방법

실험은 본 논문에서 제안하는 방법인 VR을 통한 궁중 기록화의 맥락적 체험 콘텐츠가 몰입감과 맥락적 학습 효과의 향상을 이끌어내는지, 또한 콘텐츠로서의 전망에 대한 평가가 긍정적인지를 분석하기 위해 사용자 평가를 동반하여 진행되었다. 제안하는 방법을 포함하여 총 세 가지의 콘텐츠를 사용자가 체험하고 체험 후 설문지 작성을 요청하였다. 실험에 활용된 콘텐츠는 [표 3]과 같다. 실험은 [A], [B], [C]의 콘텐츠를 순차적으로 체험한 후 설문지를 작성하는 형식으로 진행되었다. 2021년 11월 8일부터 2021년 11월 17일까지 실험을 진행하였으며 실험 참여자는 성별, 연령 등의 제한 없이 32명이 모집되었다. 설문지는 정량적 평가와 정성적 평가 문항으로 구성되어 있으며 궁중 기록화의 감상 경험 유무, VR 기술의 이해도 등 참가자에 대한 간단한 정보를 작성하는 부분 1, 콘텐츠에 대한 몰입감을 평가하는 부분 2, 맥락적 학습 효과를 진단하는 부분 3, 각 형식에 따른 콘텐츠의 전망에 대한 부분 4와 제안하는 방법의 콘텐츠를 체험한 후 장점, 단점, 느낀 점, 개선이 필요한 점, 기타 의견을 작성하는 부분 5로 구성되어 있다.

Table 3.

List of contents used in experiment

Table 4.

Statistic on the participants according to their characteristics

부분 1, 2, 3, 4는 정량적 평가를 진행하는 항목이며 5점 리커트 척도를 활용해 측정하고 부분 5는 정성적 평가에 해당한다.

몰입감 평가에 대한 부분 2의 설문은 촉지적 상호작용기반 훼손유물 혼합현실 관람시스템을 연구한 [12]의 내용과 몰입적 가상현실 전시 경험을 위해 2.5D 기반으로 콘텐츠를 재구성하는 방식에 대해 연구한 [13]의 논문 내용을 참고하였다. 맥락적 학습 효과를 진단하는 부분 3의 설문은 관람객의 학습을 위한 ‘맥락적 접근’과 ‘참여적 접근’을 탐구한 [2]의 연구와 박물관 모바일 교육 프로그램에 나타난 맥락적 학습 모형의 요소를 분석한 [14]의 연구를 참고하였다. 부분 3의 설문은 각 콘텐츠에서 제공하는 체험 요소가 맥락성을 갖추며 학습 정보를 전달하는지, 그로 인해 학습 효율성을 높이는지를 판단하는 문항으로 구성하였다. 각 형식에 따른 콘텐츠의 전망을 설문하는 부분 4는 예술작품 기반의 VR 애플리케이션에 대한 사용자 경험을 연구한 [8]과 가상현실을 활용한 박물관 전시의 진정성과 교육적 기능에 관해 연구한 [6]을 참고하여 작성하였다. 부분 4는 [A],[B],[C] 각 콘텐츠가 원본 회화 작품을 재구성한 방식에 대해 사용자가 느끼는 긍정적 전망 및 직접 관람의 대체 가능성을 평가하는 설문 내용으로 구성되었다.

4-2 실험 결과

정량적 평가의 설문 결과를 분석하기에 앞서 설문 문항을 각 부분 별로 묶어 Cronbach`s alpha를 사용하여 신뢰도를 확인하였다[표 5]. 부분 1은 참가자에 대한 간단한 정보를 작성하는 항목으로 제외하여 분석하였다. 부분 2의 Cronbach`s alpha값은 .921, 부분 3은 .935, 부분 4는 .938이며 모든 설문 항목을 합산한 값은 .972로 도출되어 높은 신뢰도를 확보하였다.

Table 5.

Reliability analysis of questionnaire

이어 설문 결과를 일원배치 분산분석(one way ANOVA)하여 분산의 동질성을 검정하였는데, CTT 유의확률이 유의수준인 0.05 미만으로 나타나 등분산을 가정하지 않은 이분산의 결과가 도출되었다. 따라서 본 논문의 설문 결과는 Welch를 활용한 일원배치 분산분석으로 진행하였다. 부분 2의 설문에서는 [A] 콘텐츠가 웹 VR 형태이기 때문에 관람환경이 다르므로 몰입감의 평균 항목에서 제외하여 분석하였다. 설문 항목 부분 2, 3, 4의 CTT 유의확률이 모두 <.001로 나타나 유의수준 0.05보다 작으므로 일원배치 분산분석의 대립가설이 채택되었다.

부분 2인 몰입감의 검정결과는 [표 6]과 같으며 부분 3의 맥락적 학습효과는 [표 7], 부분 4의 콘텐츠의 전망은 [표 8]과 같다. 결과 값은 모두 소수점 두 자리까지 반올림하여 표기하였다. 몰입감을 비교하는 부분 2 설문 항목에서 비교군 [A] 콘텐츠는 관람환경이 다르기 때문에 [B], [C]와 같이 분석할 시 오류가 발생할 수 있어 몰입감 비교 분석에서는 제외하였다. 몰입감 평가를 분석한 결과 [B] 콘텐츠의 평균(표준편차)는 3.47(0.57), [C] 콘텐츠는 4.5(0.41)로 나타나 제안하는 방법인 [C] 콘텐츠의 몰입감이 높은 것으로 분석되었다.

Table 6.

The results of the immersion test through one-way ANOVA and Welch

Table 7.

The results of the contextual learning effect test through one-way ANOVA and Welch

Table 8.

The results of the prospect of contents test through one-way ANOVA and Welch

맥락적 학습 효과를 비교하는 부분 3의 분석 결과는 [A] 콘텐츠의 평균(표준편차)는 3.10(0.81), [B] 콘텐츠는 3.11(0.67), [C] 콘텐츠는 4.46(0.45)로 본 논문이 제안하는 방법인 [C] 콘텐츠의 맥락적 학습효과가 가장 높은 것으로 나타났다.

콘텐츠의 전망을 비교하는 부분 4의 분석 결과는 [A] 콘텐츠의 평균(표준편차)가 2.81(0.88), [B] 콘텐츠는 3.68(0.61), [C] 콘텐츠는 4.30(0.51)로 본 논문이 제안하는 방법인 [C] 콘텐츠가 회화의 입체적 재구성을 거친 VR 콘텐츠로서 긍정적인 전망을 보이는 것으로 분석되었다.

<그림 11>은 사용자가 체험한 각 콘텐츠의 평가항목에 대한 평균 결과 값을 그래프로 시각화한 것이다. 전체적인 결과는 제안하는 방법인 [C] 콘텐츠가 가장 높은 것으로 나타났으나 각 콘텐츠의 평가항목 순위는 개별적인 양상을 보인다. [A] 콘텐츠는 맥락적 학습효과의 평균 결과가 3.10으로 세 가지 분석 항목 중 가장 긍정적인 결과가 나왔으며 [B] 콘텐츠는 콘텐츠의 전망에 대해 평균 결과가 3.68로 세 가지 분석 항목 중 가장 긍정적인 결과 값을 받았다. 제안하는 방법인 [C] 콘텐츠는 몰입감의 평균 결과가 4.49로 세 가지 분석 항목 중 가장 긍정적인 결과 값을 도출하였다. 맥락적 학습 효과는 4.46, 콘텐츠의 전망은 4.30으로 세 가지 항목 모두에서 높은 평균 결과가 나왔다.

Fig. 11.

The average result graph of each content for analysis item

참가자에 대한 정보를 기입하는 부분 1의 설문 중 참가자의 VR 개념 이해도에 따른 실험 결과 분류는 [표 9]와 같다. 5점 리커트 척도를 활용하여 1점~3점은 VR의 개념에 대한 이해도가 ‘없음’, ‘낮음’, ‘보통’으로 18명이며 4점과 5점은 ‘높음’, ‘매우 높음’으로 14명이다.

Table 9.

The results based on the understanding of the VR concept

VR 개념에 대해 낮은 이해도를 갖고 있다고 설문한 18명은 몰입감 평가에서 [B]콘텐츠의 평균은 3.55(0.64), 제안하는 방법인 [C] 콘텐츠의 평균은 4.38(0.42)로 설문하였다. VR 개념에 대해 높은 이해도를 갖고 있다고 설문한 14명은 [B]콘텐츠의 평균을 3.37(0.46), [C]콘텐츠의 평균은 4.63(0.35)로 설문하여 VR 개념 이해도에 따라 평균값은 다르지만 두 그룹 모두 [C]콘텐츠의 몰입감이 높은 것으로 결과는 동일하게 분석되었다.

맥락적 학습 효과 항목에서는 VR 개념에 대해 이해도가 낮은 18명이 [A]콘텐츠의 평균을 3.17(0.81), [B]콘텐츠는 3.28(0.80), [C]콘텐츠는 4.36(0.47)으로 평가하였다. VR 개념의 이해도가 높은 14명은 [A]콘텐츠는 2.88(078), [B]콘텐츠는 3.03(0.46), [C]콘텐츠는 4.58(0.41)로 평가하여 두 그룹 모두 [C]콘텐츠의 맥락적 학습 효과가 높은 것으로 설문하였다.

콘텐츠의 전망 평균값 비교에서는 VR 개념의 이해도가 낮은 그룹은 [A]콘텐츠의 평균이 3.01(0.83), [B]콘텐츠는 3.71(0.66), [C]콘텐츠는 4.13(0.53)으로 분석되었고, VR 개념의 이해도가 높은 그룹은 [A]콘텐츠의 평균이 2.55(0.91), [B]콘텐츠는 3.64(0.55), [C]콘텐츠는 4.51(0.43)으로 분석되어 마찬가지로 두 그룹 모두 [C]콘텐츠의 전망이 가장 높은 것으로 평가하였다.

VR 개념의 이해도에 따라 [A],[B],[C] 각 콘텐츠의 평가 결과가 다를 수 있음을 고려하여 그룹을 나눈 분석도 실행하였지만 이해도가 달라도 콘텐츠의 평가는 동일한 양상을 보이는 것으로 나타났다.

정성적 평가에 해당하는 부분 5의 설문은 제안하는 방법인 [C] 콘텐츠에 대한 설문으로 장점, 단점, 느낀 점, 개선이 필요한 점, 기타 의견으로 구성되어 있으며 필요 시 자유롭게 서술하도록 하였다.

제안하는 방법의 장점에 대해 가장 많이 언급된 내용은 ‘평면적인 원본 그림을 가상 환경으로 체험해서 이해에 도움이 됨’이 11번 언급되었고, ‘활쏘기, 매화포 불붙이기 등의 체험 요소들이 흥미를 유발함’도 11번 언급되었다. ‘능동적인 체험이 가능한 높은 자유도로 몰입감과 참여도를 높임’은 9번 언급되었다. 맥락적 체험과 관련하여 특징적으로 서술된 내용은 아래와 같다.

“행사 순서에 따른 배치 덕분에 그 행사 자체에 몰입할 수 있어서 좋았음(2번 참가자).”, “이미지만으로 어떤 내용을 전달하고자 하는지 이해하기가 어려웠지만 가상현실로 구현한 체험을 했을 때 그림에 대한 이해가 쉬웠음(6번 참가자).”, “단순 지식을 공부하는 것이 아닌 VR로 직접 ‘참여’한다는 느낌을 받음(10번 참가자).”, “회화 작품에 대한 내용을 직접 보고 느끼면서 흥미로운 감정이 생겼음. 글로만 보면 지루할 수도 있는 내용들을 그림 안으로 들어가 궁금한 곳을 클릭하면서 재밌게 회화 작품을 감상할 수 있는 점이 장점임(28번 참가자).”

위 내용에 따르면 제안하는 방법이 사용자에게 가상현실에서 궁중 기록화를 맥락적으로 체험하도록 하고 있으며 그로 인해 원본 회화 작품의 이해도를 높이고 있음을 확인할 수 있다.

사용자들에게 가장 많이 언급된 단점은 ‘콘텐츠의 이용방법이 어렵거나 불편함’이었고 11번 언급되었다. ‘VR 장비의 사용이 어렵거나 불편함’은 6번 언급되었다. 맥락적 체험으로 인한 학습 효과 향상을 위해 설계된 부분 중 사용자의 불만족을 일으켜 단점으로 서술된 내용은 아래와 같다.

“콘텐츠 속 인물이 전하는 내용이 정보 전달을 목적으로 하는 느낌을 강하게 받아 몰입감이 저하됨. 실제 그림과의 비교가 콘텐츠 진행 중에는 어려웠음. 콘텐츠 진행의 방향성과 그 압력 때문에 많은 정보가 너무 빠르게 지나감(4번 참가자).”, “빠르게 정보를 얻고 싶은 사람들은 본인이 보고 싶은 것을 봐야 하기에 싫어할 수 있겠음(10번 참가자).”

맥락적 체험을 위해 시스템 구조를 설계하고 순차적으로 체험하도록 하였으나 VR 콘텐츠의 낮은 접근성으로 인해 다수의 사용자가 자유로운 상호작용을 위한 숙련도를 갖추지 못한 상태였으며, UX 설계의 면에서 캐릭터의 음성을 도중에 정지하지 못하는 등 사용자가 불편을 느끼는 요소가 있었다.

4-3 실험 결과 분석

실험 결과에 따르면 [B], [C]콘텐츠 중 제안하는 콘텐츠인 [C]콘텐츠가 몰입감이 높은 것으로 나타났다. 회화를 재구성하여 입체적 환경을 만든 것은 두 콘텐츠가 모두 갖춘 특징이나 [B]콘텐츠에 비해 [C]콘텐츠가 시간적 순서에 따른 사건의 흐름을 파악하기 용이하다. 또한 [C]콘텐츠가 사용자가 체험하는 상호작용이 보다 다양하고 그 상호작용이 콘텐츠가 다루고 있는 역사적 사건과 연관된 점이 몰입감을 높이는 요소인 것으로 파악된다. 정성적 평가인 부분 5에 설문된 내용에 따르면 사용자가 직접 입체로 재구성된 환경을 이동하는 점도 몰입감을 높이는 요소로 작용했음을 알 수 있다.

맥락적 학습 효과 또한 제안하는 방법이 가장 높았던 것으로 실험 결과가 나타났다. [A]콘텐츠는 [C]콘텐츠와 정보를 전달하는 방식은 비슷하지만 시간적, 공간적 맥락과 함께 제공되지 않은 것이 차이점이며 맥락적 상황에 맞는 정보를 학습하도록 제작된 [C]콘텐츠와 달리 순서에 상관없이 정보를 열람하도록 제작된 [A],[B]콘텐츠의 경우가 맥락적 학습 효과가 보다 떨어짐을 알 수 있다. [A],[B]콘텐츠의 경우는 사용자의 상호작용이 시간적 흐름을 고려하여 설계되지 않았으며 상호작용이 통일된 방식으로 이루어져 있다. 반면 제안하는 방법인 [C]콘텐츠는 기록화에 그려진 사건을 사용자가 시간적 순서에 따라 체험해 볼 수 있으며 상호작용 또한 다양한 방식으로 이루어져 있어 실험 참가자가 흥미와 몰입감을 동반한 학습효과를 얻을 수 있다. 따라서 제안하는 [C]콘텐츠의 맥락적 학습 효과가 가장 높은 원인은 사용자가 직접 환경 안으로 들어가 맥락적 흐름에 따라 체험을 함으로써 마치 사건을 직접 겪은 듯한 경험을 하기 때문인 것으로 파악된다.

콘텐츠의 전망에 대해서 제안하는 [C]콘텐츠의 평균 결과가 가장 높은 것으로 실험 결과가 도출되었다. [A],[B],[C]콘텐츠는 모두 기록화를 입체로 재구성한 VR 콘텐츠라는 점에서 공통점이 있지만 원본 회화 작품에 대한 흥미를 증가시키는 점과 작품의 이해를 돕는 학습 정보를 지루하지 않게 사용자에게 전달하는 점, 해당 콘텐츠와 동일한 형식으로 다른 회화 작품을 VR로 체험하고 싶은지, 주변 사람들에게 추천하고 싶은지 등의 설문을 통해 제안하는 [C]콘텐츠의 전망이 가장 긍정적인 것으로 평가되었다. 콘텐츠의 전망에 대한 설문 중 해당 콘텐츠 체험으로 인해 원본 회화 작품의 오프라인 작품 감상을 대체할 수 있을 것인지에 대한 답변은 [C]콘텐츠의 경우 오히려 원본 작품에 대한 관심이 증가되었기 때문에 대체하기 어렵다는 답변이 있어 궁중 기록화의 감상과 이해에 제안하는 콘텐츠가 긍정적인 도움이 될 것으로 예상된다.