촉지적 상호작용 기반 훼손 유물 혼합현실 관람 시스템 개발

Ⅰ. 서 론

매장문화재 조사로 인해 출토되는 유물은 매장환경에 따라 차이가 있지만 훼손되어 있는 경우가 대부분이다. 이러한 훼손 유물은 복원 작업을 통해 원래 모습을 되찾게 함으로써 가치를 제고하고 관람자의 이해를 도울 수 있다.

유물 복원 작업은 보통 수작업을 통해 유물에 직접 닿는 접촉식 방식이기 때문에 유물에 손상을 가할 수 있는 잠재적인 요소를 가지고 있다. 이러한 이유로 최근에는 비접촉식 방식의 3차원 디지털 복원에 대한 연구가 활발히 이루어져, 유물 복원 작업을 보완하는 필수적인 방법 중 하나로 자리매김하게 되었다. 그러나 유물의 3차원 디지털 복원 작업은 복원 그 자체에 초점이 맞추어져 있어 생성된 3D데이터가 1차적인 활용에 머무르고 있으며, 이를 콘텐츠화하여 전시 및 관람 등에 활용하는 방안에 대한 논의는 부족한 실정이다. 최근 가상현실(VR; virtual reality)·증강현실(AR; augmented reality)·혼합현실(MR; mixed reality) 등의 몰입형 기술을 이용한 디지털 문화유산 체험 전시의 확대는 훼손 유물 활용의 가능성을 넓혀주고 있다. 특히 MR은 앞으로 발전가능성이 큰 기술이며, 이러한 이유로 MR을 기반으로 가상의 유물을 체험하는 연구들이 증가하고 있다. 그러나 단순히 시각적인 감각만 사용하여 유물을 관람한다는 한계가 있다.

유물은 보존의 중요성으로 인해 직접 만지는 체험은 제한되어 왔으며, 일반적으로 시각적인 관람만 허용된다. 그러나 물체를 만지고 조작하는 경험은 사람들이 물리적 세계를 인식하고 이해하는 데 도움이 되는 기본적인 경험으로, 유물에 대한 이해를 높이고 유물이 사용되었던 과거의 생활상을 유추할 수 있게 해준다는 점에서 매우 중요하다. 이와 관련하여 3차원 프린팅 기술은 만질 수 있는 복제 유물을 제작하는 데 필요한 시간과 비용을 획기적으로 줄여주고, 복잡한 형상을 쉽게 제작할 수 있도록 해준다는 점에서 관람자와 유물 간의 촉지적 상호작용을 제공하는 수단으로 주목받고 있다. 그러나 현재 기술로는 실제 유물과 동일한 수준의 색상을 구현해내는 데에 한계가 있다. 최근에는 이에 대한 방안으로 3D프린트 유물 위에 실제 유물의 가상 3D모델을 AR로 구현하는 연구가 진행되어 마치 실제 유물을 만지는 것 같은 효과를 줄 수 있게 되었다. 그러나 모바일 기기를 기반으로 개발되어 기기를 들고 있는 손을 제외한 나머지 한 손만으로 3D프린트 유물을 조작해야 해서 한 손에 들기에 크거나 무거운 3D프린트 유물은 적용하기 어렵다는 한계를 보였다.

본 연구는 MR과 3차원 프린팅 기술을 응용하여 발굴조사에서 가장 많이 출토되는 기와와 토기를 대상으로 유물의 복원 전과 후의 모습을 가상으로 시각화하고 두 손을 이용한 3D프린트 유물과의 촉지적 상호작용을 가능하게 하는 머리 착용 디스플레이(HMD; head mounted display) 기반 MR 시스템을 제시한다. 또한 본 시스템이 기존 연구들에서 제시되었던 가상 유물 관람방식들에 비해 더 나은 관람 경험을 제공하는지를 분석하여, 유물을 효과적으로 체험하고 관심을 증진할 수 있는 관람 시스템 연구의 방향을 제시해보고자 한다.

Ⅱ. 이론적 배경 및 사례 분석

2-1 유물의 디지털 복원 및 활용

유물은 과거의 물질문화를 이해하고 해석하는데 필수적인 문화유산이므로 잘 보존하여 미래 세대에게 물려줄 의무가 있다. 유물의 원래 모습이 변형되거나 훼손되었을 경우에는 보존·복원처리를 통해 원래 모습을 되찾게 함으로써 가치를 제고하고 관람자의 이해를 도울 수 있다. 유물을 복원하는 작업에서 중요한 이슈는 유물에 손상을 주지 않으면서 원형을 복원해내는 것이다. 기존의 보존처리 방식의 경우에는 유물에 직접 거푸집을 제작하여 틀로 활용하는 접촉식 방식으로 유물에 손상을 가할 수 있는 잠재적인 요소를 가지고 있다[1]. 최근에는 수작업을 통한 보존·복원 작업에 한계가 있는 경우 3차원 디지털 기술을 활용한 비접촉식 방식의 적용을 시도하고 있다. 3차원 디지털 복원 과정은 보통 ‘유물의 복원 범위 설정 -> 3차원 디지털 형상 정보 취득 -> 3차원 모델링 -> 텍스처 매핑 -> 실물 제작’의 순서로 이루어지게 된다.

훼손 유물 3차원 디지털 복원 연구 대부분은 훼손 유물에 대한 3차원 스캐닝 작업을 통해 3D데이터를 획득한 후 결실부에 대한 모델링 작업을 진행하여 형상 복원을 진행하였다[1]-[6]. [2]-[3]은 모델링 및 텍스처 매핑을 통해 결실부를 가상 복원하였으며, [1]의 경우 가상 복원 데이터 기반의 실측도와 단면도를 토대로 복원 모본을 점토 제작하였다. 이외에도 가상 복원된 결실부 모델을 3차원 프린팅 또는 컴퓨터 수치제어(CNC; computer numerical control)를 통해 실물로 제작함으로써 실제 유물 복원 재료로 사용한 경우도 있었다[4]-[6]. 이러한 사례들은 3차원 디지털 기술이 유물 복원 작업을 보완하는 가장 필수적인 방법 중 하나가 되었음을 보여준다. 그러나 복원 자체에 초점이 맞추어져 있어, 복원 과정을 콘텐츠화하여 전시 및 관람에 활용하는 방안에 대한 논의는 부족하다.

Fig. 1.

AR-based Restoration of Missing Parts of Artifact[8]

Fig. 2.

AR-based Virtual Artifacts using Markers[9]

Fig. 3.

MR-based Virtual Artifacts using Hololens[14], [16]

이와 관련하여 [7]은 유물의 디지털 복원 과정을 모바일 기반의 AR로 구현하는 전시 시스템 콘셉트를 제안하였다. [8]은 이러한 시스템에 대한 실제 개발 연구를 수행하여, 유물에 대한 물리적·화학적인 복원 작업 없이도 유물의 훼손된 부분을 가상으로 시각화함으로써 유물의 원래 모습을 알 수 있게 해주는 모바일 기반 AR 어플리케이션을 개발하였다. 이는 디지털 복원 과정에서 생성된 데이터를 활용하여 새로운 콘텐츠를 만들었다는 점에서 의의가 있다.

이와 같은 AR 기술은 현실감을 유지하며 가상 유물을 보여주어 다양한 형태의 유물 활용 및 체험을 가능하게 해준다는 점에서 주목되며, 그동안 AR 기술을 적용한 유물 관람에 관한 다양한 연구가 진행되었다[8]-[12]. 최근에는 MR 기술이 크게 발전하여 현실과 컴퓨터 그래픽을 실시간으로 합성하여 압도적인 현장감을 실현하고, 모든 각도에서 대상을 볼 수 있도록 함으로써 현실과 가상이 혼합된 새로운 세계를 제공해줄 수 있게 되었다. 이러한 이유로 MR 기반 가상 유물 체험 연구가 증가하고 있으며, 특히 마이크로소프트(Microsoft)사의 안경형 MR 디스플레이인 홀로렌즈(Hololens)를 이용하여 가상 유물을 체험하는 연구들이 진행된 바 있다[13]-[17]. 그러나 여전히 시각적 감각만을 통해 유물을 관람한다는 한계가 존재한다.

2-2 촉지적 유물 관람

일반적으로 박물관 전시에서 유물을 직접 만지는 체험은 보존의 중요성으로 인해 제한되는 경우가 많다. 그러나 물체를 만지고 조작하는 경험은 사람들이 물리적 세계를 인식하고 이해하는 데 도움이 되는 기본적인 경험으로, 전시 유물의 표면질감·재질·무게 등의 촉지적 정보는 관람자에게 유물에 대한 인식 및 이해를 촉진시키는데 매우 중요한 요소라고 할 수 있다. 이에 따라 유물을 직접 만지면서 체험할 수 있는 핸즈-온(Hands-on) 전시 또는 유물 대여 프로그램이 확대되고 있다. 국내의 경우 국립중앙박물관에서 ‘찾아가는 박물관’ 프로그램을 통해 제작·전시했던 복제 유물을 활용하여 핸즈-온 체험을 제공하고 있으며, 국립민속박물관 어린이박물관에서는 다문화 체험 기회 제공을 위한 다문화꾸러미 대여 서비스를 운영하고 있다.

최근에는 3차원 프린팅 기술의 발전으로 복제 유물 제작이 용이해지면서, 이를 이용해 유물에 대한 촉지적 경험을 제공하는 연구들이 이루어진 바 있다. [18]에서는 박물관에서 3D프린트 유물과 관람자 간의 상호작용에 대해 분석하였는데, 그 결과 3D프린트 유물을 이용해 촉지적 상호작용을 제공하는 것에 대해 관람자들이 긍정적인 반응을 보였다. 또한 [19]에서는 시각장애인의 박물관 전시물에 대한 접근성을 향상시키기 위한 방안으로 3D프린트 유물을 사용했으며, 실험 참여자들이 만족스럽고 긍정적인 사용자 경험을 보고했다.

3D프린트 유물을 이용한 촉지적 관람이 유물을 체험하는 일반적인 관람방식 중 하나로 자리매김하게 되면서, 3D프린트 유물 관람이 다른 유형의 관람방식과 어떠한 차이가 있는지 비교하는 연구들도 나타났다. [20]은 3D프린트 유물 관람과 프로젝션 기반 AR을 이용한 가상 유물 관람이 기존의 전통적인 유물 관람방식보다 선호되었음을 밝히며, 관람자들이 단순히 유물을 앞에 두는 것보다 감각을 통해 유물을 경험하는 데 더 관심이 있음을 언급했다. [21]은 3D프린트 조건, 웹사이트 3D유물 조건, 홀로렌즈 조건을 비교하여 사용자 경험에 어떠한 차이가 있는지 분석한 결과, 홀로렌즈 조건이 가장 높은 수준의 결과를 나타낸 반면 3D프린트 조건은 가장 낮은 수준의 결과를 보였으며, 이는 3D프린트 유물의 색상이 실제 유물과 같은 수준으로 구현되지 못하는 한계에서 기인한 것으로 파악되었다.

Fig. 4.

Viewing 3D Printed Artifacts[18], [21]

3D프린트 유물을 통한 촉지적 상호작용을 제공하는 동시에 실제 유물의 색상 정보를 전달하기 위한 방안으로, 모바일 기기를 이용해 유물의 3D데이터를 3D프린트 유물 위에 AR로 구현함으로써 마치 실제 유물을 만지는 것 같은 체험을 제공하기 위한 연구들이 진행되었다[22]-[23].

Fig. 5.

Viewing 3D Printed Artifacts based on AR[22]-[23]

그러나 한 손의 사용이 강제되는 모바일 기기를 이용함으로 인해 한 손만으로 들기 힘든 크고 무거운 유물 관람에 적용하기 어렵다는 한계가 있다. 이는 3D프린트 유물을 통한 촉지적 상호작용 제공 시 손이 자유롭지 못한 핸드헬드(Handheld) 방식의 기기보다는 두 손이 자유로운 핸즈프리(Handsfree) 방식의 기기를 사용하는 것이 적합하다는 것을 시사한다.

Ⅲ. 제안하는 방법

3-1 시스템 구조

기존의 가상 유물 관람 사례는 단순히 유물 그 자체 또는 유물 결실부의 3D모델을 시각적으로 보여주는 것이 대부분이었다. 3D프린트 유물에 가상의 3D모델을 겹쳐서 촉지적인 상호작용을 제공하며 유물의 모습을 관람할 수 있게 해주는 사례도 있었으나, 모바일 기반으로 시스템이 구성되어 손이 자유롭지 못하다는 한계가 있었다. 또한 홀로렌즈를 이용할 경우 손이 자유로운 상태로 가상 유물을 관람할 수 있지만, 눈앞의 렌즈에 가상 이미지가 투사되는 광학식 시스루(Optical See-through) 방식의 디스플레이이기 때문에 시야각이 협소하여 몰입감과 사용성이 떨어지고 가상 3D모델이 반투명하게 보여 가시성이 떨어진다는 한계가 있다.

본 연구에서 제안하는 시스템은 카메라를 통해 들어온 실제 환경의 영상 위에 가상 콘텐츠를 겹치는 비디오 시스루(Video See-through) 방식의 HMD를 사용하여 넓은 시야각으로 선명한 가상 객체를 볼 수 있도록 하고자 한다. 이를 통해 두 손이 자유로운 상태로 가상의 3D모델이 겹쳐진 3D프린트 유물과 촉지적 상호작용을 하며 유물의 복원 전후 모습을 전환하면서 관람할 수 있도록 한다. 시스템 구조는 <그림 6>과 같으며 크게 입력부(Input)·하드웨어(Hardware)·시스템 모듈(System Module)·출력부(Output)로 구성된다.

Fig. 6.

System Architecture

Fig. 7.

Hololens & XR-1

입력부에 해당하는 3D프린트 복원 유물은 3차원 모델링 소프트웨어에서 복원된 유물의 3D데이터를 3D프린터 출력에 알맞은 확장자(stl, wrl, vrml 등)로 변환하여 출력한다. 복원된 모습을 출력함으로써 관람객들이 실제 유물에는 없는 결실부도 만질 수 있도록 하여 유물의 전체적인 맥락을 이해할 수 있도록 한다. 3D프린트 복원 유물의 위치에 맞게 가상 3D모델을 증강하기 위해 3D프린트 유물 옆에 마커를 부착하고 고정시킨다. 관람자는 키 입력을 통해 시스템과 상호작용할 수 있다.

하드웨어는 데스크톱을 중심으로 하여 HMD와 그 부속 장치인 베이스 스테이션 2.0이 MR 구현에 사용되며, 인터페이스 조작을 위한 입력장치와 오디오 안내 설명을 위한 무선 이어폰이 부가적으로 쓰이게 된다.

시스템 모듈은 마커 추적 모듈·인터페이스 조작 모듈·그래픽 렌더링 모듈·오디오 모듈로 구성되며 자세한 사항은 다음 장에서 서술하고자 한다.

출력부는 관람자가 본 시스템을 통해 경험하게 되는 상호작용 요소로서 크게 세 가지로 구분된다. 첫째, 관람자는 HMD를 통해 훼손 유물과 복원 유물을 전환하며 관람하면서 시각적인 상호작용을 경험한다. 둘째, 무선 이어폰을 통해 관람을 즐겁게 해주는 배경음 및 유물에 대한 안내 설명을 들으면서 청각적인 상호작용을 경험한다. 셋째, 두 손이 자유로운 상태로 유물의 가상 3D모델이 씌워진 3D프린트 유물을 들고 만지면서 유물의 형상과 질감을 인지하는 촉지적 상호작용을 경험한다.

Ⅳ. 구현 및 실험 평가

4-1 프로토타입 구현

프로토타입에 적용할 대상 유물은 발굴조사에서 가장 많이 출토되는 기와와 토기 중에서 표면이 굴곡지거나 형상이 복잡하여 촉지적 경험을 크게 하는 유물을 선정하고자 하였다. 기와의 경우 단순한 형태의 평기와보다는 무늬가 있어 표면이 굴곡진 와당을 후보로 정했으며, 토기는 복잡한 형상을 갖춘 이형토기 중에서 표면의 거칠기를 느낄 수 있는 것을 후보로 정하였다. 최종적으로 연화문와당(이하 ‘와당’)과 도기기마인물형뿔잔(이하 ‘뿔잔’)을 대상 유물로 선정하였다.

Fig. 8.

Damaged & Restored Features of Target Artifacts

Table 1.

Prototype Implementation Environment

Fig. 9.

3D Printing Process using HP Jet Fusion 580

와당의 3D데이터는 문화포털(www.culture.go.kr)에 구축된 wrl 형식의 데이터를 내려 받았으며, 원래 완형의 모습을 갖추고 있었으나 본 실험을 위해 블렌더(Blender)에서 인위적으로 3D데이터의 형상을 훼손하였다. 뿔잔의 경우 국가문화유산포털(www.heritage.go.kr)에 구축된 ply 형식의 데이터를 내려 받았으며, 훼손된 결실부는 김해시청 입구에 서있는 기마인물상을 참고하여 블렌더에서 모델링 작업을 통해 3차원 디지털 복원하였다. 각 유물의 텍스처는 블렌더에서 텍스처 베이킹 작업을 통해 png 이미지 파일로 추출하였다. 복원된 형태의 3D유물은 wrl 형식의 파일로 변환하여 HP Jet Fusion 580 3D프린터를 통해 3차원 프린팅하였으며, 색상을 갖춘 가상의 3D모델이 출력물 위에 정합될 것을 고려하여 흰색 단색으로 출력하였다.

시스템은 유니티 게임엔진에서 구현하였으며, Varjo XR-1 HMD와 호환되도록 Varjo XR SDK 플러그인을 유니티에 설치하였다. 블렌더에서 작업한 연화문와당과 도기기마인물형뿔잔의 훼손본과 복원본 3D모델을 obj 형식으로 내보내 유니티에 불러와 텍스처 이미지를 적용하여 색상을 표현하였으며, HMD에 장착된 카메라를 통해 마커가 추적되면 그 위에 3D모델이 증강되도록 하였다. 마커는 Varjo 개발자 포털(developer.varjo.com)에서 내려 받아 출력하였다. 키보드 화살표키를 인터페이스로 사용하도록 설정하여 훼손본 가상 3D모델(왼쪽 키)과 복원본 가상 3D모델(오른쪽 키)을 불러오거나 안내 설명(아래쪽 키) 및 배경음(위쪽 키)의 재생·일시정지를 조작할 수 있도록 하였다. 안내 설명은 기계적인 더빙 음성이 아니라 인공지능 기반의 네이버 클로바 더빙을 이용해 자연스러운 음성이 나오도록 하였다.

4-2 실험 방법

1) 실험 비교군

본 실험은 기존에 연구되었던 가상 유물 관람방식에 비해 제안하는 방법이 더 나은 경험을 제공하는지 분석하기 위해 진행되었다. 비교할 관람방식은 <표 2>와 같이 ‘3D그래픽’ 방식, ‘실물+3D그래픽’ 방식, ‘제안하는 방법’의 세 가지로 구성하였으며, 각 관람방식은 모두 Varjo XR-1 HMD를 기반으로 구현되어 유물의 복원 전과 복원 후의 모습을 교차하며 볼 수 있도록 하였다.

Table 2.

Comparison Group of Viewing Methods for Experiment

Fig. 10.

Physical Object according to Viewing Methods

Fig. 11.

MR Scenes according to Viewing Methods

‘3D그래픽’ 방식은 훼손 또는 복원 유물의 3D그래픽이 마커 위에 증강되는 방식이다. ‘실물+3D그래픽’ 방식은 박물관 환경과 유사하게 투명 케이스 안의 실제 유물을 보는 동안 복원된 유물 결실부 3D그래픽이 실제 유물 결실부의 위치에 맞게 증강되는 방식이다. 실제 유물을 확보하는 것이 어려워 풀컬러 출력을 지원하는 HP Jet Fusion 580 3D프린터를 통해 복제품을 제작하였다. 그러나 아직까지 기술적 한계로 인해 실제 유물의 색상보다 옅은 색이 출력되는 아쉬움이 있다. ‘제안하는 방법’은 복원된 형태의 3D프린트 유물을 만지는 동안 훼손 또는 복원 유물의 3D그래픽이 3D프린트 유물 위에 정합되는 방식이다.

2) 설문 문항

본 연구에서는 정량적 평가와 정성적 평가를 통해 설문을 진행하였다. 정량적 평가에서는 AR 서비스 평가 시 자주 사용되는 항목 척도인 현존감과 몰입감을 설문 문항으로 사용하였으며, 이용전망 항목도 추가하여 시스템의 향후 전망에 대해 살펴보고자 하였다. 현존감 평가를 위한 문항은 AR 환경의 사용성 평가 요소에 대해 연구한 [24]와 AR 기반 체험형 전시관의 몰입 효과를 연구한 [25]의 내용을 기반으로 작성하였다. 몰입감 평가를 위한 문항은 AR 기반 학습 환경에서 학업성취도를 평가한 [26]의 내용을 바탕으로 하였다. 이용전망 평가를 위한 문항은 AR 서비스를 사용하는 이용자들의 지각된 특성이 전반적인 만족감과 지속적인 이용의도에 영향을 미치는지에 대해 연구한 [27]의 내용을 기반으로 하였다. 각 문항은 1점에서 5점 사이의 리커트 척도(Likert Scale)로 측정하였다. 정성적 평가 문항은 각 관람방식에 대해 만족사항·불만사항·개선의견에 대해 묻는 질문으로 이루어졌으며, 기타 의견이 있으면 기재해줄 것을 요청하였다. 설문 문항의 평가 척도는 <표 3>과 같다.

Table 3.

Evaluation Scale

3) 실험 절차

2020년 10월 28일부터 2020년 10월 31일까지 <표 4>에서 제시하는 바와 같은 참여자들을 대상으로 실험을 실시하였다. 성별 비율에 큰 차이가 없도록 모집하였으며 나이를 제한하지는 않았다. 실험 전 참여자들에게 실험의 목적·절차·유의사항에 대해 설명하였으며, 실험에서는 개별 사용자가 두 개의 유물을 대상으로 각각 3가지 관람방식을 경험하고, 각각에 대한 설문조사를 실시하였다. 총 참여인원 30명 가운데 15명은 와당을 먼저 관람한 뒤 뿔잔을 관람하도록 하였으며 나머지 15명은 반대 순서로 관람을 진행하였다. 관람방식은 ‘3D그래픽’을 1번, ‘실물+3D그래픽’을 2번, ‘제안하는 방법’을 3번이라고 가정했을 때, 관람 순서에 따라 1-2-3, 2-3-1, 3-1-2, 1-2-3, … 순으로 체험토록 하였다. 모든 체험을 완료한 후에는 설문조사를 수행하였으며 세 가지 서로 다른 경험에 대한 차이를 분석하였다. 또한 몰입형 기술에 대한 사전 경험 유무를 파악하여 경험이 있는 집단과 없는 집단 간 어떠한 차이가 발생하는지도 살펴보았다.

Fig. 12.

Appearance of Experiment

Table 4.

Participant Demographics

4-3 실험 결과 분석

1) 정량적 분석

(1) 현존감 분석

와당 관람방식 간의 현존감 평균(표준편차)은 ‘3D그래픽’ 방식에서 3.67(0.65), ‘실물+3D그래픽’ 방식에서 3.73(0.63), ‘제안하는 방법’에서 4.00(0.63)으로 나타나, ‘제안하는 방법’에서의 현존감이 가장 컸다. 뿔잔 관람방식 간의 현존감 평균(표준편차)은 ‘3D그래픽’ 방식에서 3.82(0.68), ‘실물+3D그래픽’ 방식에서 3.86(0.73), ‘제안하는 방법’에서 4.09(0.75)로 나타나, ‘제안하는 방법’에서의 현존감이 가장 컸다.

(2) 몰입감 분석

와당 관람방식 간의 몰입감 평균(표준편차)은 ‘3D그래픽’ 방식에서 3.86(0.44), ‘실물+3D그래픽’ 방식에서 3.79(0.48), ‘제안하는 방법’에서 3.96(0.45)으로 나타나, ‘제안하는 방법’에서의 몰입감이 가장 컸다. 뿔잔 관람방식 간의 몰입감 평균(표준편차)은 ‘3D그래픽’ 방식에서 3.94(0.58), ‘실물+3D그래픽’ 방식에서 3.76(0.76), ‘제안하는 방법’에서 3.97(0.49)로 나타나, ‘제안하는 방법’에서의 몰입감이 가장 컸다.

(3) 이용전망 분석

와당 관람방식 간의 이용전망 평균(표준편차)은 ‘3D그래픽’ 방식에서 4.12(0.90), ‘실물+3D그래픽’ 방식에서 4.05(0.99), ‘제안하는 방법’에서 4.23(0.89)으로 나타나, ‘제안하는 방법’에서의 이용전망이 가장 컸다. 뿔잔 관람방식 간의 이용전망 평균(표준편차)은 ‘3D그래픽’ 방식에서 4.18(0.75), ‘실물+3D그래픽’ 방식에서 3.92(1.07), ‘제안하는 방법’에서 4.05(1.00)로 나타나, ‘3D그래픽’ 방식에서의 이용전망이 가장 컸다.

2) 정성적 분석

(1) 만족사항

정성적 평가는 와당과 뿔잔을 따로 수행하였으나, 두 유물 간 중복되는 응답이 많아 두 유물을 구분하지 않고 결과를 분석하기로 하였다. 먼저 ‘3D그래픽’ 방식에서는 다양한 방향에서 회전하여 볼 수 있다는 의견이 11명으로 가장 빈도수가 높았다. ‘실물+3D그래픽’ 방식에서는 복원 전후 비교가 쉽다는 의견이 13명으로 가장 빈도수가 높았다. ‘제안하는 방법’에서는 유물을 만져볼 수 있어 좋았다는 의견이 23명으로 가장 빈도수가 높았다.

(2) 불만사항

‘3D그래픽’ 방식의 불만사항으로는 실체가 없는 가상이라는 점에서 집중도가 떨어진다는 의견이 5명으로 가장 빈도수가 높았다. ‘실물+3D그래픽’ 방식의 경우 실제 유물과 가상 3D데이터의 정합이 매끄럽지 못하다는 의견이 15명으로 가장 빈도수가 높았다. ‘제안하는 방법’의 경우도 3D프린트 유물과 가상 3D데이터의 정합이 매끄럽지 못하다는 의견이 11명으로 가장 빈도수가 높았다.

(3) 개선의견

‘3D그래픽’ 방식의 개선의견으로는 복원 전후를 명확히 파악할 수 있도록 복원한 부분에 대한 시각적 피드백이 있었으면 좋겠다는 의견이 4명 있었다. ‘실물+3D그래픽’ 방식의 경우 실제 유물과 가상 3D데이터의 정합이 자연스러우면 좋겠다는 의견이 7명으로 가장 빈도수가 높았다. ‘제안하는 방법’의 경우도 3D프린트 유물과 가상 3D데이터의 정합이 자연스러우면 좋겠다는 의견이 가장 빈도수가 높았다.

(4) 기타의견

기타의견으로는 HMD가 무겁다는 의견이 6명으로 가장 빈도수가 높았다.

Table 5.

Quantitative Analysis Results

Fig. 13.

Quantitative Analysis Results Graph

Table 6.

Qualitative Analysis Results

2) 사전경험유무에 따른 집단 간 차이 분석

(1) ‘3D그래픽’ 관람방식 분석

VR·AR·MR에 대한 사전경험이 있는 집단과 없는 집단 간에 본 시스템에 대한 현존감·몰입감·이용전망에 차이가 있는지 알아보기 위한 결과 분석을 실시하였으며, 와당과 뿔잔의 설문 점수를 합산한 결과를 분석하였다.

‘3D그래픽’ 관람방식에서 사전경험이 있는 집단과 없는 집단 간에 차이가 있는지 살펴본 결과, 현존감에서는 사전경험이 있는 집단의 평균(표준편차)이 3.72(0.59)로 나타났고, 사전경험이 없는 집단은 3.76(0.77)으로 나타나 사전경험이 없는 집단이 느끼는 현존감이 더욱 큰 것으로 나타났다. 몰입감에서는 사전경험이 있는 집단의 평균(표준편차)이 3.92(0.42)로 나타났고, 사전경험이 없는 집단은 3.87(0.64)로 나타나 사전경험이 있는 집단이 느끼는 몰입감이 더욱 큰 것으로 나타났다. 이용전망에서는 사전경험이 있는 집단의 평균(표준편차)이 4.15(0.88)로 나타났고, 사전경험이 없는 집단도 4.15(0.74)로 나타나 두 집단 사이에 이용전망의 차이가 없는 것으로 나타났다. 전반적으로 ‘3D그래픽’ 방식에서는 사전경험이 있는 집단과 없는 집단 간에 뚜렷한 차이를 발견할 수 없었다.

‘실물+3D그래픽’ 방식에서 사전경험이 있는 집단과 없는 집단 간에 차이가 있는지 살펴본 결과, 현존감에서는 사전경험이 있는 집단의 평균(표준편차)이 3.63(0.70)으로 나타났고, 사전경험이 없는 집단은 4.05(0.57)로 나타나 사전경험이 없는 집단이 느끼는 현존감이 더욱 큰 것으로 나타났다. 몰입감에서는 사전경험이 있는 집단의 평균(표준편차)이 3.62(0.70)로 나타났고, 사전경험이 없는 집단은 4.01(0.42)로 나타나 사전경험이 없는 집단이 느끼는 몰입감이 더욱 큰 것으로 나타났다. 이용전망에서는 사전경험이 있는 집단의 평균(표준편차)이 3.68(1.10)로 나타났고, 사전경험이 없는 집단은 4.44(0.68)로 나타나 사전경험이 없는 집단이 느끼는 이용전망이 더욱 큰 것으로 나타났다. 전반적으로 ‘실물+3D그래픽’ 방식에서는 사전경험이 없는 집단이 느끼는 현존감·몰입감·이용전망이 모두 크게 나타났다.

‘제안하는 방법’에서 사전경험이 있는 집단과 없는 집단 간에 차이가 있는지 살펴본 결과, 현존감에서는 사전경험이 있는 집단의 평균(표준편차)이 4.07(0.62)로 나타났고, 사전경험이 없는 집단은 4.01(0.79)로 나타나 사전경험이 있는 집단이 느끼는 현존감이 더욱 큰 것으로 나타났다. 몰입감에서는 사전경험이 있는 집단의 평균(표준편차)이 4.01(0.49)로 나타났고, 사전경험이 없는 집단은 3.90(0.43)으로 나타나 사전경험이 있는 집단이 느끼는 몰입감이 더욱 큰 것으로 나타났다. 이용전망에서는 사전경험이 있는 집단의 평균(표준편차)이 4.21(0.02)로 나타났고, 사전경험이 없는 집단은 4.04(0.99)로 나타나 사전경험이 있는 집단이 느끼는 이용전망이 더욱 큰 것으로 나타났다. 전반적으로 ‘제안하는 방법’에서는 사전경험이 있는 집단이 느끼는 현존감·몰입감·이용전망이 모두 크게 나타났다.

Table 7.

Results of Difference Analysis between Groups according to Prior Experience

Fig. 14.

Results Graph of Difference Analysis between Groups according to Prior Experience

Ⅴ. 결 론

매년 발굴조사에서 출토되는 훼손 유물의 3차원 디지털 복원 과정에서 생성된 3D데이터를 전시에 활용하기 위한 방안을 모색하고자 MR 기술을 기반으로 유물의 복원 전후 모습을 가상으로 시각화하고 3D프린트 복원 유물을 이용해 촉지적 상호작용을 할 수 있는 시스템을 개발하였다. 본 시스템 적용 유물은 발굴조사에서 가장 많이 출토되는 기와와 토기를 대상으로 하여 연화문와당과 도기기마인물형뿔잔을 선정하였다. 본 시스템이 기존 연구들에서 제시되었던 가상 유물 관람방식들과 차이가 있는지 비교 분석한 결과 현존감과 몰입감 측면에서 가장 높은 결과를 보였으며, 몰입형 기술을 이미 경험해본 관람자의 경우 촉지적 상호작용의 적용이 관람 경험에 긍정적인 영향을 끼쳤음을 알 수 있었다.

본 연구는 훼손 유물의 3차원 디지털 복원에 그치지 않고 복원한 데이터를 MR 콘텐츠로 활용하여 촉지적 상호작용을 결합함으로써 훼손 유물의 활용도와 가치를 높이고 관람객들에게 더 나은 경험을 제공할 수 있었다는 의의가 있다. 또한 비디오 시스루 HMD를 활용함으로써 두 손이 자유로운 상태에서 선명한 3D유물을 넓은 시야각으로 관람하고 만질 수 있게 하였다. 그러나 프로토타입에 대한 정성적 평가에서 몇 가지 불만사항과 개선의견이 제기되어 향후 이에 대한 보완을 통해 시스템 완성도 및 관람 만족도를 향상시키고자 한다. 본 연구에서 제시한 방법론은 디지털 기술을 활용한 문화유산 복원 및 새로운 전시 방법 연구로서의 가능성을 보여준다는 점에서 유물뿐만 아니라 유적 복원 및 체험에 관한 연구로 확장할 수 있을 것으로 기대된다.

Acknowledgments

이 논문은 ‘한국전통문화대학교 대학원 연구개발지원 사업’의 지원을 받아 수행된 연구입니다.

References

• C. Y. Lee and K. S. Han, “A Study on Making a Replica for Restoration of the Stone Lion Statue Excavated from Woljeong Bridge,” Journal of Conservation Science, Vol. 31, No. 2, pp. 147-157, 2015. [https://doi.org/10.12654/JCS.2015.31.2.07]
• W. C. Shin, Y. M. Kim, H. W. Yang, K. J. Kim, S. J. Oh, and K. C. Wi, “A Study on Digital Restoration for Prototype of Buncheongsangkam Morandangchomun Drum using Texture Mapping Technology,” Culture and Convergence, Vol. 41, No. 5, pp. 127-146, 2019. [https://doi.org/10.33645/cnc.2019.10.41.5.127]
• W. Shin, K. Kim, and K. Wi, “A Study on the 3D Digital Restoration Technology Using a Shard of a Joseon Dynasty White Porcelain Water Dropper,” Conservation Science in Museum, Vol. 22, pp. 85-96, 2019.
• H. S. Lee and K. C. Wi, “Restoration of a White Porcelain Pitcher Using 3D Printing,” Journal of Conservation Science, Vol. 31, No. 2, pp. 131-145, 2015. [https://doi.org/10.12654/JCS.2015.31.2.06]
• Y. H. Jo, S. H. Hong, S. Y. Jo, and Y. M. Kwon, “Noncontact restoration of missing parts of stone Buddha statue based on three-dimensional virtual modeling and assembly simulation,” Heritage Science, Vol. 8, October 2020. [https://doi.org/10.1186/s40494-020-00450-8]
• M. J. Park, H. S. Hwang, and Y. H. Shin, “A Study on the Restoration of Chimi Excavated the Wangheungsa Temple Site using 3D Scanning and Computer Numerical Control,” Journal of Conservation Science, Vol. 35, No. 3, pp. 217-225, 2019. [https://doi.org/10.12654/JCS.2019.35.3.04]
• M. Y. Zheng and S. H. Ryu, “3D Restoration of Cultural Remains for Exhibiting Augmented Reality,” Journal of Digital Convergence, Vol. 15, No. 12, pp. 549-554, 2017.
• A. F. Abate, S. Barra, G. Galeotafiore, C. Díaz, E. Aura, M. Sánchez, X. Mas, and E. Vendrell, “An Augmented Reality Mobile App for Museums: Virtual Restoration of a Plate of Glass,” in Proceeding of the 7th International Conference, EuroMed 2018, Nicosia, pp. 539-547, 2018. [https://doi.org/10.1007/978-3-030-01762-0_47]
• M. White, N. Mourkoussis, J. Darcy, P. Petridis, F. Liarokapis, P. Lister, K. Walczak, K. Wojciechowski, W. Cellary, J. Chmielewski, M. Stawniak, W. Wiza, M. Patel, J. Stevenson, J. Manley, F. Giorgini, P. Sayd, and F. Gaspard, “ARCO – An Architecture for Digitization, Management and Presentation of Virtual Exhibitions,” in Proceeding of Computer Graphics International Conference, Crete, 2004. [https://doi.org/10.1109/CGI.2004.1309277]
• E. Kim and W. Woo, “Current Trend and Future Direction of the Augmented Reality Applications in Cultural Heritage Domain,” Communications of the Korean Institute of Information Scientists and Engineer, Vol. 34, No. 12, pp. 51-60, 2016.
• J. S. Kang, “Application method of cultural heritage contents exhibition combining augmented reality technology,” Journal of the Korea Convergence Society, Vol. 8, No. 5, pp. 137-143, 2017.
• M. K. Bekele, R. Pierdicca, E. Frontoni, E. S. Malinverni, and J. Gain, “A Survey of Augmented, Virtual, and Mixed Reality for Cultural Heritage,” Journal on Computing and Cultural Heritage, Vol. 11, No. 2, pp. 1-36, March 2018. [https://doi.org/10.1145/3145534]
• C. Pollalis, W. Fahnbulleh. J. Tynes, and O. Shaer, “Holomuse: Enhancing Engagement with Archaeological Artifacts through Gesture-Based Interaction with Holograms,” in Proceeding of the 11th International Conference on Tangible, Embedded, and Embodied Interactions, Yokohama, pp. 565-570, 2017. [https://doi.org/10.1145/3024969.3025094]
• A. Muñoz and A. M. Testón, “Holomuseum: A Hololens Application for Creating Extensible and Customizable Holographic Exhibitions,” in Proceeding of the 10th International Conference on Education and New Learning Technologies, Palma, pp. 2303-2310, 2018.
• E. Occhipinti, Holomuseum: a prototype of interactive exhibition with Mixed Reality glasses HoloLens, M.S. dissertation, Politecnico Di Torino, Torino, 2017.
• A. Indraprastha, “An Interactive Augmented Reality Architectural Design Model: A Prototype for Digital Heritage Preservation,” in Proceeding of the 11th International Conference on Advanced Computer Science and Information Systems, Bali, pp. 83-88, 2019. [https://doi.org/10.1109/ICACSIS47736.2019.8979767]
• S. Jeon, A. D. Yang, W. Hur, N. Park, and J. H. Hong, “A Comparative Study on Augmented Reality and Conversational Interface for Edutainment in Museum,” in Proceeding of Korea Software Congress, Pyeongchang, pp. 1273-1275, 2018.
• T. L. Williams, More than just a novelty? Museum visitor interactions with 3D printed artifacts, M.A. dissertation, University of Washington, Seattle, WA, 2017.
• G. Anagnostakis, M. Antoniou, E. Kardamitsi, T. Sachinidis, P. Koutsabasis, M. Stavrakis, S. Vosinakis, and D. Zissis, “Accessible Museum Collections for the Visually Impaired: Combining Tactile Exploration, Audio Descriptions and Mobile Gestures,” in Proceeding of the 18th International Conference on Human-Computer Interaction with Mobile Devices and Services Adjunct, Florence, pp. 1021-1025, 2016. [https://doi.org/10.1145/2957265.2963118]
• P. D. G. Di Franco, C. Camporesi, F. Galeazzi, and M. Kallmann, “3D Printing and Immersive Visualization for Improved Perception of Ancient Artifacts,” Presence Teleoperators & Virtual Environments, Vol. 24, No. 3, pp. 243-264, 2015. [https://doi.org/10.1162/PRES_a_00229]
• C. Pollalis, E. J. Minor, L. Westendorf, W. Fahnbulleh, I. Virgilio, A. L. Kun, and O. Shaer “Evaluating learning with tangible and virtual representations of archaeological artifacts,” in Proceeding of the 12th International Conference on Tangible, Embedded, and Embodied Interactions, Stockholm, pp. 626-637, 2018. [https://doi.org/10.1145/3173225.3173260]
• L. Mann and O. Fryazinov, “3D printing for mixed reality hands-on museum exhibit interaction,” in Proceeding of SIGGRAPH 2019, Los Angeles, pp. 1-2, 2019. [https://doi.org/10.1145/3306214.3338609]
• E. Jeong, J. Oh, H. Won, and J. Yu, “Multisensory based AR System for Education of Cultural Heritage,” Journal of The Korea Society of Computer and Information, Vol. 24, No. 11, pp. 61-69, November 2019.
• J. W. Lee, The Attributes of Usability Test for Augmented Reality Environment, M.A. dissertation, Hongik University, Seoul, 2012.
• S. Choi and J. Pyeon, “A Study on the Augmented Reality-based Experience Exhibition Immersion,” Journal of Korea Design Forum, Vol. 49, pp. 167-178, 2015. [https://doi.org/10.21326/ksdt.2015..49.015]
• H. Suh, “Relationships among Presence, Learning Flow, Attitude toward Usability, and Learning Achievement in an Augmented Reality Interactive Learning Environment,” The Journal of Educational Information and Media, Vol. 14, No. 3, pp. 137-165, 2008.
• K. Y. Kim and U. Jung “A Study on the Impact of Perceived Characteristics of Augmented Reality(AR) Services on User Satisfaction and Intention to Use,” Global Business Administration Review, Vol. 17, No. 2, pp. 187-211, 2020. [https://doi.org/10.38115/asgba.2020.17.2.187]