Journal Archive

유물은 과거의 물질문화를 이해하고 해석하는데 필수적인 문화유산이므로 잘 보존하여 미래 세대에게 물려줄 의무가 있다. 유물의 원래 모습이 변형되거나 훼손되었을 경우에는 보존·복원처리를 통해 원래 모습을 되찾게 함으로써 가치를 제고하고 관람자의 이해를 도울 수 있다. 유물을 복원하는 작업에서 중요한 이슈는 유물에 손상을 주지 않으면서 원형을 복원해내는 것이다. 기존의 보존처리 방식의 경우에는 유물에 직접 거푸집을 제작하여 틀로 활용하는 접촉식 방식으로 유물에 손상을 가할 수 있는 잠재적인 요소를 가지고 있다[1]. 최근에는 수작업을 통한 보존·복원 작업에 한계가 있는 경우 3차원 디지털 기술을 활용한 비접촉식 방식의 적용을 시도하고 있다. 3차원 디지털 복원 과정은 보통 ‘유물의 복원 범위 설정 -> 3차원 디지털 형상 정보 취득 -> 3차원 모델링 -> 텍스처 매핑 -> 실물 제작’의 순서로 이루어지게 된다.

훼손 유물 3차원 디지털 복원 연구 대부분은 훼손 유물에 대한 3차원 스캐닝 작업을 통해 3D데이터를 획득한 후 결실부에 대한 모델링 작업을 진행하여 형상 복원을 진행하였다[1]-[6]. [2]-[3]은 모델링 및 텍스처 매핑을 통해 결실부를 가상 복원하였으며, [1]의 경우 가상 복원 데이터 기반의 실측도와 단면도를 토대로 복원 모본을 점토 제작하였다. 이외에도 가상 복원된 결실부 모델을 3차원 프린팅 또는 컴퓨터 수치제어(CNC; computer numerical control)를 통해 실물로 제작함으로써 실제 유물 복원 재료로 사용한 경우도 있었다[4]-[6]. 이러한 사례들은 3차원 디지털 기술이 유물 복원 작업을 보완하는 가장 필수적인 방법 중 하나가 되었음을 보여준다. 그러나 복원 자체에 초점이 맞추어져 있어, 복원 과정을 콘텐츠화하여 전시 및 관람에 활용하는 방안에 대한 논의는 부족하다.

Fig. 1. 
AR-based Restoration of Missing Parts of Artifact[8]

Fig. 2. 
AR-based Virtual Artifacts using Markers[9]

Fig. 3. 
MR-based Virtual Artifacts using Hololens[14], [16]

이와 관련하여 [7]은 유물의 디지털 복원 과정을 모바일 기반의 AR로 구현하는 전시 시스템 콘셉트를 제안하였다. [8]은 이러한 시스템에 대한 실제 개발 연구를 수행하여, 유물에 대한 물리적·화학적인 복원 작업 없이도 유물의 훼손된 부분을 가상으로 시각화함으로써 유물의 원래 모습을 알 수 있게 해주는 모바일 기반 AR 어플리케이션을 개발하였다. 이는 디지털 복원 과정에서 생성된 데이터를 활용하여 새로운 콘텐츠를 만들었다는 점에서 의의가 있다.

이와 같은 AR 기술은 현실감을 유지하며 가상 유물을 보여주어 다양한 형태의 유물 활용 및 체험을 가능하게 해준다는 점에서 주목되며, 그동안 AR 기술을 적용한 유물 관람에 관한 다양한 연구가 진행되었다[8]-[12]. 최근에는 MR 기술이 크게 발전하여 현실과 컴퓨터 그래픽을 실시간으로 합성하여 압도적인 현장감을 실현하고, 모든 각도에서 대상을 볼 수 있도록 함으로써 현실과 가상이 혼합된 새로운 세계를 제공해줄 수 있게 되었다. 이러한 이유로 MR 기반 가상 유물 체험 연구가 증가하고 있으며, 특히 마이크로소프트(Microsoft)사의 안경형 MR 디스플레이인 홀로렌즈(Hololens)를 이용하여 가상 유물을 체험하는 연구들이 진행된 바 있다[13]-[17]. 그러나 여전히 시각적 감각만을 통해 유물을 관람한다는 한계가 존재한다.

일반적으로 박물관 전시에서 유물을 직접 만지는 체험은 보존의 중요성으로 인해 제한되는 경우가 많다. 그러나 물체를 만지고 조작하는 경험은 사람들이 물리적 세계를 인식하고 이해하는 데 도움이 되는 기본적인 경험으로, 전시 유물의 표면질감·재질·무게 등의 촉지적 정보는 관람자에게 유물에 대한 인식 및 이해를 촉진시키는데 매우 중요한 요소라고 할 수 있다. 이에 따라 유물을 직접 만지면서 체험할 수 있는 핸즈-온(Hands-on) 전시 또는 유물 대여 프로그램이 확대되고 있다. 국내의 경우 국립중앙박물관에서 ‘찾아가는 박물관’ 프로그램을 통해 제작·전시했던 복제 유물을 활용하여 핸즈-온 체험을 제공하고 있으며, 국립민속박물관 어린이박물관에서는 다문화 체험 기회 제공을 위한 다문화꾸러미 대여 서비스를 운영하고 있다.

최근에는 3차원 프린팅 기술의 발전으로 복제 유물 제작이 용이해지면서, 이를 이용해 유물에 대한 촉지적 경험을 제공하는 연구들이 이루어진 바 있다. [18]에서는 박물관에서 3D프린트 유물과 관람자 간의 상호작용에 대해 분석하였는데, 그 결과 3D프린트 유물을 이용해 촉지적 상호작용을 제공하는 것에 대해 관람자들이 긍정적인 반응을 보였다. 또한 [19]에서는 시각장애인의 박물관 전시물에 대한 접근성을 향상시키기 위한 방안으로 3D프린트 유물을 사용했으며, 실험 참여자들이 만족스럽고 긍정적인 사용자 경험을 보고했다.

3D프린트 유물을 이용한 촉지적 관람이 유물을 체험하는 일반적인 관람방식 중 하나로 자리매김하게 되면서, 3D프린트 유물 관람이 다른 유형의 관람방식과 어떠한 차이가 있는지 비교하는 연구들도 나타났다. [20]은 3D프린트 유물 관람과 프로젝션 기반 AR을 이용한 가상 유물 관람이 기존의 전통적인 유물 관람방식보다 선호되었음을 밝히며, 관람자들이 단순히 유물을 앞에 두는 것보다 감각을 통해 유물을 경험하는 데 더 관심이 있음을 언급했다. [21]은 3D프린트 조건, 웹사이트 3D유물 조건, 홀로렌즈 조건을 비교하여 사용자 경험에 어떠한 차이가 있는지 분석한 결과, 홀로렌즈 조건이 가장 높은 수준의 결과를 나타낸 반면 3D프린트 조건은 가장 낮은 수준의 결과를 보였으며, 이는 3D프린트 유물의 색상이 실제 유물과 같은 수준으로 구현되지 못하는 한계에서 기인한 것으로 파악되었다.

Fig. 4. 
Viewing 3D Printed Artifacts[18], [21]

3D프린트 유물을 통한 촉지적 상호작용을 제공하는 동시에 실제 유물의 색상 정보를 전달하기 위한 방안으로, 모바일 기기를 이용해 유물의 3D데이터를 3D프린트 유물 위에 AR로 구현함으로써 마치 실제 유물을 만지는 것 같은 체험을 제공하기 위한 연구들이 진행되었다[22]-[23].

Fig. 5. 
Viewing 3D Printed Artifacts based on AR[22]-[23]

그러나 한 손의 사용이 강제되는 모바일 기기를 이용함으로 인해 한 손만으로 들기 힘든 크고 무거운 유물 관람에 적용하기 어렵다는 한계가 있다. 이는 3D프린트 유물을 통한 촉지적 상호작용 제공 시 손이 자유롭지 못한 핸드헬드(Handheld) 방식의 기기보다는 두 손이 자유로운 핸즈프리(Handsfree) 방식의 기기를 사용하는 것이 적합하다는 것을 시사한다.

기존의 가상 유물 관람 사례는 단순히 유물 그 자체 또는 유물 결실부의 3D모델을 시각적으로 보여주는 것이 대부분이었다. 3D프린트 유물에 가상의 3D모델을 겹쳐서 촉지적인 상호작용을 제공하며 유물의 모습을 관람할 수 있게 해주는 사례도 있었으나, 모바일 기반으로 시스템이 구성되어 손이 자유롭지 못하다는 한계가 있었다. 또한 홀로렌즈를 이용할 경우 손이 자유로운 상태로 가상 유물을 관람할 수 있지만, 눈앞의 렌즈에 가상 이미지가 투사되는 광학식 시스루(Optical See-through) 방식의 디스플레이이기 때문에 시야각이 협소하여 몰입감과 사용성이 떨어지고 가상 3D모델이 반투명하게 보여 가시성이 떨어진다는 한계가 있다.

본 연구에서 제안하는 시스템은 카메라를 통해 들어온 실제 환경의 영상 위에 가상 콘텐츠를 겹치는 비디오 시스루(Video See-through) 방식의 HMD를 사용하여 넓은 시야각으로 선명한 가상 객체를 볼 수 있도록 하고자 한다. 이를 통해 두 손이 자유로운 상태로 가상의 3D모델이 겹쳐진 3D프린트 유물과 촉지적 상호작용을 하며 유물의 복원 전후 모습을 전환하면서 관람할 수 있도록 한다. 시스템 구조는 <그림 6>과 같으며 크게 입력부(Input)·하드웨어(Hardware)·시스템 모듈(System Module)·출력부(Output)로 구성된다.

Fig. 6. 
System Architecture

Fig. 7. 
Hololens & XR-1

입력부에 해당하는 3D프린트 복원 유물은 3차원 모델링 소프트웨어에서 복원된 유물의 3D데이터를 3D프린터 출력에 알맞은 확장자(stl, wrl, vrml 등)로 변환하여 출력한다. 복원된 모습을 출력함으로써 관람객들이 실제 유물에는 없는 결실부도 만질 수 있도록 하여 유물의 전체적인 맥락을 이해할 수 있도록 한다. 3D프린트 복원 유물의 위치에 맞게 가상 3D모델을 증강하기 위해 3D프린트 유물 옆에 마커를 부착하고 고정시킨다. 관람자는 키 입력을 통해 시스템과 상호작용할 수 있다.

하드웨어는 데스크톱을 중심으로 하여 HMD와 그 부속 장치인 베이스 스테이션 2.0이 MR 구현에 사용되며, 인터페이스 조작을 위한 입력장치와 오디오 안내 설명을 위한 무선 이어폰이 부가적으로 쓰이게 된다.

시스템 모듈은 마커 추적 모듈·인터페이스 조작 모듈·그래픽 렌더링 모듈·오디오 모듈로 구성되며 자세한 사항은 다음 장에서 서술하고자 한다.

출력부는 관람자가 본 시스템을 통해 경험하게 되는 상호작용 요소로서 크게 세 가지로 구분된다. 첫째, 관람자는 HMD를 통해 훼손 유물과 복원 유물을 전환하며 관람하면서 시각적인 상호작용을 경험한다. 둘째, 무선 이어폰을 통해 관람을 즐겁게 해주는 배경음 및 유물에 대한 안내 설명을 들으면서 청각적인 상호작용을 경험한다. 셋째, 두 손이 자유로운 상태로 유물의 가상 3D모델이 씌워진 3D프린트 유물을 들고 만지면서 유물의 형상과 질감을 인지하는 촉지적 상호작용을 경험한다.

마커 추적 모듈에서는 3D프린트 유물 옆에 부착된 마커를 HMD에 장착된 카메라를 통해 취득하여 전처리·감지·마커 추적의 3단계 과정을 통해 처리하게 된다. 전처리 단계에서는 취득된 이미지를 그레이스케일로 변환하는 작업이 이루어지며, 감지 단계에서는 그레이스케일 이미지의 특징점을 감지하여 추출하고 미리 정의된 마커가 맞는지 확인하는 매칭 단계를 거친다. 매칭이 되면 최종적으로 마커를 추적하게 되며, 매칭이 되지 않으면 다시 이미지 취득을 진행하게 된다. 마커가 추적되면 그래픽 렌더링 모듈에서 유물의 가상 3D모델을 마커에 정합하여 HMD를 통해 시각화하게 된다. 3D프린트 유물과 위치·회전·크기 값을 사전에 매칭하여 가상 3D모델과 3D프린트 유물이 정교하게 일치되도록 한다.

인터페이스 조작 모듈은 관람자가 시스템과 상호작용할 수 있도록 하며, 관람자가 키입력을 하면 입력 장치를 통해 들어온 키입력 데이터에 대해 사전에 지정된 키가 맞는지 매칭 작업을 수행하여 맞으면 다음 모듈로 데이터를 전송하여 시스템에 변화를 주고, 맞지 않으면 데이터 전송을 하지 않는다.

그래픽 렌더링 모듈은 유물의 가상 3D모델을 시각화해주며, MR SDK 플러그인을 통해 MR 환경에서 렌더링될 수 있도록 한다. 그래픽 소스는 훼손 모델과 복원 모델로 구성되며, 각 모델은 장면 1과 장면 2에 각각 포함되어, 인터페이스 조작 모듈을 통한 장면 전환 기능을 통해 각 모델의 모습을 번갈아가며 볼 수 있도록 한다.

오디오 모듈은 관람 경험을 신나게 해주는 배경음과 유물에 대한 안내 설명을 들려주며, 인터페이스 조작 모듈을 통한 재생 또는 일시중지 기능을 통해 오디오를 조작할 수 있다.

프로토타입에 적용할 대상 유물은 발굴조사에서 가장 많이 출토되는 기와와 토기 중에서 표면이 굴곡지거나 형상이 복잡하여 촉지적 경험을 크게 하는 유물을 선정하고자 하였다. 기와의 경우 단순한 형태의 평기와보다는 무늬가 있어 표면이 굴곡진 와당을 후보로 정했으며, 토기는 복잡한 형상을 갖춘 이형토기 중에서 표면의 거칠기를 느낄 수 있는 것을 후보로 정하였다. 최종적으로 연화문와당(이하 ‘와당’)과 도기기마인물형뿔잔(이하 ‘뿔잔’)을 대상 유물로 선정하였다.

Fig. 8. 
Damaged & Restored Features of Target Artifacts

Fig. 9. 
3D Printing Process using HP Jet Fusion 580

와당의 3D데이터는 문화포털(www.culture.go.kr)에 구축된 wrl 형식의 데이터를 내려 받았으며, 원래 완형의 모습을 갖추고 있었으나 본 실험을 위해 블렌더(Blender)에서 인위적으로 3D데이터의 형상을 훼손하였다. 뿔잔의 경우 국가문화유산포털(www.heritage.go.kr)에 구축된 ply 형식의 데이터를 내려 받았으며, 훼손된 결실부는 김해시청 입구에 서있는 기마인물상을 참고하여 블렌더에서 모델링 작업을 통해 3차원 디지털 복원하였다. 각 유물의 텍스처는 블렌더에서 텍스처 베이킹 작업을 통해 png 이미지 파일로 추출하였다. 복원된 형태의 3D유물은 wrl 형식의 파일로 변환하여 HP Jet Fusion 580 3D프린터를 통해 3차원 프린팅하였으며, 색상을 갖춘 가상의 3D모델이 출력물 위에 정합될 것을 고려하여 흰색 단색으로 출력하였다.

시스템은 유니티 게임엔진에서 구현하였으며, Varjo XR-1 HMD와 호환되도록 Varjo XR SDK 플러그인을 유니티에 설치하였다. 블렌더에서 작업한 연화문와당과 도기기마인물형뿔잔의 훼손본과 복원본 3D모델을 obj 형식으로 내보내 유니티에 불러와 텍스처 이미지를 적용하여 색상을 표현하였으며, HMD에 장착된 카메라를 통해 마커가 추적되면 그 위에 3D모델이 증강되도록 하였다. 마커는 Varjo 개발자 포털(developer.varjo.com)에서 내려 받아 출력하였다. 키보드 화살표키를 인터페이스로 사용하도록 설정하여 훼손본 가상 3D모델(왼쪽 키)과 복원본 가상 3D모델(오른쪽 키)을 불러오거나 안내 설명(아래쪽 키) 및 배경음(위쪽 키)의 재생·일시정지를 조작할 수 있도록 하였다. 안내 설명은 기계적인 더빙 음성이 아니라 인공지능 기반의 네이버 클로바 더빙을 이용해 자연스러운 음성이 나오도록 하였다.