실크로드 벽화 디지털콘텐츠 변천 연구 분석 및 인공 융합 연구 전망: 사마르칸트 아프라시압 궁전 벽화를 중심으로

Ⅰ. 서 론

디지털 기술의 발전은 문화유산의 보존과 전시 방식에 일대 혁신을 가져왔다[1]. 가상현실(VR: Virtual Reality), 증강현실(AR:Augmented Reality), 확장현실(XR:eXtended Reality) 등 실감형 기술의 도입은 물리적 시공간(視空間)의 한계를 극복하고, 관람객에게 새로운 체험을 제공하는 데 중요한 역할을 하고 있다[2],[3]. 국가 산업통상자원부는 이러한 기술이 앞으로 산업의 핵심 기술로 자리 잡을 것으로 전망하며, 다양한 산업 분야에서 사용자의 몰입감을 향상하는 방향으로 지속적인 발전이 이루어질 것이라고 언급한다[4].

특히 지난 2009년부터 벽화에 대한 디지털 복원과 다양한 기술적 접근이 본격적으로 이루어졌으며 디지털 복원을 통해 소실된 벽화의 원형을 되살리고, 다양한 미디어를 활용하여 유물이 발견된 장소와 다른 공간에서도 원래의 현장감을 전달할 수 있는 시도가 이루어지고 있다[5]. 국가유산청은 ODA 사업 목적으로 우즈베키스탄 문화부와 협력하여 실크로드 벽화인 우즈베키스탄 사마르칸트의 아프라시압 언덕 궁전터의 유적지에서 발견된 소위 ‘아프라시압 궁전 벽화’를 중요하게 보고 현지 조사까지 하였다. 벽화 서쪽 가장 우측에는 고대 한반도에서 건너간 파견한 고구려 사절단의 모습을 담고 있어 큰 사회적 관심을 받고 있다[6]. 이에 따라 현재까지 지속적으로 디지털 콘텐츠로 개발돼 오고 있으며 박물관의 관람 전시에 활용되어 왔다.

하지만 디지털 기술 지속적으로 발전에도 불구하고, 실감형 전시 콘텐츠는 벽화의 복원 위주의 일방적인 시각적 정보로 디지털 콘텐츠로 제작되어 왔으며, 관람객들에 제공되는 유물 정보는 시각과 청각 위주이며, 직접적인 상호작용이 없어 몰입감이 부족하여 상당 부분 자리에서 오래 머무르지 못하고 있다. 이 부분에서 전시 콘텐츠는 여전히 기술적 한계성과 상호작용과 몰입감과 부족한 실정이다. 이를 해결하기 위해서는 현재까지 개발된 벽화에 대한 실감형 콘텐츠의 관련된 심층적인 분석이 필요한 시점이다.

본 연구는 현재까지 아프라시압 벽화에 대한 역사적 정보를 알아보고 문화유산을 이해시키기 위해서 개발된 디지털 콘텐츠 전시 사례를 분석하고 최근 기술의 변화를 통해서 적용하기 위한 기술들을 활용한 인공 융합 디지털 콘텐츠를 제안하여 관람객에서 유적에 대한 정보를 실감 콘텐츠를 통한 상호작용으로 몰입감을 높여 향상된 유물 정보 전달 방식에 대한 기술적 접근을 제시하고자 한다.

이를 바탕으로 아프라시압 벽화의 역사적 가치를 재조명하고, 새로운 디지털 콘텐츠의 기술을 적용하여 다양한 상호작용을 증진 시키는 방법을 모색하는 데 중점을 두었다. 이를 통해 사마르칸트 아프라시압 벽화의 디지털 콘텐츠는 현재 많이 발전한 최신 기술을 적용하여 융합된 디지털 기술을 적용한 인공 융합이 적용된 기술로 문화유산 분야에서의 새로운 가능성을 제시하고, 관람객에게 더욱 효과적인 상호작용으로 문화유산 디지털 전시 방안을 제안하고자 한다.

Ⅱ. 이론적 배경

2-1 아프라시압 벽화와 디지털복원

지난 1965년 우즈베키스탄 공화국 사마르칸트시(市) 아프라시압 언덕에서 실크로드 시대로 추정되는 벽화가 발견되었다. 1300년 전 소그드 왕국 시절로 추정되는 벽화가 발견되어 세계적인 고고학적(考古學的) 발견으로 기록되었다. 학자들의 연구 결과 오랫동안 남아있었던 이 궁전은, AD 1220년 몽골군(軍)의 침략으로 인해 아프라시압의 도성(都城)과 궁전(宮殿)은 완전히 파괴되었다.

그렇게 750년이 지나 1965년 사마르칸트의 아프라시압 언덕에서 진행된 고속도로 건설 공사를 진행하던 중 불도저가 땅을 파헤치다가 땅속에 묻혀 있던 옛 아프라시압 궁전 벽화가 다시 빛을 보내 된다[11].

벽화가 발견된 지점은 그림 1에서 표현된 것처럼 아프라시압 도성(都城)의 두 번째 내 성벽 근처다. 이 위치는 왕의 왕궁 접견실에 해당하는 공간으로 추정된다. 방은 정사각형의 평면 형태로 생각되며, 대략 한 변의 길이는 11m로 여겨진다. 그렇지만 방의 상부는 불도저 공사 중 완전히 파괴되어 그 밑단의 40% 정도만 수습할 수 있었다. 이 벽화는 당시 한반도의 어느 국가(고구려 혹은 통일신라)와 실크로드 간의 공식적인 외교 관계뿐만 아니라 한국인이 이 머나먼 서역(西域)까지 왕래했다는 한국의 고대(古代) 서역교류사(西域交流史)를 증명해 주는 발견이다. 한국·중앙아시아 외교사(外交史)에 있어 랜드마크적 위치를 점하고 있다. 어떻게 보면 과거의 벽화이지만 현재와 미래까지 점유하고 있는 벽화 유적으로 볼 수 있다.

Fig. 1.

The 1965 excavation of the Afrasiab murals (left) and the 1965 excavation of the site (right)

1965년 아프라시압 유적지 발굴을 주도한 구(舊)소련의 고고학자 알리바움은 아프라시압 벽화에 그려진 인물들을 일일이 하나씩 분석한 끝에 동쪽 벽화의 가장 오른쪽 모서리에 그려져 있는 2명의 사신을 주목했다. 이들은 실크로드 세계와는 다른 동양인의 모습으로 이 사람들의 머리에 깃을 꽂은 관과 허리춤 있었던 고리로 된 긴 칼을 차고 있다 있음을 주목했다.

Table 1.

Analyzing the content of the Afrasiab murals

일찍이 우즈베키스탄을 위시한 중앙아시아 유적지에서 이런 형식의 그림을 접해본 적이 단 한 번도 없었던 알리바움은 자료를 찾던 중 1958년 평양에서 출판된 <고구려 벽화 고분 연구>에 게재된 고구려 고분벽화에서 관에 깃을 꽂은 인물들의 형태를 찾아볼 수 있게 되었다. 이후 알리바움은 벽화를 발견한 지 10년 뒤 발간한 정식 보고서인 <아프라시압의 벽화>에서 <고구려 벽화 고분 연구> 등 고구려 관련 자료(당시 우즈베키스탄은 소련 연방 산하에 소속되어 있어 북한과 매우 친한 외교관계를 가졌음)를 비교 분석해 본 결과를 근거로 하여 벽화에 묘사되어 있던 2명의 인물이 고구려(高句麗)에서 온 사신이라는 결론에 이른 것이다[9].

그런데도 이 두 명의 사신이 고구려인인지, 통일신라인인지 혹은 발해 사람들인지 여태껏 확실하지 않다. 다만 복식과 착용 물 등을 고려할 때 현재 대부분의 연구자는 고구려인에 가장 가깝다고 추정하고 있다[10].

지난 2001년부터 아프라시압 벽화에 대한 2차원 디지털 복원 작업이 시작되었다. 2차원 디지털 복원은 전(前) 한국예술종합학교 권영필 교수의 자문을 받아 이루어졌다.

아프라시압 벽화에 대한 2차원 디지털 복원 이후 이 벽화가 그려졌던 아프라시압 도성(都城)의 3차원 디지털 복원 작업까지 진행되었다. 이 3차원 디지털 복원 자료는 국립우즈베키스탄 대학에서 유학 경험이 있었던 (前) 계명대학교 장준희 교수가 제공한 자료를 바탕으로 아프라시압 궁전까지 3차원 디지털 복원 작업이 진행되었다.

2009년 기준으로 주로 유럽 벽화 연구자들이 연구해 왔던 연구 결과를 종합적으로 분석하였다. 아프라시압 궁전 벽화의 해석은 학자마다 훼손된 벽화 부분에 대한 의견이 분분하여 정확한 의견 일치를 보기 어려웠다.

따라서 훼손된 벽화의 디지털 복원보다는 한국인 사절 상과 한국인 사절상 주위의 2차원 벽화를 디지털 복원하는 데 주력하였다. 벽화 복원의 용도가 국립중앙박물관 우즈베키스탄 특별전 전시 기간에 맞추다 보니, 한정된 시간에 제한적인 벽화 복원에 치우칠 수밖에 없었다.

Fig. 2.

Digital reconstruction of the Korean Envoy section of the Afrasiab mural. A close-up view of the section of the Korean Envoy statue on the right

그 밖에 디지털 복원을 위한 자료로 아프로시압 도성(都城)을 가장 최근에 실측한 1885년에 발행된 아프로시압 지형도【Map of Afrasiab, ancient core of Samarkand】와 사마르칸트 고고학 연구소 소장자료(Archaeological Museum, Samarkand, Uzbekistan)를 적극 활용하였다. 그 밖에도 아프라시압 유적이 존재하였던 동시대 소그드 국가 교류한 인근 유적지 벽화나 유적 자료를 확보하기도 했다. 아울러 우즈베키스탄 현지 학자들의 자문과 조언을 바탕으로 아프라시압 도성(都城)의 3차원 디지털 복원 작업을 진행하였다.

그런 결과로 지난 2009년 국립중앙박물관 우즈베키스탄 특별전 당시 디지털 전시 결과물의 일환으로 아프라시압 궁전 벽화와 궁전 내부를 디지털로 완벽히 복원하였다.

따라서 국립중앙박물관에서 원형 벽화를 전시함에 발맞추어, 당시 벽화가 존재하였던 1300년 전 아프라시압 도성(都城)을 상정한 디지털 복원이었다.

Fig. 3.

3D model of the palace section of the Afrasiab ruins (ⓒ National Museum of Korea)

앞서 3D모델링로 완성된 아프로시압 궁전의 3차원 데이터를 바탕으로 실사 촬영을 밑그림으로 해서 CG 후반부 작업을 진행하였다. 현재 실사에 디지털 복원된 CG를 입힌 것이다.

다만 당시 아쉬운 것은 국립중앙박물관 전시 기간이 촉박하여, 한국인이 등장했던 서벽 외에 다른 벽화는 손도 대지 못했다는 것이다. 다시 말해 서벽뿐만 아니라 동벽, 남벽, 북벽에도 7세기 당시 실크로드상의 각국 인물들이 즐비한데 이는 손도 대지 못했다. 사실 동·서·남·북 사면의 벽화를 완벽히 재현해야만 진정한 아프라시압 벽화 복원임에도 불구하고 그러하지 못하였다. 훗날 나머지 벽화들은 2019년 사마르칸트 아프라시압 실크로드 디지털 체험관 제작 시 완전하게 이루어지게 된다.

Fig. 4.

A digital reconstruction of the entire west wall

2-2 실감 미디어 디지털 기술

1) 디지털 버추얼 프로덕션 기술

최신 버추얼 프로덕션 기술은 방송과 영화에서 사용하는 실감형 콘텐츠 기술과 렌더링 기술로 실시간 상호작용이 가능하여 직접 현장에 가지 않아도 가상공간을 생성하게 되며 시간과 비용을 절감은 제작 방식으로 쓰이고 있다[14]. 2019년 SIGGRAPH에서 Real-Time Live 세션을 시작으로 첨단 디지털 기술이 매우 활발하게 발전 중이며, 에픽게임즈의 경우 자사의 언리얼 엔진을 활용한 LED 기반 버추얼 프로덕션 기술을 공개하기도 하였는데, 이는 가상공간의 제작을 게임 엔진에서 구축하여 실시간으로 구동되고 사실적일 가상환경을 조성하였다. 이를 통하여 매우 사실적인 시각효과를 만들어 갈 수 있게 되었다[15].

현재 이와 같은 기술로 아프라시압 궁전 벽화를 디지털로 구현하려면, 먼저 고해상도 3D 스캐닝 기술을 활용해 벽화의 형태와 질감을 디지털화하고, 3D 모델링 및 텍스처로 제작된 3D 에셋을 구축하여 세밀한 재현한다. 이후 확장현실 및 다양한 각각의 플랫폼에 맞춰 콘텐츠를 개발하는데, VR은 가상 환경을 완전히 재현하고, AR은 현실 공간에 가상 이미지를 덧입히며, MR은 가상과 현실이 자연스럽게 결합한 상호작용 환경을 제공한다. XR은 이 모든 기술을 통합하여 확장된 몰입 경험을 가능하게 하고, 또한 버추얼 스튜디오에서 실시간 엔진을 사용하여 사실적 구현 가능한 벽화를 제작이 가능하다[16]. 이로써 실감형 콘텐츠로 사용자 경험을 극대화할 수 있게 된다.

이와 같은 기술은 유적의 모습을 실시간으로 가상 배경과 벽화를 합성할 수 있으며, 이를 통해 벽화의 역사적 맥락을 배경으로 다양한 연출을 추가할 수 있다. 또한 기술은 다양한 플랫폼 제작 시, 구축한 에셋으로 실감 나는 가상 배경을 만들어 벽화와의 상호작용을 더욱 풍부하게 만든다.

이 과정을 구현하는 데 필요한 하드웨어로는 VR 헤드셋(Oculus Rift, HTC Vive), AR 기기(Hololens), 고성능 GPU가 탑재된 컴퓨터, 모션 센서, 카메라, 그리고 LED 월과 같은 버추얼 프로덕션 장비가 포함된다. 이러한 장비들은 실시간 데이터 처리와 시각적 몰입감을 극대화하는 데 필수적이다. 마지막으로, 실감 콘텐츠는 사용자와 벽화 간의 인터랙티브한 상호작용을 포함하여 다양한 플랫폼을 통해 배포되고 이루어지며, 이를 통해 벽화 유적의 역사적 의미와 가치를 전달하는 디지털 경험을 다양한 형식으로 제공할 수 있게 된다.

Fig. 5.

State-of-the-art virtual studio system

2) 디지털 휴먼과 인공지능 기술

최근 가상현실 환경에서 시각적 효과가 정교하고 사실적으로 표현되며, 가상 객체가 생물학적 인식까지 가능해지고 있습니다. 이는 과거 가상환경에서 3D 그래픽으로 구현된 가상 인간 기술에 비해 최근 디지털 휴먼이 시각적으로 인간과 유사하게 크게 발전한 결과이다. 또한, 인공지능 기술 중 하나인 ChatGPT-4O는 사람과의 자연스러운 대화뿐만 아니라 감정 표현까지 세밀하게 구현할 수 있게 되었다. 이러한 최신 디지털 기술의 발전과 가상현실 기술이 메타버스로 확장됨으로 인해 관련 산업기술이 급속도로 성장하고 있으며, 가상 인간에 대한 관심도 점차 높아지고 있는 것을 알 수 있다[19].

국내에서도 자이언트스텝은 다가올 AI 미래를 대비하여 실사에 가까운 수준의 디지털 휴먼을 리얼타임 엔진으로 만드는 것을 목표로 R&D를 진행하고 디지털 휴먼 ‘빈센트(Vincent)’를 발표하며, 인공지능을 활용해 사람들과 소통할 수 있는 수준으로 개발 중이다. 또한 직관적인 인공지능 서비스와 결합해 디지털 콘텐츠에 적용하고 있다[17].

여기에서 말하는 디지털 휴먼에 인공지능이 융합하여 만들어지는 디지털 휴먼이란 딥러닝 기술로 구축된 데이터를 통하여 사용자와 상호작용이 가능한 부분으로, 자동으로 동작을 생성하여 자연스러운 표정과 함께 실시간 대화가 가능함을 뜻한다. 그 외에 단순히 움직이고 대화하는 것 이외에 창작 능력을 갖춘 디지털 휴먼까지를 말한다[18]. 때문에 인공지능 기반의 디지털 휴먼은 사용자와 실시간으로 응답하고, 여러 가지 정보를 지원하여 상호작용을 제공할 수 있다. 이는 문화유산의 디지털 콘텐츠에도 적용하여 문화 해설사의 역할을 인공지능 디지털 휴먼으로 구현할 수 있으며, 벽화 속의 인물들과도 직접 대화로 질문과 답변을 주고받을 수 있어 더욱 사용자 경험을 높이게 된다.

이처럼 최근 인공지능 기술이 생성형 AI 기술과 함께 급속도로 발전하며 인간보다 많은 정보를 갖고 대화를 할 수 있는 음성도 지원이 되어 다양한 산업에 적용되고 있다.

Fig. 6.

Giantstep Korea's first real-time digital human

Ⅲ. 연구방법

3-1 아프라시압 벽화 디지털 콘텐츠 현황

1) 국립중앙박물관 전시 영상 제작

지난 2009년 11월 국립중앙박물관 중앙아시아실에서 아프라시압 벽화 전시를 진행하였다. 이것은 2009년 당시 우즈베키스탄의 고대 유물을 국립중앙박물관에서 특별 전시를 하기로 진행되었기 때문에 가능한 일 이었다.

아프라시압 유적지 고고학적 도면자료를 바탕으로 아프라시압 궁전에 대한 3차원적인 모델링 작업을 진행하였다.

Fig. 11.

Appearance of the National Museum of Korea at the time of exhibition (ⓒ National Museum of Korea)

이것은 1300년 당시를 상정하여 소그드 왕국의 중심지이던 사마르칸트 유적지 내·외부가 그려져 있는 2차원 혹은 3차원 도면을 근거로 하여 작업을 진행하였다.

물론 사마르칸트 아프라시압 박물관에 전시 중인 실제 원본 벽화를 가져와서 전시하는 것은 아니었다. 1965년 아프라시압 벽화 발견 당시 러시아 화가들에 의해 다시 그려진 아프라시압 원형 벽화에 대해 그린 모사도를 가져와서 한국에서 전시한 것이다.

일명 2009년 국립중앙박물관의 실크로드 특별전인 “우즈베키스탄의 고대문화, 동서 문명의 십자로”라는 이름으로 2009년 11월에서 2010년 10월까지 1년 동안 열렸던 전시회였다. 여기서 세계 최초로 아프라시압 벽화가 그려져 있던 아프라시압 도성(都城)을 재현하여 국립중앙박물관에서 디지털 전시를 진행하였다.

2) 동북아역사재단 홍보영상 제작

아프라시압 벽화에 관한 복원 설계도를 바탕으로 3차원 그래픽 툴을 사용했다. 아프라시압 궁전 건축 외부와 내부 구조를 3차원 모델링을 완성한 이후 아프라시압 벽화의 재질별 텍스쳐와 복원된 벽화의 2D 데이터를 3차원 모델 표면에 맵핑을 적용했다.

Fig. 7.

Demonstration of local video production results at Samarkand Afrasiab Museum

종국적으로 이렇게 제작된 3D모델링 데이터를 유적지 현장에서 드론으로 실사 촬영한 궁전 유구 영상 위에 합성하여 아프라시압 궁전 디지털 복원을 진행하였다. 이런 디지털 복원 결과물을 활용하여 아프라시압 궁전 벽화에 대한 전반적인 설명을 담은 10분 분량의 3D 영상 콘텐츠를 사마르칸트 현지 아프라시압 박물관에 설치했다. 이 홍보영상은 아프라시압 박물관 현장에 디스플레이되어 지금까지 관람객들을 대상으로 서비스 중이다. 동북아역사재단이 기획하였으며 문화유산기술연구소가 콘텐츠를 제작하였다.

이것은 대형 UHD 실사 급 화면에 디지털 복원된 이미지를 덧입혀 마치 실제 타임캡슐 형태로 열리는 것으로 극적인 표현으로 아프라시압 궁전이 존재하였던 당대 모습을 보여준다.

이것은 현재로부터 시작하여 다시 과거 모습 재현을 거쳐 다시 현재 시각(時間)을 교차하는 방식의 디지털 스토리텔링 콘텐츠다. 이는 AD 7세기 당시의 온전한 형태의 아프라시압 궁전 벽화와 1965년 발견 당시의 고고학적 자료 그리고 현재에서 과거로 넘나드는 디지털 복원 적 공간(空間)과 과거의 시간을 오버랩하는 시공간(時空間) “디지털 스토리텔링(Digital Storytelling)”형 홍보성 관광 콘텐츠다.

2014년 홍보영상 콘텐츠 제작 후 디지털 환경이 가상현실(VR)로 급속히 바뀐 것에 따라 아프라시압 박물관 내 가상현실 콘텐츠도 제작되었다. TV에서 단편적으로 본 홍보 영상이 아니라 1300년 전 아프라시압 궁전 내부를 거닐고 있는 듯한 실감 콘텐츠까지 확장한 것이다. 이것은 박물관을 찾은 관람자가 가상공간에서 아프라시압 궁전의 형태와 벽화의 내용을 체험할 수 있는 가상현실 콘텐츠 형태다.

Fig. 8.

Afrasiab palace mural virtual reality content experience

3) 아프라시압 궁전 벽화 AR콘텐츠 제작

지난 2014년 초창기 모델 형태의 증강현실 콘텐츠 제안은 시도되었으나 제작 단계까지는 이르지 못하였다. 그간 한국에서 제작된 증강현실 콘텐츠 대부분은 스마트폰 기반의 증강현실이 대부분이었다.

Fig. 9.

Afrasiab palace mural smartphone-based augmented reality content

그런데 한국에서 초기에 기획되었던 아프라시압 증강현실 콘텐츠의 경우 삼성 갤럭시탭 디스플레이를 기반으로 한 기획이었다. 이 기획은 최소 증강현실(App) 환경에 걸맞은 최적의 아프로시압 모바일 버전 제작을 기획하였다. 이것은 당시 스마트폰에서 구현 가능한 아프라시압 콘텐츠의 이동 통신용으로 PC 버전의 홈페이지와는 다른 모바일 버전을 기획한 것이다. 이 아프라시압 증강현실 콘텐츠는 훗날 우즈베키스탄의 AR 기업에 의해 다시 실현되게 된다.

지난 2022년 우즈베키스탄의 AR전문기업인 Narrra에서는 우즈베키스탄의 대표적인 관광지인 사마르칸트 전역에 스마트폰 기반 관광증강현실 서비스를 서비스 중에 있다.

특히 아프라시압 박물관 내부에도 실제 벽화 앞에 간이 QR코드 판을 설치하여 관광객이 스마트폰을 이용하여 QR코드를 인식해 해당 벽화에 대한 설명이 나오는 서비스를 진행 중에 있다. 이전 디지털 콘텐츠의 경우 100% 한국 기술진에 의해 설치된 것에 비해 아프라시압 박물관 증강현실 서비스의 경우는 우즈베키스탄 자체 사설 콘텐츠 기업에 의해 자체적으로 만든 증강현실 콘텐츠라는 점이 특이 하다.

4) 실크로드 디지털 헤리티지 체험관

미래창조과학부의 디지털 헤리티지 사업은 지난 2019년 지원 사업이다. 경주스마트미디어센터에서 주관했던 이 사업은 ‘실크로드 디지털 헤리티지 체험관’ 프로젝트로 불렸다.

현재 우즈베키스탄 사마르칸트 시(市) 아프라시압 궁전벽화를 대상으로 한 일종의 ‘디지털 어트렉션 콘텐츠’다. 이것은 과거 신라의 수도 경주에서 시작하여 사마르칸트 아프라시압 궁전에 이르는 실감형 콘텐츠를 제작하였다.

이것은 실크로드 유적을 어트렉션 기반의 고해상도의 실크로드 디지털 콘텐츠 전시관이다. 이것은 일종의 확장 기술(XR: eXtended Reality) 기술로 기존의 가상현실(VR, Virtual Reality), 증강현실(AR, Augmented Reality), 혼합현실 (MR, Mixed Reality) 등등을 아우르는 시공간(視空間)의 영역을 뛰어넘어가는 몰입형 기술을 추구하였다.

또한 관람자들에게 현실 공간의 제약 해소를 위해 사용자 몰입형 콘텐츠를 만들었다.

Fig. 10.

Gyeongju Artist Convention Center Silk Road digital experience hall

이것은 일종의 시뮬레이터를 기반으로 한 ‘4K 구경거리 콘텐츠’다. 약 5×2m 벽면에 4K급 이상 디스플레이 패널 6~9매(200인치 이상)를 설치한다. 전면뿐만 아니라 왼쪽, 오른쪽에도 스크린을 설치하여 관람객들이 3면 스크린을 통해 몰입이 가능하도록 설계하였다.

실크로드 디지털 체험관 형태로 조성(그림 11) 하였는데 AD 7세기 당시 실크로드 왕국 당시의 환경을 조성하고 아프라시압이라 하는 실크로드의 벽화를 대상으로 삼아 통일신라 사신 2명이 신라의 수도 경주에서 출발해 오늘날 사마르칸트아프라시압 도성으로 향하는 스토리를 담았다.

Fig. 11.

Silk Road Digital Experience Center at Gyeongju Hwabaek Convention Center

이런 아프라시압 현재 유적 영상에 대한 최고의 몰입감을 높이기 위하여 고해상도 이머시브 멀티스크린용 영상 콘텐츠를 제작하였다. 아울러 생동감 있는 아프라시압 궁전 벽화와 궁전에 대한 3차원 영상 체험으로 1300년 전 당시 아프라시압 궁전 웅장함을 표현할 수 있도록 하였다. 지난 2019년 아프라시압 궁전 유적지까지 드론을 띄워 항공 촬영하여 방대한 아프라시압 유적지 전체를 고화질 영상으로 촬영하여 상영하였다.

이것은 다수의 체험자가 한 공간에서 동시에 체험이 가능한 일종의 “이머시브 멀티스크린 플랫폼(Immersive Multi-Screen Platform)”이라는 시스템을 개발한 것이다. 이 시스템은 단순히 둘러 보기식 가상현실(VR)이나 증강현실(AR) 콘텐츠가 아닌 1300년 당시로 넘어가서 과거 실크로드 궁중사(宮中史)까지 체험할 수 있도록 조성했던 시공간(時∙空間) 초월 신개념 디지털 헤리티지 콘텐츠라고 볼 수 있다. 이를 위해 다수(多數) 동시 체험이 가능한 이머시브 멀티스크린 형태의 디스플레이를 설치함으로써 시공간(視空間)을 초월한 현장감을 제공하려고 노력한 것이다. 이는 현재 남아있는 아프라시압 유적지를 있는 그대로 3D 스캔해서 보여주는 현재형 콘텐츠가 아닌 과거 본래의 모습을 고증하여 재현한 디지털 복원형 콘텐츠이다.

Ⅳ 연구결과

4-1 아프라시압 벽화 디지털콘텐츠 비교분석 결과

아프라시압 벽화 디지털 개발 현황은 총 5가지이다(표 2). 2번은 국내 활용 사례였고 나머지 3번은 사마르칸트 아프리사압 박물관 현장에서의 활용 사례였다. 매 5번의 적용은 시간의 추이에 따라 다른 전시 미디어 기술이 적용되었다. 2022년 증강현실만이 유일한 인터렉티브 콘텐츠였으며 이를 제외한 나머지 콘텐츠는 상호작용이 불가능한 단방향 전달 콘텐츠였다.

Table 2.

Analysis of media content development cases based on Afrasiab Palace murals

이런 다양한 디지털 콘텐츠를 통해 아프라시압 박물관을 찾는 한국인들에게도 중앙아시아를 거쳐 한국·중국 · 일본에 이르는 루트는 과거 교류가 있었던 역사적인 배경이었으므로, 일찍이 고대 실크로드에 한국인의 진출 상에 대한 설명도 시도되기도 했다[9]. 이런 아프로시압 3D 디지털 복원을 통해 개발된 여러 콘텐츠는 다양하게 활용될 수 있다. 아프라시압 벽화의 역사를 통해 쉽게 접근할 수도 있는 것이다. 위 도표는 역대 아프라시압 벽화 관련한 역대 디지털 콘텐츠 분석 도표다. 지금까지 총 5번의 콘텐츠 제작이 이루어졌다. 발주처도 각기 다르고, 활용 대상도 대한민국 국립 중앙박물관뿐만 아니라 경주 화백 컨벤션센터 혹은 우즈베키스탄 공화국 사마르칸트 현지에서도 3차례나 이루어졌다. 큰 차이점은 크게 두 가지이다. 훼손된 벽화를 2차원 혹은 3차원 공간에서 디지털 복원하였다는 점이다. 또 하나는 디지털 복원된 벽화를 미디어의 발전함에 따라 적용해 보았다는 3가지 특징이 있다. 그런데도 관람객과 콘텐츠의 인터렉티브(상호작용)가 미약하여 몰입감이 낮았다. 이렇게 ‘몰입감’과 ‘인터렉티브’ 이 두 가지를 만족시키기 위해서는 이를 극복할 수 있는 후속 연구가 요청된다고 하겠다.

4-2 인공융합(人工融合) 콘텐츠 프레임워크

최신 기술의 흐름은 앞으로 ‘Chat GPT’와 ‘생성 AI’ 트렌드로 말미암아 인공지능 기술이 전시에 큰 영향을 미칠 것으로 생각된다. AI시대에 중요한 것은 빅데이터이다. 그 빅 데이터는 박물관 입장에서 정확한 역사 근거에 기반한 데이터여야 한다.

이렇게 앞으로 구축될 정확한 아카이빙을 바탕으로 하는 ‘인공융합(人工融合)’ 콘텐츠를 향후 과제로 제안한다. 여기서 제시한 ‘인공 융합’은 인공지능과 XR 콘텐츠가 하나로 결합하는 것을 의미한다. 이를 기술적으로 설명하자면 XR과 AI 디지털 휴먼을 함께 구현하려면 실시간 데이터 처리와 렌더링 기술이 핵심이다. AI 디지털 휴먼 캐릭터가 XR 환경에서 실시간으로 반응하고 상호작용을 하기 위해서는 실시간 렌더링 엔진(예: Unreal Engine, Unity)과 AI 기반의 실시간 데이터 처리 시스템을 활용해 AI 디지털 휴먼이 사용자의 동작과 대화에 반응하도록 해야 한다. 이를 위해 AI 기술은 딥러닝 알고리즘을 기반으로 디지털 휴먼의 얼굴 표정, 감정, 음성 합성 등을 실시간으로 처리하고, 자연스러운 상호작용을 가능하게 한다. 거의 사람과 똑같은 AI 디지털 휴먼 캐릭터가 현실적인 동작을 구현하기 위해서는 모션 캡처 기술 역시 필요하다. 동작 인식 센서(예: LiDAR, Kinect, Leap Motion)를 사용하여 사용자의 움직임을 감지하고, 이를 기반으로 AI 디지털 휴먼 캐릭터가 동작을 실시간으로 반영할 수 있다.

Fig. 17.

Artificial fusion content structure diagram

이 기술은 버추얼 프로덕션 XR 환경에서 사용자가 디지털 휴먼과 자연스럽게 상호작용을 하도록 한다. 이런 XR 디스플레이 기술과 AI 디지털 휴먼 캐릭터를 결합하여, 사용자가 AI 디지털 휴먼과 가상환경을 실시간으로 볼 수 있게 한다.

이렇게 AI 디지털 휴먼은 음성, 시각, 촉각 피드백을 통해 사용자와 상호작용을 하며, XR 디스플레이 장치의 시각적 피드백을 통해 더욱 몰입감 있는 경험을 제공하는 것이다.

결론적으로 XR과 AI 디지털 휴먼을 통합한 인공 융합 콘텐츠는 실시간 데이터 처리, 모션캡처, 고해상도 디스플레이, 네트워크 및 클라우드 인프라, 자연어 처리와 같은 다양한 기술적 요소를 유기적으로 결합하여 구현된다. 이러한 기술들은 사용자에게 몰입감 있는 상호작용을 제공하며, 인공 융합 콘텐츠가 더욱 직관적인 상호작용 경험을 가능하게 한다.

이를 좀 더 구체적으로 설명을 한다면 아프라시압 인공 융합 콘텐츠 조성에 있어, 이를 표현하는 외부 디스플레이로는 LED Media Wall을 이용한 버추얼 프로덕션(Virtual Production) 환경으로 구성된다. 이 기술은 실사 이미지와 가상 이미지를 실시간 결합하는 대형 LED Wall 시스템을 의미한다(그림 18).

Fig. 18.

Example of ‘Afrasiap artificial fusion’ content that combines XR, display, and A digital human technology

아프라시압 벽화에 등장하는 주요 인물들을 3D 모델링을 통해 디지털 재현한 후 내부 운용 프로그램으로는 Chat GPT 기술을 통해 인물 모델에 적용한다. 종국적으로 ‘아프라시압 벽화’에 대한 인공 융합(XR+AI) 콘텐츠를 제작할 수 있다.

이렇듯 단품 VR이 아닌 XR 기술에 ‘디지털 휴먼’ 기술을 적용한다면 인공융합적 콘텐츠로 확장될 수 있을 것이다. 1965년 아프라시압 벽화가 발견된 이래, 그간 벽화 그림으로만 볼 수 있었던 정적인 벽화 이미지를 XR 디스플레이 기반한 AI 디지털 휴먼 콘텐츠로 융합시킨 ‘인공융합(人工融合)’ 콘텐츠 제작이 가능하다.

또한 아프라시압 박물관이 추구할 수 있는 다음 프로젝트 형태로 일종의 ‘버추얼 프로덕션(Virtual Production)’인 XR 디스플레이와 ‘디지털 휴먼’ AI 기술을 통합할 수 있다[11].

이로써 이와 같은 최첨단 기술로 ‘아프라시압 인공융합(人工融合)’ 콘텐츠로 개발할 수 있다. 아프라시압 벽화 중앙에 등장한 ‘바흐루만왕(王)’ 모습을 인공지능 캐릭터 ‘바흐루만 왕(王)’으로 재탄생이 가능하다. 이것은 과거 인물에 대한 역사 인물형 디지털 휴먼이다[7]. 인공지능 디지털 체험관에서 학습 과정(퀴즈 등)에 따라 아프라시압 궁전 이야기들을 주고받는 형태의 인공지능 기능이 탑재된 체험형 융합 콘텐츠가 될 수 있다. 그리하여 아프라시압 벽화에 등장한 ‘바르후만왕’ 아카이빙 데이터를 바탕으로 ‘AI디지털 휴먼’을 만들게 된다면 일방적인 한 방향(One-Way) 디지털 콘텐츠가 아닌 가상공간과 현실 공간을 넘나드는 “인공융합(XR+AI)적 콘텐츠”로 구현할 수 있을 것이다[8]. 이는 본격적인 ‘AI형 상호작용 융합콘텐츠’로 볼 수 있다.

Ⅴ. 결 론

본 연구 논문은 우즈베키스탄 사마르칸트 아프라시압 궁전 벽화를 디지털 콘텐츠로 제작했던 변천 사례를 중점으로 적용된 기술과 상호작용을 분석하고 부조한 부분을 최신 기술과 융합하여 상호작용을 향상하여 몰입성을 높이고자 제안한 연구이다.

맨 먼저 디지털 기술을 이용해 소실된 벽화를 복원하고 다양한 미디어를 활용한 콘텐츠를 제작한 이유는 사마르칸트 아프라시압 박물관 벽화 원본의 한계성을 가상 융합 콘텐츠로 보완하고 유물이 발견된 장소와 다른 환경에서 전시됨으로 인해 원래의 현장성을 살리기 어려운 문제를 다양한 미디어 형태의 융합 콘텐츠로 극복하고자 한 것이다.

또한 사마르칸트 벽화에 대한 디지털 콘텐츠들은 전통적인 박물관 전시에서 벗어나, 벽화 전시물이 시공간(視空間)을 넘어 디지털 복원된 시청각 정보를 통해 유물의 역사적 개념을 확장 시키지만, 결과적으로 상호작용이 부족한 일방적인 흐름의 전시에 그쳤다. 과거의 실감 콘텐츠 기술들이 박물관 전시 분야에 일부 적용되고 있으나, 대부분 가상현실이나 증강현실 기술을 활용되고 있으며 일부에만 국한되어 박물관 디지털 전시에 제한적으로 적용되고 있다. 벽화에 대한 디지털 콘텐츠는 대부분 시간과 공간은 기술 특성에 의한 제한적이며 개별 전시의 상호작용과 관람 방식은 대부분 매우 단편적이었다.

때문에 전체 벽화에 대한 관람객의 동선과 스토리텔링은 전체 체험 속에서 개별적인 상호작용에 따른 선택적 스토리 라인이 부족하며 벽화 중심 인물에 대한 다양한 경험 요소를 반영하지 못하고 시각적인 기술에만 치중되어만 있는 것을 알 수 있으며 이 부분은 최근 관람객들이 개인화된 전시 콘텐츠 스토리텔링을 체험하는데 한계가 있다는 것을 확인하였다.

앞으로 사마르칸트 아프라시압 궁전 벽화는 최신 인공지능 기술과 함께 디지털 휴먼을 통한 큐레이션 기술을 활용하여 관람객과 상호작용을 통해 개인화된 스토리텔링으로 부족한 부분을 향상할 수 있다. 예를 들어 챗봇과 같은 자연어 처리(NLP) 기술과 대화형 AI 기술을 사용할 수 있다면, 개인화된 경험을 제공하고 벽화 중심 인물에 대한 다양한 경험 요소를 반영할 수 있을 것이다[12],[13].

그간 아프라시압 유적지를 대상으로 제작된 디지털 콘텐츠들은 전시 관람 후 현지 박물관에서 상설 전시되기보다는 대부분 1회성 전시로 끝나는 경우가 많았다. ‘아프라시압 벽화’를 대상으로 매우 다양한 디지털 콘텐츠들이 제작되었지만, 기술에 매몰된 나머지 융합적 콘텐츠 제작까지 이루지 못했다. 스토리텔링 기법을 사용한 교육적인 역사적 사실 전달이 가능한 과거와 미래의 대화 체험형 콘텐츠 제작이나 가상환경의 AI(인공지능) 캐릭터를 콘텐츠로 제작한다거나, 중앙아시아 문화를 학습하고 교육적으로 승화시킬 수 있는 컬처테인먼트(Culture+Entertainment)와 같은 융합콘텐츠까지는 이르지 못한 것이다[9],[10].

지금까지 아프라시압 벽화를 소재로 하는 제작된 디지털 콘텐츠에 시기에 따라 변화된 기술을 반영하여 제작된 것을 알 수 있었다. 그럼에도 불구하고 기술적 흐름을 바탕으로, 앞으로 보다 발전된 기술을 적용하여 개인화된 관람 속에서 향상된 상호작용과 현존감을 느낄 수 있는 개인 맞춤형 인공지능 디지털 콘텐츠가 적용되어야 할 것이다.

이것은 앞으로 효과적인 미디어적 기술 적용으로 매우 개인화된 맞춤형 박물관과 공간-사용자 융합형 박물관 모델을 결합한 디지털 콘텐츠가 필요하다는 점이다. 이런 과정을 통해 종래 박물관 디지털 전시에 새로운 패러다임을 불러일으킬 수 있기를 기대해 본다.

References

• S. J. Jung and T. H. Lee, “A Study on the Present Condition and Prospect of Architectural Cultural Heritage Content Applied to 3D Digital Technology,” Journal of the Korea Academia-Industrial Cooperation Society, Vol. 22, No. 2, pp. 188-198, February 2021. [https://doi.org/10.5762/KAIS.2021.22.2.188]
• H. S. Myeong, “Development of Digital Cultural Prototype Content Using Augmented Reality,” Korea Information Processing Society Review, Vol. 18, No. 3, pp. 16-26, May 2011.
• K. Kim, O. Kwon, and J. Yu, “Evaluation of an HMD-Based Multisensory Virtual Museum Experience for Enhancing Sense of Presence,” IEEE Access, Vol. 11, pp. 100295-100308, September 2023. [https://doi.org/10.1109/ACCESS.2023.3311135]
• Y.-E. Kim and S.-H. Kim, “The Concept and Necessity of Immersion Escape in Virtual Reality Content: Focusing on Digital Content Cases,” Journal of Digital Contents Society, Vol. 23, No. 10, pp. 1891-1899, October 2022. [https://doi.org/10.9728/dcs.2022.23.10.1891]
• J. H. Park and S. H. Kim, “A Study on Digital Restoration of the Afrasiab Palace Murals in Samarkand Using Virtual Reality,” in Proceedings of 2016 Summer Conference of Academic Association of Global Cultural Contents Society, Jinju, pp. 77-82, July 2016.
• S. H. Lee, “Sogdian Murals at Afrasiab, Samarkand, and Exchanges between Ancient Korea and Sogd,” The Historical Review of Soongsil University, No. 44, pp. 189-221, June 2020. [https://doi.org/10.16942/ssh.2020.44.6.09]
• J. H. Park and H. K. Ahn, Development of the Capital City of Taebong Kingdom Metaverse and King Gungye Artifical Intelligence Digital Human, in Extended Reality and Metaverse: Immersive Technology in Times of Crisis, Cham, Switzerland: Springer, pp. 217-227, 2023. [https://doi.org/10.1007/978-3-031-25390-4_19]
• J. H. Park and S. H. Kim, “Artificial Intelligence Contents in the Age of Digital Heritage: Developing Interactive Artificial Intelligence Contents for Historical People,” in Proceedings of International Conference on Convergence Content (ICCC 2020), Busan, pp. 65-66, November 2020.
• B. Ji, “On the Relationship between Samarkant and Koguryo -Why Koguryo’s Envoys Visited Samarkant-,” The Paek-San Hakpo, No. 89, pp. 95-138, April 2011.
• D.-C. Woo, “A Study on the Contacts between Koguryo and Central Asia in the 6th-7th Century,” Korean Journal of Middle East Studies, Vol. 24, No. 2, pp. 237-252, February 2004. [https://doi.org/10.23015/kames.2004.24.2.009]
• S.-E. Lee and A.-R. Kim, “A Study on the Dress of the Period of the Three States from the Wall Painting of Afrasiab’s Palace in Samarkand,” Journal of the Korea Fashion & Costume Design Association, Vol. 8, No. 2, pp. 183-199, September 2006.
• I. C. Park, “Traditional Cultural Storytelling for the Cultural Archetype of Industry Development,” A Treatise on The Plastic Media, Vol. 16, No. 1, pp. 123-128, February 2013.
• K. Lim, M. Kim, and J. Yoon, “A Study on Culture Content Using Cultural Archetype,” Journal of Korea Design Forum, No. 19, pp. 169-177, May 2008. [https://doi.org/10.21326/ksdt.2008..19.015]
• J. Im, M. Jang, S. W. Chun, S. Lee, M. Park, and Y. Kim, “Case Study: Cinematography Using Digital Human in Tiny Virtual Production,” Journal of the Korea Computer Graphics Society, Vol. 29, No. 3, pp. 21-31, July 2023. [https://doi.org/10.15701/kcgs.2023.29.3.21]
• D. Ring, K. T. Haug, P. Verga, D. Stump, N. Redmond, D. Caffrey, and P. Canning, ““Comandante”: Braving the Waves with Near Real-Time Virtual Production Workflows,” in Proceedings of ACM SIGGRAPH 2022 Talks (SIGGRAPH’22), Vancouver, Canada, 3, August 2022. [https://doi.org/10.1145/3532836.3536272]
• S. Eng, The New Realities in Digital Marketing: Virtual Reality, Augmented Reality, and Extended Reality, in The SAGE Handbook of Digital Marketing, London, UK: SAGE Publications, ch. 16, pp. 276-292, 2022. [https://doi.org/10.4135/9781529782509.n16]
• E. C. Bang, “The Anthropological Meaning of Digital Humanism in the Era of Artificial Intelligence: Focusing on Digital Human,” Journal of Ethics, No. 144, pp. 59-93, March 2024.
• T.-Y. Kim “Analyzing Digital Human Trends Through Public Media Records: A Focus on Topic Modeling Analysis,” Journal of Digital Contents Society, Vol. 24, No. 10, pp. 2315-2323, October 2023. [https://doi.org/10.9728/dcs.2023.24.10.2315]
• Y. H. Seo, M. S. Oh, and K. H. Han, “The Present and Future of Digital Humans,” Broadcasting and Media Magazine, Vol. 26, No. 4, pp. 72-81, October 2021.