Korea Digital Contents Society
[ Article ]
Journal of Digital Contents Society - Vol. 23, No. 5, pp.773-779
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 31 May 2022
Received 22 Feb 2022 Revised 04 May 2022 Accepted 12 May 2022
DOI: https://doi.org/10.9728/dcs.2022.23.5.773

증강현실 기술을 활용한 국가무형문화재의 실감콘텐츠 제작 : 국가무형문화재 2호 ‘양주별산대놀이’를 중심으로

강지영1
1단국대학교 SW융합학부 SW융합콘텐츠학과 교수
Production of Realistic Contents of National Intangible Cultural Properties Using Augmented Reality Technology : Focusing on National Intangible Cultural Property No. 2 ‘Yangju Byeolsandae Nori’
Jiyoung Kang1
1Professor, College of Software Convergence, Department of SW Convergence Contents, Dankook University, 152, Jukjeon-ro, Suji-gu, Yongin-si, Gyeonggi-do, Korea

Correspondence to: *Jiyoung Kang Tel: +82-31-8005-3956 E-mail: artech@dankook.ac.kr

Copyright ⓒ 2022 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

디지털 기술의 발달과 함께 우리 고유의 문화콘텐츠와 IT 기술을 접목시킨 문화기술(Culture Technology)이 4차 산업 혁명의 주요 분야로 주목받고 있다. 특히 우리나라는 오랜 역사와 함께 높은 가치를 가지는 문화재들을 보유하고 있다. 이러한 문화재들을 보존하고 계승하기 위해 새로운 첨단 기술을 접목하려는 노력들이 지속되어 왔으나 대부분 유형문화재에 국한되어 왔다. 이에 본 연구에서는 중요무형문화재 제 2호인 ‘양주별산대놀이’를 중심으로 증강현실 기술을 접목하여 문화재를 보존하고 대중화시킬 수 있는 실감콘텐츠를 제작하였다. ‘양주별산대놀이’를 실감콘텐츠에 적합하게 새롭게 스토리텔링하기 위해 첫째, ‘양주별산대놀이’ 원작 공연을 전수자들과 각색하고 둘째, 전수자들의 실제 공연을 디지털화하고 마지막으로 디지털화 된 데이터에 증강현실 및 혼합현실 기술을 접목하여 실감콘텐츠를 개발하였다.

Abstract

With the development of digital technology, Culture Technology, which combines our own cultural content and IT technology, is attracting attention as a major field of the Fourth Industrial Revolution. In particular, Korea has a long history and high value cultural properties. Efforts have been made to incorporate new advanced technologies to preserve and inherit these cultural properties, but most of them have been limited to tangible cultural properties. Therefore, this study produced realistic content that can preserve and popularize cultural properties by incorporating augmented reality technology, centering on ‘Yangju Byeolsandae Nori’, the second important intangible cultural property in Korea. In order to create a new storytelling of ‘Yangju Byeolsandae Nori’ suitable for realistic content, first, the original performance of ‘Yangju Byeolsandae Nori’ was adapted with the bearer, and second, the actual performances of the bearers were digitized and finally developed realistic contents using Augmented Reality and Mixed Reality technology.

Keywords:

National Intangible Cultural Property, Realistic Content, Augmented Reality, Mixed Reality, Popularization

키워드:

국가무형문화재, 실감콘텐츠, 증강현실, 혼합현실, 대중화

Ⅰ. 서 론

디지털 기술의 발달은 우리의 문화콘텐츠를 보존하고 계승하는 분야에도 중요한 변화를 가져오고 있다. 이미 세계 각국은 국가의 고유 문화유산을 세계유산으로 등재하는 등 고유 문화재의 문화적 위상을 알리고 관광콘텐츠로 활용하기 위해 많은 노력을 기울이고 있으며[1], 문화유산을 매개로 하는 문화적 정체성과 다양성을 확보하기 위한 경쟁이 가속화되고 있다[2]. 문화유산은 빠르게 변해하는 사회 속에서 문화정체성을 잃어가고 있는 현대인들에게 과거 우리가 걸어온 길을 투영하고 문화정체성을 가지고 성장할 수 있는 중요한 유산이다.

이러한 문화유산의 보존 및 개발을 위하여 4차 산업 혁명의 핵심 기술인 가상현실, 증강현실 및 혼합현실을 아우르는 실감콘텐츠 기술을 기반으로 문화유산을 재건하고 새롭게 콘텐츠화하기 위해 다양한 연구와 개발이 지속되고 있는 상황이다. 가상현실 기술은 이미 폐허가 되거나 훼손된 문화재를 남아 있는 데이터를 기반으로 그대로 복원하거나, 직접 가서 볼 수 없는 문화재들을 가상공간에서 경험할 수 있도록 하기도 한다. 특히 가상현실 기술이 가지는 상호작용성의 특징이 사용자의 참여도와 문화유산에 대한 이해를 높일 수 있다는 연구 결과들이 나옴에 따라, 문화유산을 복원하는 것뿐만이 아니라 다양한 정보와 해석을 효과적으로 전달할 수 있는 기술로 널리 쓰이고 있다[3].

또한 증강현실 기술을 활용하여 현존하는 문화재에 가상 정보를 덧입혀 증강된 정보를 전달하는 사례들도 증가하고 있다. 그 예로, 2016년 미래창조과학부와 문화재청은 ‘내 손안의 궁’ 어플리케이션을 개발하여 경복궁, 창덕궁, 덕수궁, 창경궁인 4대궁과 종묘에서 위치기반 AR(Augmented Reality) 기술을 활용하여 각 장소들을 방문한 사용자들이 궁에 대한 정보들을 증강현실 기술을 통해 체험할 수 있도록 개발하였다[4]. 그 외에도 석굴암, 보화각, 조선왕릉 등 다양한 우리 문화유산을 기반으로 하여 VR(Virtual Reality) 기술을 적용한 콘텐츠 사례들이 있었다. 또한 루브르박물관은 2019년 모나리자 VR 서비스를 시작으로 코로나 상황 속 박물관을 찾지 못하는 관람객들이 가상 박물관을 둘러볼 수 있는 VR 서비스를 개발하기도 하였다[5]. 이렇듯 국내외에서 문화유산을 보존하고 개발하여 널리 알리려는 노력들이 지속되고 있다. 하지만 현재의 문화재를 기반으로 한 실감콘텐츠는 문화재의 복원과 정보전달에만 집중하여 디지털복원이나 재건 등 문화유산의 외형적인 측면을 중심으로 개발되고 있어[6] 현대 대중들에게 적합한 새로운 시각의 문화재의 실감콘텐츠화가 필요하다.

이에 본 연구에서는 무형문화재를 중심으로 한 문화콘텐츠 개발을 제시하고자 한다. 무형문화재는 형태가 고정되어 있지 않고 즉흥적이고 가변성이 크기 때문에 시간의 흐름에 따라 외형적인 모습이 변화할 가능성이 크다[7]. 고정되어 있고 일정한 데이터 값을 가지는 유형문화제는 360 VR 영상, 3D 그래픽 등을 통해 원본 그대로의 형태를 제현해내는 것이 어렵지 않았으나 무형문화재는 사람에 의해 그 가치가 보존되고 계승되기 때문에 이를 데이터화하고 관리하는 것이 매우 어렵다. 우리는 무형문화재 중에서도 그 가치가 높은 중요무형문화재 제 2호로 선정된 ‘양주별산대놀이’를 중심으로 실감콘텐츠 기술을 접목하여 대중화할 수 있는 방법을 제시하고자 한다. 가장 효과적인 콘텐츠 개발을 위해 실재 ‘양주별산대놀이’의 전수자들과 함께 협업을 통하여 본 프로젝트를 진행하였다. 이를 위해 먼저 전통 공연을 현대에 맞는 스토리로 각색하고 전수자들의 춤을 데이터화한 후, 실감콘텐츠 기술을 적용하여 우리 문화콘텐츠의 대중화 및 세계화에 기여하고자 하였다.


Ⅱ. 본 론

2-1 ‘양주별산대놀이’의 의미

‘양주별산대놀이’는 양주지역의 전통 탈놀이로 중요무형문화재 제2호로 지정되어 있다. 우리나라 탈춤 가운데 변질되지 않고 전승되어 온 대표적인 탈놀이로 탈춤 가운데 가장 먼저 중요무형문화재로 지정되었고 한국문화의 정통성을 가장 보편적으로 지닌 무형문화재이다[8]. 원래 산대(山臺)의 뜻은 산과 같이 높은 무대, 비단으로 장식된 다락무대이며, 이에 따라 현재 ‘양주별산대놀이’도 높은 지대에 위치한 양주별산대놀이마당 무대에서 공연되고 있다[9]. 이렇게 ‘양주별산대놀이’가 양주지역을 대표하는 우수한 무형문화제임에도 불구하고 대중화 측면에서는 전수교육, 상설공연 그리고 홈페이지를 통한 일반인에 대한 홍보 등에 그치고 있는 실정이다.

1960년대 이후 정부 주도하에 전통공연에 대한 보존과 계승 노력이 지속되어 왔으나 새롭게 변화하고 있는 시대에 적합하지 않은 공연의 복원에 그치지 못하였다. 전통 공연이 가지는 가치는 보존하되 현대의 대중이 쉽게 향유할 수 있는 형태로의 콘텐츠 개발이 필요한 상황인 것이다. 양주군 또한 ‘양주별산대놀이’를 세계적인 관광 상품으로 만들기 위해 2001년 양주별산대놀이마당을 건립하였으며 ‘양주별산대놀이’의 계승과 발전을 위해 전수교육 및 강습 등을 진행하고 있으나 점점 전수자 수가 줄고 있는 상황이다. 이는 우리 교유의 전통문화에 노출이 적어 그 가치를 잘 알지 못하는 현재의 상황을 그대로 반영하고 있다.

또한 양주별산대 놀이 공연은 놀이마당이 야외에 위치하고 있어 여름과 겨울을 제외한 4월에서 10월 주말동안 주 2회의 상설공연과 매년 1회의 정기공연을 하고 있는데 그마저 코로나의 영향으로 오랫동안 공연을 하지 못하고 있는 상황이다. 이에 ‘양주별산대놀이’가 가지는 전통공연으로의 가치를 보존하며 현대의 대중들에게 사랑받을 수 있는 콘텐츠로의 개발이 매우 필요한 상황이다. 이러한 노력의 일환으로 우리는 양주별산대놀이보존회 전수자들과 협업을 통하여 ‘양주별산대놀이’의 실감콘텐츠화를 통해 우리 무형문화재의 대중화를 통해 그 우수성을 알리고자 하였다.

2-2 양주별산대 놀이 시나리오의 현대화

‘양주별산대놀이’는 경기도 양주시 주내면 유양리 지역(현재 양주시 유양동)에서 전승되어 온 가면극이다[10]. ‘양주별산대놀이’의 탈놀이는 총 8과장 8경으로 되어 있으며 1과장 상좌춤, 2과장 옴중과 상좌, 3과장 목중과 옴중, 4과장 연잎과 눈끔적이, 5과장 팔목중놀이, 6과장 노장, 7과장 샌님, 8과장 신할아비와 미얄할미로 구성되어있다[11]. ‘양주별산대놀이’는 조선 서민문화의 특성을 잘 보여주고 있으며 몰락한 양반, 파계승, 무당, 서민, 하인 등을 통해 당시 특권계층에 대한 풍자와 해학이 담겨 있다. 우리는 전체 8과장 중 가장 대중성이 높고 실감콘텐츠화하기 적합한 3개의 과장을 ‘양주별산대놀이’ 전수자들과 논의를 통해 결정하였다. 총 과장 중 가장 특색이 있는 캐릭터들을 중심으로 양반풍자와 조롱이라는 공연의 중심 메시지를 잘 담고 있는 4, 5, 6의 세 과장을 선택하여 개발하였다. 본래 과장을 모두 공연하는 데는 보통 6시간정도의 긴 시간이 소요되어 1년에 한두 번 정도밖에 공연하지 않으며 이를 대중화시키기 위해서는 핵심이 되는 부분만을 실감콘텐츠화하는 것이 적합했기 때문이다.

Fig. 1.

Development of a scenario for Yangju Byeolsandae Nori

이 중 4과장은 연잎과 눈끔적이가 등장하여 타락한 중을 벌하는 내용을 담고 있으며 연잎은 도가 높은 고승으로 생명체가 눈에 비치면 모두 죽는 능력을 가져 부채로 얼굴을 가리고 나와 이 땅의 평화를 위해 춤을 춘다[12]. 5과장 3경 애사당 법고놀이는 서민생활의 애환과 인신매매 등 당시 사회의 타락성을 보여주고 있다. 애사당 법고놀이에서는 완보가 북을 치며 재담을 하다 말뚝이와 함께 애사당 춤을 추는 것이 백미이기 때문에 특히 이 부분을 강조하여 실감콘텐츠화 하였다. 마지막 6과장 3경 취발이놀이에서는 취발이와 소무가 등장하며 절간에 있던 취발이가 속세에 내려와 소무를 감싸 안고 재담을 하고 춤을 춘다. 여기에서도 역시 취발이와 소무가 함께 등장하여 춤을 추는 대목을 중심으로 시나리오를 현대화하였다. 우리는 어려운 원작 대본을 ‘양주별산대놀이’보존회와 함께 대중에게 잘 전달될 수 있도록 현대화하여 원작 공연이 가지는 핵심 스토리는 보존하되 쉽게 전달할 수 있도록 하였다. 또한 ‘양주별산대놀이’의 가장 큰 매력이자 장점인 특색 있는 캐릭터들의 춤과 노래, 덕담과 대담을 즐길 수 있도록 하였다.


Ⅲ. 실감기술의 적용

실감콘텐츠 기술은 ICT를 기반으로 인간의 감각과 인지를 통해 실제와 유사한 감성과 경험을 확장하는 기술을 말한다[13]. 최근 기술의 발달과 함께 착용형 디바이스인 HMD(Head Mounted Display)를 기반으로 한 가상현실이나 증강현실 콘텐츠의 개발이 주목받고 있으나 아직 스마트폰처럼 대중화되기까지에는 시간이 소요될 예정이다. 이에 본 연구에서는 무형문화재의 대중화를 위해 개인이 모두 소유하고 있어 실제 장소에서 누구나 사용하기 편리한 스마트폰 기반 증강현실 콘텐츠와 더욱 높은 퀄리티와 개인화된 콘텐츠의 제공이 가능한 HMD 기반의 혼합현실 콘텐츠를 함께 개발하였다.

3-1 실감콘텐츠 기술을 활용한 무형문화재의 3D 시각화

실감콘텐츠 개발에 있어 최근 가장 활발히 사용되고 있는 방식은 실재 외형을 똑같이 구현할 수 있는 실사기반 3D 스캐닝과 모델링 방식이 있다. 그 중 우리는 공연의 춤과 동작을 최대한 동일하게 데이터화할 수 있도록 실제 사람이나 물체들의 외형 및 의상을 3D로 스캐닝 하는 포토그래메트리(Photogrammetry) 방식으로 전수자들을 캡쳐 하였다. 포토지오메트리는 대량의 사진을 고해상도로 촬영하고 이를 기반으로 3D 모델을 구축하는 기술이다. 현재 영화나 게임 등의 제작에 기존 모델링 방식보다 더 고차원의 3D 모델의 제작이 가능하여 그 사용이 늘고 있다.

포토그래메트리에서 사용되는 기본 원리는 삼각측량으로 이는 적어도 두 곳 이상의 다른 각도에서 사진을 찍어 카메라의 위치에서 대상 물체의 위치를 선으로 연결하여 ‘시선의 선’을 생성하고 이러한 시선을 수학적으로 교차하여 물체의 3차원 좌표를 생성하는 것이다. 즉 객체의 외형을 다각도에서 촬영하고 이를 통해 3차원 값과 실재와 가까운 외형의 모습을 복원할 수 있는 기법이다. 더욱 사실적인 이미지의 3D 캡처를 위해서는 더 많은 각도에서 고화질의 이미지를 캡쳐해야하고 이를 위해 고해상도의 많은 카메라들이 필요하다.

우리는 그림 2와 같이 객체에 대한 고화질 대용량의 사진 촬영이 가능한 스튜디오에서 128대의 DSLR 카메라를 사용하여 전수자들의 외형을 그대로 3D로 캡처할 수 있었다. 128대의 카메라는 다각도에서 128장의 사진을 동시에 촬영하고 실시간으로 컴퓨터로 전송한다.

Fig. 2.

3D Scanning of the Bearer Using Photogrammetry

그 후 리얼리티 캡처(Reality Capture), 아지소프트의 메타셰이프(Agisoft Metashape), 앨리스비전의 메시룸(Alicevision Meshroom)과 같은 전용 소프트웨어를 통해 사진들의 거리, 위치 값을 자동으로 계산하고 모델의 피부나 의상의 명함, 색감, 텍스처(texture) 등의 데이터를 읽어낸다. 프로그램 속에 수집된 사진들을 통해 수백 개의 포인트들이 생성되는데 이를 3D 포인트 클라우드(Pointcloud)라고 하며 이를 통해 고정밀 모델링 데이터를 만들 수 있다.

데이터 추출 후에는 3D 스캔으로는 표현이 어려운 손에 들고 있는 장구나 부채 그리고 늘어진 한복 자락 등의 작업을 위한 추가 모델링 작업과 모델링 데이터의 형태, 음영, 색상, 공간, 재질 등을 보다 매끈하게 정리하는 과정이 필요했다.

이러한 과정을 통해 우리는 그림 3과 같이 전수자들의 고정밀 모델링 데이터를 수집 할 수 있었다.

Fig. 3.

3D Model of Drunken(up) and Somu(down)

3-2 모션 캡처를 통한 디지털 액터 구현

모션캡쳐는 인체의 동작 또는 물체의 움직임을 추적하여 3차원 데이터를 만드는 작업이다. 보통 영화나 게임 광고 등에 다양하게 활용되어 온 모션캡쳐 기술은 이제 가상, 증강현실 콘텐츠 제작에 있어도 널리 활용되고 있다. 모션캡쳐는 액터(actor)의 움직임 데이터 촬영, 편집 및 애니메이션의 모든 과정을 포함한다. 모션캡쳐의 종류는 전자기식, 기계식, 음향식, 광학식 등 다양한 방법이 있으나 본 프로젝트에서는 그림 4와 같이 가장 높은 정확성으로 널리 사용되고 있는 광학식 모션캡쳐 카메라 시스템인 OptiTrack을 사용하여 전수자들의 춤과 동작을 캡처 하였다.

Fig. 4.

Motion Capture of Actual Performance Movements of Bearers

캡처한 모션 데이터는 사전에 3D 스캐닝을 통해 구축한 전수자 디지털 액터에 적용하여 전수자들의 외형뿐만이 아니라 움직임까지 그대로 옮길 수 있다. 모션캡쳐를 통한 기록이 완벽하지는 않으나 모션캡쳐 후에 전문 애니메이터들은 춤사위에 따른 옷자락의 움직임이나 손가락의 움직임 같은 미세한 동작들을 추가하게 된다. 이러한 모션캡쳐의 장점은 전수자들이 실제 공연 의상을 입고 음직임을 취해도 동작을 인지하고 공간에서 이동하는 큰 움직임들도 모두 캡처해 낼 수 있으며 여러 사람의 움직임을 동시에 캡쳐 가능하다는 점이다.

이런 과정을 통해 제작된 디지털 액터는 하나의 콘텐츠에만 적용가능 한 것이 아니라 가상현실, 증강현실 및 혼합현실 등 다양한 콘텐츠 제작에 적용이 가능하다. 이에 본 프로젝트에서는 수집한 데이터 정보를 활용하여 증강현실과 혼합현실 콘텐츠에 모두 적용할 수 있었다. 이러한 데이터의 활용은 콘텐츠 개발에 있어서 하나의 스토리를 기반으로 다양한 콘텐츠 개발을 하는 원소스 멀티유즈(One Source Multi Use)나 여러 플랫폼을 기반으로 하나의 이야기를 형성하는 트렌스미디어 스토리텔링(Transmedia Storytelling)에 모두 활용되어 제작 시간과 과정을 단축시킬 수 있는 매우 효과적인 제작방법이며 본 프로젝트에서도 효율적으로 데이터를 활용할 수 있었다.

3-3 GPS 기반의 장소 특정적(Site Specific) AR 콘텐츠

증강현실은 컴퓨터 그래픽 기술을 통해 생성한 가상 정보를 실시간으로 실제 세계에 직접 혹은 간접으로 자연스럽게 정합하여 사용자에게 전달하는 기술이다[14]. 증강현실 관련 기술로는 트래킹 기술, 그래픽 기술, 인터랙션 기술 등 다양한 기술의 융합이 필요하다. 최근까지 다양한 센서 기술의 발전과 디바이스의 출시로 인해 많은 문화재들이 3차원으로 복원되어 다양한 형태의 증강현실 콘텐츠로 구현되고 있다. 그러나 앞에서 언급한 것과 같이 많은 콘텐츠들이 유형문화재 중심으로 원본 그대로의 모습을 그대로 복원하는 것에 중심을 두고 개발이 되었다. 실감기술 기반의 문화콘텐츠는 현존하지 않는 문화재의 과거 모습을 시각적으로 재현하는 것뿐만 아니라 관객들이 그곳에 실제로 존재하는 것처럼 느끼게 하는 현존감이 중요한데 외형의 복원만으로는 완벽한 현존감을 느끼게 하는 것은 어렵다[15]. 본 프로젝트는 양주별산대 놀이라고 하는 특정 콘텐츠를 대상으로 개발하였기 때문에 실제 공연이 이루어지는 ‘양주별산대놀이’마당이라는 특정한 장소를 기반으로 증강현실 콘텐츠를 개발하였다.

Fig. 5.

Screen Shots of AR Content Demonstrating in Yangju Byeolsandae Nori Yard

스마트폰 내의 GPS 센서를 사용하여 사용자 개인의 위치와 방향에 따라 공연장 위에 실시간으로 벌어지고 있는 가상의 공연 현장을 자유롭게 즐길 수 있도록 하여 관객들이 공간과 공연에 몰입할 수 있도록 하였다. 본 프로젝트에서는 실제 공연과 같은 몰입감을 주기 위해 3D 스캔 및 모션캡쳐를 통해 고용량 고화질의 콘텐츠를 모바일 환경에서 실행해야 했기 때문에 최적화를 위한 개발이 가장 중요한 과정이었다. 이에 우리는 아래 그림과 같이 GPS 인식의 최적화를 위해 AR 하드웨어 세팅 및 최적화, GPS 정보의 세분화를 위한 프로그래밍, AR 프로세스의 최적화를 위한 폴리곤 리토폴로지(Retopology)를 진행하였다.

Fig. 6.

Key Workflow for GPS-based AR Application Development

또한 공연의 실황 장면뿐만이 아니라 자칫 어렵게 느껴질 수 있는 공연의 내용과 캐릭터에 대한 설명 그리고 ‘양주별산대놀이’의 가치와 의미 등의 정보를 공연을 보면서 찾아볼 수 있도록 메뉴들을 추가하였다. 이를 통해 사용자들이 시청각적인 재미를 주는 것만이 아니라 실시간 상호작용을 통한 정보전달을 하고자 하였다.

3-4 홀로렌즈 기반 MR 콘텐츠 제작

혼합현실(MR, Mixed Reality)이란 증강현실과 같이 현실 세계를 기반으로 하지만 현실과 가상의 정보를 혼합해 기존보다 더욱 진화된 가상 세계를 구현하는 기술을 뜻한다[16]. 혼합협실은 사용자에게 혼합된 현실과 가상세계를 통해 실제로 존재하지 않는 물체나 환경을 마치 실제처럼 느껴지도록 하는 기술이나 서비스를 모두 통칭하며 HMD의 발전과 함께 최근 들어 널리 사용되고 있는 용어이다. 1992년 보잉사에 근무하던 토머스 코델 박사가 복합한 비행기의 전선 조립을 돕기 위해 실제 화면에 가상 이미지를 겹쳐 조립을 쉽게 할 수 있도록 도움으로써 ‘혼합현실’이라고 용어를 처음 사용하기 시작하였다[17]. 이러한 혼합현실을 구현하기 위해서는 특수하게 제작된 착용형 디스플레이나 모바일 기기가 필요한데[18] 우리는 가장 대표적인 MR 디스플레이 중 하나인 마이크로소프트사의 홀로렌즈[19]를 사용하여 개발을 진행하였다.

위치기반 AR 콘텐츠가 GPS 정보를 활용하기 때문에 장소 특정적으로 작동하여 사용자에게 환경적인 몰입감을 주나 ‘양주별산대놀이’마당이라고 하는 장소에 가야만 체험할 수 있다는 장소의 제한이 있었다. 이에 우리는 홀로렌즈 기반의 혼합현실 콘텐츠를 함께 개발하여 사용자의 위치나 공간에 제약이 없이 원하는 곳에서 공연을 체험할 수 있도록 하였다.

홀로렌즈의 디스플레이외부에 탑재되어 있는 카메라는 사용자가 바라보고 있는 바깥 환경을 실시간으로 인식하고 환경에 적합하게 가상현실 그래픽을 투영하여 그림 7과 같이 사용자가 장소에 제약 없이 내 방 안에서 공연을 생생하게 경험할 수 있도록 한다. 또한 혼합현실 환경에서도 사용자들은 공연을 관람하면서 ‘양주별산대놀이’에 관련된 정보와 스토리를 찾아보며 상호작용 할 수 있도록 하였다.

Fig. 7.

MR Content of Yangju Byeolsandae Nori


Ⅳ. 결 론

우리 고유의 문화재는 우리나라를 세계에 알리고 우리의 민족성을 유지하는데 중요한 역할을 한다. 세계적으로 이런 중요문화재에 IT 기술을 접목하여 문화재를 재건하고 개발하려는 노력들이 지속되고 있지만 현재는 유형문화재 중심으로 콘텐츠 개발이 되고 있다. 또한 아직까지 문화재의 원본에 집중하여 그 원형을 복원하고 보전하는 것을 중심으로 개발이 되어 대중들의 관심이 점점 줄어들고 있는 상황이다. 이에 본 연구에서 우리는 국가중요무형문화제 제2호인 ‘양주별산대놀이’를 중심으로 하여 증강현실 및 혼합현실 기술을 접목하여 현대 대중들이 문화재를 쉽게 이해하고 높은 가치를 향유할 수 있는 실감콘텐츠를 개발하고자 하였다. 이를 위해 첫째, ‘양주별산대놀이’의 스토리를 현대화하고 둘째, 전수자들의 춤을 데이터화하였으며 셋째, 스마트폰을 위한 GPS기반 AR콘텐츠와 홀로렌즈 기반의 MR 콘텐츠를 개발하였다.

가상현실, 증강현실, 혼합현실 등의 실감콘텐츠 기술은 사용자가 문화재와 더욱 활발히 상호작용하고 몰입도 있게 콘텐츠를 이해하는데 큰 역할을 할 수 있다. 본 프로젝트에서는 무형문화재를 현대화하고 데이터화하는 것을 중심으로 개발을 진행하여 관객과의 상호작용성이 더욱 필요하다고 판단되나 추후 실시간 상호작용성을 추가하여 더욱 몰입도 있는 콘텐츠로 발전시키고자 한다. 점점 대중들의 사람과 관심이 사라져가고 있는 우리 고유의 무형문화재에 새로운 생명과 관심을 전달할 수 있는 실감콘텐츠 기술이 더욱 널리 활용된다면 글로벌 시장에서도 그 위상을 널리 알릴 수 있을 것이다.

Acknowledgments

본 연구는 2021년도 단국대학교 대학연구비 지원으로 이루어진 연구로서, 관계부처에 감사드립니다.

References

  • H. S. Jin, A Study on the Preservation and Utilization of Intangible Cultural Heritage Based on Virtual Reality Technology, Master's thesis at Namseoul University, p 3, June. 2018.
  • J. S. Kim, A Study on Legislation for Sustainable Enjoyment of Cultural Heritage, Korea Legal Research Institute, p.21, July. 2010.
  • E. J. Song, "Application Method of Virtual Reality by Types of Intangible Cultural Properties", Journal of the Korea Institute of Information and Communication Engineering, vol. 22, no. 11, pp. 1489-1494, Nov. 2018. [https://doi.org/10.6109/jkiice.2018.22.11.1489]
  • Korean policy briefing. The palace and Jongmyo Shrine in my hand [Internet]. Available: https://www.korea.kr/news/pressReleaseView.do?newsId=156109363
  • Louvre. The Mona Lisa in virtual reality in your own home [Internet]. Available: https://www.louvre.fr/en/what-s-on/life-at-the-museum/the-mona-lisa-in-virtual-reality-in-your-own-home
  • S. Park, “The development of Goguryo Mural Contents Experienced with Five Senses Based on Virtual Reality,” Journal of Digital Design, vol. 8, no. 4, pp. 137-146, Oct. 2008. [https://doi.org/10.17280/jdd.2008.8.4.014]
  • J. H. An, C. S. Kim, Digital heritage : 3D documentation and application of cultural heritage, Sigma Press Co., Ltd. Seoul. 2016.
  • B. E. Chung, A Study on the Popularization of Mask Dance: Focusing on Yangju Byeolsandae Nori, Master's thesis at Chung-Ang University Graduate School of Education, p 3, Feb. 2002.
  • Y. H. Seo, Sandae Mask Play, Yeolhwadang, p. 27, 1987.
  • Encyclopedia of Korean National Culture, Yangju Byeolsandae Nori [Internet]. Available: http://encykorea.aks.ac.kr/Contents/Item/E0035761
  • Yangju Byeolsandae Nori, Cultural Heritage Administration [Internet]. Available: https://www.heritage.go.kr/
  • B. E. Chung, A Study on the Popularization of Mask Dance: Focusing on Yangju Byeolsandae Nori, Master's thesis at Chung-Ang University Graduate School of Education, p 7, Feb. 2002.
  • J. S. Kang, "A Case Study on Application of Realistic Content to Space Design", Journal of Digital Convergence, p.372, June. 2017.
  • H. R. Jeon, S. Y. Kim. "Digital Restoration research using GPS-based mobile augmented reality –Focusing on Seosomun Park", Korea Digital Contents Journal, vol. 22, no. 11, p. 138, Nov. 2021. [https://doi.org/10.9728/dcs.2021.22.11.1755]
  • Doopedia, Realistic content, [Internet]. Available: https://www.doopedia & doopedia.co.kr
  • Y. H. Seo, Real-life animation production technology for MR, Broadcasting and Media Magazine, Vol. 4 No.3.p. 35, 2019.
  • A.R. Lee, Mixed Reality (MR) Market and Industry Trends, Convergence Research Policy Center, Convergence Weekly Tip, April. 2018.
  • S. A. Kim, Virtual and Augmented Reality Technology Development Trends and Market Prospects, Information and Communication Technology Promotion Center, Weekly Technology Trend. Vol. 1803, July. 2017.
  • Hololens, [Internet]. Available: https://www.microsoft.com/en-us/hololens

저자소개

강지영(Jiyoung Kang)

2004년 : Pratt Institute 컴퓨터 그래픽스 (학사)

2006년 : New York University, 인터랙티브 텔레커뮤니케이션 (석사)

2013년 : 한국과학기술원(공학박사-인터랙션 디자인)

2012년~현 재: 단국대학교 SW융합학부 SW융합콘텐츠학과 교수

※관심분야:가상현실(VR), 증강현실(AR), 인터랙션 디자인 등

Fig. 1.

Fig. 1.
Development of a scenario for Yangju Byeolsandae Nori

Fig. 2.

Fig. 2.
3D Scanning of the Bearer Using Photogrammetry

Fig. 3.

Fig. 3.
3D Model of Drunken(up) and Somu(down)

Fig. 4.

Fig. 4.
Motion Capture of Actual Performance Movements of Bearers

Fig. 5.

Fig. 5.
Screen Shots of AR Content Demonstrating in Yangju Byeolsandae Nori Yard

Fig. 6.

Fig. 6.
Key Workflow for GPS-based AR Application Development

Fig. 7.

Fig. 7.
MR Content of Yangju Byeolsandae Nori