증강현실 기술을 활용한 국가무형문화재의 실감콘텐츠 제작 : 국가무형문화재 2호 ‘양주별산대놀이’를 중심으로

2-1 ‘양주별산대놀이’의 의미

‘양주별산대놀이’는 양주지역의 전통 탈놀이로 중요무형문화재 제2호로 지정되어 있다. 우리나라 탈춤 가운데 변질되지 않고 전승되어 온 대표적인 탈놀이로 탈춤 가운데 가장 먼저 중요무형문화재로 지정되었고 한국문화의 정통성을 가장 보편적으로 지닌 무형문화재이다[8]. 원래 산대(山臺)의 뜻은 산과 같이 높은 무대, 비단으로 장식된 다락무대이며, 이에 따라 현재 ‘양주별산대놀이’도 높은 지대에 위치한 양주별산대놀이마당 무대에서 공연되고 있다[9]. 이렇게 ‘양주별산대놀이’가 양주지역을 대표하는 우수한 무형문화제임에도 불구하고 대중화 측면에서는 전수교육, 상설공연 그리고 홈페이지를 통한 일반인에 대한 홍보 등에 그치고 있는 실정이다.

1960년대 이후 정부 주도하에 전통공연에 대한 보존과 계승 노력이 지속되어 왔으나 새롭게 변화하고 있는 시대에 적합하지 않은 공연의 복원에 그치지 못하였다. 전통 공연이 가지는 가치는 보존하되 현대의 대중이 쉽게 향유할 수 있는 형태로의 콘텐츠 개발이 필요한 상황인 것이다. 양주군 또한 ‘양주별산대놀이’를 세계적인 관광 상품으로 만들기 위해 2001년 양주별산대놀이마당을 건립하였으며 ‘양주별산대놀이’의 계승과 발전을 위해 전수교육 및 강습 등을 진행하고 있으나 점점 전수자 수가 줄고 있는 상황이다. 이는 우리 교유의 전통문화에 노출이 적어 그 가치를 잘 알지 못하는 현재의 상황을 그대로 반영하고 있다.

또한 양주별산대 놀이 공연은 놀이마당이 야외에 위치하고 있어 여름과 겨울을 제외한 4월에서 10월 주말동안 주 2회의 상설공연과 매년 1회의 정기공연을 하고 있는데 그마저 코로나의 영향으로 오랫동안 공연을 하지 못하고 있는 상황이다. 이에 ‘양주별산대놀이’가 가지는 전통공연으로의 가치를 보존하며 현대의 대중들에게 사랑받을 수 있는 콘텐츠로의 개발이 매우 필요한 상황이다. 이러한 노력의 일환으로 우리는 양주별산대놀이보존회 전수자들과 협업을 통하여 ‘양주별산대놀이’의 실감콘텐츠화를 통해 우리 무형문화재의 대중화를 통해 그 우수성을 알리고자 하였다.

2-2 양주별산대 놀이 시나리오의 현대화

‘양주별산대놀이’는 경기도 양주시 주내면 유양리 지역(현재 양주시 유양동)에서 전승되어 온 가면극이다[10]. ‘양주별산대놀이’의 탈놀이는 총 8과장 8경으로 되어 있으며 1과장 상좌춤, 2과장 옴중과 상좌, 3과장 목중과 옴중, 4과장 연잎과 눈끔적이, 5과장 팔목중놀이, 6과장 노장, 7과장 샌님, 8과장 신할아비와 미얄할미로 구성되어있다[11]. ‘양주별산대놀이’는 조선 서민문화의 특성을 잘 보여주고 있으며 몰락한 양반, 파계승, 무당, 서민, 하인 등을 통해 당시 특권계층에 대한 풍자와 해학이 담겨 있다. 우리는 전체 8과장 중 가장 대중성이 높고 실감콘텐츠화하기 적합한 3개의 과장을 ‘양주별산대놀이’ 전수자들과 논의를 통해 결정하였다. 총 과장 중 가장 특색이 있는 캐릭터들을 중심으로 양반풍자와 조롱이라는 공연의 중심 메시지를 잘 담고 있는 4, 5, 6의 세 과장을 선택하여 개발하였다. 본래 과장을 모두 공연하는 데는 보통 6시간정도의 긴 시간이 소요되어 1년에 한두 번 정도밖에 공연하지 않으며 이를 대중화시키기 위해서는 핵심이 되는 부분만을 실감콘텐츠화하는 것이 적합했기 때문이다.

Fig. 1.

Development of a scenario for Yangju Byeolsandae Nori

이 중 4과장은 연잎과 눈끔적이가 등장하여 타락한 중을 벌하는 내용을 담고 있으며 연잎은 도가 높은 고승으로 생명체가 눈에 비치면 모두 죽는 능력을 가져 부채로 얼굴을 가리고 나와 이 땅의 평화를 위해 춤을 춘다[12]. 5과장 3경 애사당 법고놀이는 서민생활의 애환과 인신매매 등 당시 사회의 타락성을 보여주고 있다. 애사당 법고놀이에서는 완보가 북을 치며 재담을 하다 말뚝이와 함께 애사당 춤을 추는 것이 백미이기 때문에 특히 이 부분을 강조하여 실감콘텐츠화 하였다. 마지막 6과장 3경 취발이놀이에서는 취발이와 소무가 등장하며 절간에 있던 취발이가 속세에 내려와 소무를 감싸 안고 재담을 하고 춤을 춘다. 여기에서도 역시 취발이와 소무가 함께 등장하여 춤을 추는 대목을 중심으로 시나리오를 현대화하였다. 우리는 어려운 원작 대본을 ‘양주별산대놀이’보존회와 함께 대중에게 잘 전달될 수 있도록 현대화하여 원작 공연이 가지는 핵심 스토리는 보존하되 쉽게 전달할 수 있도록 하였다. 또한 ‘양주별산대놀이’의 가장 큰 매력이자 장점인 특색 있는 캐릭터들의 춤과 노래, 덕담과 대담을 즐길 수 있도록 하였다.

3-1 실감콘텐츠 기술을 활용한 무형문화재의 3D 시각화

실감콘텐츠 개발에 있어 최근 가장 활발히 사용되고 있는 방식은 실재 외형을 똑같이 구현할 수 있는 실사기반 3D 스캐닝과 모델링 방식이 있다. 그 중 우리는 공연의 춤과 동작을 최대한 동일하게 데이터화할 수 있도록 실제 사람이나 물체들의 외형 및 의상을 3D로 스캐닝 하는 포토그래메트리(Photogrammetry) 방식으로 전수자들을 캡쳐 하였다. 포토지오메트리는 대량의 사진을 고해상도로 촬영하고 이를 기반으로 3D 모델을 구축하는 기술이다. 현재 영화나 게임 등의 제작에 기존 모델링 방식보다 더 고차원의 3D 모델의 제작이 가능하여 그 사용이 늘고 있다.

포토그래메트리에서 사용되는 기본 원리는 삼각측량으로 이는 적어도 두 곳 이상의 다른 각도에서 사진을 찍어 카메라의 위치에서 대상 물체의 위치를 선으로 연결하여 ‘시선의 선’을 생성하고 이러한 시선을 수학적으로 교차하여 물체의 3차원 좌표를 생성하는 것이다. 즉 객체의 외형을 다각도에서 촬영하고 이를 통해 3차원 값과 실재와 가까운 외형의 모습을 복원할 수 있는 기법이다. 더욱 사실적인 이미지의 3D 캡처를 위해서는 더 많은 각도에서 고화질의 이미지를 캡쳐해야하고 이를 위해 고해상도의 많은 카메라들이 필요하다.

우리는 그림 2와 같이 객체에 대한 고화질 대용량의 사진 촬영이 가능한 스튜디오에서 128대의 DSLR 카메라를 사용하여 전수자들의 외형을 그대로 3D로 캡처할 수 있었다. 128대의 카메라는 다각도에서 128장의 사진을 동시에 촬영하고 실시간으로 컴퓨터로 전송한다.

Fig. 2.

3D Scanning of the Bearer Using Photogrammetry

그 후 리얼리티 캡처(Reality Capture), 아지소프트의 메타셰이프(Agisoft Metashape), 앨리스비전의 메시룸(Alicevision Meshroom)과 같은 전용 소프트웨어를 통해 사진들의 거리, 위치 값을 자동으로 계산하고 모델의 피부나 의상의 명함, 색감, 텍스처(texture) 등의 데이터를 읽어낸다. 프로그램 속에 수집된 사진들을 통해 수백 개의 포인트들이 생성되는데 이를 3D 포인트 클라우드(Pointcloud)라고 하며 이를 통해 고정밀 모델링 데이터를 만들 수 있다.

데이터 추출 후에는 3D 스캔으로는 표현이 어려운 손에 들고 있는 장구나 부채 그리고 늘어진 한복 자락 등의 작업을 위한 추가 모델링 작업과 모델링 데이터의 형태, 음영, 색상, 공간, 재질 등을 보다 매끈하게 정리하는 과정이 필요했다.

이러한 과정을 통해 우리는 그림 3과 같이 전수자들의 고정밀 모델링 데이터를 수집 할 수 있었다.

Fig. 3.

3D Model of Drunken(up) and Somu(down)

3-2 모션 캡처를 통한 디지털 액터 구현

모션캡쳐는 인체의 동작 또는 물체의 움직임을 추적하여 3차원 데이터를 만드는 작업이다. 보통 영화나 게임 광고 등에 다양하게 활용되어 온 모션캡쳐 기술은 이제 가상, 증강현실 콘텐츠 제작에 있어도 널리 활용되고 있다. 모션캡쳐는 액터(actor)의 움직임 데이터 촬영, 편집 및 애니메이션의 모든 과정을 포함한다. 모션캡쳐의 종류는 전자기식, 기계식, 음향식, 광학식 등 다양한 방법이 있으나 본 프로젝트에서는 그림 4와 같이 가장 높은 정확성으로 널리 사용되고 있는 광학식 모션캡쳐 카메라 시스템인 OptiTrack을 사용하여 전수자들의 춤과 동작을 캡처 하였다.

Fig. 4.

Motion Capture of Actual Performance Movements of Bearers

캡처한 모션 데이터는 사전에 3D 스캐닝을 통해 구축한 전수자 디지털 액터에 적용하여 전수자들의 외형뿐만이 아니라 움직임까지 그대로 옮길 수 있다. 모션캡쳐를 통한 기록이 완벽하지는 않으나 모션캡쳐 후에 전문 애니메이터들은 춤사위에 따른 옷자락의 움직임이나 손가락의 움직임 같은 미세한 동작들을 추가하게 된다. 이러한 모션캡쳐의 장점은 전수자들이 실제 공연 의상을 입고 음직임을 취해도 동작을 인지하고 공간에서 이동하는 큰 움직임들도 모두 캡처해 낼 수 있으며 여러 사람의 움직임을 동시에 캡쳐 가능하다는 점이다.

이런 과정을 통해 제작된 디지털 액터는 하나의 콘텐츠에만 적용가능 한 것이 아니라 가상현실, 증강현실 및 혼합현실 등 다양한 콘텐츠 제작에 적용이 가능하다. 이에 본 프로젝트에서는 수집한 데이터 정보를 활용하여 증강현실과 혼합현실 콘텐츠에 모두 적용할 수 있었다. 이러한 데이터의 활용은 콘텐츠 개발에 있어서 하나의 스토리를 기반으로 다양한 콘텐츠 개발을 하는 원소스 멀티유즈(One Source Multi Use)나 여러 플랫폼을 기반으로 하나의 이야기를 형성하는 트렌스미디어 스토리텔링(Transmedia Storytelling)에 모두 활용되어 제작 시간과 과정을 단축시킬 수 있는 매우 효과적인 제작방법이며 본 프로젝트에서도 효율적으로 데이터를 활용할 수 있었다.

3-3 GPS 기반의 장소 특정적(Site Specific) AR 콘텐츠

증강현실은 컴퓨터 그래픽 기술을 통해 생성한 가상 정보를 실시간으로 실제 세계에 직접 혹은 간접으로 자연스럽게 정합하여 사용자에게 전달하는 기술이다[14]. 증강현실 관련 기술로는 트래킹 기술, 그래픽 기술, 인터랙션 기술 등 다양한 기술의 융합이 필요하다. 최근까지 다양한 센서 기술의 발전과 디바이스의 출시로 인해 많은 문화재들이 3차원으로 복원되어 다양한 형태의 증강현실 콘텐츠로 구현되고 있다. 그러나 앞에서 언급한 것과 같이 많은 콘텐츠들이 유형문화재 중심으로 원본 그대로의 모습을 그대로 복원하는 것에 중심을 두고 개발이 되었다. 실감기술 기반의 문화콘텐츠는 현존하지 않는 문화재의 과거 모습을 시각적으로 재현하는 것뿐만 아니라 관객들이 그곳에 실제로 존재하는 것처럼 느끼게 하는 현존감이 중요한데 외형의 복원만으로는 완벽한 현존감을 느끼게 하는 것은 어렵다[15]. 본 프로젝트는 양주별산대 놀이라고 하는 특정 콘텐츠를 대상으로 개발하였기 때문에 실제 공연이 이루어지는 ‘양주별산대놀이’마당이라는 특정한 장소를 기반으로 증강현실 콘텐츠를 개발하였다.

Fig. 5.

Screen Shots of AR Content Demonstrating in Yangju Byeolsandae Nori Yard

스마트폰 내의 GPS 센서를 사용하여 사용자 개인의 위치와 방향에 따라 공연장 위에 실시간으로 벌어지고 있는 가상의 공연 현장을 자유롭게 즐길 수 있도록 하여 관객들이 공간과 공연에 몰입할 수 있도록 하였다. 본 프로젝트에서는 실제 공연과 같은 몰입감을 주기 위해 3D 스캔 및 모션캡쳐를 통해 고용량 고화질의 콘텐츠를 모바일 환경에서 실행해야 했기 때문에 최적화를 위한 개발이 가장 중요한 과정이었다. 이에 우리는 아래 그림과 같이 GPS 인식의 최적화를 위해 AR 하드웨어 세팅 및 최적화, GPS 정보의 세분화를 위한 프로그래밍, AR 프로세스의 최적화를 위한 폴리곤 리토폴로지(Retopology)를 진행하였다.

Fig. 6.

Key Workflow for GPS-based AR Application Development

또한 공연의 실황 장면뿐만이 아니라 자칫 어렵게 느껴질 수 있는 공연의 내용과 캐릭터에 대한 설명 그리고 ‘양주별산대놀이’의 가치와 의미 등의 정보를 공연을 보면서 찾아볼 수 있도록 메뉴들을 추가하였다. 이를 통해 사용자들이 시청각적인 재미를 주는 것만이 아니라 실시간 상호작용을 통한 정보전달을 하고자 하였다.

3-4 홀로렌즈 기반 MR 콘텐츠 제작

혼합현실(MR, Mixed Reality)이란 증강현실과 같이 현실 세계를 기반으로 하지만 현실과 가상의 정보를 혼합해 기존보다 더욱 진화된 가상 세계를 구현하는 기술을 뜻한다[16]. 혼합협실은 사용자에게 혼합된 현실과 가상세계를 통해 실제로 존재하지 않는 물체나 환경을 마치 실제처럼 느껴지도록 하는 기술이나 서비스를 모두 통칭하며 HMD의 발전과 함께 최근 들어 널리 사용되고 있는 용어이다. 1992년 보잉사에 근무하던 토머스 코델 박사가 복합한 비행기의 전선 조립을 돕기 위해 실제 화면에 가상 이미지를 겹쳐 조립을 쉽게 할 수 있도록 도움으로써 ‘혼합현실’이라고 용어를 처음 사용하기 시작하였다[17]. 이러한 혼합현실을 구현하기 위해서는 특수하게 제작된 착용형 디스플레이나 모바일 기기가 필요한데[18] 우리는 가장 대표적인 MR 디스플레이 중 하나인 마이크로소프트사의 홀로렌즈[19]를 사용하여 개발을 진행하였다.

위치기반 AR 콘텐츠가 GPS 정보를 활용하기 때문에 장소 특정적으로 작동하여 사용자에게 환경적인 몰입감을 주나 ‘양주별산대놀이’마당이라고 하는 장소에 가야만 체험할 수 있다는 장소의 제한이 있었다. 이에 우리는 홀로렌즈 기반의 혼합현실 콘텐츠를 함께 개발하여 사용자의 위치나 공간에 제약이 없이 원하는 곳에서 공연을 체험할 수 있도록 하였다.

홀로렌즈의 디스플레이외부에 탑재되어 있는 카메라는 사용자가 바라보고 있는 바깥 환경을 실시간으로 인식하고 환경에 적합하게 가상현실 그래픽을 투영하여 그림 7과 같이 사용자가 장소에 제약 없이 내 방 안에서 공연을 생생하게 경험할 수 있도록 한다. 또한 혼합현실 환경에서도 사용자들은 공연을 관람하면서 ‘양주별산대놀이’에 관련된 정보와 스토리를 찾아보며 상호작용 할 수 있도록 하였다.

Fig. 7.

MR Content of Yangju Byeolsandae Nori