1인 미디어 콘텐츠 활성화를 위한 공연예술의 디지털 시각화 방법에 대한 연구:고전발레<호두까기인형>을 중심으로

1-1 연구 배경

제 4차 산업 혁명을 지나며 우리의 사회는 기술 사회로 고도화되고 있다. 테크놀로지는 기존 사회 시스템에서 융합된 형태로 삶의 전반적인 부분에서 영향을 미치고 있다. 특히 공연예술 분야에서도 디지털 기술을 활용한 새로운 시도들이 모색되고 있다[1].

1300년대 궁정발레 (Ballet de cour)를 시작으로 공연의 형태로 관람객과 함께하게 된 것은 1400년대 넘어서부터이며, 궁정에서 극장 무대로 관람객과 함께 전문적인 공연예술로 선보이게 된 오페라 발레 (Opera Ballet)는 17세기에서 18세기까지 출현하였다[2]. 이 시기는 인류 역사상 기계적 생산이 이루어진 1차 산업혁명 시대를 말한다. 2차 산업혁명 시대, 즉 전기의 발명으로 대량생산이 가능해진 19세기에는 낭만발레 (Romantic Ballet)와 고전발레 (Classical Ballet)가 유행했던 시기이며, 이후 20세기에 컴퓨터가 등장한 3차 산업혁명과 ICT (Information Communication Technology) 기반 디지털 기술의 시대, 즉 4차 산업혁명시기를 지나면서 현대 발레(Modern Ballet)로 변화되었다.

현대 발레와는 다른 장르이긴 하지만 현재 낭만 발레와 고전발레가 재해석되고 있는 상황이다. 대표적으로 공연 되고 있는 고전발레<호두까기인형>을 살펴보면 안무가에 의해 퍼포머(performer)들의 움직임이 재안무 되기도 하지만 퍼포머의 공연 내용 그리고 공연예술을 구성하는 음악, 동작 및 테크닉과 의상은 거의 동일하다. 공연예술은 퍼포머, 음악과 같은 중심 요소 이외에도 의상을 비롯하여 배경, 조명, 무대 효과 그리고 소품과 같은 여러 가지 시각적 요소로 구성되어 있는데 현재까지도 19세기 후반의 고전발레가 거의 비슷한 요소로 이루어져 공연되고 있다. 발레 공연은 퍼포머의 신체를 통하여 표현되는 움직임이 주된 요소로 표현되지만 그 외 시각적 요소가 복합적으로 결합된 공연예술로 콘텐츠화될 수 있다.

기술의 발달로 시대가 바뀌면서 인간이 시각적으로 표현할 수 있는 수단이 다양하게 발전하였다. 디지털 미디어는 이미지의 복제, 저장, 공유 그리고 전달되는 것이 간편할 뿐 아니라 변형에도 용이하다. 따라서 공연예술을 시각화함에 있어서 이와 같은 디지털 미디어의 활용은 발레 공연을 다양화시키는 역할을 담당할 수 있을 것이다. 특히 공연예술의 시각적 요소는 디지털 미디어를 통하여 다채로운 조명 연출과 동적인 배경 그리고 화려한 무대효과를 구현하는데 효과적이다. <그림 1>은 고전발레 <호두까기인형>의 서로 다른 공연에 대한 사례이다. 차이코프스키(Pyotr Ilyich Tchaikovsky, 1840-1893)의 음악에 안무가의 연출에 따라 공연이 설계되는데, 공연은 흰색 색상의 의상을 갖춘 퍼포머가 유사한 동작의 안무로 완성된다. 물론 발레 공연에서 관람객들이 쟁점을 두고 보는 것은 퍼포머들의 움직임, 기량과 테크닉이다. 발레단마다 조금씩 다른 스타일의 움직임을 가지고 있지만 고전발레의 특성상 정해진 스토리에 따라 작품이 흘러가기 때문에 기존 안무에서 크게 벗어나지 못하는 한계가 있다. 이와 같이 동일한 음악에 적용되는 고전발레에 있어서 안무가의 연출은 미세한 변화를 드러내지만 유사한 의상을 갖춘 퍼포머가 보다 차별화되는 공연으로 제작되기 위하여 시각적 환경에 주목할 필요가 있다. 여기에서 말하는 공연예술의 시각화 요소들은 안무, 음악, 의상 이외에 조명, 배경, 무대 효과 그리고 소품과 같은 것들을 지칭하며, 이와 같은 요소를 변형시킴으로 같은 작품이더라도 시각적 차이에 의해 관람객들은 공연에 대한 인상적인 차별점으로 인식할 수 있다.

Fig. 1.

<The Nutcracker>, The Royal Ballet and <The Nutcracker>, Nevada Ballet Theatre

<그림 1>의 <호두까기인형>은 2막에서 나오는 스노우 신(Snow Scene)으로 우선 로얄 발레단(The Royal Ballet)의 <호두까기인형>은 배경을 벽화처럼 그림으로 그린 배경막을 사용하기 때문에 이와 같은 아날로그(Analog) 공연 환경은 공연예술의 시각적 요소를 사용하기에 이동 및 설치가 편리하지 않다. 뿐만 아니라 공연의 장소적 한계를 지니고 있는데, 한번 제작되면 수정, 보완 및 재가공이 불가능하다는 것이다. 특히 물리적 요소가 이루는 공연 환경 중 퍼포머를 돋보이기 위하여 비추는 조명은 퍼포머의 움직임에 집중되어 있기 때문에 배경막으로 표현되는 공연 공간으로 인식하기 어렵다. 결과적으로 공연 공간을 이해하고, 그 공간 속에서 표현되는 공연예술의 맥락을 이해하기 보다는 퍼포머들의 움직임에 집중되어 있다. 따라서 전체적인 공연의 흐름을 효율적으로 이해할 수 있기 위하여 퍼포머 움직임 이외에 공연예술을 구성하는 시각적 요소를 통합적으로 접근할 필요가 있다. <그림 1>에서 네바다 발레단(Nevada Ballet Theatre)의 <호두까기인형> 스노우 신은 로얄 발레단의 배경막과 달리 네바다 발레단은 아날로그 형식이지만 공간을 활용하여 이미지를 분산하여 설치함으로써 공연 환경을 입체적으로 구축하였다. 이와 같이 공연예술의 시각화가 안무가의 연출에 따라 어떻게 적용되느냐에 따라 그 공연에 대한 차별성이 부각될 수 있다.

기술은 점차 발전하였지만 여전히 전통적인 클래식 발레 공연에 사용되는 공연의 시각적 요소는 여전히 아날로그하다. 퍼포머들의 움직임 또한 기존 역사적으로 내려오는 안무와 유사하여 공연에 사용되는 시각적인 요소가 아닌 퍼포머의 테크닉과 기교에 여전히 중점을 두고 있다. 이와 같이 본 논문에서는 파괴적 형식에서 오는 파격적인 발레, 즉 현대 발레를 분석하기 보다는 현재까지 지속되고 있는 고전발레를 중심으로 발레 본질적인 형식에서 공연예술로 진화하기 위한 시각화 방법을 모색하고자 한다. 이를 위하여 발레의 형식이 체계화된 19세기 고전발레가 현재의 공연예술로 현대화하기 위하여 디지털 기술을 활용해 보고자하며, 향후 1인 콘텐츠의 활성화를 위한 발전적 공연예술로 <호두까기인형> 뿐만 아니라 다른 낭만·고전발레 작품에도 이를 적용하여 과학 기술과 예술이 만나 현대화된 발레 작품의 사례로 제시하고자 한다.

1-2 연구 범위 및 방법

본 논문에서는 고전발레의 공연예술화를 위한 디지털 시각화에 대한 방법을 모색하고자 한다. 발레의 본질적인 형식을 내포하면서도 고전발레의 미래지향적 공연예술을 시각화하기 위한 방법을 모색하고자 <호두까기인형>을 중심으로 연구를 진행한다. <호두까기인형>은 현실과 꿈의 세계를 오가는 상상력을 바탕으로 창작된 발레 작품으로 이와 같이 현실과 꿈에서 호두까기인형을 의인화하여 현실에서는 인형으로, 꿈에서는 왕자의 모습으로 나타나는 상상된 이야기를 중심으로 구성된 발레 역사상 처음 시도된 작품이다.

발레<호두까기인형>에 대한 선행 연구는 역사적 변천에 따른 문화적 의미[3] 또는 비평적 관점에서 문화 현상으로 접근하는 발레사를 역사적 진화 관점에서 그 변화를 분석하고 있다. 또한 한국 발레의 특징과 차별화[4]를 한국 발레사에 나타난 작품 성향[5]을 분석하며 연구하고 있다. 마지막으로 발레<호두까기인형>에 대한 확장적 연구로 디지털 교육 환경에서 반영될 수 있는 발레 교육에 대한 교수법[6]을 제시하고 있다. 이와 같이 발레<호두까기 인형>에 대한 연구는 일반적으로 역사, 문화비평적 그리고 한국 발레에 대한 연구와 문화예술교육으로 연구가 확대되고 있다. 그러나 발레<호두까기인형>를 공연예술 콘텐츠로 차별화하기 위한 실증적인 연구는 부족하다. 향후 발레 공연이 문화예술 콘텐츠의 질적 향상을 위한 발전적 연구가 지속적으로 진행될 필요가 있다. 따라서 본 연구에서는 고전 발레<호두까기 인형>의 상상의 세계를 디지털 기술을 활용하여 재구성하는 시각화 방법에 대해 접근하고자 한다. 본 연구에서는 이러한 현실과 꿈의 구조에서 생성되는 서사를 인공지능 스타일 전이(AI Style Transfer)로 가상환경을 구축하고 모션 캡쳐(Motion Capture)를 통하여 1인 공연이 가능한 콘텐츠 모델을 제시하고자 한다.

2-1 발레의 시대적 변화에 따른 전개

역사적 측면에서 인간의 움직임을 바라보면 인간의 퍼포먼스는 주술적 역할을 했던 선사시대, 고대국가, 로마시대, 르네상스 시대를 지나면서 1300년대 인류 역사상 현존하는 무용장르, 발레의 시초 즉 궁정발레(Ballet de cour)가 나타났다. <그림 2>와 같이 발레의 시대별 변화를 살펴보면 이후 이탈리아에서 처음 시작된 궁정발레는 지금의 발레와는 다른 정치적, 사회적 성향이 매우 강한 사교춤에 가까운 형태였다. 프랑스로 넘어가 1600년대까지도 왕과 귀족들의 재력을 과시하기 위해 춤을 추는 모습이었고, 현란한 테크닉의 기술보다도 스텝 위주의 간단한 움직임으로 이루어져 있었다. 이러한 발레 공연은 모든 축제 및 행사에 필수적으로 진행되었고, 참가한 사람들은 자신의 재력을 과시하기 위해 의상과 장식들로 화려하게 치장하였다[7]. 특히 궁정발레를 가장 크게 발전시킨 루이 14세는 발레에 관심이 많았던 왕으로 직접 공연에 주연으로 참가하여 기량을 뽐내기도 하였고, 발레를 체계화시키고자 1661년에는 파리 오페라 왕립 무용 아카데미를 설립하였다. 파리 오페라 왕립 무용 아카데미는 향후 발레, 연극, 오페라가 복합적으로 접목된 형태의 오페라 발레(Opera Ballet)의 시초가 된다. 이는 발레 역사에 있어서 세 가지 큰 영향을 미쳤는데 먼저 체계적으로 움직임을 연습할 수 있도록 하여 전문 퍼포머를 배출하였다. 두 번째로는 이를 통하여 기존의 움직임에 대한 순서와 규칙을 세우게 된다. 마지막으로 발레 공연을 관람할 수 있는 무대가 만들어지고 발레가 예술로써 관람객과 소통하는 시발점이 되어 대중화되었다[8].

Fig. 2.

The development of ballet in the performing arts according to the changes of the times

사람들에게 발레 공연이 대중화되어 누구나 즐길 수 있는 예술이 되면서 다시 발레는 크게 변화하였다. 19세기 초 출현한 낭만주의 발레(Romantic Ballet)는 현실성이 떨어지는 비현실적 요소들과 이성보다 감성을 자극시키는 요소들을 작품에 추가하였다. 또한 19세기 후반에는 낭만주의 발레에서 고전주의 발레로 넘어가게 되었는데 이는 발레 공연을 형식화시켰고 테크닉과 기교가 이전과는 비교가 될 수 없을 정도로 체계화되었다. 이 시기에 창작된 다수의 작품들이 여전히 클래식 발레 공연에 출현하고 있고 고전주의 시대 대표 안무가인 마리우스 프티파(Marius Alphonse Petipa, 1818-1910)가 안무한 <호두까기인형>, <백조의 호수>, <돈키호테> 등의 작품들은 오늘날까지도 많은 관람객들이 찾아서 보는 발레 작품으로 남아있다. 현재 발레 공연은 처음 창작된 안무와 연출을 중심으로 동일한 이야기, 음악 그리고 퍼포머의 움직임을 가지고 있다. 각 발레단 마다 스타일의 차이가 나지만 연출 방향성에 대응하고 공연예술의 시각화에 대한 방향을 획기적으로 구상한 공연은 찾을 수가 없다. 그 이유는 여전히 퍼포머들의 고난이도 발레 테크닉과 육체에서 오는 아름다움이 중심으로 공연이 전개되고 있기 때문이다. 퍼포머의 움직임과 더불어 무대에서 쓰이는 장치들과 같은 시각적 요소를 통합적으로 활용한다면 동일한 작품의 공연이라도 다른 스타일로 어떻게 보일 수 있는가에 대한 연출 방향을 고민할 수 있을 것이다. 따라서 공연예술로 발레 공연을 차별화하기 위하여 유사한 이야기, 음악 그리고 퍼포머의 움직임과 같은 주요 요소 뿐 만 아니라 조명, 배경, 무대효과, 소품등과 같은 시각적 요소에 관한 논의가 필요하다. 따라서 현재 일반적인 발레 공연을 보완하기 위하여 연출 방향에 맞게 변형되거나 보완될 수 있는 방법에 접근하고자 시각적 요소의 디지털화를 고민해 보고자 한다.

2-2 공연예술로서 발레의 현황 분석

시대가 지나오면서 퍼포머의 개인 기량의 발전으로 인해 테크닉과 동작들이 추가되었고 안무가에 의해 조금의 안무는 수정이 되어 발레단의 특색에 맞게 변형되었지만 각 작품의 음악에 맞는 대표되는 움직임이나 동작들은 오랜 시간 동안 그대로 유지되어 오고 있다. 이러한 고전발레 작품의 재해석 사례는 꾸준히 시도 되었지만 퍼포머 개인의 기량을 중점으로 두고 공연을 관람하는 것은 여전하다. <표 1>과 같이 현재 세계 3대 무용단의 낭만발레와 고전발레의 대표작을 비교하여 분석하였다. 낭만 발레와 고전발레는 발레단 마다 동일한 음악과 유사한 의상으로 공연되고 있었다. 공연예술로 발레 공연이 시각적으로 차이를 볼 수 있는 조명, 배경막, 무대효과, 소품에서 찾아 볼 수 있지만 퍼포머의 움직임을 중심으로 부각되기 위하여 시각화하였고, 전체적으로 발레단은 다르지만 유사한 공연처럼 보인다. 이처럼 발레 공연은 고전에서 현대까지 크게 변화되지 않고 퍼포머의 테크닉을 중심으로 선보이고 있다. 공연예술로 발레가 관람객과 소통될 수 있도록 다양한 시도가 필요하다. 따라서 현재까지고 공연되고 있는 낭만발레와 고전발레의 공연 구조, 퍼포머의 움직임과 더불어 음악과 의상은 재해석되지 않는 한 변화의 한계가 있지만, 하나의 공연예술로 발레를 시각화하기 위하여 시각적 요소를 디지털화 한다면 다양한 접근이 가능하다.

Table 1.

Analysis of Romantic Ballet and Classical Ballet of the world’s 3 major ballet companies

현재 공연되고 있는 낭만발레와 고전발레의 시각적 요소, 즉 조명, 배경막, 무대효과, 소품들은 일반적으로 아날로그다. 이는 기존 발레 공연의 무대 및 공연 장치 세팅은 복잡한 구조와 커다란 크기를 가지고 있어서 한번 제작된다면 변형, 보수, 보완이 어렵다. 이와 같이 아날로그 공연 환경을 구축하기 위한 이동 및 설치는 공연 장소에 따라 맞추어야 하기 때문에 쉽지 않다. 또한 대부분의 발레 공연에서 장비의 파손 혹은 분실되었을 때 바로 대응하기 어렵다.

발레 공연의 시각적 요소를 디지털화한다면 보다 쉽게 공연 환경을 구축할 수 있다. 테크놀로지는 공연에 사용되는 시각적 요소, 조명, 배경막, 무대효과, 소품 등을 변형, 저장, 전송에 제약이 적으며 현장에서 이동 및 설치를 효율적으로 진행할 수 있기 때문에 작품을 연출하는데 있어서 효과적으로 적용될 수 있다. 또한 디지털 기술을 융합한 공연예술의 실험적 모색은 향후 새로운 공연 환경을 다양하게 모색될 수 있으며, 공연예술의 질적 향상을 도모할 수 있다. 디지털 기술의 발달로 일반적으로 공연되는 발레 공연에서 여전이 오랜 기간 동안 유사한 형태로 공연되어 온 발레가 새로운 시도로 관람객에게 다양한 문화적 향유의 기회를 제공해야 할 것이다.

4-1 고전발레<호두까기인형>에 대한 분석적 접근

고전발레<호두까기인형>은 발레 역사에서 처음으로 꿈의 세계를 표현한 작품이다. 현재 공연되는 <호두까기인형>은 꿈속에서 보이는 상상의 세계를 시각적 요소인 조명, 배경막, 무대효과, 그리고 소품 등으로 표현하는데 이는 생동감 있게 관람객들에게 전달하기에는 한계가 있다. 관람객들은 배경막과 조명을 통해 작품 속의 장소를 간접적으로 보고 유추하기 때문에 이는 공연에서 일어나는 사건의 흐름에 있어서 중요한 역할을 한다. 하지만 현재 사용되는 배경막은 <그림 4>와 같이 기존 공연에서 모두 페인트로 칠한 것이기 때문에 현실감이 떨어지는 단점이 있고, 제작하는데 오랜 기간이 걸리기 때문에 한번 제작을 하면 수많은 공연에서 같은 배경막을 사용한다. 그리고 <호두까기인형>의 2막에서 나오는 스노우 신의 경우에는 눈이 하늘에서 내리는 상황을 연출하기 위해 천장에서 흰색 가루를 뿌리지만 이는 퍼포머들이 춤을 추기에 바닥이 미끄러워 불편할 수 있고, 이 장면이 연출된 후에는 바닥 청소를 위해 일정 시간을 꼭 소요해야 한다는 단점이 있다.

Fig. 4.

Visual elements used in Act 2 and Act 3 of the ballet <The Nutcracker>

현재까지 거의 모든 발레 공연에서 공통적으로 사용되는 시각적 요소들은 처음 작품이 만들어 진 이후로 작은 연출의 변화는 있었지만 전체적인 구성 요소의 큰 변화는 없었다. 그렇기 때문에 현재의 고전발레 공연은 퍼포머의 역량에 따라 완성도를 판단하는 기준이 되기도 한다. 미디어가 발달한 오늘날 발레 공연에도 과학 기술을 접목시켜 공연의 요소들에 변화를 줄 수 있으며, 퍼포머 역량을 부각시키며 하나의 공연으로 완성도를 높일 수 있다. 뿐만 아니라 기술적 접목은 연출의도에 효과적으로 공연예술 분야에서 표현할 수 있는 폭을 넓혀주고 다양화할 수 있다. 그러나 기존 발레 작품들은 현대에 와서도 재해석된 작품이 다양하지 않은데 특히 <호두까기인형>은 재해석된 작품이 거의 없고 대중적이지 않다. 그 이유는 현대에 와서 재해석된 발레 작품은 주로 테크닉기반의 움직임을 안무가가 표현하고자 하는 연출로 효과적으로 적용할 수 있으며, 특히 인간의 감정을 표현할 수 있는 <지젤>과 <백조의 호수>와 같은 작품을 대표적으로 선호한다. <호두까기인형>은 인간의 혼돈스러운 고뇌와 감정을 내면으로부터 풍부하게 접근하기 보다는 현실과 가상의 접점에서 일어나는 이야기가 부각되는 작품으로 비교된다.

본 연구에서는 <호두까기인형>이 지닌 현실과 가상세계를 넘나드는 연출을 효과적으로 적용될 수 있도록 기술을 기반으로 한 가상공간 구축으로 시각해보고자 한다.

4-2 인공지능 기반 발레 공연<위드 호두까기인형>의 구현 방향성

기존 <호두까기인형>에서 꿈과 현실을 오가며 표현되는 지점은 1막, 주인공이 깊은 잠에 들게 되면서 전반적으로 꿈속에서 일어나는 상상속의 일들로 이야기가 흘러간다. 2막에서 꿈에서 현실처럼 사건이 일어나거나 3막에서 꿈에서 다시 현실로 돌아오는 순간까지 현실에서 일어날 수 없는 사건을 표현한다. 본 논문에서 제시하고자 하는 고전발레<호두까기인형>의 재해석된 작품<위드 호두까기인형>은 꿈과 같은 현실을 연출하기 위하여 인공지능 기반 가상 공연 환경을 구축하고자 한다. 작품<위드 호두까기인형>은 평소 외로움을 많이 타는 성격을 지니고 인형놀이를 즐겨하던 외동인 클라라가 여자 주인공으로 등장한다. 평소 가장 좋아하던 인형인 호두까기인형이 왕자의 모습을 하고 실물로 나타나 자신이 지내는 왕궁으로 함께 가서 춤을 추는 줄거리로 재해석된다. 1막에서 현실에서의 주인공 클라라가 호두까기인형과의 관계를 설정하고, 2막에서는 꿈에서 호두까기인형이 왕자가 되어 왕궁을 함께 찾아가는 여정을 마지막으로 3막에서는 주인공 클라라와 왕자가 함께 왕궁에서 함께 거닐며 춤을 추는 공연으로 가상과 현실이 정합되어 마치 하나의 또 다른 현실로 느껴질 수 있도록 인공지능 스타일 전이를 기반으로 가상 공연 공간을 구축한다. 따라서 본 연구에서 제시하는 작품<위드 호두까기인형>은 크게 두 가지, 즉 인공지능 스타일 전이를 기반으로 한 가상 환경 구현과 현실의 퍼포머와 함께 군무를 할 수 있는 가상의 캐릭터를 구축하는 방법으로 표현된다.

먼저 퍼포머와 함께 춤을 추는 호두까기인형을 인공지능 스타일 전이로 구현하여 마치 화가가 그린 꿈같은 화면에서 공연이 가능하도록 하고자 한다. 인공지능 스타일 전이란 영상이나 이미지에 나타나는 회화의 특징을 결과 영상에 픽셀 단위로 반영하는 기법이다[9]. 인공지능 기반 가상 공연 공간 구축은 공간, 연출 방향, 그리고 퍼포머의 수에 따라서 편리하게 이동, 설치, 적용이 가능하기 때문에 소규모 공연 콘텐츠에서도 재해석된 발레공연이 활용 가능하다. 또한 디지털 데이터화되어 있는 공연예술의 시각화 요소, 배경막과 함께 포함되는 조명, 무대효과, 소품 등 공연 공간에 따라 프로젝션 매핑(Projection Mapping)으로 표현하기 용이하다. 또한 디지털 캐릭터 경우, 모션 캡쳐를 통하여 실시간 퍼포머와 대응하여 움직임을 생성한다[10]. 이는 기존 발레 공연에서 대형 발레 공연장에 동원되는 대규모의 퍼포머의 수를 1인 발레콘텐츠로 연출할 수 있도록 가상의 퍼포머를 구현할 수 있다. 가상 퍼포머, 즉 디지털 캐릭터는 향후 복제하거나 재가공하여 퍼포머의 수를 조절할 수 있다. 본 연구에서는 모션 캡쳐를 통하여 함께 군무를 출 수 있는 디지털 캐릭터를 통하여 2인 이상 공연할 수 있는 1인 공연예술 모형을 제시하고자 한다.

4-3 인공지능 기반 발레 공연<With the Nutcracker>의 설계 및 구현

인공지능(Artificial Intelligence: AI)은 컴퓨터를 이용하여 사람과 같이 학습하고 사고하는 기술 프로그램으로 센서를 통해 지식을 축적하고 이 축적된 지식을 통해 스스로 문제를 효과적으로 해결하고 발전시켜 나가는 기술을 말한다[11]. 작품<위드 호두까기인형>은 <그림 5>과 같이 실제 덕수궁 석조전의 영상과 세잔의 이미지를 Input 값으로 넣고, 이는 사전에 촬영한 영상에 세잔 화풍의 스타일이 적용되어 Output으로 나올 수 있게 하였다. 즉 실제 공원 이미지와 세잔의 이미지가 인공지능 엔진의 입력값으로 학습시키게 되면 세잔의 화풍과 같은 공원 이미지가 출력된다. 사전에 촬영한 석조전의 영상을 오브제 영상으로 설정하여 인공지능 스타일 전이 시켰을 때 <표 2> 와 같이 결과물을 얻게 된다. 이는 세잔 그림의 색감, 질감 등이 얼마나 오브제 영상에 잘 적용되어 나타나는지 여러 번의 실험을 한 후 출력된 이미지를 보고 선택한 배경이다. 오브제 영상에서 선택한 스타일 전이 영상은 공연 연출 의도에 맞게 선별하였다. 그래서 결과물로 얻은 디지털 배경은 실제로는 석조전의 영상이지만 마치 현대의 세잔이 그린 그림으로 공연에서 배경막으로 활용할 수 있다.

Fig. 5.

<With the Nutcracker> AI Style Transfer video extraction process

Table 2.

AI Style Transfer video of <With the Nutcracker>

오브제 영상은 스타일 영상과 의미적인 맥락성을 지닐 수 있도록 실제 오브제에 효과적으로 대응될 수 있는 영상을 선택하였다. 세잔에 화풍에 적용되는 색, 질감 등이 오브제 영상에 적절하게 적용될 수 있도록 여러 번의 실험을 통하여 출력된 이미지 중에서 선정하였다. 세잔의 그림은 섬세한 붓 터치 기법으로 서로 다른 관점에서 융합된 풍경을 조합하는 작업이다. 이는 현실과 가상이 정합되는 또 다른 현실적 상황에서 작품<위드 호두까기인형>이 공연이기 때문에 세잔의 서로 다른 관점에서 조합된 풍경과 개념적으로 유사하다. 그렇기 때문에 인공지능 스타일 전이를 위한 학습 데이터로 활용하고자 하였다. 이와 같이 인공전이 스타일 전이를 활용함에 있어서 학습데이터가 적용하고자 하는 콘텐츠에 부합된다면 효과적으로 적용될 수 있다.

작품<위드 호두까기인형>은 인공지능 스타일 전이를 기반으로 구축된 가상환경에 주인공 클라라와 왕자를 모션 캡쳐를 이용하여 조우할 수 있도록 공연을 기획하고자 하였다. 일반적으로 군무는 2인 이상 퍼포머가 함께 춤을 추는 형식으로 기존 발레공연에서는 대규모 퍼포머와 함께 공연된다. 그러나 1인 공연예술을 설계하고자 했을 때 군무의 파트너를 디지털 데이터로 활용한다면 소규모라 할지라도 공연을 기획할 수 있다. 작품<위드 호두까기인형>에서의 군무는 이처럼 인공지능 기반 가상공간에서 실제 퍼포머와 디지털화된 캐릭터가 정합되어 하나의 공연예술화 하였다. 이를 위하여 모션 캡쳐를 이용하여 디지털 캐릭터를 구현하였다.

모션 캡쳐는 실내에 설치한 카메라를 통하여 움직임을 3D 데이터로 추출하여 움직임을 뽑아내는 방식을 말한다[12]. 인공지능 기반으로 생성한 디지털 가상 환경에서 퍼포머의 움직임을 디지털 캐릭터에 정합시키기 위하여 크로마키(Chroma Key)를 활용하였다. 크로마키는 두 가지 이상의 화면을 합성하기 위한 특수한 기술로 각 화면을 청색 배경에 따로 촬영하여 하나의 화면으로 만드는 합성 기법이다[13]. 작품<위드 호두까기인형>는 <그림 6>와 같은 과정으로 현실의 퍼포머와 군무를 하는 디지털 캐릭터를 구현하였다. 모션 캡쳐를 하기 위하여 크로마키 배경을 두고 상체와 하체에 센서를 부착하여 몸의 움직임을 디지털 형태로 기록하는 작업을 한다. 이 작업을 통하여 이후 나타나는 디지털 캐릭터가 얼마나 발레의 점프와 턴과 같은 격렬한 움직임을 잘 소화하는지, 퍼포머가 움직일 수 있는 공간을 체크한다. 이와 같은 작업 방식은 실시간으로 결과물을 얻을 수 있기에 발레 동작과 동선을 수정하는데 시간이 오래 걸리지 않아서 짧은 시간에 원하는 모션을 얻을 수 있다는 장점이 있다. 하지만 크로마키 배경 안에서만 모든 움직임이 이루어지기 때문에 공간적 제한이 있기도 하다. 또한 실제 공연 공간에 적용하기 위해서 기록된 모션 데이터를 변형할 필요가 있다. 왜냐하면 공연 공간 형태와 영상이 출력되는 화면의 크기에 따라 디지털 캐릭터의 크기를 퍼모머에 맞추어야 하며, 연출 방향에 따라 움직임이 공간에 적용될 수 있는 동선을 표현하는데 한계가 있기 때문에 조절이 필요하다.

Fig. 6.

The process of AI Style Transfer and Motion Capture

디지털 캐릭터의 움직임을 가상 공연 환경에 모두 기록해두었다면 마찬가지로 <그림 6>과 같이 크로마키 배경에 여자 주인공이 춤추는 영상 또한 기록한다. 이는 실제 공연에서 가상 환경에 있는 디지털 캐릭터와 현실의 퍼포머가 함께 군무를 추어야 하기 때문에 디지털 캐릭터의 움직임을 기록한 후 이와 대응하여 실제 퍼포머의 움직임을 기록하는 것이다. 크로마키 배경에서 실제 퍼포머의 움직임을 기록한 데이터는 향후 디지털 캐릭터와 가상환경에 합성할 수 있을 뿐 아니라 2인 이상의 군물로 사용할 수 있는 데이터로 활용될 수 있다. 작품<위드 호두까기인형>에서는 디지털 캐릭터와 퍼포머가 동시에 추는 군무를 구현하기 위하여 <그림 6>과 같은 작업과정을 거친다. 또한 디지털 캐릭터와 실제 퍼포머의 군무을 완성하기 위하여 좌우 대칭되는 움직임으로 안무를 구성하였고, 이는 함께 움직임이 연결될 수 있는 공연으로 구체화하였다.

군무의 움직임을 모두 완성시킨 후 미리 준비해둔 인공지능 기반 가상배경에 합성시킨다. 아날로그 배경막 대신 활용할 디지털 배경으로 가상 공연 환경 구축을 구현하였다<그림 7>. 인공지능 기반 가상 환경은 이미지가 아니라 움직이는 이미지로 표현된다. 이는 현실의 공원 풍경을 촬영한 후 동영상 데이터를 오브제 영상으로 사용하여 세잔의 이미지를 스타일로 출력하였다. 또한 오브제 영상에 따라 세잔의 이미지도 다르게 선택하여 각 막마다 서로 다른 세잔의 화풍의 디지털 배경을 완성하였다. 결과적으로 공연에서의 배경막은 장면의 무드(Mood)나 상황을 드려낼 수 있는 고정되어진 이미지가 아니라 바람이 풀고, 구름이 지나가고, 나무가 흔들리는 등 호두까기 인형이 나타나는 상상의 환경을 구축하고자 하였다.

Fig. 7.

<With the Nutcracker>, Completed using AI Style Transfer and Motion Capture

본 연구는 기존 발레 공연에서 부각되는 퍼포머의 움직임에 국한되는 것이 아니라 연출 방향에 있어 디지털 기술인 인공지능 스타일 전이와 모션 캡쳐를 활용하여 시각적 요소를 중심으로 모색하였다. 먼저 시각적 요소에 포함되는 조명, 배경막, 무대효과, 그리고 소품를 디지털화하여 고전발레 <호두까기인형>을 재해석였다. 일반적으로 고전발레 공연에서는 군무를 보여주기 위하여 최소 20명 이상의 퍼포머를 필요로 하기 때문에 장소적 제한이 크고 발레단마다 아날로그 방식을 가지고 공연을 하기에 유사한 시각적 요소 형태를 가진 공연이 많다. 이를 보완하기 위해 작품<위드 호두까기인형>에서는 인공지능 스타일 전이 기법을 활용하여 배경을 가상 환경으로 구축하였고, 이는 아날로그 방식과는 달리 장소적 제한에서 자유롭고 지속적으로 변형하거나 설치하기가 쉽다. 또한 모션 캡쳐를 활용하여 호두까기인형을 관람객이 보았을 때 인형의 모습으로 더욱 이입할 수 있도록 하였고 여자 주인공 클라라와 호두까기인형의 움직임과 동선이 어우러지도록 재안무 하여 작품을 제시하고자 한다. 따라서 1인 공연예술의 활성화를 목적으로 하는 가상 공연 환경에 대한 시도이며 이는 향후 공연예술의 시각적 요소의 다양한 변화의 방법으로 제시하고자 한다.