인공지능과 증강현실 기술 기반 가상 환경을 활용한 공연예술에 대한 연구

1-1 연구 배경

인간에게 움직임은 문자가 존재하지 않은 선사시대 동굴 벽화에서도 찾아볼 수 있다. 선사시대에 표현된 인간의 움직임은 샤마니즘(Shamanism)에 기인한 주술적 의식에서 출발하여 동물을 흉내 내는 모방적 움직임에서 보이지 않은 신의 의탁하는 표현으로 변화되었고 이는 현재 무용의 한 부분이자 종교의 기원이 된다[1]. 인간의 움직임은 시대별 사회적 중요한 의식으로 표현되거나 종교적으로 발달하였지만 르네상스(Renaissance) 이후 인간을 중심으로 한 무언극, 연극, 무용과 같은 예술적 접근을 시작하게 된다. 이는 인간의 단순한 육체적 움직임이 인간의 생각, 느낌, 감정 등을 의도적으로 표출하기 위한 표현의 도구로 활용되었으며, 이와 같이 인간의 움직임이 무용으로 변화되는 과정이 하나의 장르로 나타나게 된 것은 14세기 이탈리아에서 발레가 시작되면서 부터이다[2]. 발레라는 장르가 체계를 갖추게 된 것은 17세기 프랑스 루이 14세(Louis XIV)때에 최초의 전문 퍼포머(Performer)를 양성하면서[3]이며, 이로 인하여 객석과 퍼포머의 경계가 구분되었다. 이와 같은 발레의 시대별 전개에 따른 변화를 살펴보면 표 1과 같다.

Table 1.

Changes according to the evolution of ballet in performing arts by period

표 1을 살펴보면 14세기 사교발레와 궁정발레는 관객과 객석의 구분이 없었고 사교를 위한 춤의 성향이 강한 시기였다. 17세기 오페라 발레가 나타나면서 객석과 무대가 구분되었고, 움직임을 표현하는 테크닉(Technique)이 생겨나면서 예술성이 강조되었다. 이후 19세기 낭만발레와 고전발레가 나타나면서 발레의 테크닉이 고도화되어 정교한 움직임을 만들 수 있었으며, 움직임의 형식미가 중시되기 시작하여 발레가 공연예술로 객석에서 감상할 수 있게 되었다.

이처럼 인간의 움직임은 인간의 내재된 에너지를 드러낼 수 있는 도구로 종교, 사회 그리고 정치적 활용으로 시작되었으나 시대는 발레라는 움직임의 기술에 대한 체계를 갖추게 하였고, 객석과 무대라는 공연 환경 조성이 현재까지 공연예술을 감상적 차이를 생성할 수 있게 되었다. 인간의 움직임은 발레라는 장르적 테크닉으로 표현의 폭이 넓어지게 되었고, 객석과 무대와 같은 공연 환경이 조성되면서 공연예술로써 관객과 호흡할 수 있는 체계가 설정된 것이다.

발레가 19세기 낭만주의 발레와 고전주의 발레로 대중화되기 시작한 것은 관객들과 공감할 수 있는 이야기 구조를 띄고 있는 공연이었기 때문이다. 인간의 움직임에서 표현되는 몸짓과 표정을 통하여 관객에게 이야기를 극적으로 전달하는 퍼포머의 역할이 중요해졌다. 따라서 낭만발레는 그림 1과 같이 대표적으로 <지젤>을 비롯하여 <라 실피드>, 그리고 <파 드 카트르>가 있다.

Fig. 1.

Romantic Ballet <Giselle, Queensland Ballet>, <La Sylphide, New York City Ballet>, <Pas de quatre, Boston Ballet> https://www.queenslandballet.com.au/, https://www.nycballet.com/, https://www.bostonballet.org/

퍼포머의 테크닉적 역량을 중요시한 낭만발레는 퍼포머의 얼굴을 통해서, 몸짓을 통하여 감정 표현에 의존하였으며, 이는 현대까지 이어져 오는 공연방식이기도 하다. 지금까지 발레라는 장르는 하나의 공연예술로 움직임을 만들어내는 주된 요소, 즉 신체(퍼포머의 움직임) 음악과 함께 부가적인 시각적 요소, 즉 의상, 조명, 배경, 무대효과, 소품 등으로 공연이 구성된다. 19세기에 시작된 낭만발레는 현재까지 발레단 마다 조금씩 차이가 나지만 전체적으로는 유사한 테크닉으로 구성된 움직임과 의상 그리고 동일한 음악을 사용하고 있으며, 그 밖의 발레 공연의 시각적 요소, 즉 조명, 배경, 무대효과, 소품 등은 연출에 따라 차이가 있지만 여전히 아날로그(Analog) 형태로 사용되고 있다. 그림 2와 같이 내용적 측면에서 발레는 공연예술로 형식을 갖추고 진화되고 있었지만 그로부터 지금까지 여전히 관객은 무대와 객석이라는 이분법적인 공연 환경에서 수동적으로 감상하고 있다. 오래전부터 이어온 프로시니엄(Proscenium Theatre) 방식의 공연장은 관객과 퍼포머 사이의 일정 거리를 유지해야 되는데 무대에서 멀리 떨어진 위치에 있는 관객은 퍼포머의 움직임이나 얼굴 표정, 감정 표현 등을 자세히 보기 어렵다. 예를 들면 특히 이러한 아날로그 공연 환경에서는 공연 환경 자체에 변화를 주기에 어려움이 많은데 그 이유는 무대에서 시각적으로 많은 부분을 차지하고 있는 배경막은 한번 제작되면 수정하기 어렵다는 단점이 있고, 배경막의 크기와 무게로 인해 한번 설치하면 재설치 하기에 많은 인력과 시간이 들기 때문이다.

Fig. 2.

Interaction between performers and audiences in ballet performing arts by establishing spatial relationships: The Royal Ballet https://www.roh.org.uk/about/the-royal-ballet

현대로 오면서 발레에도 변화가 있었다. 그림 3과 같이 창작 발레라는 장르를 통하여 기존 작품을 재해석하여 동일한 기존의 발레 이야기에 변화를 주게 되었는데, 퍼포머의 움직임 또한 발레의 기존 테크닉에서 벗어난 시도로 관객의 흥미를 유발할 수 있도록 하였다. 그동안 시간의 흐름에 따라 변화된 공연환경의 시각적 요소들 보다 퍼포머의 움직임의 차이점이 공연의 차별성을 만들어 내는 가장 중요한 요소였다. 지금의 발레도 여전히 연출의도에 따른 새로운 시도가 유사한 공연 환경에서 일방적이고 수동적인 관람의 유형으로 인터랙션(Interaction) 할 뿐 공연예술로서 발레가 관객과 보다 직관적으로 소통할 수 있는 공연 환경을 생성할 수 있는 실험적 모색이나 발레라는 공연예술이 관객과 양방향으로 인터랙션할 수 방법을 시도할 필요가 있다.

Fig. 3.

Interactive ballet performance with audience: Philadelphia dance company <Philadanco MinEvent> https://philadanco.org/

테크놀로지의 발달은 발레라는 공연예술에 있어서 공연 환경을 디지털화하고자 하는 시도가 조금씩 일어나고 있다. 그림 4와 같이 공연 환경을 생성하는 시각적 요소, 즉 조명, 배경, 무대효과 그리고 소품 등이 디지털화 된다면 공연에 필요한 공연 환경을 수정, 보완하는데 있어서 시간적 제약이 훨씬 덜 들 것이다. 디지털 공연 환경은 데이터 기반으로 환경을 구성하는 조명, 배경, 무대 효과, 소품 등을 공간적 환경에 대응하여 적용할 수 있을 뿐 아니라 편집, 저장, 공유 등 유동적으로 변형할 수 있기 때문에 연출의도에 맞게 효과적으로 공연환경을 구축할 수 있다. 그러나 아직까지 일반적인 발레의 공연 환경은 대부분 아날로그이며, 퍼포머가 일방적으로 공연을 선보이는 인터랙션으로 관객과 단방향 관계에서 수동적인 소통하고 있다. 퍼포머와 관객의 단방향 인터랙션은 테크놀로지의 발달로 변화될 수 있는 시점에 있다.

Fig. 4.

Dance performance using projection mapping: <Pixel-Extraits> https://www.theartistation.com/2015/10/pixel-extraits/

본 연구는 테크놀로지의 발달로 객석과 무대 사이의 거리를 좁힐 수 있는 시도이자, 기술적 다양한 접근을 통한 연출 의도의 효과적 표현하기 위하여 관객과 보다 가까이 소통할 수 있는 인터랙션을 작품 <Re:Gieslle>을 통하여 확장된 공연 환경을 구축해 보고자 한다.

1-2 연구 범위 및 방법

인간의 움직임에 점차 형식과 의미가 부여되면서 발레는 인간이 창작한 서양 최초의 형식을 갖춘 무용이 되었다. 발레는 14세기에 사교발레와 궁정발레로 시작되었는데 약간의 스텝과 규칙이 있었지만 상체의 움직임 보다는 하체 위주의 동작들이었고 바닥에서 거의 발을 떼지 않는 단순한 스텝들로 이루어진 사교를 위한 춤의 성향이 강한 발레였다. 이후 17세기로 넘어가면서 최초로 무대에서 공연이 이루어지게 되었고, 자연스럽게 예술성을 강조하게 되어 발레뿐만 아니라 연극, 시, 음악이 모두 합쳐진 종합예술의 형태가 되었다. 본격적으로 발전하기 시작한 19세기 초반 낭만발레는 발끝을 세워서 신는 토슈즈 기법이 생겨나 새로운 테크닉을 고안하게 되었고 뿐만 아니라 남자 퍼포머와 함께 추는 파드되 형식이 발달하게 되었다. 이후 19세기 후반 고전발레는 퍼포머들의 구도에 신경을 써서 모든 관객이 무대를 볼 수 있게 극장 예술로 발전시켰고, 형식미를 강조하는 2인무 그랑 파드되 형식이 완성되었는데 이때 발레 기술이 가장 화려하고 정교하게 만들어졌다.

현대로 오면서 형식적인 것의 파괴와 창작적 연출이 중요해지면서 기존의 것을 재해석하여 작품을 창작하려는 시도가 있다. 하지만 아직 공연되어지고 있는 발레는 여전히 19세기 낭만주의, 고전주의 발레가 주류였으며, 음악과 의상 또한 발레단 마다의 근소한 차이는 있지만 거의 유사하기 때문에 발레 공연을 구성하는 주된 요소들은 거의 비슷하다. 또한 조명, 배경막, 무대효과, 소품 등 발레 공연의 시각적 요소도 발레단 마다 사용하는 것이 다르긴 하지만 여전히 아날로그 방식으로 사용하다 보니 한번 제작되면 설치하거나 이동하기가 쉽지 않다. 그 이유는 부피가 크고 공연 극장의 무대 크기에 맞게 처음부터 설치를 하기 때문에 조금만 변형이 있다면 다시 제작해야 한다는 문제가 발생하기 때문이다. 이렇듯 아날로그 상태의 공연 환경을 구축하는 것은 공연 환경에 물리적으로 한계가 있고, 한번 정해진 연출을 자유롭게 수정, 변경하지 못한다는 단점이 있다.

발레라는 공연예술은 근본적으로 시공간적인 공연 환경과 신체적 움직임이 발레라는 테크닉으로 표현되는 것을 의미한다. 오페라 발레에서 관객과 무대가 구분되어 진 이후, 퍼포머와 관객의 간극은 일방적인 감상 형태를 유지하고 있다. 일반적으로 이러한 공연 환경은 아날로그이기 때문에 공연이 진행되는 동안 변화가 없으며, 퍼포머의 신체적 움직임은 관객과 상관없이 흘러간다. 기술의 발달은 시각적 요소를 디지털화한다면 공연에 사용되는 배경을 변형시키거나 그 외 다양한 시도를 즉각적으로 대응할 수 있는 환경을 만들 수 있다. 또한 디지털 기반의 가상환경이 공연 환경으로 적용된다면 시공간적 공연환경은 퍼포머의 움직임과 연동하여 변화될 수 있으며 실험적 모색일 수 있지만 관객이 참여할 수 있는 공연을 사례로 작품 <Re:Giselle>을 모색하고자 한다.

따라서 본 논문에서는 낭만발레 <지젤>을 인공지능과 증강현실 기술 기반으로 가상환경을 구축하여 재해석한 작품<Re:Gieslle>을 제시하고자 한다. 기존 공연예술의 수동적인 체험의 한계를 넘어서고자 모색이자 했으며, 이와 같은 기술적 접근이 공연 연출을 효과적으로 드려낼 수 있는 사례로 제시되고자 한다. 이를 위하여 우선 인간의 움직임이 발레라는 장르의 공연예술로 어떻게 체계화되었는지 역사적 관점에서 살펴보고, 이를 기반으로 발레라는 공연예술의 요소를 중심으로 공연의 시각화에 대한 분석을 하고자 한다. 또한 발레와 관객의 통합적인 인터랙션을 분석하고자 하며, 특히 본 연구에서는 낭만발레 <지젤>을 중심으로 이와 같은 선행 연구를 통하여 재해석한 작품 <Re:Gieslle>의 공연 설계에 적용해 보고자 한다.

2-1 공연예술로서 발레공연의 구성 요소의 변화

발레 공연은 관객에게 퍼포머가 돋보일 수 있도록 공연 환경이 연출되기까지 다양한 요소가 필요하다. 퍼포머의 신체적 움직임과 의상 그리고 음악은 발레 공연에 있어서 주된 요소로 활용되지만 그 외 퍼포머의 조명, 배경, 무대효과, 소품 등은 공연을 이루는 부가적인 요소, 즉 시각화 요소가 필요하다[4].

발레 공연의 역사적 전개를 기반으로 이와 같은 시각적 요소를 살펴보면 다음과 같다. 발레의 시초인 14세기의 사교발레와 궁정발레 시대에는 관객과 퍼포머의 경계가 없는 궁정에서 공연이 주로 이루어졌기 때문에 퍼포머와 관객간의 거리가 멀지 않아 시각적 요소들과 같은 부가적인 장치가 필요하지 않았고, 그림 5와 같이 춤을 뽐내기 보다는 왕족의 부를 과시하기 위한 무겁고 화려한 장신구와 보석으로 치장하는 옷을 의상으로 입었다.

Fig. 5.

14C court ballet, http://www.ubaballet.com/index.php

1600년대 말 발레의 발전에 큰 기여를 했던 루이 14세(Louis XIV)로 인해 발레 공연이 궁정에서 무대가 있는 극장으로 옮겨갔고, 이때부터 음악과 무용이 함께 연출되기 시작하였다. 이때 발레 역사상 처음으로 오페라와 발레가 혼합된 오페라 발레가 출현하였고 관객과 무대라는 공연 환경이 경계를 이루게 되었다. 오페라 발레는 공연으로써 예술성을 강조한 사례가 되었는데, 이는 무용 뿐 만 아니라 연극, 시, 음악이 모두 합쳐진 종합 예술의 형태를 가지고 있었기 때문이다. 그러나 공연예술로써 체계적인 공연 환경을 구축하기에 아직 초기 공연 형태였기 때문에 퍼포머와 관객이 무대라는 그 이상의 공연 환경은 기대할 수 없었다. 그리고 발레 테크닉이 생겨나고 본격적으로 발전하기 시작하여 여러 사람이 함께 같은 음악에 맞추어 추는 군무 형태의 춤이 발달하였다. 하지만 아직까지 공연을 이끄는 이야기 구성이 없었고, 퍼포머의 움직임과 음악만으로 관객에게 감흥을 이끌어 내기에 한계가 있었다.

19세기 초부터는 발레라는 공연예술, 즉 낭만발레와 고전발레가 등장하였다. 오페라 발레와의 차별점은 서사가 있는 공연이라는 점, 그리고 관객들에게 스토리를 전달하기 위해 그림 6과 같이 시각적 요소들을 활용하여 공연 환경을 구축했다는 것이다.

Fig. 6.

Romantic ballet, <La Sylphide>, Atlanta Ballet, https://www.atlantaballet.com/

먼저 낭만발레는 퍼포머의 움직임을 통하여 맡은 배역에 몰입하여 관객들로부터 공감과 이해를 얻고자 하였다. 여자 퍼포머에 더욱 집중이 되었는데 발끝으로 서는 토슈즈(Pointe shoes)의 착용으로 구사할 수 있는 테크닉들이 이전에는 없었던 획기적인 동작들이기 때문이며, 그에 비해 남자 퍼포머의 역할 비중은 줄어들었다. 그 중 대표적인 기술로는 발레 작품 <지젤>에서 나오는 남성 퍼포머가 여성 퍼포머를 공중으로 들어 올리는 리프트(Lift) 테크닉이며, 이는 오늘날의 지젤 공연에서도 여전히 선보이고 있는 기술이다. 공연 환경 또한 낭만발레 특유의 신비롭고 몽환적인 분위기를 연출하기 위하여 시각적 요소, 즉 조명을 어둡게 사용하였고, 연출의도에 따라 스모그(smog)와 같은 특수효과를 추가로 사용하는 낭만발레만의 독특한 공연 환경이라 할 수 있다. 그러나 오페라 발레 이후 퍼포머와 관객의 인터랙션은 수동적으로 공연을 체험하는 인터랙션으로 현재까지 일반적인 발레 공연을 향유하는 감성 유형이 되었다.

19세기 후반 고전발레는 형식미를 강조하며 중요시하는 발레 공연으로 창작되었다. 발레 공연에 형식과 이야기가 풍부해져 안무하였기에 관객들의 큰 관심을 끌 수 있었고, 퍼포머의 점프가 더욱 높을수록, 회전의 횟수가 더 많을수록 관객들은 환호하였고, 이로 인해 이전과 차별화된 공연을 만들기 위하여 퍼포머들은 외적 모습과 기량에만 의존하는 공연을 선사하였다. 낭만발레와 달리 그림 7과 같이 고전발레는 화려하고 밝은 조명을 시각적 요소로 많이 사용하였고 다른 특수 장치나 특수 효과를 사용하기 보다는 퍼포머가 부리는 테크닉과 기교에 초점을 맞춘 스토리텔링 위주의 공연을 하였다. 고전발레 또한 관객과 퍼포머가 서로 상호작용 하는 것이 아닌, 일방적으로 관람하는 형식의 인터랙션으로 여전히 낭만발레와 유사한 방식을 이어왔다.

Fig. 7.

Classical ballet, <The Nutcracker>, Arizona Ballet, https://blog.balletaz.org/

20세기 발레는 아직까지도 지젤, 라 실피드 등과 같은 낭만발레나 호두까기 인형, 백조의 호수 등과 같은 고전발레가 공연되고 있으며, 연출에 따라 신체적 움직임에 차이가 있으나 형식적 파괴 없이 비슷하게 표현되고 있다. 일반적으로 19세기와 동일한 음악을 사용하고, 무용단 마다 차이는 있지만 유사한 의상을 착용하고 있다. 낭만발레, 고전발레의 의상은 발레단마다 조금씩의 차이는 있지만 의상 스타일(로맨틱 튜튜, 클래식 튜튜)을 그대로 고수하고 있고, 음악과 조명 또한 유사하게 사용되고 있다. 특히 발레의 공연 환경에서 비중 높은 시각적 요소, 배경막은 설정된 공연 장소에 아날로그 배경을 사용하고 있고, 무대효과나 소품 또한 변형되지 않고 유사하게 오늘날까지 사용되어 지고 있다. 또한 오페라 발레 때부터 퍼포머와 관객이 무대를 두고 위치하면서 공연은 여전히 수동적인 관람 형식을 취하고 있다.

현대발레라는 장르가 생겨나면서 발레가 기존부터 가지고 있던 형식적인 부분을 탈피하고자 하는 연출적 시도가 다양하게 일어나고 있다. 그러나 퍼포머의 움직임과 의상 그리고 음악과 같이 공연을 구성하고 있는 주요 요소와 같은 신체적 움직임을 중심으로 실험적인 모색은 모색되고 있으나 발레 공연은 여전히 유사한 공연 환경에서 공연의 시각적 요소, 즉 조명, 배경막, 무대 효과, 소품 등은 여전히 다변화된 모색이라고 보기에 한계가 있다. 예를 들자면 현대발레는 발레 뿐 만 아니라 고전주의의 틀에 박힌 발레 동작들을 자유롭게 변형시키고, 여러 장르의 무용이 혼합된 형태로 발레에서 정해진 마임(Mime)을 극적으로 표현하는 등의 창의적이고 획기적인 동작들을 고안 하였다. 오로지 퍼포머에 신체적 움직임에 치중한 이전 발레 공연들과는 달리 신박한 소품을 흥미롭게 활용하고, 자극적인 이야기로 재해석하여 관객들의 집중을 움직임 뿐 만 아니라 하나의 공연예술로 바라볼 수 있게 시도되었다. 그림 8과 같이 로맨틱 튜튜나 화려한 클래식 튜튜와 같은 정해진 발레 의상을 탈피하고, 퍼포머의 몸매와 움직임이 잘 드러나는 레오타드(Leotard)를 입거나 거의 입지 않은 듯한 의상을 입었고, 다리에 달라붙는 타이즈(Tights)도 과감히 벗어버렸다.

Fig. 8.

Contemporary ballet, <Seasons of the heart>, Les Grands Ballets, https://grandsballets.com/en/

이러한 현대발레 시대의 과감한 연출적 시도에도 불구하고 공연의 시각적 요소는 여전히 아날로그 방식이 일반적이다. 이는 아날로그한 시각적 요소는 한번 제작되면 수정을 위한 변형이 어렵다는 점과 연출자의 즉각적인 대응이 힘들다는 단점이 있다. 하지만 이와 같은 아날로그 공연 환경이 기술의 발달로 디지털화 된다면 공연예술로서 연출을 확장적으로 표현할 수 있다. 이는 공연 환경의 공간적 특성에 따라 매핑(Mapping)될 수 있는 디지털 데이터는 변형하거나 수정이 용이할 뿐만 아니라 하나의 공연 환경으로 통합적으로 관리하고 업데이트할 수 있기 때문에 연출적 방향을 효과적으로 표현할 수 있다.

공연 환경은 퍼포머의 움직임이 진행되는 시간에 따라 공연이 이루어지는 공간의 따라 변화된다. 공연 환경, 즉 시간과 공간에 따라 신체적 움직임으로 표현되는 공연예술이 관객에게 어떻게 전달 될 수 있는지 인터랙션에 대하여 살펴보고자 발레와 관객의 상호관계를 분석해 보고자 한다.

2-2 공연예술로서 발레의 인터랙션

발레는 고정된 공간 안에서 퍼포머의 신체적 움직임이 관객에게 일방적으로 전달하는 공연예술이다. 일반적으로 발레 공연은 관객이 무대를 관람하는 수동적 체험으로 감상하는데 이와 같이 공연환경을 이루는 시간과 공간이 퍼포머의 신체적 움직임으로 표현되는 공연예술에 어떻게 적용될 수 있으며, 관객과 어떻게 유기적으로 연결되어 감상할 수 있는지 발레의 역사적 전개를 기반으로 살펴보고자 한다.

먼저 관객과 객석의 구분이 없었던 14세기 사교발레나 궁정발레와 같은 경우 공연 환경에서 무대라는 공간은 존재하지 않았으며, 공연예술 또한 퍼포머의 신체적 움직임은 있었으나 공연으로써 연출적 요소나 시각적 요소 또한 생성되지 않았다. 따라서 그림 9와 같이 사교발레나 궁정발레와 같은 공연예술은 발레와 관객은 신체적 움직임을 공유하는 것으로 형성된다.

Fig. 9.

14C Interaction between ballet and audience

17세기 오페라 발레는 무대와 객석의 구분이 생겨하면서 공연 환경이 생성되었다. 공연 환경은 무대라는 공간과 퍼포머의 신체적 움직임에 따라 변화되는 환경의 시간성으로 형성되지만 이때에는 무대는 있으나 퍼포머의 신체적 움직임과 연관되지 않은 변화 없는 공연환경이라 할 수 있다. 따라서 오페라 발레는 아직 발레라는 공연예술 장르에 대한 형식이 정형화되지 않았기 때문에 무대와 객석이 구분되었다 하더라도 그림 10과 같이 무대라는 고정되고, 정적인 공연 환경과 퍼포머의 신체적 움직임 그리고 일방적인 관람 형태로 발레라는 공연예술이 전개되었다.

Fig. 10.

17C Interaction between ballet and audience

19세기 낭만발레와 고전발레의 공연 환경은 오페라 발레와 달리 서사가 있어서 막(Scene)이 존재하게 된다. 2막이나 3막 이내에 구조로 스토리가 구성되고, 각 막의 스토리에 따라 공연예술의 시각적 요소, 조명, 배경막, 무대효과 그리고 소품 등은 변화되게 된다. 현대에 와서 지금까지 낭만발레와 고전발레는 일반적으로 무대라는 공간 속에서 발레의 스토리 구조에 따라 무대의 배경막을 교체하거나 조명이나 무대효과로 극적으로 표현하거나 소품을 사용하여 연출적 의도를 효과적으로 전달하고자 하였다. 그러나 발레라는 공연예술은 그림 11과 같이 여전히 객석과 무대가 구분된 이후로 일방적으로 표현된 공연을 관객이 수동적으로 감상하는 인터랙션의 성향이 바뀌지 않는다.

Fig. 11.

19C Interaction between ballet and audience

4-1 인공지능과 증강현실 기술 기반 발레 공연 <Re:Giselle>의 설계 방향성

작품 <Re:Giselle>은 공연예술의 연출적 표현을 관객에게 효과적으로 전달될 수 있도록 시각적 요소들을 디지털화 하였다. 이는 기존 정해진 공간에서만 설치될 수 있던 공연예술의 아날로그 시각적 요소들을 데이터화함으로써 가변적으로 어떠한 공연 환경에서도 적용될 수 있다. 공연장의 공간에 가상환경을 구축하기 위하여 인공지능 스타일 전이 기술을 활용하여 그림 14와 같이 배경막을 디지털화하였고 가상환경에는 필요한 무대 효과를 포함하여 구현하였다. 따라서 기존 아날로그 배경막에는 배경만 포함되어 있지만 작품<Re:Giselle>에서는 배경뿐만 아니라 다른 시각적 요소인 조명, 무대효과, 소품까지 포함 되어 있는 디지털 영상언어로 표현하였다. 기존 작품 <지젤>의 배경이 되는 시골 풍경을 현대적으로 재창작하기 위하여 폴 세잔이 시골 풍경과 같이 현대 풍경을 인공지능 스타일 전이 기술을 활용하여 디지털 배경으로 구현하였다.

Fig. 14.

Demonstration example of <Re:Giselle> in an artificial intelligence based virtual environment: Act 1, Village girl, Giselle

본 연구에서 구현할 작품 <Re:Giselle>은 총 2막으로 이루어진 이야기 구조의 작품으로 주인공 지젤을 중심으로 재창작하였다. 기존 원작에서 사랑의 빠진 지젤에게 알브레히트의 배신이 가져온 비극, 그 비극을 아프게 관객과 공유하는 공연이었다면 작품 <Re:Giselle>은 떠나는 알브레히트에 대한 사랑이 다시 자신에게 향하는 과정에서 주체적인 사랑을 발레라는 신체적 움직임으로 표현하고자 하였다. 작품<Re:Giselle>은 발레 기반의 동작, 데벨로뻬(Developpe), 아라베스크(Arabesque), 스투뉴(Soutenu) 등등으로 감정을 움직임으로 표현하는 기존 발레 <지젤>과 유사하지만 연출적 방향은 순종적이지 않은 자기 주도적인 인물을 표현하고자 하였다. 솔로 지젤과 등장인물 친구 앨리스, 그리고 알브레히트와 함께 하는 군무는 현실에서 움직임으로 표현되지만 또한 그림 15와 같이 증강현실을 활용하여 현실의 지젤과 가상의 인물과 정합되어 군무로 관객이 감상할 수도 있다.

Fig. 15.

AR-based interactive performance demonstration scene of <Re:Giselle>

작품 <Re:Giselle>의 음악은 기존 곡을 편곡하여 녹음된 버전으로 각색된 안무를 적용한 퍼포머의 움직임과 매칭하였다. 이는 증강현실의 마커(Marker) 영상과 정합되는 영상을 매칭하기 위하여 퍼포머의 움직임을 같은 영상에 다른 퍼포머의 움직임을 동일하게 여러번 녹화하여 움직임의 지점을 대응시키고자 하였기 때문이다. 이는 관객이 퍼포머를 가상과 현실의 접점에서 정합을 통하여 조우할 수 있는 개입의 기회를 마련하여 관객이 생성하는 이야기로 공연할 수 있는 재해석된 시도라 할 수 있다.

4-2 인공지능과 증강현실 기술 기반 발레 공연 <Re:Giselle>의 구현 및 확장 가능성

작품 <Re:Giselle>은 인공지능 스타일 전이 기술과 증강현실 기술을 활용하여 구현된 융합형 공연예술이라 할 수 있다. 작품 <Re:Giselle>은 주인공 지젤이 온전히 자신을 인지하며 타인과 관계하는 설정이기 때문에 기존 영혼으로 남아 있는 지젤과는 차별화된 인물이 연출된다. 따라서 이와 같은 연출의도를 표현하기 위하여 현실과 가상의 접점에서 주인공과 관계되어지는 인물의 연결성을 인공지능 스타일 전이로 표현된 가상 환경과 현실과 정합될 수 있는 증강현실 기술을 활용하여 효과적으로 표현될 수 있도록 모색하였다. 먼저 인공지능 스타일 전이는 그림 16과 같이, 한 이미지의 색상, 질감, 스트로크 등과 같은 스타일을 자신의 작품에 적용할 수 있는 기술로, 오브제 이미지와 전이시키고 싶은 스타일을 가진 스타일 이미지를 엔진에 입력하면, 오브제 이미지의 구도와 내용은 그대로 보존된 상태로 스타일 이미지의 스타일이 반영된 결과가 출력된다. 작품 <Re:Giselle>에서는, 여러 스타일 전이 방법들 중, 초-고해상도 이미지의 스타일 전이를 지원할 수 있도록 개발된 [5]를 구현한 엔진을 사용하였다. 이 엔진은, 단일 GPU를 사용하여 30K 해상도를 가지는 이미지에 대한 스타일 전이까지 테스트 된, 고품질 스타일 전이 소프트웨어로, 입력 이미지의 해상도 선택 및 스타일 전이 초기 해상도 지정, 그리고 스타일 전이 손실 함수의 선택에 따라 다양한 스타일 전이 강도 및 특징을 제공한다. 작품 <Re: Giselle>에서는 이러한 스타일 전이 엔진이 제공하는 다양한 스타일 전이 특징을 효과적으로 활용하기 위해, 제작된 고해상도 오브제 영상에 대해 다양한 스타일 이미지의 사용, 여러 가지 스타일 전이 초기 해상도 지정, 손실 함수의 선택을 조합하여 반복적 스타일 전이 실험을 수행하였고, 그 결과 중 작품에 가장 잘 어울리는 것으로 판단되는 스타일 전이 영상을 선택하여 사용하였다.

Fig. 16.

Extracting artificial intelligence style transition video from the work<Re:Giselle>

본 연구에서는 표 2와 같이 기존 지젤에서 표현되는 시골 풍경을 현재의 실제 공원의 이미지와 세잔의 이미지를 인공지능 엔진 입력값으로 설정하면 오브제 영상에 세작의 화풍의 색, 질감이 오브제 영상에 적용되어 출력하는 방법으로 작업하였다. 이는 마치 세잔이 그린 실제 공원의 모습으로 변형되어 표현되는 효과를 생성할 수 있었다.

Table 2.

Artificial intelligence style transition video froma Act 1 of <Re:Giselle>

따라서 디지털 가상환경은 인공지능 스타일 전이 기술을 활용한 배경막과 함께 조명, 무대효과, 소품까지 포함한 영상으로 가변적 공간에 프로젝션 매핑(Projection Mapping)으로 구현된다. 특히 조명, 무대효과, 소품은 퍼포머가 움직이는 시간을 계산하여 영상을 제작하였고 이는 증강현실로 인터랙션 될 수 있는 마커가 되도록 하였다. 인공지능 스타일 전이된 영상에는 증강현실을 할 수 있는 마커를 포함하고 있어서 안무 방향에 따라 다양하게 활용될 수 있다. 그림 17과 같이 인공지능 스타일 전이와 증강현실 기술을 활용하면 가상과 현실 세계에서 두 가지 버전으로 공연이 가능하다. 첫째, 인공지능 기반으로 생성된 디지털 가상환경과 크로마키 퍼포머의 영상을 정합시킨 영상을 활용하여 실시간으로 공연을 하거나 둘째 인공지능 기반 디지털 가상환경에서 크로마키 영상이 혼합된 상태로 증강현실에 대응되는 또 다른 퍼포머와의 움직임이 정합될 수 있는 인터랙티브한 공연을 구현할 수 있다. 따라서 작품 <Re:Giselle>은 현실 공간에서 춤추는 지젤과 증강된 또 다른 등장인물과 정합되어 하나의 공연예술로 구현할 수 있다.

Fig. 17.

Performance art production process using artificial intelligence style transfer technology and augmented reality technology

작품 <Re:Giselle>은 인공지능 스타일 전이로 표현된 가상 환경에서 스마트 디바이스의 카메라로 인식하면 크로마키 영상이 증강되어 가상과 현실의 정합되는 장면을 연출할 수 있다. 그림 18과 같은 과정으로 증강현실이 구현되면 인공지능 스타일 전이 기술을 활용한 가상 환경에서 증강현실 기술로 생성한 영상이 정합된다.

Fig. 18.

Diagram of <Re:Giselle>, a work integrated into augmented reality

작품 <Re:Giselle>에서 증강현실은 주인공 지젤과 그녀의 친구 앨리스, 알브레히트와 움직임이 합쳐지는 상황에서 이들의 관계성을 그림 19와 같이 인터랙티브하게 감상할 수 있다. 만약 가상은 현실의 정합이 스마트 디바이스를 사용하지 않더라도 가상 환경과 크로마키로 추출한 퍼포머의 움직임을 정합시킨 영상을 통하여 실시간 함께 군무를 하거나 독무를 출수도 있다. 따라서 퍼포머와 실제 존재하거나 현실에 존재하지 않더라도 증강현실을 통하여 공연의 새로운 등장인물로 조우시킬 수 있고, 가상 환경 속에서 퍼포머의 관계성은 가상과 현실의 접점에서 관객에 의해 인터랙티브하게 전개된다.

Fig. 19.

Augmented reality scene with Albert from <Re:Giselle>

따라서 작품 <Re:Giselle>은 관객의 개입을 통하여 공연예술의 요소들의 변화를 일으키고, 결과적으로 전체 공연 환경도 영향을 미치기 때문에 관객과 발레 공연의 인터랙션은 새로운 관객 중심의 연출적 모색으로 제시하고자 한다.