공연시장 활성화를 위한 AR 공연 애플리케이션 디자인 개발

1-1 연구의 배경 및 목적

코로나바이러스 감염증(COVID-19, 이하 코로나19)이 야기한 팬데믹으로 인해 대부분의 산업 시장은 큰 손해를 입었다. 공연 시장 역시 마찬가지다. 관객과 공연자가 대면으로 진행하는 오프라인 공연의 특성상 코로나19로 인해 공연 취소, 매출액 감소 등 막대한 피해를 보았다[1]. 이후 공연예술인들의 노력과 다양한 지원 정책으로 매출이 어느 정도 회복되었다고는 하나 여전히 공연 횟수와 예매율은 감소하고 평균 관람료는 증가하면서 공연 업계는 여전히 난항을 겪고 있다. 따라서 이에 대한 해결책이 필요한 상황이다[2].

새롭게 등장한 대안은 '공연의 온라인화'이다. 코로나19로 피해를 본 극단들은 공연 영상이나 제작한 작품을 유튜브 등 영상 플랫폼에 업로드하면서 영상화, 온라인화로 대응하였다. 하지만 이러한 형식은 공연의 현장감을 심각하게 저하하였으며, 관객과의 상호교감이 이뤄지지 않는 등 문제점이 생기기 시작했다[3].

이러한 문제점을 해결할 수 있는 방안이 메타버스를 이용한 공연이다. 메타버스를 이용한 공연은 관객의 시각이 객석 위치와 상관없이 자유롭다[4]. 또한, 공간의 제약이 없어 관객의 수나 거리에 제한이 없으며, 아바타를 통해 공연자와 의사소통이 가능하다는 장점이 있다[5].

따라서 본 연구는 아래와 같은 과정을 통해 기존 온라인 공연의 문제점을 파악하고 해결 방안을 제안해 보고자 한다.

2장에서는 코로나 이후 공연시장의 현황과 증강현실 공연 애플리케이션 관련 선행연구, 공연시장 사례 연구를 살펴본다. 또한, 연구에 활용할 메타버스 애플리케이션의 설계요소를 분석한다. 3, 4장에서는 메타버스 공연 애플리케이션을 디자인하고 프로토타입을 제작한다. 마지막으로 5장에서는 본 연구 과정의 의의와 한계점을 분석하여 얻을 수 있는 기대효과를 정리한다.

본 연구는 메타버스를 이용한 공연 애플리케이션을 통해 기존 온라인 공연의 단점을 보완하여 현장감이 넘치고 실시간 소통이 가능한 플랫폼을 제안한다. 궁극적으로는 향후 공연 산업 활성화에 기여하고자 한다.

1-2 연구의 범위

본 연구의 주제는 '메타버스'를 이용한 '공연'이므로 두 개념의 범위를 지정해야 한다. 메타버스는 가상, 초월을 의미하는 메타(Meta)와 현실세계를 의미하는 유니버스(Universe)의 합성어이다. 메타버스는 기술의 적용형태에 따라 증강과 시뮬레이션으로 구분하며, 적용 범위를 개인에 한정하는지 환경에 적용하는지에 따라 증강현실, 가상현실, 라이프로깅, 거울 세계로 네 가지 유형으로 구분한다[6]. 본 연구에서는 네 가지 유형 중 증강현실을 다룬다.

국어사전에 따르면 공연은 "음악, 무용, 연극 따위를 많은 사람 앞에서 보이는 일"이라고 정의된다[7]. 다만 메타버스와 달리 공연은 정의가 명확하게 정해져 있지 않다. 본 연구에서는 목적성과 대중성이 있으며, 여가활동 중 누구나 자유롭고 쉽게 접할 수 있는 활동을 공연이라 정의하고, 연구 범위로 삼고자 한다.

2-1 코로나19 이후 공연시장

코로나19의 여파로 공연 시장에도 큰 변화가 생겼다. 모임을 제한하는 등 정부의 방역 조치로 공연이 취소되거나 무기한 연기되었다. 이러한 상황을 극복하기 위해 국내외 공연업계는 '온라인 공연 스트리밍' 등 언택트 분야로 새로운 대응책을 내놓았다[8].

온라인 공연은 디지털 플랫폼에서 스트리밍 서비스만 제공하는 Facebook Live, Instagram Live, YouTube Live 등 소셜 네트워크 기반의 라이브 스트리밍 서비스나 전문, 제작사 플랫폼, Afreeca TV, Twitch TV 등 방송전용 플랫폼에서 시작되었다. 이후 화상 채팅 플랫폼이나 Session Live 같은 자체 채널의 턴키 방식(Turn-Key) 플랫폼이 등장했다. 턴키 방식이란, 하나의 서비스로 기존 플랫폼에서 제공하는 제작 지원이나 스트리밍 중계에 그치는 게 아니라 공연 관리(배포 기간, 예매표 수량 및 가격, 공연시설 등), 공연자의 수익관리 그리고 관객과의 커뮤니케이션 서비스 등 공연과 관련한 모든 서비스를 제공하는 플랫폼이다[9].

라이브 스트리밍의 정의는 ‘인터넷으로부터 동영상을 시청하거나 음악을 듣는 활동’으로 팬데믹 이후 지속적으로 진화하고 발전했다. 대표적으로 증강현실과 언택트 공연이 융합하여 관객들은 라이브 콘서트와 비슷한 공연 감각을 느낄 수 있게 되었으며, 공연에 직접 영향을 주는 다양한 상호작용을 통해 공연의 새로운 참여 방식과 소통의 기회가 많아지게 되었다[10].

이러한 흐름에 따라 국내 공연 업계도 콘텐츠의 온라인화를 위해 노력을 아끼지 않고 있다. 온라인 라이브 스트리밍에 대해 국립극단 예술감독 김광보는 "영국 내셔널 극장 영상화 사업인 NT Live 같은 영상화가 목표"(정다윤, 2021)라고 말하며 온라인 공연의 활성화를 예고했다. 온라인 공연은 점차 새로운 가치와 기능을 모색하여 새로운 시대의 문화로 자리 잡게 될 것으로 보인다[11].

한편, 메타버스는 커뮤니케이션이 가능한 새로운 소셜 미디어 플랫폼으로서 사회, 환경 등 다양한 문제 극복에 해결책이 될 것으로 예상하며, 이러한 잠재력을 끌어내기 위해 메타버스를 활용한 다양한 방법을 찾아 볼 필요가 있다[12].

2-2 메타버스 공연 애플리케이션 관련 선행연구

코로나19 이후 메타버스, 공연 시장, 언택트 문화와 관련된 연구는 다양하게 진행되었다. 그중 메타버스를 기반으로 한 온라인 공연 무대의 연출 방법 및 사례, 공연예술산업계의 동향 및 고찰, 기술수용 모델 중심의 증강현실 애플리케이션에 관한 지각된 가치에 미치는 영향 요인 등 선행 연구를 살펴보았다. 그러나 아직까지 공연 관련 메타버스 애플리케이션 디자인 및 개발 관련 선행 연구는 전무한 상황이다.

WANG YONG은 코로나19 이후 가상현실 기반의 온라인 공연 무대 연출 방법 및 사례들에 FGI 분석기법을 사용해 최근 몇 년간 실감 기술 시장이 기술 중심으로 발전했다는 사실을 확인했다. 향후 가상현실 온라인 공연 활성화를 위해서는 몰입형 기술, 실감 기술 콘텐츠를 주축으로 한 능동적인 연구의 필요성을 제시했다[13].

김영윤, 조준희는 팬데믹에서 엔데믹까지의 공연예술산업계의 동향과 미래의 메타버스 공연에 대해 미메시스적 관점으로 고찰하였다. 현재 익숙하지 않은 메타버스 공연이 미래에 특이점에 도달하게 되면 가상세계와 현실을 구분조차 못 할 정도로 정교하게 만들어져 광활한 메타 퍼포밍아츠 콘텐츠 생태계가 형성될 것으로 전망하였다[11].

김원제는 증강현실 애플리케이션의 가치에 대해 평가하고 기술수용모델을 활용하여 '유용성, 즐거움, 기술적 특성, 비용, 지속 이용 의도' 측면에서 소비자의 지각된 가치에 미치는 영향을 측정 도구로 세운 다음, β, S, E, t, AVE, CR를 이용하여 확인적 요인 분석을 마쳤다. 그 결과, '지각된 가치를 편익 기준으로 세울 때 유용성과 즐거움, 지속 이용 의도는 긍정적 영향을 미쳐 높이고, 기술적 특성과 비용은 부정적 영향을 미쳐 낮출 때 지속 이용 의도로 이어진다.'는 사실을 확인하였다. 실무적인 차원으로 적용해 보면 증강현실 애플리케이션의 지각된 가치를 높이기 위해서는 사용자 경험의 적극적인 홍보와 인식 향상이 필요하다[14].

2-3 공연시장 사례 연구

온라인 공연 시장과 관련한 사례로는 AR 기술을 활용한 공연 애플리케이션 라이브 커넥트, AR 기술을 활용한 공연 국립오페라단, VR 기술을 활용한 공연 유니버셜 스튜디오의 The Void, 실시간 홀로그램 공연 후토무 히나타, AI를 활용한 공연드라마 AI 청춘, 360도 라이브 스트리밍 Coachella Festival, 인터넷 방송에서 사용되는 AR 기술 사례로 홀로 라이브의 가우르 구라 등이 있다. 다양한 사례 중 본 논문에서는 3가지 주요 사례를 소개한다.

인터넷방송에서 사용되는 AR 기술 사례로는 2019년도부터 침체기에 들어선 버추얼 유튜버가 있다. 버추얼 유튜버는 2020년도 홀로 라이브에서 활발한 활동을 시작했으며, 2020년 7월 16일 채널을 개설한 홀로 라이브 EN 소속인 2세대 버추얼 스트리머인 가우르 구라가 2023년 6월 16일 기준 버추얼 유튜버 업계에서 최초로 400만 구독자 달성이라는 기록까지 세웠다. 점차 2세대 버추얼 스트리머의 콘텐츠들이 기존 온라인 방송들과 유사해졌으며, 방송인 혹은 성우들의 활동이 빈번해지면서 노래와 댄스, 예능 등 방송 능력이 뛰어난 버추얼 유튜버가 활동하기 유리해졌기 때문으로 보인다. 앞서 언급한 가우르 구라는 귀여운 상어 캐릭터와 귀여운 목소리, 그 외에 Meme(밈)으로 불리는 유행 코드를 활용한 재미있는 방송, 시청자와의 친근한 의사소통 등이 성공 요인으로 분석된다[15].

라이브 커넥트는 국내 티켓 시장 점유율을 70% 이상 차지하고 있는 ㈜인터파크와의 파트너쉽을 채결해 언택트 시대에 팬들과 공연자를 연결해 주는 온라인 티켓 예매처 기반의 라이브 스트리밍 플랫폼이다. 편리한 환경에서 고화질 고음질로 공연을 더 흥미롭게 시청할 수 있도록 서비스를 지원하며, 팬들과 실시간으로 소통할 수 있는 인터렉티브 기능이 있다. 또한, 여러 화면이 정확한 타이밍으로 중계되어 시청 시점을 여러 번 바꾸어도 지연이 발생하지 않는 장점이 있다. 라이브 커넥트는 12개 이상의 채널에서 오디오 손실이 적은 안정적인 스트리밍 기술을 보유하고 있다. 또한, VR/AR이 적용된 306도 파노라마 뷰는 하나의 화면에선 보이지 않던 장면들을 보여주며, 공연자를 눈앞에서 보는 것 같은 생생한 현장감을 체험할 수 있다[16].

마지막으로 크노마이오페라는 2021년도에 국내 최초로 오페라 전용 온라인 동영상을 제작하였다. 원하는 국립 오페라단의 작품을 선택하여 VOD 시청이 가능하며, 현재 상영 중인 오페라를 실시간으로 감상할 수 있다. 해당 시스템을 구축하여 극장이라는 한정된 공간을 넘어 시간과 공간의 제약을 받지 않는 온라인에서 무대를 넓힘으로써 오페라 시장 확장의 새로운 기회를 도모하였다. 이러한 서비스는 라이프로깅의 응용형태로써 사용자들이 감정을 기록하고 공유하는 형태로 소통할 수 있어 메타버스 서비스에 폭넓게 적용이 가능할 것으로 보인다[17].

2-4 메타버스 애플리케이션 설계 요소

본 연구는 증강현실을 사용한 라이브 스트리밍 애플리케이션을 디자인하기 위해 선행 연구를 검토하였다. 스트리밍 애플리케이션과 AR애플리케이션 연구를 중점적으로 살펴봤으며, 확인된 설계 요소는 다음과 같다. 이상호 외 4명은 스트리밍 애플리케이션의 설계요소를 '간단한 로그인', '간편한 스트리밍', '후원'으로 정했다[18]. 또한 이세빈 외 4명은 동시 송출 시스템의 중요 요소를 '공연자의 움직임 추적'과 '가상 아바타 콘서트 클라이언트'로 보았다[19]. 마지막으로 나지영, 황용준은 AR 메타버스 애플리케이션의 설계에 필요한 요소를 '아바타', '수익구조', '재미요소', '소셜' 등 4가지로 보았다[20]. 자세한 내용은 표 1과 같다. 본 연구에서는 나지영, 황용준의 설계 요소 중 수익구조, 재미요소, 소셜과 본 연구의 핵심 기술인 AR을 활용해 애플리케이션을 디자인하고자 한다.

Table 1.

Metaverse application design

3-1 개요

본 연구의 목표는 사용자가 AR 증강현실을 통해 가면을 쓰고 실시간 온라인 공연을 진행하는 것이다. 페이스 트래킹 기술로 구현된 가면은 공연자가 원하는 대로 커스터마이징할 수 있으며, 주위 배경도 꾸밀 수 있다. 시청자는 공연자가 만든 메타버스 공간에 자신의 캐릭터를 배치할 수 있으며, 특수 효과나 오브젝트 배치 등의 기능을 통해 공연자의 퍼포먼스에 호응하거나 후원할 수 있다. 시청자는 머리와 상체, 하체를 커스터마이징할 수 있다. 또한, 자신이 좋아하는 공연자의 공연 일정을 확인할 수 있다. 애플리케이션은 업적이라는 시스템을 통해 공연자와 시청자가 특정 행동을 했을 때 새로운 커스터마이징이 해금되거나 추가되는 등의 보상을 받을 수 있다.

애플리케이션을 시작하면 로그인 화면이 출력된다. 메인 로고와 로그인 입력창, 회원가입 버튼, 소셜 로그인 버튼 등이 있으며 아이디 혹은 비밀번호를 잊었을 때를 위한 아이디/비밀번호 찾기 버튼도 있다. 로그인 후 자신이 어떠한 역할로 애플리케이션을 사용할지 선택하는 화면이 출력되며, 공연자와 시청자로 구분되는 버튼이 있다. 사용자는 체크박스를 통해 애플리케이션이 사용자의 역할을 기억하도록 설정할 수 있다. 역할을 선택하면 메인 화면으로 전환된다. 자신의 역할에 따라 공연자 또는 시청자의 메인화면이 출력된다. 공연자 메인화면의 구성은 그림 1과 같고 시청자 메인 화면은 그림 2와 같다.

Fig. 1.

Main screen – performer

Fig. 2.

Main screen - viewer

3-2 공연자 모드

공연자 역할을 선택한 경우, 메인 공연을 준비하는 화면으로 전환된다. 카메라 화면에 공연자의 얼굴이 보이면 페이스 트래킹 기능을 통해 얼굴을 인식하고 사용자의 얼굴에 AR 가면이 씌워진다.

또한, 우측 하단의 AR 가면 변경 버튼을 누르면 자신이 원하는 가면으로 즉시 변경할 수 있다. 좌측 하단의 AR 배경 변경 버튼을 누르면 주위 배경을 꾸미거나 변경할 수 있다. 스토어를 통해 다양한 가면과 배경, 효과, 오브젝트 등을 구매할 수 있다.

(https://drive.google.com/file/d/16USEEw4mSmfI94H3g9VCelzMMI_UnUEo/view?usp=sharing)을 통하여 공연자 모드, 개발 프로토타입 영상을 확인할 수 있다.

3-3 시청자 모드

시청자 역할을 선택한 경우, 공연자들의 실시간 방송 목록이 화면에 가득 표시된다. 시청을 원하는 실시간 방송을 선택하여 바로 공연을 시청할 수 있다. 시청자 모드에서는 시청자가 자신의 AR 캐릭터를 배치할 수 있으며, 우측 아래 AR 설정 버튼을 통해 변경할 수 있다. 시청자는 후원을 통해 다양한 AR 특수효과나 오브젝트를 배치할 수 있다. 스토어를 통해 자신의 취향에 맞는 다양한 캐릭터 파츠와 AR 특수효과, 오브젝트 등을 구매할 수 있다.

4-1 구현 환경

애플리케이션은 온라인 방송에 관심 있는 이용자를 타깃으로 디자인하였다. 디자인은 포토샵(Photoshop) 프로그램을 활용하였으며, 안드로이드 애플리케이션에 최적화하여 AR 기술을 적용했다. AR 기술을 사용한 이유는 해당 애플리케이션을 통해 공연자의 익명성을 강조하고 비용과 야외사용성을 고려했을 때, PC 프로그램이나 VR보다 AR 기술이 적합하다고 판단했기 때문이다.

4-2 AR 애플리케이션 디자인

1) 애플리케이션 시작페이지 디자인

애플리케이션을 실행하면 아이디와 패스워드를 입력하는 창이 나오며, 소셜 간편 로그인이나 회원가입을 통해 새로운 계정을 생성할 수 있다. 로그인 후 공연자와 시청자를 선택하여 애플리케이션을 사용한다(그림 3).

Fig. 3.

Login, performer, and viewer selection screen

2) 공연자 모드 디자인

본 연구에서 디자인한 공연자 모드의 기능은 다음과 같다(그림 4).

Fig. 4.

Perfomer mode screen

• - 배경설정: 스토어에서 구매한 배경 이미지와 배경 효과, 오브젝트 등을 설정하여 자신만의 공연 장소를 꾸밀 수 있다.
• - 가면설정: 스토어에서 구매한 가면을 페이스 트래킹을 통해 공연자 자신에게 알맞게 설정할 수 있다.
• - 시청자 목록: 시청자 목록 화면에서 시청자 설정 버튼을 클릭 시 해당 시청자의 음성 채팅을 허용하여 대화를 나누거나 함께 노래를 부르는 등 다양한 상호작용을 할 수 있다.

3) 시청자 모드 디자인

본 연구에서 디자인한 시청자 모드의 기능은 다음과 같다(그림 5).

Fig. 5.

Viewer mode screen

• - 도네이션: 라이브 시청 화면 하단에 왕관 모양 버튼을 클릭하여 원하는 금액과 AR 기능을 선택하여 공연자에게 후원할 수 있다.
• - AR버튼: AR 버튼을 통해 캐릭터, 이펙트 확인 등의 설정이 가능하다.

4) 설정 화면 디자인

본 연구에서 디자인한 설정 화면의 기능은 다음과 같다(그림 6).

Fig. 6.

Setting screen

• - 설정 화면: 시청자와 공연자 모두 마이크를 설정할 수 있다. 공연자의 경우 라이브도 설정이 가능하다.

4-3 AR공연애플리케이션 설계 요소

4) 라이브 스트리밍

공연자는 스트리밍 채널 등 커뮤니티를 통해 지난 라이브 방송이나 짧게 편집한 영상을 업로드할 수 있으며, 공지사항을 올리거나 시청자와 댓글로 소통할 수 있다.

Fig. 7.

Store screen

Fig. 8.

AR effect and live streaming screen