Korea Digital Contents Society
[ Article ]
Journal of Digital Contents Society - Vol. 24, No. 10, pp.2479-2487
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 31 Oct 2023
Received 16 Aug 2023 Revised 27 Sep 2023 Accepted 06 Oct 2023
DOI: https://doi.org/10.9728/dcs.2023.24.10.2479

공연시장 활성화를 위한 AR 공연 애플리케이션 디자인 개발

박종혁1, ; 안한영1, ; 허신녕1, ; 이강호1, ; 전성진1, ; 이세현1, ; 나지영2, *
1남서울대학교 학사과정
2남서울대학교 가상현실학과 교수
AR Performance Application Design to Enhance the Performing-Arts Market
Jong-Hyeok Park1, ; Han-Yeong Ahn1, ; Shin-Nyeong Her1, ; Gang-Ho Lee1, ; Seoung-Jin Jun1, ; Sae-Hyun Lee1, ; Ji-Young Na2, *
1Undergraduate's Course, Namseoul University, Cheonan 31020, Korea
2Professor, Department of Virtual Reality, Namseoul University, Cheonan 31020, Korea

Correspondence to: *Ji-Young Na E-mail: njy@nsu.ac.kr Contributed by footnote: ‡These authors contributed equally to this work


Copyright ⓒ 2023 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

코로나19로 인해 공연예술산업계는 활동에 큰 제약을 받았고, 이에 대응하기 위해 비대면 온라인 산업에 주목하였다. 본 연구는 익명성과 소통을 강조하며, 노래나 악기 연주 등 다양한 공연이 가능한 증강현실 애플리케이션을 제안한다. 특히 선행연구를 참고하여 애플리케이션 설계에 필요한 요소를 재미요소, 소셜, 수익구조, 증강현실로 보고, 디자인하였다. 애플리케이션은 공연자와 시청자 모드로 나뉘며, 공연자는 페이스 트래킹을 통해 가면과 배경을 커스터마이징하여 실시간 공연을 진행할 수 있고, 시청자는 다양한 증강현실 효과를 사용하여 공연자와 상호작용할 수 있다. ASF 보고서에서 정의한 메타버스 분류 중 증강현실 기술을 활용해 자신감이 부족한 사람도 본 애플리케이션을 통해 가면을 쓰고 라이브 스트리밍 공연을 진행할 수 있다는 점에서 공연예술산업의 활성화에 기여할 것이라는 의의가 있다.

Abstract

Due to the impact of COVID-19, the performing arts industry has faced significant constraints on its activities, prompting a closer look at the realm of online endeavors. This study emphasizes anonymity and communication while proposing an augmented reality application that allows various performances such as singing and musical instrument play. Drawing from previous studies, the application's design was formulated by considering key elements, including entertainment value, social interaction, profit structure, and augmented reality. The application is divided into performer and viewer modes. Performers can conduct real-time performances by customizing masks and backgrounds through face tracking, while viewers can interact with the performers using various AR effects. In the classification of metaverse technologies defined in the ASF report, there is significance in contributing to the revitalization of the performing arts industry through this application, which utilizes augmented reality technology. This is particularly meaningful as it enables individuals lacking confidence to wear masks and conduct live streaming performances.

Keywords:

Metaverse, Augmented Reality, Application, Performance, Live Streaming

키워드:

메타버스, 증강현실, 애플리케이션, 공연, 라이브 스트리밍

Ⅰ. 서 론

1-1 연구의 배경 및 목적

코로나바이러스 감염증(COVID-19, 이하 코로나19)이 야기한 팬데믹으로 인해 대부분의 산업 시장은 큰 손해를 입었다. 공연 시장 역시 마찬가지다. 관객과 공연자가 대면으로 진행하는 오프라인 공연의 특성상 코로나19로 인해 공연 취소, 매출액 감소 등 막대한 피해를 보았다[1]. 이후 공연예술인들의 노력과 다양한 지원 정책으로 매출이 어느 정도 회복되었다고는 하나 여전히 공연 횟수와 예매율은 감소하고 평균 관람료는 증가하면서 공연 업계는 여전히 난항을 겪고 있다. 따라서 이에 대한 해결책이 필요한 상황이다[2].

새롭게 등장한 대안은 '공연의 온라인화'이다. 코로나19로 피해를 본 극단들은 공연 영상이나 제작한 작품을 유튜브 등 영상 플랫폼에 업로드하면서 영상화, 온라인화로 대응하였다. 하지만 이러한 형식은 공연의 현장감을 심각하게 저하하였으며, 관객과의 상호교감이 이뤄지지 않는 등 문제점이 생기기 시작했다[3].

이러한 문제점을 해결할 수 있는 방안이 메타버스를 이용한 공연이다. 메타버스를 이용한 공연은 관객의 시각이 객석 위치와 상관없이 자유롭다[4]. 또한, 공간의 제약이 없어 관객의 수나 거리에 제한이 없으며, 아바타를 통해 공연자와 의사소통이 가능하다는 장점이 있다[5].

따라서 본 연구는 아래와 같은 과정을 통해 기존 온라인 공연의 문제점을 파악하고 해결 방안을 제안해 보고자 한다.

2장에서는 코로나 이후 공연시장의 현황과 증강현실 공연 애플리케이션 관련 선행연구, 공연시장 사례 연구를 살펴본다. 또한, 연구에 활용할 메타버스 애플리케이션의 설계요소를 분석한다. 3, 4장에서는 메타버스 공연 애플리케이션을 디자인하고 프로토타입을 제작한다. 마지막으로 5장에서는 본 연구 과정의 의의와 한계점을 분석하여 얻을 수 있는 기대효과를 정리한다.

본 연구는 메타버스를 이용한 공연 애플리케이션을 통해 기존 온라인 공연의 단점을 보완하여 현장감이 넘치고 실시간 소통이 가능한 플랫폼을 제안한다. 궁극적으로는 향후 공연 산업 활성화에 기여하고자 한다.

1-2 연구의 범위

본 연구의 주제는 '메타버스'를 이용한 '공연'이므로 두 개념의 범위를 지정해야 한다. 메타버스는 가상, 초월을 의미하는 메타(Meta)와 현실세계를 의미하는 유니버스(Universe)의 합성어이다. 메타버스는 기술의 적용형태에 따라 증강과 시뮬레이션으로 구분하며, 적용 범위를 개인에 한정하는지 환경에 적용하는지에 따라 증강현실, 가상현실, 라이프로깅, 거울 세계로 네 가지 유형으로 구분한다[6]. 본 연구에서는 네 가지 유형 중 증강현실을 다룬다.

국어사전에 따르면 공연은 "음악, 무용, 연극 따위를 많은 사람 앞에서 보이는 일"이라고 정의된다[7]. 다만 메타버스와 달리 공연은 정의가 명확하게 정해져 있지 않다. 본 연구에서는 목적성과 대중성이 있으며, 여가활동 중 누구나 자유롭고 쉽게 접할 수 있는 활동을 공연이라 정의하고, 연구 범위로 삼고자 한다.


Ⅱ. 이론적 배경 및 선행연구

2-1 코로나19 이후 공연시장

코로나19의 여파로 공연 시장에도 큰 변화가 생겼다. 모임을 제한하는 등 정부의 방역 조치로 공연이 취소되거나 무기한 연기되었다. 이러한 상황을 극복하기 위해 국내외 공연업계는 '온라인 공연 스트리밍' 등 언택트 분야로 새로운 대응책을 내놓았다[8].

온라인 공연은 디지털 플랫폼에서 스트리밍 서비스만 제공하는 Facebook Live, Instagram Live, YouTube Live 등 소셜 네트워크 기반의 라이브 스트리밍 서비스나 전문, 제작사 플랫폼, Afreeca TV, Twitch TV 등 방송전용 플랫폼에서 시작되었다. 이후 화상 채팅 플랫폼이나 Session Live 같은 자체 채널의 턴키 방식(Turn-Key) 플랫폼이 등장했다. 턴키 방식이란, 하나의 서비스로 기존 플랫폼에서 제공하는 제작 지원이나 스트리밍 중계에 그치는 게 아니라 공연 관리(배포 기간, 예매표 수량 및 가격, 공연시설 등), 공연자의 수익관리 그리고 관객과의 커뮤니케이션 서비스 등 공연과 관련한 모든 서비스를 제공하는 플랫폼이다[9].

라이브 스트리밍의 정의는 ‘인터넷으로부터 동영상을 시청하거나 음악을 듣는 활동’으로 팬데믹 이후 지속적으로 진화하고 발전했다. 대표적으로 증강현실과 언택트 공연이 융합하여 관객들은 라이브 콘서트와 비슷한 공연 감각을 느낄 수 있게 되었으며, 공연에 직접 영향을 주는 다양한 상호작용을 통해 공연의 새로운 참여 방식과 소통의 기회가 많아지게 되었다[10].

이러한 흐름에 따라 국내 공연 업계도 콘텐츠의 온라인화를 위해 노력을 아끼지 않고 있다. 온라인 라이브 스트리밍에 대해 국립극단 예술감독 김광보는 "영국 내셔널 극장 영상화 사업인 NT Live 같은 영상화가 목표"(정다윤, 2021)라고 말하며 온라인 공연의 활성화를 예고했다. 온라인 공연은 점차 새로운 가치와 기능을 모색하여 새로운 시대의 문화로 자리 잡게 될 것으로 보인다[11].

한편, 메타버스는 커뮤니케이션이 가능한 새로운 소셜 미디어 플랫폼으로서 사회, 환경 등 다양한 문제 극복에 해결책이 될 것으로 예상하며, 이러한 잠재력을 끌어내기 위해 메타버스를 활용한 다양한 방법을 찾아 볼 필요가 있다[12].

2-2 메타버스 공연 애플리케이션 관련 선행연구

코로나19 이후 메타버스, 공연 시장, 언택트 문화와 관련된 연구는 다양하게 진행되었다. 그중 메타버스를 기반으로 한 온라인 공연 무대의 연출 방법 및 사례, 공연예술산업계의 동향 및 고찰, 기술수용 모델 중심의 증강현실 애플리케이션에 관한 지각된 가치에 미치는 영향 요인 등 선행 연구를 살펴보았다. 그러나 아직까지 공연 관련 메타버스 애플리케이션 디자인 및 개발 관련 선행 연구는 전무한 상황이다.

WANG YONG은 코로나19 이후 가상현실 기반의 온라인 공연 무대 연출 방법 및 사례들에 FGI 분석기법을 사용해 최근 몇 년간 실감 기술 시장이 기술 중심으로 발전했다는 사실을 확인했다. 향후 가상현실 온라인 공연 활성화를 위해서는 몰입형 기술, 실감 기술 콘텐츠를 주축으로 한 능동적인 연구의 필요성을 제시했다[13].

김영윤, 조준희는 팬데믹에서 엔데믹까지의 공연예술산업계의 동향과 미래의 메타버스 공연에 대해 미메시스적 관점으로 고찰하였다. 현재 익숙하지 않은 메타버스 공연이 미래에 특이점에 도달하게 되면 가상세계와 현실을 구분조차 못 할 정도로 정교하게 만들어져 광활한 메타 퍼포밍아츠 콘텐츠 생태계가 형성될 것으로 전망하였다[11].

김원제는 증강현실 애플리케이션의 가치에 대해 평가하고 기술수용모델을 활용하여 '유용성, 즐거움, 기술적 특성, 비용, 지속 이용 의도' 측면에서 소비자의 지각된 가치에 미치는 영향을 측정 도구로 세운 다음, β, S, E, t, AVE, CR를 이용하여 확인적 요인 분석을 마쳤다. 그 결과, '지각된 가치를 편익 기준으로 세울 때 유용성과 즐거움, 지속 이용 의도는 긍정적 영향을 미쳐 높이고, 기술적 특성과 비용은 부정적 영향을 미쳐 낮출 때 지속 이용 의도로 이어진다.'는 사실을 확인하였다. 실무적인 차원으로 적용해 보면 증강현실 애플리케이션의 지각된 가치를 높이기 위해서는 사용자 경험의 적극적인 홍보와 인식 향상이 필요하다[14].

2-3 공연시장 사례 연구

온라인 공연 시장과 관련한 사례로는 AR 기술을 활용한 공연 애플리케이션 라이브 커넥트, AR 기술을 활용한 공연 국립오페라단, VR 기술을 활용한 공연 유니버셜 스튜디오의 The Void, 실시간 홀로그램 공연 후토무 히나타, AI를 활용한 공연드라마 AI 청춘, 360도 라이브 스트리밍 Coachella Festival, 인터넷 방송에서 사용되는 AR 기술 사례로 홀로 라이브의 가우르 구라 등이 있다. 다양한 사례 중 본 논문에서는 3가지 주요 사례를 소개한다.

인터넷방송에서 사용되는 AR 기술 사례로는 2019년도부터 침체기에 들어선 버추얼 유튜버가 있다. 버추얼 유튜버는 2020년도 홀로 라이브에서 활발한 활동을 시작했으며, 2020년 7월 16일 채널을 개설한 홀로 라이브 EN 소속인 2세대 버추얼 스트리머인 가우르 구라가 2023년 6월 16일 기준 버추얼 유튜버 업계에서 최초로 400만 구독자 달성이라는 기록까지 세웠다. 점차 2세대 버추얼 스트리머의 콘텐츠들이 기존 온라인 방송들과 유사해졌으며, 방송인 혹은 성우들의 활동이 빈번해지면서 노래와 댄스, 예능 등 방송 능력이 뛰어난 버추얼 유튜버가 활동하기 유리해졌기 때문으로 보인다. 앞서 언급한 가우르 구라는 귀여운 상어 캐릭터와 귀여운 목소리, 그 외에 Meme(밈)으로 불리는 유행 코드를 활용한 재미있는 방송, 시청자와의 친근한 의사소통 등이 성공 요인으로 분석된다[15].

라이브 커넥트는 국내 티켓 시장 점유율을 70% 이상 차지하고 있는 ㈜인터파크와의 파트너쉽을 채결해 언택트 시대에 팬들과 공연자를 연결해 주는 온라인 티켓 예매처 기반의 라이브 스트리밍 플랫폼이다. 편리한 환경에서 고화질 고음질로 공연을 더 흥미롭게 시청할 수 있도록 서비스를 지원하며, 팬들과 실시간으로 소통할 수 있는 인터렉티브 기능이 있다. 또한, 여러 화면이 정확한 타이밍으로 중계되어 시청 시점을 여러 번 바꾸어도 지연이 발생하지 않는 장점이 있다. 라이브 커넥트는 12개 이상의 채널에서 오디오 손실이 적은 안정적인 스트리밍 기술을 보유하고 있다. 또한, VR/AR이 적용된 306도 파노라마 뷰는 하나의 화면에선 보이지 않던 장면들을 보여주며, 공연자를 눈앞에서 보는 것 같은 생생한 현장감을 체험할 수 있다[16].

마지막으로 크노마이오페라는 2021년도에 국내 최초로 오페라 전용 온라인 동영상을 제작하였다. 원하는 국립 오페라단의 작품을 선택하여 VOD 시청이 가능하며, 현재 상영 중인 오페라를 실시간으로 감상할 수 있다. 해당 시스템을 구축하여 극장이라는 한정된 공간을 넘어 시간과 공간의 제약을 받지 않는 온라인에서 무대를 넓힘으로써 오페라 시장 확장의 새로운 기회를 도모하였다. 이러한 서비스는 라이프로깅의 응용형태로써 사용자들이 감정을 기록하고 공유하는 형태로 소통할 수 있어 메타버스 서비스에 폭넓게 적용이 가능할 것으로 보인다[17].

2-4 메타버스 애플리케이션 설계 요소

본 연구는 증강현실을 사용한 라이브 스트리밍 애플리케이션을 디자인하기 위해 선행 연구를 검토하였다. 스트리밍 애플리케이션과 AR애플리케이션 연구를 중점적으로 살펴봤으며, 확인된 설계 요소는 다음과 같다. 이상호 외 4명은 스트리밍 애플리케이션의 설계요소를 '간단한 로그인', '간편한 스트리밍', '후원'으로 정했다[18]. 또한 이세빈 외 4명은 동시 송출 시스템의 중요 요소를 '공연자의 움직임 추적'과 '가상 아바타 콘서트 클라이언트'로 보았다[19]. 마지막으로 나지영, 황용준은 AR 메타버스 애플리케이션의 설계에 필요한 요소를 '아바타', '수익구조', '재미요소', '소셜' 등 4가지로 보았다[20]. 자세한 내용은 표 1과 같다. 본 연구에서는 나지영, 황용준의 설계 요소 중 수익구조, 재미요소, 소셜과 본 연구의 핵심 기술인 AR을 활용해 애플리케이션을 디자인하고자 한다.

Metaverse application design


Ⅲ. AR 공연 애플리케이션 전체 구성도

3-1 개요

본 연구의 목표는 사용자가 AR 증강현실을 통해 가면을 쓰고 실시간 온라인 공연을 진행하는 것이다. 페이스 트래킹 기술로 구현된 가면은 공연자가 원하는 대로 커스터마이징할 수 있으며, 주위 배경도 꾸밀 수 있다. 시청자는 공연자가 만든 메타버스 공간에 자신의 캐릭터를 배치할 수 있으며, 특수 효과나 오브젝트 배치 등의 기능을 통해 공연자의 퍼포먼스에 호응하거나 후원할 수 있다. 시청자는 머리와 상체, 하체를 커스터마이징할 수 있다. 또한, 자신이 좋아하는 공연자의 공연 일정을 확인할 수 있다. 애플리케이션은 업적이라는 시스템을 통해 공연자와 시청자가 특정 행동을 했을 때 새로운 커스터마이징이 해금되거나 추가되는 등의 보상을 받을 수 있다.

애플리케이션을 시작하면 로그인 화면이 출력된다. 메인 로고와 로그인 입력창, 회원가입 버튼, 소셜 로그인 버튼 등이 있으며 아이디 혹은 비밀번호를 잊었을 때를 위한 아이디/비밀번호 찾기 버튼도 있다. 로그인 후 자신이 어떠한 역할로 애플리케이션을 사용할지 선택하는 화면이 출력되며, 공연자와 시청자로 구분되는 버튼이 있다. 사용자는 체크박스를 통해 애플리케이션이 사용자의 역할을 기억하도록 설정할 수 있다. 역할을 선택하면 메인 화면으로 전환된다. 자신의 역할에 따라 공연자 또는 시청자의 메인화면이 출력된다. 공연자 메인화면의 구성은 그림 1과 같고 시청자 메인 화면은 그림 2와 같다.

Fig. 1.

Main screen – performer

Fig. 2.

Main screen - viewer

3-2 공연자 모드

공연자 역할을 선택한 경우, 메인 공연을 준비하는 화면으로 전환된다. 카메라 화면에 공연자의 얼굴이 보이면 페이스 트래킹 기능을 통해 얼굴을 인식하고 사용자의 얼굴에 AR 가면이 씌워진다.

또한, 우측 하단의 AR 가면 변경 버튼을 누르면 자신이 원하는 가면으로 즉시 변경할 수 있다. 좌측 하단의 AR 배경 변경 버튼을 누르면 주위 배경을 꾸미거나 변경할 수 있다. 스토어를 통해 다양한 가면과 배경, 효과, 오브젝트 등을 구매할 수 있다.

(https://drive.google.com/file/d/16USEEw4mSmfI94H3g9VCelzMMI_UnUEo/view?usp=sharing)을 통하여 공연자 모드, 개발 프로토타입 영상을 확인할 수 있다.

3-3 시청자 모드

시청자 역할을 선택한 경우, 공연자들의 실시간 방송 목록이 화면에 가득 표시된다. 시청을 원하는 실시간 방송을 선택하여 바로 공연을 시청할 수 있다. 시청자 모드에서는 시청자가 자신의 AR 캐릭터를 배치할 수 있으며, 우측 아래 AR 설정 버튼을 통해 변경할 수 있다. 시청자는 후원을 통해 다양한 AR 특수효과나 오브젝트를 배치할 수 있다. 스토어를 통해 자신의 취향에 맞는 다양한 캐릭터 파츠와 AR 특수효과, 오브젝트 등을 구매할 수 있다.


Ⅳ. 디자인 구현 및 설계 요소

4-1 구현 환경

애플리케이션은 온라인 방송에 관심 있는 이용자를 타깃으로 디자인하였다. 디자인은 포토샵(Photoshop) 프로그램을 활용하였으며, 안드로이드 애플리케이션에 최적화하여 AR 기술을 적용했다. AR 기술을 사용한 이유는 해당 애플리케이션을 통해 공연자의 익명성을 강조하고 비용과 야외사용성을 고려했을 때, PC 프로그램이나 VR보다 AR 기술이 적합하다고 판단했기 때문이다.

4-2 AR 애플리케이션 디자인

1) 애플리케이션 시작페이지 디자인

애플리케이션을 실행하면 아이디와 패스워드를 입력하는 창이 나오며, 소셜 간편 로그인이나 회원가입을 통해 새로운 계정을 생성할 수 있다. 로그인 후 공연자와 시청자를 선택하여 애플리케이션을 사용한다(그림 3).

Fig. 3.

Login, performer, and viewer selection screen

2) 공연자 모드 디자인

본 연구에서 디자인한 공연자 모드의 기능은 다음과 같다(그림 4).

Fig. 4.

Perfomer mode screen

  • - 배경설정: 스토어에서 구매한 배경 이미지와 배경 효과, 오브젝트 등을 설정하여 자신만의 공연 장소를 꾸밀 수 있다.
  • - 가면설정: 스토어에서 구매한 가면을 페이스 트래킹을 통해 공연자 자신에게 알맞게 설정할 수 있다.
  • - 시청자 목록: 시청자 목록 화면에서 시청자 설정 버튼을 클릭 시 해당 시청자의 음성 채팅을 허용하여 대화를 나누거나 함께 노래를 부르는 등 다양한 상호작용을 할 수 있다.
3) 시청자 모드 디자인

본 연구에서 디자인한 시청자 모드의 기능은 다음과 같다(그림 5).

Fig. 5.

Viewer mode screen

  • - 도네이션: 라이브 시청 화면 하단에 왕관 모양 버튼을 클릭하여 원하는 금액과 AR 기능을 선택하여 공연자에게 후원할 수 있다.
  • - AR버튼: AR 버튼을 통해 캐릭터, 이펙트 확인 등의 설정이 가능하다.
4) 설정 화면 디자인

본 연구에서 디자인한 설정 화면의 기능은 다음과 같다(그림 6).

Fig. 6.

Setting screen

  • - 설정 화면: 시청자와 공연자 모두 마이크를 설정할 수 있다. 공연자의 경우 라이브도 설정이 가능하다.

4-3 AR공연애플리케이션 설계 요소

1) AR 요소

애플리케이션은 AR 기술을 활용하여 가면, 배경, 캐릭터를 만들었으며, 기본적으로 제공하는 가면, 배경, 캐릭터를 사용할 수 있다. 상점에서 판매하는 가면, 배경, 캐릭터를 구매하면 사용이 가능하다. 또한, 자신이 커스터마이징한 가면, 배경, 캐릭터는 상점에 판매할 수도 있다.

2) 수익구조

시청자가 공연자에게 후원하는 금액의 일정 부분을 수수료로 가져올 수 있다. 또한 상점에서는 가면, 배경, 캐릭터의 제작 및 판매가 가능하다.

3) 재미요소

공연자는 배경과 가면 등 AR 요소를 원하는 대로 설정하여 방송을 진행할 수 있으며, 시청자는 도네이션 기능과 AR 요소를 활용하여 공연화면에 AR이펙트를 띄우거나 공연자와 함께 노래를 부르는 등 상호작용을 통해 재미를 느낄 수 있다. 또한, 사용자는 직접 배경이나 가면을 제작하여 공유하거나 판매할 수 있다.

4) 라이브 스트리밍

공연자는 스트리밍 채널 등 커뮤니티를 통해 지난 라이브 방송이나 짧게 편집한 영상을 업로드할 수 있으며, 공지사항을 올리거나 시청자와 댓글로 소통할 수 있다.

Fig. 7.

Store screen

Fig. 8.

AR effect and live streaming screen


Ⅴ. 결 론

본 연구는 공연 시장의 활성화를 위해 메타버스 AR 기술을 활용한 공연 애플리케이션을 제안하였다. 코로나19의 확산과 사회적 거리두기 시행으로 인해 공연예술산업계는 활동에 큰 제약을 받게 되었고, 이에 대응하기 위해 비대면 온라인 산업에 주목하였다[21]. 공연예술산업계는 생존을 위한 돌파구로 콘텐츠의 온라인화를 추진하게 되었으며, ‘온라인 공연 스트리밍 서비스’라는 새로운 방식에 주목하게 되었다. 특히 메타버스를 이용한 공연 애플리케이션은 공연에 현장감을 부여하고 공연자와 관객 사이의 실시간 소통을 통해 상호교감을 이뤄낼 수 있다[22].

본 연구에서는 코로나19 이후 공연예술산업계의 현황과 증강현실 공연 애플리케이션 관련 선행 연구, 공연 시장 사례 연구를 살펴보았다. 이를 통해 메타버스 공연 애플리케이션의 디자인 및 개발 필요성을 확인하였으며, 나지영, 황용준의 설계요소를 활용해 AR 공연 애플리케이션을 제안하였다. 본 연구에서 설계한 AR 공연 애플리케이션은 실시간으로 방송을 진행하여 시청자와 소통할 수 있고, AR 가면을 통해 외모에 자신이 없어도 익명성을 통해 온라인 공연을 진행할 수 있다.

본 연구의 의의는 다음과 같다. 첫째, 메타버스 공연 애플리케이션의 시장 현황, 사례 분석, 설계 요소 분석을 통해 애플리케이션을 제안하였다는 점이다. 메타버스 공연 관련 시장은 활성화되고 있으나, 관련 연구는 현저히 부족한 상황이다. 특히, 메타버스 공연 애플리케이션 관련 연구는 전무하다. 본 연구에서는 선행 연구를 통해 공연 애플리케이션 설계에 필요한 요소를 수익구조, 재미요소, 소셜, AR로 정의하였으며, 이를 바탕으로 공연 애플리케이션을 디자인하였다. 현재 공연 시장은 코로나19 이후 온라인으로 전환하는 추세인데, 향후 공연예술산업계에서 메타버스 시장이 활성화된다면 본 연구의 결과가 메타버스 공연 애플리케이션의 기초 자료 혹은 참고 자료로 활용될 수 있다.

둘째, 메타버스 AR 공연 애플리케이션을 제안함으로써 공연예술산업의 콘텐츠로 활용할 수 있다는 점이다. 본 애플리케이션은 공연자들의 공연 빈도를 증가시키고 관객들의 참여도를 높여 메타버스 공연의 지속적인 활성화에 기여할 것이다. 특히 온라인 공연의 빈도가 증가하면 메타버스 콘텐츠 창작자와 기술자 등 다양한 직종이 생겨나고 메타버스 공연 플랫폼과 콘텐츠가 늘면서 침체된 공연예술산업계의 활성화로 이어질 것으로 기대된다.

한편, 본 연구는 사용성 평가를 하지 않았다는 점에서 한계가 있다. 하지만 본 연구서 제안한 메타버스 플랫폼은 익명성과 소통을 강조하며, 노래나 악기 연주 등 다양한 공연이 가능하다. 특히 자신감이 부족한 사람도 본 애플리케이션을 통해 가면을 쓰고 라이브 스트리밍 공연을 진행할 수 있다는 점에서 그 의의가 있다. 끝으로 몇몇 한계점을 보완한 후속 연구를 기대한다.

References

  • S. W. Hong, H. J. Kim, H. J. Kim, and D. U. Lee, A Report on the Status of Damage in Performing Arts by COVID-19, Korea Arts Management Service: Korea, Research and Evaluation 2020-05, May 2020.
  • S. J. Chae and N. G. Cho, “The Impact of Coronavirus(COVID-19) on the Domestic Performing Arts Market,” Journal of Korean Society of Dance Science, Vol. 39, No. 2, pp. 97-111, April 2022. [https://doi.org/10.21539/Ksds.2022.39.2.97]
  • J. Y. Yi, “Development and Direction of Online Theater after COVID-19 - Focusing on the ‘Online Theater’ of the National Theater,” Journal of Korean Culture, Vol. 57, pp. 185-218, May 2022. [https://doi.org/10.35821/jkc.2022.05.57.185]
  • Y. J. Jung and H. S. Baek, “Analysis of Metaverse Application Cases in Untact Performance and Prospect of Dance Performance,” Journal of Korean Society of Dance Science, Vol. 39, No. 4, pp. 213-235, December 2021. [https://doi.org/10.15726/jkd.2021.39.4.009]
  • M. H. Kim, “A Study on Performance Planning in the Metaverse Era,” Journal of International Culture & Arts, Vol. 3, No. 2, pp. 29-46, December 2022. [https://doi.org/10.46506/jica.2022.3.2.029]
  • J. H. Koo, C. G. Lee, J. H. Park, G. Y. Lee, H. D. Lim, and M. S. Yoon, Understanding of the Metabus Industry and Policy Challenges, Korea Development Institute: Korea, Service Economy Research 2021-01, December 2021.
  • National Institute of the Korean Language. Standard Dictionary. Available: https://stdict.korean.go.kr/search/searchView.do#wordsLink
  • J. S. Kim and H. K. Han, “Changes in the Performance Industry Due to Social Distancing : Case Analysis of Online Performance Platforms,” Journal of Korea Entertainment Industry Association, Vol. 15, No. 5, pp. 1-17, July 2021. [https://doi.org/10.21184/jkeia.2021.7.15.5.1]
  • J. E. Min, “A Study on the Development of Online Performance Industry Ecosystem after COVID-19 : Focusing on the Service Value Network of the French Online Performance Market,” Journal of Arts and Cultural Management, Vol. 15, No. 1, pp. 57-85, April 2022. [https://doi.org/10.15333/ACM.2022.04.30.57]
  • H. R. Oh and Y. J. Lee, “Factors Affecting Innovation Resistance on Metaverse Platform,” Cartoon & Animation Studies, Vol. 1, No. 70, pp. 481-513, March 2023. [https://doi.org/10.7230/KOSCAS.2023.70.481]
  • Y. Y. Kim and J. H. Cho, “The Future of the Metaverse Performance in the Post-COVID Era,” Korean Journal of Arts Education, Vol. 20, No. 4, pp. 81-96, December 2022.
  • The Korean Academy of Science and Technology, What are the Overcome Challenges and Solutions for the Implementation and Positive Use of the Metaverse? The Voice of the KAST, No. 92, pp. 3-5, July 2021.
  • Y. Wang, China Virtual Reality (VR/AR) Based a Study on the Development Plan of Online Performances, Ph.D. Dissertation, Sangmyung Universiy, Seoul, Korea, 2022.
  • W. J. Kim, “A Study on the Perceived Value and Continuous Use Intention of Augmented Reality Applications - Focused on the Value-Based Adoption Model-,” Journal of D-Culture Archives, Vol. 6, No. 1, pp. 169-186, April 2023. [https://doi.org/10.23089/jdca.2023.6.1.009]
  • M. H. Kim, “A Study on Performance Planning in the Metaverse Era,” Journal of International Culture & Arts, Vol. 3, No. 2, pp. 29-46, December 12. [https://doi.org/10.46506/jica.2022.3.2.029]
  • J. H. Hwang, Live Streaming Platform Analysis of Popular Music Online Concerts, Master’s Thesis, Chung-Ang University, Seoul, Korea, August 2021.
  • Y. S. Lee and S. K. Song, “Analysis and Prospect of Virtual Streaming Service Using Metaverse Technology,” The Journal of the Korea Contents Association, Vol. 23, No. 1, pp. 324-333, January 2023. [https://doi.org/10.5392/JKCA.2023.23.01.324]
  • S. H. Lee, Y. S. Choi, J. B. Park, M. H. Kim, and Y. J. Kim, “A Study of an Android Application Implementation for Real-Time Streaming Service,” Journal of the Korean Information Processing Society, Vol. 26, No. 1, pp. 316-319, 2019. [https://doi.org/10.5392/JKCA.2023.23.01.324]
  • S. B. Lee, G. M. Lee, S. K. Han, S. H. Jeong, and J. J. Lee, “A Simulcast System for Live Streaming and Virtual Avatar Concerts,” Korea Computer Graphics Society, Vol. 29, No. 2, pp. 21-30, January 2023. [https://doi.org/10.15701/kcgs.2023.29.2.21]
  • J. Y. Na and Y. J. Hwang, “Study on AR Meteverse Application Design for Vitalization of Tourist Industry,” Journal of Digital Contents Society, Vol. 23, No. 12, pp. 2345-2354, 2022. [https://doi.org/10.9728/dcs.2022.23.12.2345]
  • K. H. Joy, “The Performing Arts and the Metaverse,” Korean National Research Center for the Arts, Vol. 1, No. 37, pp. 69-91, October 2022. [https://doi.org/10.20976/kjas.2022..37.004]
  • H. N. Lim and J. H. Cho, “The Consilience between Metaverse and Performing Arts : Focusing on the Remediation Theory,” Journal of the Korea Entertainment Industry Association, Vol. 16, No. 3, pp. 107-124, April 2022. [https://doi.org/10.21184/jkeia.2022.4.16.3.107]

저자소개

박종혁(Jong-Hyeok Park)

2017년~현 재: 남서울대학교 컴퓨터소프트웨어학과

※관심분야:게임 기획(Game Planning), 소프트웨어 설계(Software Design) 등

안한영(Han-Yeong Ahn)

2019년~현 재: 남서울대학교 멀티미디어학과

※관심분야:메타버스 기획(Metaverse planning), 애플리케이션(Application)

허신녕(Shin-Nyeong Her)

2017년~현 재: 남서울대학교 멀티미디어학과

※관심분야:메타버스 기획(Metaverse planning), 게임(Game)

이강호(Gang-Ho Lee)

2017년~현 재: 남서울대학교 멀티미디어학과

※관심분야:메타버스(Metaverse), 버츄얼 휴먼(Virtual Human)

전성진(Seoung-Jin Jun)

2018년~현 재: 남서울대학교 지능정보통신공학과

※관심분야:메타버스(Metaverse), 게임(Game)

이세현(Sae-Hyun Lee)

2018년~현 재: 남서울대학교 지능정보통신공학과

※관심분야:메타버스 기획(Metaverse Planning), 애플리케이션(Application)

나지영(Ji-Young Na)

2015년:광운대학교(게임학 전공, 석사)

2019년:이화여자대학교(융합콘텐츠 전공, 박사)

2023년~현 재: 남서울대학교 가상현실학과 교수

※관심분야:메타버스(Metaverse), 뉴미디어콘텐츠(New Media Content), 게임(Game) 등

Fig. 1.

Fig. 1.
Main screen – performer

Fig. 2.

Fig. 2.
Main screen - viewer

Fig. 3.

Fig. 3.
Login, performer, and viewer selection screen

Fig. 4.

Fig. 4.
Perfomer mode screen

Fig. 5.

Fig. 5.
Viewer mode screen

Fig. 6.

Fig. 6.
Setting screen

Fig. 7.

Fig. 7.
Store screen

Fig. 8.

Fig. 8.
AR effect and live streaming screen

Table 1.

Metaverse application design

Name Contents
Lee et al., (2019) - Integration with existing portal accounts, allowing users to log in without the need for registration.
- Users should be able to conduct live broadcasts through their device’s camera.
- During live viewing, there should be an option for easy payments to support the performers.
Lee et al., (2023) 1. Tracking Performers’ Movements
- Performers should be able to wear regular clothing without the need for additional equipment
- Real-time tracking of the performers’ movements and expressions to control avatars

2. Virtual Avatar Concert Client
- Viewers can connect as audience avatars, but other avatars should not disrupt the performance.
- It should be compatible with VR HMD devices for an immersive experience.
Na & Hwang (2022) - Avatars should serve as replacements for users in the gaming context and allow personalization.
- Users should be able to produce and sell content in addition to being content consumers.
- Integration with entertainment services to include elements of fun.
- Users should be able to form communities based on their interests.