뉴미디어아트의 무대 디자인에서의 활용 :LOL글로벌파이널개막식을중심으로

뉴미디어 아트의 가장 현저한 특징은 복제성과 상호작용성이다. 복제라는 개념이 원본의 의미를 퇴색시키고 기계를 통한 복제의 시대를 지나 원본의 질을 훼손시키지 않는 디지털 복제의 시대를 맞이했다. 이런 디지털 기술은 같은 공연을 여러 도시에서 할 수 있고 각지의 관객들이 똑같은 공연을 즐길 수 있게 한다. 기존의 예술작품이 관객에게 요구했던 수용방식은 주로 감상(appreciation)과 관조(contemplation)였다. 그러나 현대의 디지털 매체 예술은 근대 예술이 강조했던 참여(participation)를 넘어 상호작용(interaction)을 통한 작품의 체험을 관객에게 요구한다[1]. 이런 상호작용성은 무대 디자인을 더욱 풍부하고 다채롭게 한다.

뉴미디어 무대 디자인은 발전의 여지가 많다. 현재 무대 디자인에서의 청각 디자인과 시각 디자인은 뉴미디어 기술을 사용하여 관객의 체험감을 높일 수 있다. 관객의 집중도를 높이는 XR기술, 시각 충격을 주는 3D 홀로그램기술, 신선함을 주는 Aerobanquets RMX 등 다 무대 디자인에 활용할 수 있으나 한계가 있다. 요즘 같은 과학기술 시대에 예술이 사람들의 생활에서 차지하는 비중이 커지고 사람들의 미적 욕구가 높아지는 만큼 이 두 가지 특징을 출발점으로 삼아 새로운 미디어 기술이 무대 디자인에 어떻게 적용할 것인가에 대해 검토할 필요가 있다.

뉴미디어 아트는 복제성이 있다. LOL 전체 대회 중 가장 유명한 대회로 리그오브레전드는 11번 열렸다. 2016년 LOL 결승전의 최고 동시 시청자수가 3600만명을 넘어서며 NBA 결승전 관객 수를 처음으로 앞질렀다. 2018년 글로벌 파이널은 결승전에서 분당 관중수(AMA)가 1960만명이며, 2019년 글로벌 파이널은 결승전에서 분당 관중수(AMA)가 2180만명이다. 지난해 20여 개 플랫폼에서 16개 언어로 방송된 LOL 2020 글로벌 파이널은 총관람 횟수가 10억 회를 넘었다. 올해 글로벌 파이널은 결승전에서 분당 관중수(AMA)가 30604255명으로 2020년보다 32.82% 증가했다. 또 73860742명의 동시 관람 인원은 2020년에 비해 60.33% 증가했다[2]. 이용자 경험 요구가 높아지면서 라이브 효과에 대한 재생 방식 요구도 높아지고 있다. 그리고 온라인 생중계 피크타임의 사용자 경험을 보장하기 위해 저장, 컴퓨팅 등 자원의 탄력적 확장은 미들웨어에도 더 요구된다. 5G 등 신기술의 발전은 공연을 더 많은 관객에게 선사했다. LOL 경기 중국 중계사 중 하나인 중국 생방송 회사 투어는 현재 AR/VR 기반의 혁신적인 재생 방식을 더 많이 제공하고 화웨이의 클라우드 알고리즘 기술을 결합해 사용자들에게 더 나은 사용자 체험을 선사하는 생방송 분야를 새로운 시대로 이끌고 있다.

Fig. 1.

2018-2021 LOL Grand Final Viewing Statistics

AI는 1950년 튜링이 발표한 논문 <컴퓨팅 기기와 지능>에 처음 언급돼 1956년 다트머스 회의에서 정식 이름이 붙었다. 수십 년에 걸친 AI 기술 발전, 특히 최근 크로스오버 사고, 청각장애인에 대한 배려로 투어 등 생방송 플랫폼이 S11 글로벌 파이널에 AI 자막 기능을 속속 적용하고 있다. 10-30S로 자막을 인식할 수 있었던 기존 수준과 달리 AI 자막은 정확도가 가장 높으며 지연 가능성이 낮다.

첨단 생방송 기술은 스크린 앞 관객에게 현장 관객과 차별화된 무대 연출 체험을 선사했다. 창작자에게는 스크린 앞 관객을 위해 무대 디자인을 하는 데 큰 창작의 공간이 있다. 분당 관중수(AMA)는 계속 늘어날 수 있다고 말했다.

2021년 11월 6일 끝난 LOL S11 글로벌 파이널 개막식은 코로나19때문에 현장 관객이 없어 무대 디자인 창작의 여지가 컸다. 게임 캐릭터 킴케스를 무대에 등장시켰을 뿐 아니라, 반 현실 설치 반 가상의 기술을 이용해 가수를 게임 속 도시 조안에 들여보냈다. 앞으로 글로벌 파이널 무대 디자인의 발전 방향은 생방송 시청자들뿐만 아니라 현장에 있는 시청자들에게도 신선하게 다가갈 수 있을 것이다.

Fig. 2.

2021 LOL World Finals Show

뉴미디어 아트는 상호작용성이 있다. 현 단계 뉴미디어 기술은 무대 디자인에 가장 많이 적용되는 AR(Augmented Reality) 과 VR(Virtual Reality) 기술이다. VR(Virtual Reality)이라 일컬어지는 가상현실은 예술의 영역, 특히 시각예술의 분야로까지 파급되어 사람의 근본적인 지각요소인 공간감각, 리얼리티 개념, 신체감각 등에 관여하여 사물을 보는 방식을 바꾸는 동시에 미디어아트 분야의 새로운 장을 여는데 기여하고 있다[3]. VR기술은 객체를 가상 이미지로 만드는 반면 AR 기술은 늘어난 정보를 가상으로 만들어 현실 감각을 높이고 현실에서 정보를 제공하는 기술이다. 그리고 MR(Mixed Reality) 기술은 퓨전현실 기술인데 물리적 실체와 가상 정보가 결합하는 방식은 영화, 드라마, 라이브 공연의 미래 트렌드다. 이 기술들은 모두 가상 기술이며 가상 기술은 시각, 청각, 촉각, 심지어 미각까지 구현하는 가상 세계와 현실 세계가 결합된 기술이다. 이 때문에 가상 기술은 3d 홀로그램, 인간-컴퓨터 상호작용(Human Computer Interaction) 등 다양한 뉴미디어 기술과 결합해 가상과 현실이 융합된 '세계' 를 구현하게 된다.

Fig. 3.

2018 LOL Augmented reality performance

Riot Game는 매년 LOL(League of Legends)의 글로벌 결승전을 개최하는데 대회 개막식 무대 디자인에 적용되는 뉴미디어 기술에 대한 논의가 몇 년째 뜨겁다. 2017년 중국 북경에서 열린 개막식에는 AR 기술을 이용해 게임 속 큰 용을 경기장에 등장시켰다. 그리고 2018 년 한국 인천에서 열린 개막식에서 Riot Game는 AR 기술과 실황 중계방송을 결합시켜 가상 아이돌을 실제 가수과 한 무대에서 공연하게 한 것은 2017 년 가상 큰 용에 이어 또 하나의 무대 디자인이다. 또한 2020 년 중국 상해에서 열린 개막식에서 무대 디자인에 좀 더 획기적인 XR (Extended Reality) 기술을 적용하는 시도는 스포츠 생방송에서 처음이었다. 2020 글로벌 결승전은 특수효과 회사인 Lux Machina가 만든 가공의 엔진 기술이 적용돼 사상 처음으로 멀티 카메라 실시간 생중계가 진행되었다. 이 시스템은 세계 최고의 퓨전현실 하드웨어 시스템을 갖추고 있으며 32K 해상도와 초당 60프레임으로 실시간 렌더링을 진행한다.

Fig. 4.

2020 LOL Extended reality performance

XR은 AR, VR, MR을 모두 지원할 수 있는 새로운 형태의 웨어러블 기기들이 등장하면서 나온 용어로 퀄컴이 2018년 XR 플랫폼 스냅드래곤 XR1을 출시하고 2020년 마이크로소프트가 XR 글래스를 출시하면서 사용되기 시작했다. 현실 확장이 가능하고 AR, VR, MR 등의 기술이 어우러져 관객들로 하여금 다양한 가상 기술이 결합된 장면을 체험할 수 있게 한다. 무대 디자인에 적용되어 관객의 체험감을 크게 끌어올릴 수 있다. 중국 CCTV 의 주건 감독은 XR 기술이 무대 디자인에 사용되어 대부분의 무대 소품을 가상영상으로 대체해 제작비용을 절감했다고 보고 있다. 동시에 XR 기술현장 직접이미징의 특성도 후기 제작 시간을 단축했다[4].하지만 VR 기술로 360도 몰입감 있는 무대 디자인을 만들려면 웨어러블 기기가 필요하다. 사진으로 보여지는 XR 디자인은 웨어러블 기기가 필요없지만 고정된 촬영각도가 필요하다.그래서 XR 기술은 라이브 무대에 적용하는 데에 한계성이 있다.

몰입감은 물체가 물에 들어가 물에 싸인 느낌이다. 몰입형 공간에서 인간과 가상 세계 사이에는 많은 인터랙티브 형식이 존재한다. 몰입감을 주기 위해서는 기술이 중요하다. 관객의 오감과 인터랙티브하면, 관객은 몰입감을 느낄 수 있다.

(1) 시각 디자인의 향상된 공간

Fig. 5.

‘wave’ from D' strict

이 작품은 'wave'이며, 한국 회사 디스트릭트이 S.M.Entertainment회사 옥상 스크린를 위해 제작됐다. LED 스크린으로 3D의 충격을 준다. 무안경 입체 3D(Naked-Eye 3D)는 안경 등 장비의 사용이 없이 입체적인 시각효과를 내는 기술의 통칭이다. 사람의 두 눈 사이의 시각차를 이용해 시청자의 좌우 두 눈에 서로 다른 화면을 전달해 입체적인 시각을 구현한다.옥외 3D 대형 화면 콘텐츠는 일반적으로 브랜드 홍보, 마케팅에 사용된다. 현재 옥외 대형 화면에서 볼 수 있는 3D 콘텐츠의 99% 는 비디오 파일 재생으로 드러난다. 이 비디오는 제작 전에 실제 장소에서 최적의 시청 위치를 설정하고 평가해야 하며, 다음에 3D 소프트웨어에서 재현한다. 콘텐츠 제작은 일반적으로 3DMAX/MAYA 를 사용하여 3D 모델링을 수행하고, 완성된 비디오 콘텐츠를 AE 소프트웨어로 처리하고 비디오를 현장에 복사하여 사용한다[5]. 이를 무대 디자인에 적용하는 것은 실현가능한 것이다.

Fig. 6.

2020 LOL Naked-Eye 3D Show

2020년 LOL 글로벌 파이널 개막식에서도 스크린 결합 화면 디자인으로 3D 안경 없이도 3D 효과를 느낄 수 있도록 했다. 공연장이 좁고 실내에 있었다. 그래서 현재의 시각과 청각 디자인은 현장의 관객들의 체험을 향상시키는 데 아직 발전할 여지가 많이 있다. 특별한 기술이 다양한 현장에서 진행 되지 않기 때문이다. 현재 있는 대부분의 기술은 제한 조건이 많다. 예를 들어 2018년 LOL 개막식에서 가상 아이돌이 무대에서 공연하는 장면은 관객들이 LED 스크린에서만 화면을 볼 수 있었다. 사실 가상 캐릭터가 무대 위에서 관객에게 공연을 펼친 전례도 있지만, 일본 가상 아이돌 하츠네 미쿠의 콘서트는 3D 홀로그램으로 구현됐다. 그러나 이런 기술로는 2017년 리그오브레전드 개막식 행사장에서 상공적으로 보여준 큰 용 같은 장면은 아직 완성할 수 없다. 3D 홀로그램은 간섭과 회절의 원리를 이용해 물체의 실제 모습을 기록하고 재현하는 기술이다. 3D 홀로그램은 입체적인 공중환상을 만들어낼 뿐 아니라 공연자와 시너지를 내면서 함께 공연을 완성하는 충격적인 연출효과를 낸다. 하지만 3D홀로그램은 공기와 빛에 대한 요구가 커서 대형 노점에서는 이 기술을 사용하기가 어렵다.

Fig. 7.

front-projected holographic display performance-Japanese virtual idol concert

(2) 청각 디자인의 향상된 공간

청각 디자인은 무대 디자인에서 빠질 수 없는 부분이다. 청각 디자인이 없으면 무대 디자인은 영혼이 없다. 2017년 LOL 글로벌 파이널 개막식에서 AR 드래곤과 함께 울부짖는 듯한 사운드로 관객의 체험감을 끌어올려 관중들이 실제 드래곤을 보고 있는 것처럼 느꼈다. 사운드 디자인은 고품격 무대 연출에서 빼놓을 수 없는 부분이다. 로마 제국주의 시절 라이브 공연에 더 유리한 음향 환경을 만들려는 시도가 있었고, 로마 원형극장은 반원형 디자인과 층별 좌석 구역으로 유명해 관객들의 관심을 공연 구역으로 집중시켰다. 무대집중도를 높일 뿐만 아니라 소리 감쇠도 최소화해 소리가 멀리 전달되도록 하는 방식이다. 과학기술의 발전에 따라 현재의 음향 설비는 이미 많은 청각 디자인를 만족시킬 수 있게 되었다.

현장의 우수한 무대 디자인은 시각과 청각의 결합이 중요한데 청각장애인의 경우 청각 디자인를 체감할 수 없다. 청각장애인의 관람 체험을 배려해 2021년 중국 LPL(League of legends Pro League) 경기구는 무장애 관람 채널을 만들어 LPL 경기를 즐기는 청각장애인들에게 수화 해설을 제공했다. 그리고 LPL 월드 결승전 개막식의 경우 주제곡 선정이 매우 중요하다. 매년 Riot Game회사에서는 월드 결승전을 위해 한 곡의 주제곡을 내놓는데, 이 주제곡은 LOL 경기의 정신을 담고 개막식에서 가수가 라이브로 노래한다. 청각장애인들도 이 감정을 어떻게 나눌 수 있을지도 미래 무대 사운드 디자인에서 고민해야 할 부분이다. 좋은 청각 설계는 소리 디자인만이 아니라 감정 디자인이다. lpl의 정신은 경기력이며 마지막 순간까지 최선을 다하는 의지이며 동료에 대한 믿음이며 승리에 대한 갈증이다. 또 오감이 서로 통하기 때문에 한편으로는 시각화면의 감동은 청각장애인을 감염시킬 수 있고, 다른 한편으로는 청각장애인을 위한 전용 좌석을 설치해 골전도(骨導導)를 통해 청각 설계의 매력을 느낄 수 있도록 할 수 있다. 골전도시트는 세계적으로 많은 의료기기 회사에서 연구개발을 하고 있다. 예를 들어 2019년 중국 의료기기 회사 발명한 골전도시트, 시트 베개에 (1), (2)인체의 머리부분에 전기진동 기구가 설치되어 있으며, 이 전기 진동 기구 (3)은 오디오 제어 장치 (4) 신호와 연결되어 있다. 그리고 유도식 보조 스피커(5)는 보조 오디오 신호를 전송하고 음질을 업그레이드하며, 이 오디오 제어 장치는 음원의 오디오 신호를 전기 진동 기체에 전송하여 골도체 청각을 발생시킨다[6]. 이 기술은 앞으로 청각 장애인을 위한 무대 디자인에도 응용될 것으로 보인다.

Fig. 8.

Bone conduction seat design from Cheng Feng&Cheng Ming

(1) 촉각 디자인의 구상

촉각은 피부의 감각으로 가벼운 기계적 자극이 피부를 자극하면 뇌의 감각 수용체가 자극된다[7]. 촉감이란 접촉으로 인한 반응을 말하는데, XR 기술의 촉감 체험은 사람이 접촉했을 때의 느낌을 시뮬레이션하는 것이다. 실체에 대한 터치 없이도 촉각 반응이 가능하다. 5D 영화에서는 스크린 속 비오는 화면에 스프링클러를 이용해 실제 비 속에 있는 듯한 느낌을 준다. LOL개막식 같은 기술을 적용해 게임 속 광파를 만지고, 실체 촉각 장비와 결합하면 가상과 실체의 융합이 가능하다. 감독은 XR 기술과 스프링클러를 결합시켜 게임 속 환상적인 폭포 협곡을 체험할 수 있다. 2018년 인도 팀 Kaaya Tech가 개발한 XR 디바이스 HoloSuit를 선보였는데, 이 디바이스는 점프슈트 한 벌과 커버 한 벌, 트레이닝팬츠 한 벌만 들어 있었다. 그리고 양팔, 두 다리와 손가락에 26~36개의 소자가 분포돼 있어 실제에 가까운 촉각 경험을 할 수 있다. 또한 와이파이와 블루투스 링크를 통해 HoloSuit의 잠재적인 애플리케이션이 가능하도록 했다. 이를테면 공연용이다. 이 기술은 작은 전시회에 적용하는 것은 가능하지만 대형 라이브 공연에는 어렵다.그 이유는 장비도 복잡하고 가격도 비싸기 때문이다.

Fig. 9.

HoloSuit from Kaaya Tech

(2) 미각 디자인의 구상

요즘 몰입형 레스토랑이 유행하고 있다. 투영 등 뉴미디어 기술을 통해 식사를 재미있게 할 수 있다. 이렇게 밥을 먹으면 밋밋하던 음식이 맛있어진다고 생각하는 이유는 사람의 감각이 연동되기 때문에 시각 청각 미각 촉각이 모두 체험적으로 느껴지면 집중도가 더 높아진다.

Fig. 10.

immersive restaurant—Spoon&Tamago

몰입형 레스토랑은 프로젝션, XR 등의 기술을 통해 식사 환경을 꾸민다. 수단을 통해 소비자는 식사 중 브랜드 아이덴티티와 분위기를 느낄 수 있도록 한다. 몰입형 레스토랑은 소비자들에게 음식 이외의 감각적 경험을 제공함으로써 음식 자체에 대한 소비자의 체험감을 높인다.

미각감지상 미각은 혀에서 나온다고 알려져 있지만 사실 시각, 청각, 후각, 심지어 기억의 작용에서도 미각체험을 할 수 있다. 미각체험을 복제하고 싶으면 눈, 귀, 심지어 기억 등에서 시작할 수 있다. 사람이 꿈을 꿀 때 실제로 먹는 것처럼 맛을 보는 것은 바로 기억 때문이다. James Beard Foundation 최근 출시한 Aerobanquets RMX는 XR 체험을 통해 미각의 감각을 모방했다.

Fig. 11.

Aerobanquets RMX XR taste experience —freebuf.com

상하이 디즈니랜드의 유명한 5D 프로젝트인 '지평선을 뛰어넘다'는 스크린에 나오는 화면에 맞춰 극장 내 방향제가 뿌려져 관객에게 마치 실제와 같은 느낌을 준다. 미각과 후각은 떼려야 뗄 수 없는 것으로 LOL개막식에서‘바람결에 들려오는 쓴맛은 회한의 냄새인가?’ 라는 LOL 게임 캐릭터 요네의 명대사는 그 예로 들 수 있다. 현장 무대 설계상 방출장치는 XR 기술을 결합해 가상과 실체의 결합을 실현한다.

2016년 5월 구글은 “당신의 방이 곧 캔버스이고, 당신의 팔레트가 곧 당신의 상상력이다.”라는 슬로건과 함께 가상현실 페인팅 어플리케이션 틸트브러시를 발표했다[6]. 틸트브러시는 HTC 바이브(Vive)에 기본 앱으로 포함되어 있는 소프트웨어로 3D공간을 자유롭게 움직이며 핸드 콘트롤러를 이용해 3D드로잉을 할 수 있다. 불, 연기, 조명 등의 GPU가속을 기반으로 실시간 효과를 구현할 수 있는 디지털 팔레트가 포함되어 있다[8]. 이런 기술은 이미 성숙했다. 이 기술은 예술가의 창의적인 공간을 넓힐 뿐 아니라 3D 모델링이 필요한 무대 디자인, 예술가의 작업량도 줄일 수 있다.

Fig. 12.

Tilt Brush painting

터치디자이너는 실시간 시각 및 뉴미디어 창작을 만들 수 있는 가시화된 프로그래밍 개발 플랫폼으로, 주로 뉴미디어 창작을 실시간으로 주고받는다. 그 응용 장면으로는 상호작용이 가능한 뉴미디어 시스템 구축, 건물 프로젝션, VJ 제작, 아이디어 원형 제작 등이 있다. 코드 없이 노드를 만들고 연결하면 시각적으로 빛나는 작품을 만들 수 있다. 부품(OPERATOR)은 터치디자이너의 "노드" 로 다른 컨트롤러에 데이터를 출력하며, 각각의 컨트롤러에는 사용자 정의 인자가 있다. 그리고 컨트롤러 타입(OPERATOR FAMILIES)은 COMPs, TOPs, CHOPs, SOPs, DATs, MATs 등 6가지 종류로 나뉘어 다른 경우에 적용된다. 예를 들어 TOP 내의 컨트롤러는 이미지 및 영상을 처리하는 데 주로 쓰이고, SOP 내의 컨트롤러는 3D 처리에 주로 이용된다. 그 마우스 인터랙티브나 터치스크린을 지원하는 제어판은 3D 가상 환경, 제스처 입력, 여러 사람 상호작용 등을 제어할 수 있다.

최근 몇 년 동안, TouchDesigner는 각종 공연 무대에 자주 적용되었다. 한편, 아티스트들이 TouchDesigner에다 VR 장치를 이용해 파노라마 서라운드 영화를 만들고 재생할 수 있도록 한다. "The Future of Music" 은 영화 감독 Greg Barth 와 Phenomena Labs 스튜디오가 함께 만든 몰입형 초현실주의 음악 공간이다. 아티스트는 라이브 촬영 비디오와 미리 녹음된 비디오를 실시간 편집, 합성하고 TouchDesigner 를 사용하여 파노라마 카메라로 캡처한 이미지를 실시간으로 보고 사후 조정을 수행하여 VR 장치 내의 환경을 만든다[9].

Fig. 13.

TouchDesigner