Korea Digital Contents Society

Journal Archive

Journal of Digital Contents Society - Vol. 24 , No. 1

[ Article ]
Journal of Digital Contents Society - Vol. 24, No. 1, pp. 33-43
Abbreviation: J. DCS
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 31 Jan 2023
Received 05 Nov 2022 Revised 22 Nov 2022 Accepted 15 Dec 2022
DOI: https://doi.org/10.9728/dcs.2023.24.1.33

백남준의 첫 번째 개인전 ‘음악의 전시’를 기반으로 한 가정용 가상현실 전시콘텐츠의 개발
강지영1
1이화여자대학교 커뮤니케이션미디어학부 교수

Development of home VR exhibition based on Nam June Paik's first solo exhibition 'Exposition of Music'
Ji-Young Kang1
1Professor, Department of Communication & Media, Seoul 03760, Korea
Correspondence to : *Ji-Young Kang Tel: +82-2-3277-2266 E-mail: kangjiyoung@ewha.ac.kr


Copyright ⓒ 2023 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
Funding Information ▼

초록

코로나19 바이러스의 영향으로 인하여 최근 몇 년 동안 오프라인 전시관들은 관객들을 만나지 못하고 매우 어려운 상황을 겪고 있다. 관객이 직접 공간에 방문하여 작품을 관람할 수 없는 현재 상황에서 가상현실은 관객에게 높은 몰입감과 현존감을 제공하여 많은 가상현실 전시들이 기획되고 있다. 그러나 기존의 오프라인 VR 전시는 전시관을 직접 방문해야 체험할 수 있거나 HMD(Head-mounted Display) 기반으로 개발되어 범용성이 떨어진다는 단점을 가진다. 이에 본 연구에서는 가정에서도 PC 환경에서 체험할 수 있는 가상현실 전시를 개발하여 관객들이 전시관을 직접 방문하지 않고 HMD없이 개인 PC 환경에서도 가상현실 전시를 체험할 수 있도록 하였다. 이를 위해 가정의 사용자의 현존감을 높일 수 있는 사회적 인터랙션 요소들을 도출하고 이를 활용한 확장된 인터랙션을 관객에게 제공하고자 하여 원작 작품이 가지는 예술적인 가치를 보존하고자 하였다. 우리는 백남준 작가의 첫 번째 개인전 ‘음악의 전시’를 가정용 가상현실 전시로 개발하여 대중의 접근성과 범용성을 높일 수 있도록 하였다.

Abstract

Due to the influence of the COVID-19 virus, offline exhibition halls have not been able to meet audiences in recent years and are experiencing a very difficult situation. In the current situation where the audience cannot visit the space and watch the work, virtual reality provides a high sense of immersion and presence to the audience, and many Virtual Reality exhibitions are planned. However, the existing offline VR(Virtual Reality) exhibition has the disadvantage of being less versatile because it can be experienced only by visiting the exhibition hall in person or developed based on HMD (Head-mounted Display). Therefore, this study developed a VR exhibition that can be experienced in a PC environment at home so that the audience can experience VR exhibition in a personal PC environment without visiting the exhibition hall in person. To this end, we tried to preserve the artistic value of the original work by deriving social interaction elements that can increase the user's presence and providing the audience at home with expanded interaction. We developed Nam June Paik's first solo exhibition 'Exposition of Music' as a home VR exhibition to enhance public accessibility and versatility.


Keywords: Virtual Reality, Exhibition, Home, Interaction, Versatility
키워드: 가상현실, 전시, 가정용, 인터랙션, 범용성

Ⅰ. 서 론

최근 몇 년 동안 미술관들은 코로나 바이러스의 영향과 현대사회의 온라인화된 생활로 인해 점점 전시관을 찾는 관람객들이 줄어들고 있다. 이로 인해 미술관들은 어려운 상황에 처하고 있으며 전시관의 작품들도 관객을 만나지 못하는 안타까운 상황이 지속되고 있다. 이러한 어려움을 해소하기 위한 여러 노력들이 지속되고 있는데 그 중 실감콘텐츠 기술을 접목한 가상현실 전시가 바로 그중 하나이다.

전통적인 미술관이나 박물관의 목적은 소장하고 있는 전시품들의 정보를 대중들에게 전달하고 이해를 돕는 것이다. 관람객들은 유리벽으로 둘려 쌓인 전시품 앞에 서서 전시품을 소극적으로 관람하며 텍스트나 음성을 통해 관련 정보를 전달 받는 것이 대부분이었다. 그러나 기술의 발전과 함께 전시관들은 참여와 상호작용을 통해 관람객 스스로가 능동적인 참여자가 되어 스스로 지식을 발견하는 주체가 되길 바라게 되었다[1].

프랑스의 루브르 박물관이나 뉴욕의 메트로폴리탄 박물관, 영국의 테이트 모던 뮤지엄, 스미소니언 박물관까지 세계적인 박물관과 미술관들은 가상현실 기술을 접목한 실감콘텐츠 전시들을 구축하여 관객들이 직접 전시 공간에 방문하지 않아도 웹이나 HMD(Head-mounted Display)를 통해 전시공간과 전시품을 관람할 수 있는 가상현실 전시들을 소개하고 있다. 이러한 가상현실 전시들을 통해 관객들은 시간과 공간의 제약 없는 전시 경험을 할 수 있으며 미술관이나 박물관들도 온라인 공간에서 관객들을 만날 수 있다는 큰 장점을 가진다.

영국 미들즈브러 현대미술관(Middlesbrough Institute Of Modern Art, MIMA)의 허드슨 관장은 미술관의 기원이 교육, 즉 예술의 가치를 공유하는 데 있었으며, 현대의 미술관은 고정된 전시 프로그램에서 벗어나 더 폭넓고, 연결된, 상호 반응하는 활동을 마련해야 한다고 주장하였다[2]. 가상현실 전시는 이러한 미술관이 나아가야 할 지향점을 공유하고 있으며 가상현실 기술이 가지는 특징들은 미술관의 확장과 연결 그리고 관객관의 상호작용을 가능하게 하고 있다.

그러나 현재 소개되고 있는 많은 실감기술을 사용한 전시들은 기존의 전시관 내에 설치하여 관객들에게 제공되거나 전시관 사이트 내에서 360도 웹 영상 형태로 제공되었다. 또한 몰입도가 높은 가상현실 전시 같은 경우에는 높은 비용의 장치들과 장치마다 전시 도움이가 필요하여 특별 전시 등으로만 운영되고 있는 상황이다. 많은 미술관들은 오프라인 공간의 운영의 어려움과 온라인 공간의 제한된 인터랙션으로 인해 가상현실 전시가 가지는 장점을 활용하지 못하고 있는 상황이다. 이에 본 연구에서는 현재 오프라인 가상현실 전시들이 가지는 문제점을 도출하고 이를 보완할 수 있는 가정용 가상현실 전시를 제안하였다. 또한 HMD 없이도 관객에게 현존감을 제공할 수 있는 상호작용 요소들을 도출하고 이를 활용한 확장된 상호작용을 적극적으로 활용할 수 있는 가상현실 전시를 개발하였다. 미술사에서도 역사적으로 의미가 깊은 백남준 작가의 첫 번째 전시인 ‘음악의 전시’를 가정용 가상현실 전시로 구축하고 이를 통해 관람객들에게 확장된 전시 경험을 가능하게 하고 새로운 실감콘텐츠 전시의 대중화 및 발전 방향을 제시하고자 한다.


Ⅱ. 본 론
2-1 선행 연구

많은 사람들이 가상현실 박물관이나 미술관을 생각했을 때 가장 먼저 떠올리는 것은 현실 세계의 전시공간을 가상현실 세계에 복제하는 것이다. 이렇듯 초창기의 가상현실 전시는 현실세계의 관람 경험을 가상현실 공간으로 대체할 수 있는 VR 투어 형식의 전시들이 대부분이었다. 세계의 유명 미술관을 직접 방문하지 않아도 시간과 장소에 구애받지 않는 관람이 가능한 것이다. 이러한 원격 VR 전시관들은 대부분 360도 실사 영상을 활용하여 실제 전시관을 그대로 360도 영상으로 옮겨 놓아 카메라를 따라 공간을 관람하거나 3D 그래픽스 기술을 통해 구현된 가상의 전시관 위에 재현된 가상의 작품을 관람하도록 구현되어 있다. 이러한 전시들은 전통적인 박물관의 기능에 충실한 기본적인 층위의 활용이라고 볼 수 있으며, 기존의 박물관이 제작하던 카달로그와 도슨트의 역할을 VR 기술을 활용하여 관객들에게 제공하는 것이다 [2].

국내에서는 국립현대미술관, 국립중앙박물관, 사비나 미술관, 서울 역사박물관 등에서 웹사이트를 방문한 사용자들이 온라인 전시를 관람할 수 있는 가상현실 전시 콘텐츠를 제공하고 있다. 아래 그림 1과 같이 국립현대미술관과 사비나 미술관에서는 공간 캡쳐 기술을 사용하여 재구현하고 웹VR 기술을 활용하여 고해상도 360도 사진기반 가상 전시 공간을 구현하고 마우스와 키보드 조작을 통하여 전시 공간을 관람하게 구현되었다.


Fig. 1. 
(Up) The Museum of Modern Art's Online VR Exhibition (Down) Online VR Exhibition at Savina Museum of Art

국외에서는 영국의 내셔널갤러리, 뉴욕의 현대미술관, 프랑스의 오르세 미술관 등 세계 유수의 박물관과 전시관들이 온라인 Virtual 투어 영상 및 VR 전시를 제공하고 있다. 그림 2와 같이 영국의 내셔널 갤러리와 파리의 오르세 미술관은 VR 비디오 영상을 통해 실제 미술관 공간과 작품을 가상현실 공간에 재구현해 놓았다. 관람객들은 방향키 버튼과 마우스 조작을 통해 작품에 더 가까이 가서 자세히 관람을 하거나 마우스 클릭을 통해 작품에 대한 설명을 볼 수도 있다.


Fig. 2. 
(Up) Virtual Tour at The National Gallery (Down) Virtual Tour at Musée d’Orsay

이러한 온라인 기반의 가상현실 전시들은 웹이나 모바일에서 손쉽게 전시 공간과 전시품들을 접할 수 있게 하여 전시 공간을 직접 찾지 않고도 전시에 대한 정보를 전달할 수 있어 접근성과 대중성이 매우 높다. 그러나 이러한 전시들은 실제 존재하는 전시 공간과 작품을 기반으로 하여 3D로 캡쳐를 하거나 360도 촬영을 하는 경우로 실재 작품의 원본이 남아있지 않은 작품들이나 전시 공간의 경우에는 적용하기 어려운 상태이다. 또한 온라인의 특성상 데이터를 환경에 맞게 최적화하기 위해서는 고해상도의 3D 그래픽 환경이나 실시간 상호작용이 자유롭게 이루어지기 어려운 단점을 가지고 있다. 예를 들면 360도로 촬영된 공간을 자유롭게 관람이 가능하나 단순 클릭을 통한 정보전달이 이루어지거나 데이터 송수신 속도의 문제로 인하여 실시간 상호작용보다는 미리 렌더링 된 영상을 관람하는 형태로 제공되는 콘텐츠가 주류를 이루고 있다.

온라인의 VR 전시뿐만이 아니라 더욱 높은 몰입도를 제공하기 위한 HMD 기반의 전시 콘텐츠도 활발하게 제작이 되고 있다. 2019년 파리의 루브르 박물관은 그림 3과 같이 ‘Mona Lisa: Beyond the Glass’ VR 전시를 공개하였다[3]. 모나리자 VR 전시는 레오나르도 다빈치 블록버스터 전시의 일부였다.


Fig. 3. 
Mona Lisa: Beyond the Glass

루브르 박물관에는 매일 약 2만 명 이상의 관람객들이 모나리자 작품을 보기 위해 모여든다. 그렇기 때문에 대부분의 관람객들은 군중 틈 저 멀리서 유리관에 갇혀 있는 모나리자를 볼 수밖에 없었다. 이러한 제한된 관객경험의 한계를 확장하고자 루브르 박물관 큐레이터 팀은 HTC VIVE와 함께 관객들이 모나리자를 독대할 수 있는 전시를 구성하였다. 전시를 위해 마련된 VIVE 헤드셋을 착용하면 박물관 내 수많은 사람들은 사라지고 관람객들은 살아 움직이는 모나리자를 마주하게 된다.

인터랙티브 디자인, 사운드, 3D 애니메이션을 통해 관람객들은 나무 패널의 질감, 페인트의 텍스쳐 등도 디테일하게 느낄 수 있도록 하여 실제 작품을 경험할 수 있도록 하였으며 모나리자가 그려졌던 그 시간과 공간을 가상현실 공간에 재구현해 내어 관객들이 작품 속 그 순간을 경험할 수 있도록 하였다. 그러나 관객들이 직접 모나리자와 상호작용하거나 공간과 상호작용할 수 있는 기능은 제공되지 않았다.

미국 플로리다주 피츠버그에 있는 살바도르 달리 미술관은 VR 기술을 이용해 달리의 작품을 재구성하는 파격적인 시도를 하였다. 초현실주의를 대표하는 화가 살바도르 달리(Salvador Dalí)는 밀레(Millet)의 <만종>에 나오는 두 인물이 높다란 조각상으로 서 있는 풍경을 상상하며 <밀레의 만종에 대한 고고학적 회상(Archeological Reminiscence of Millet’s Angelus)>(1933-1935)을 그렸다. <달리의 꿈>에서 이용자는 달리의 ‘고고학적 회상’ 속으로 들어가 360도 가상공간에서 두 석상을 맞닥뜨리게 된다. 달리 미술관이 기획한 '달리의 꿈'은 영상은 기존의 미술관들이 해왔던 것처럼 가상현실 미술관을 360도로 체험하는 것이 아니라 달리의 작품세계를 3차원 구현하고 관객이 그 속에 들어가서 체험하도록 하였다[4].

그림 4와 같이 <달리의 꿈>에서 사용자는 달리의 작품 속으로 들어가 360도 가상공간에서 두 석상을 맞닥뜨리게 된다. 초현실주의적인 달리의 작품세계를 가상현실로 구현해 낸 <달리의 꿈>은 가상현실 기술과 작품세계를 효과적으로 융합한 사례로 2016년 칸국제광고제와 원쇼(One Show) 광고제 등 다양한 수상을 하며 예술과 기술의 시너지 효과를 인정받은 사례이다.


Fig. 4. 
Dreams of Dali

관객은 오프라인 전시 공간에 제공되는 HMD를 통해 작품을 감상할 수 있으며 현재 영상 형태로 YouTube에 제공되어 HMD 없이도 영상을 관람할 수 있다. 그러나 이 가상현실 작품에서도 역시 관객은 가상현실 공간의 소극적인 관람자로 시청각적인 경험을 통해서만 전시를 관람할 수 있을 뿐 작품과 상호작용이 가능한 환경을 제공하지는 않았다. 즉 사용자가 실시간으로 작품이나 공간을 탐색할 수 있는 상호작용 요소를 제공하지 않았다.

위의 사례들은 가상현실 기술을 활용하여 전시 공간이나 작품을 재현하여 관람객과 작품사이의 경계를 허물고 새로운 경험을 할 수 있게 해주었다. 특히 루브르 박물관과 달리미술관의 사례는 기존의 원본 작품이 가진 것 이상의 작품세계를 가상현실을 통하여 표현해 내어 관객들에게 더 높은 차원의 경험을 제공하여 작품에 대한 이해와 몰입을 높였다. 그러나 아직까지 이러한 몰입형 가상현실 전시들은 박물관이나 미술관 내 전시 공간에 HMD를 기반으로 제공되어 관객들이 전시관을 직접 방문해야만 하는 접근성의 문제가 있다. 또한 이러한 오프라인 전시를 운영할 때 HMD 기기에 익숙하지 않은 관객들을 도와줄 수 있는 도우미들이 상시 대기하고 있어야 하는 운영의 어려움도 있었다. 또한 범용성을 가지는 웹사이트나 모바일을 통해 관람할 수 있는 가상현실 전시의 경우에는 가상현실 기술의 가장 큰 장점중 하나인 상호작용성 측면에서 보았을 때는 360도의 공간을 자유롭게 둘러볼 수 있는 시청각적 경험 외에 관객의 체화된 경험을 제공할 수 있는 인터랙션 사례는 거의 찾아볼 수 없었다. 선행연구에 따르면 더욱 새로운 경험을 추구하는 관람객 수용환경의 변화에 발맞춰 VR기술이 활발하게 발전하고 있음에도 불구하고 가상현실 전시가 대중화되지 못한 것은 “VR기기 조작의 학습비용”, “HMD(Head Mounted Device)의 기술적 문제”, “콘텐츠의 부재에 따른 소비가치의 결여” 이렇게 세 가지지를 들었다[5]. 우리는 아래 표 1과 같이 기존 가상현실 전시의 장점과 단점을 도출하였다. 웹과 모바일 기반의 가상현실 전시는 별도의 기계나 운영이 필요 없기 때문에 많은 관객들이 손쉽게 접근이 가능하여 접근성과 범용성 그리고 대중성을 가진다. 그러나 환경에 따른 제약으로 인해 실시간 상호작용성이 부족하여 관객의 몰입을 저하시킬 수 있다는 단점이 있다. 오프라인 전시 공간의 HMD 기반 가상현실 전시들은 높은 퀄리티의 콘텐츠와 실시간 상호작용을 제공하여 높은 몰입도를 장점으로 하나 항시 운영이 어려우며 접근성과 대중성이 부족하다는 단점을 가진다. 우리는 이를 바탕으로 하여 높은 퀼리티와 실시간 상호작용이 가능한 가상현실콘텐츠이지만 별도의 HMD 기기 없이 개인 PC 환경에서 관람이 가능한 가정용 가상현실 전시를 제안하고자 한다.

Table 1. 
Advantages and Disadvantages of Existing Virtual Reality Exhibition
Strength Weakness
Online VR Exhibition Versatility, Popularity, Accessibility Lack of real-time interaction, Reduced immersion
HMD based VR Exhibition High sense of immersion, Real-time interaction, High Quality Difficult to operate, expensive, Less accessible, Less popular

세계적인 건축가 도미니크 폴로는 오늘날 “박물관의 수준을 좌우하는 것은 가지고 있는 소장품이 아니라 어떤 주제에 대한 독창적인 시각과 이를 표현하는 지적 역량”[6]이라 주장하였다. 우리는 이러한 독창적인 시각과 역량을 가지고 새로운 가상현실 전시를 시도하기 위하여 경기도에 위치한 백남준 아트센터와 함께 백남준 작가의 ‘음악의 전시’를 가정용 가상현실 전시로 재탄생 시켰다.

2-2 <음악의 전시-전자 텔레비전(Exposition of Music-Electronic Television>

‘비디오 아트’ 의 창시자로 세계적으로 잘 알려진 백남준은 예술사에서도 실험적인 작품 활동으로 잘 알려진 예술가이다. 백남준의 첫 개인전이었던 <음악의 전시-전자 텔레비전(Exposition of Music-Electronic Television>은 1963년 3월 11일부터 3월 20일까지 독인 부퍼탈(Bupertal)의 파르나스 갤러리(Galerie Parnass)에서 열렸다[7]. 백남준의 <음악의 전시>는 그의 작가로서의 활동이 뻗어나갈수록 가치가 높이 평가되어 백남준 아트센터를 비롯한 세계 곳곳에서 이에 관한 심포지엄을 열기도 하였다[8]. 그럼에도 불구하고 <음악의 전시>의 전시 공간이나 전시품들은 현재 흑백사진 몇 장들과 전시에 대한 기록글로만 남아있는 상황이다. 이는 <음악의 전시>가 관객의 참여와 작가의 행위와 같은 순간적인 인터랙션 요소들을 포함한 전시였기 때문이며, 이를 기록할 수 있는 수단이 사진들과 전시를 관람했던 관객들밖에 없었기 때문이다. 우리는 이러한 기록들과 작가의 작품 세계에 대한 글을 바탕으로 작가가 <음악의 전시>를 통해 표현하고자 하였던 소통으로서의 예술을 가상현실 기술을 통하여 표현하고자 하였다. 기존의 많은 전시들이 실제 작품을 스캔하거나 사진으로 기록하여 가상현실에 구현하는 방식을 사용하였지만 백남준의 <음악의 전시>는 그 실물이 남아 있는 상태가 아니고 관객의 상호작용을 중심으로 전시가 진행되기 때문에 3D 그래픽을 기반으로 하는 인터랙티브 전시를 기획하여야 하였다.

백남준의 ‘음악의 전시’는 전시명과 같이 음악을 전시하고자 했다. 백남준은 원래 음악을 공부했으며 실험정신이 강한 음악에 관심이 많았다. 백남준은 통상 음악의 ‘바깥’이라고 간주해온 일상의 소리(소음)나 행위, 관객 참여를 연주 내용에 포함하며 “음악을 전시한다.” 고 선언하였다[9]. 음악이 모든 소리뿐만이 아니라 행위를 포함한다는 것을 깨달으면서 그는 관람객들의 행위와 소리를 포함하는 음악을 전시하고자 한 것이다. 백남준은 “예술은 소통의 가장 오래된 형식”[10]이라는 믿음을 가지고 시간성과 소통에 대하여 성찰하면서 이를 개념적 실행적인 작품으로 표현해내었다. 우리는 ‘음악의 전시’에서 관람객들의 소통을 가상현실 공간에 가장 잘 표현할 수 있는 상호작용성이 높은 작품 3가지를 선정하여 개발하였다.

1) 총체 피아노(Prepared Pianos)

첫 번째 작품은 그림 5의 <총체 피아노>로 파르나스 갤러리의 1층에 위치해 있던 네 대의 장치된 피아노 작품이다. 그 중 2대의 피아노는 건반과 피아노 내부 현에 일상적인 사물들을 부착하거나 매달아 놓았다.


Fig. 5. 
(Up) Original Prepared Piano (Down) VR Prepared Piano

보통 피아노 건반을 누르면 피아노 소리가 날 텐데, 이 두 대의 총제 피아노 중 한 대는 다른 무언가를 두드리는 소리가 나거나 피아노 주변의 조명을 켜기도 하고 라디오나 환풍기를 작통시키기도 한다. 다른 하나의 피아노는 피아노 건반을 눌렀을 때 건반을 누르는 둔탁한 소리만이 들리고 소리가 나지 않도록 장치해 놓았다. 그 외 나머지 두 대의 피아노는 백남준이 전시 중에 피아노를 부수는 퍼포먼스를 하여 부서진 상태로 전시되어 있었기 때문에 우리는 4대중 관람객들이 직접적인 상호작용을 할 수 있는 2대의 총체 피아노를 중심으로 재구현하였다.

2) 랜덤 액세스(Random Access)

두 번째 작품은 그림 6의 <랜덤 액세스(Random Access)>로 갤러리 파르나스 갤러리 복도의 벽면에 카세트 테이프를 잘라 무질서하게 붙여놓았다. 그리고 그 아래는 마치 물레처럼 생긴 기계에 역시 테이프를 붙여 놓고 돌아가도록 설치하였다. 관객이 함께 설치된 마그네틱 헤드를 잡고 테이프를 자유롭게 긁으면 테이프에 저장되어 있는 다양한 소리가 무작위하게 나오게 된다. 이 작품도 역시 관람객들이 자유롭게 상호작용하고 참여함으로써 작품이 완성될 수 있는 참여형 작품이다. 가상현실 공간에 재구현한 작품에서도 관람객이 마그네틱 헤드를 잡고 테이프를 긁는 과거 전시장과 같은 상호작용을 할 수 있도록 하였다.


Fig. 6. 
(Up) Original Random Access (Down) VR Random Access

3) 실험 TV방(Experimental TV)

마지막 작품은 그림 7의 실험 TV방(Experimental TV)으로 총 13대의 실험TV들을 방안에 전시하였다. 남아있는 흑백 사진들과 자료에 의해서는 이 실험 TV 들이 모두 한 공간에 있지 않았으나 가상현실로 재 구현된 VR 전시에서는 관람객들이 한 공간 안에서 실험 TV 들을 경험할 수 있도록 배치하였다. 실험 TV 방의 TV들은 사전에 내부 회로를 물리적으로 조작해 동일한 방송 채널의 화면이 네거티브로 보이게 한 TV, 가로줄이나 세로줄 혹은 여러 형태의 곡선들이 화면을 방해하여 왜곡되어 보이도록 하는 TV 같이 사전에 TV를 조작하여 동시간 대에 하나의 채널만을 일률적으로 방송해야 했던 미디어를 해체하는 작업을 보여주었다. 이러한 실험 TV 중 관객이 TV의 다이얼을 돌려 TV 모니터 속 점의 크기를 변형시킬 수 있는 ‘한점 TV’를 통해 관객들이 상호작용을 할 수 있도록 제작하였다.


Fig. 7. 
(Up) Original Experimental TV Room (Down) VR Experimental TV Room


Ⅲ. 가상현실전시와 현존감
3-1 가상현실전시의 사회적 현존감

가상 전시공간은 가상현실 기술의 발달과 함께 다양한 전시방식을 만들어내고 있으며, 전시를 감상하는 관람객들에게 마치 가상공간에 존재하는 것 같은 현존감(presence)을 느낄 수 있도록 해주고 있다. 현존감은 사용자의 신체는 현실세계에 있지만 가상현실을 통해 마치 가상공간에 존재하고 있는 것처럼 느끼는 것을 의미하며 매개된 환경에서 사용자들이 매개되지 않은 듯한 지각적 환상으로 정의될 수 있다[11]. 민스키(Minsky, 1979)는 일찍이 “거기에 있다는 느낌(sense of being there)"을 의미하는 용어로 ’원격현존감(telepresence)‘을 제시하였다[12]. 또한 스튜어(Steuer, 1992)는 가상현실과 관련하여 어떤 상황 속에 존재하는 느낌이라고 현존감을 규정하였다[13].

라이드(Reid, 2008)는 가상현실 공간의 사용자가 진정한 현존감을 느끼기 위해서는 단순히 기술적인 경험을 넘어선 상상적 경험이 필요하며 이를 위해서는 가상공간의 다른 주체와의 커뮤니케이션이 필요하다고 주장하였다[14]. 즉 실제가 없는 가상공간에서 사용자가 현존감을 느끼기 위해서는 가상공간의 사용자가 가상공간의 타인이나 가상환경과 상호작용을 해야 한다는 것을 의미한다. 아무리 잘 만들어진 실재와 같은 가상전시실에 관객이 들어가도 그곳에서 어떠한 상호작용이 없다면 실제로 전시실에 와 있는 듯한 현존감을 느끼기 어렵다는 것이다. 히터(Heeter, 1992)는 가상세계에서의 사회적 현존감을 강조하면서 사회적 현존감은 가상세계에서 “다른 존재들이 미디어 이용자에게 존재하는 것처럼 그리고 반응하는 것처럼 보이는 범위”라고[15] 정의하였다. 사회적 현존감은 가상공간의 다른 존재와의 상호작용에 방점이 놓여 있다. 가상전시에서도 사회적 현존감의 정도는 언어적 혹은 비언어적인 사회적 상호작용이 사용자에게 얼마나 제공 되는가 그리고 사용자의 행동에 대한 피드백이 얼마나 즉각적으로 제공되는가에 따라 달라질 수 있다[16].

기존의 가정용 전시들은 작은 화면을 통해 마우스나 키보드 등의 제한된 인터페이스를 사용하여야 하였기에 관객의 현존감을 높이기가 어려웠다. 이에 본 가상현실 전시에서는 가정에서 관람하는 관객의 사회적 현존감을 증강시키기 위해 언어적, 비언어적 사회적 커뮤니케이션 요소들과 사용자의 인터랙션에 대한 즉각적인 피드백을 풍부하게 제공하여 사용자가 가상환경 안에 존재하고 반응하는 것을 느끼도록 하였다. 이를 통해 사용자가 몰입형 가상환경이 아닌 모니터 기반의 가상환경에서도 충분한 사회적 현존감을 느끼게 되어 마치 1963년 백남준의 첫 번째 전시가 열린 페르나스 갤러리에 존재하고 있는 것처럼 느끼게 하고자 하였다.

3-2 확장된 경험

백남준 <음악의 전시>의 대표적인 작품 3가지를 가상현실 기술을 통하여 구현할 때 우리는 기존의 자료들을 고증하여 원본을 그대로 재현하는 것도 중요하지만 가상현실 전시에서만이 경험할 수 있는 확장된 경험을 제공하고자 하였다. 백남준은 전시가 열리기 전 1962년 12월에 발표한 글 「음악의 전시(Del’exposition de la musique)」에서 관객의 자유에 대하여 언급하였다. 그는 “방에 각종 악기와 소리를 낼 수 있는 사물을 전시해서 관객이 마음껏 가지고 놀 수 있게 한다.(나는)이제 요리사(작곡가)가 아니라 ‘식료품 가게 주인’일 뿐이다.”[17]라고 하였다. 이는 <음악의 전시>를 통해 백남준이 관객에게 작품 참여의 자유를 줌으로써 전시의 수용자가 아닌 주체가 되어 확장된 경험을 하도록 전시를 기획한 것을 의미한다.

이와 같이 백남준이 ‘음악의 전시’를 통해 관객들이 참여로 완성되는 전시를 만들고자 했듯이 우리는 가상현실 기술이 가진 상호작용성의 특징을 활용하여 관객들이 확장된 경험을 통해 사회적 현존감을 느낄 수 있도록 하였다. 기존의 가상현실 전시들 역시 360도의 자유로운 시야각과 공간 사운드 그리고 컨트롤러 등을 통한 상호작용을 제공하였지만 대부분 전시품에 대한 단순한 설명 텍스트나 내레이션 등의 정보 전달에 그치는 경우가 대부분이었다. 이는 박물관이나 전시관의 전시품들 대부분이 관람객들이 수동적으로 관람하는 형태의 평면 회화 작품이나, 만질 수 없는 조각 혹은 설치물들이기 때문이다. 또한 전통적인 전시관이 가지는 관객과 작품 간의 경계가 가상현실 전시에서도 존재하기 때문이었다. 그러나 백남준 작가의 첫 번째 전시는 관객이 참여하는 실험적이며 상호작용적인 전시로 가상현실 기술을 접목하기에 매우 적합한 작품들이었다. 관객들은 가상현실 기술을 통해 작품과 상호작용하며 소통하고 체험 할 수 있다. 이때 상호작용은 각 시스템 안에서 구조적인 변화를 촉발하고 전시물의 내용과 형식, 기술적 실현 방법분만 아니라 전시 방법과 상호 관계를 갖는다[18]. 우리는 아래의 표 1과 같이 언어적, 비언어적 커뮤니케이션 요소들과 즉각적인 피드백 그리고 상상적 경험을 통해 사용자에게 확장된 경험을 통한 현존감을 느끼도록 하였다. 또한 사용자가 취하는 인터랙션들은 각각 즉각적인 피드백을 사용자에게 제공하여 관객의 사회적 현존감을 강화시켰다.

Table 2. 
Verbal and nonverbal communication elements provided in this Virtual Reality exhibition
Verbal Communication Providing narration with a friendly concept that feels like talking to me directly (e.g) "Shall we go together?" "Try tapping the keyboard."
Non Verbal Communication 1. Providing natural hand interaction (e.g) Prepared piano: Pressing the piano keyboard with users' fingers, holding, holding, throwing, or breaking objects around them
Random access: Users can hold the pin by hand and scratch the pieces of tape on the wall
Experimental TV: Turning Dial Left and Right
2. Provide free space navigation Allows users to move freely within a limited space
3. Teleport function Facilitates movement of works and works, space and space, and keeps users from getting lost
4. Immediate feedback Instant sound and animation effects for action
(e.g) Prepared piano: realistic sound when pressing the keyboard or throwing objects around, breaking objects
Random Access: Random sound generated when scratching pieces of tape, sound generated when throwing or touching surrounding objects
Experimental TV: When dialing, the TV gets bigger and smaller, and the dots on the screen are also transformed
5. Imaginary Experience Provides additional graphic information for exaggerated animation effects, virtual lighting, and narration
(e.g) Animation that expands and shrinks as if the TV is moving alive, adds virtual pin lights to the exhibits to interact with, and provides additional graphic information and animation to match the narration description

언어적 커뮤니케이션 요소를 강화하기 위해 내레이터는 마치 사용자에게 직접 얘기하는 듯한 어투를 사용하여 친근감이 있도록 하였다. 비언어적 커뮤니케이션 요소로는 사용자가 직접 피아노 건반을 누르는 인터랙션이나 그림 8과 같이 핀을 들어 벽에 붙어있는 테이프 조각들을 직접 긁어 소리를 내기도 하는 등의 제스처를 취하게 하여 자연스러운 손 인터랙션을 하도록 하였다.


Fig. 8. 
A virtual hand holding a pin and scratching pieces of tape on the wall

또한 텔레포트 기능을 통해 공간과 공간의 이동을 용이하게 하고 수행해야 하는 인터랙션에서 다음 인터랙션 단계로 넘어가는 단계에서 혼선이 없이 진행할 수 있도록 하였다. 즉각적인 피드백 요소에서는 사용자가 핀을 긁을 때 다양한 소리를 즉각적으로 발생시키고, 피아노 근처의 사물들을 만졌을 때 부서지거나 소리가 나게 하였으며 그림 9와 같이 텔레비전 다이얼을 돌렸을 때 화면 속의 점의 크기가 변하게 하는 등 다양한 요소들을 제공하였다.


Fig. 9. 
A dot on the television that changes in size when the user dials it

마지막으로 과장된 애니메이션을 더해 가상현실 속에서만 할 수 있는 상상 속의 경험을 할 수 있도록 하였다. 예를 들면 현실세계에서는 벌어질 수 없는 텔레비전이 풍선처럼 팽창했다 수축했다 한다든지 그림 10과 같이 인터랙션 하고 있는 텔레비전에만 스폿 라이트가 켜지는 등의 애니메이션 요소를 통해 가상현실만이 표현할 수 있는 요소들을 제공하였다.


Fig. 10. 
Spot-lighted television


Ⅳ. 제작 과정
4-1 게임엔진을 활용한 제작

가정용 가상현실 전시 제작을 위하여 우리는 3D 모델링 소프트웨어인 Maya를 활용하여 전시품 및 전시 공간을 모델링하고 사용자의 실시간 상호작용을 적용하기 위하여 리얼타임 게임엔진인 언리얼(Unreal Engine)4를 사용하여 개발을 진행하였다. 언리얼 게임 엔진의 특성상 높은 그래픽 퀄리티의 콘텐츠 제작이 가능하지만 어플리케이션의 용량이 큰 관계로 그래픽의 퀄리티는 최대한 보존하되 가정용 PC 환경에 가장 적합할 수 있도록 최적화하는 것에 주력하여 개발을 진행하였다.

1) VR 월드 스케일 설정

가상 공간의 구현에 있어 월드의 스케일을 제대로 잡는 것은 VR 플랫폼에서 최적의 사용자 경험을 위한 중요 요소 중의 하나이다. VR 월드 스케일을 잘못 설정하면 사용자가 느끼게 되는 시청각 및 인터랙션 요소들에 문제가 생길 수 있으며, 시뮬레이션 멀미까지 날 수 있다. 언리얼 엔진에서는 VR 사용시 플레이어의 카메라에서 오브젝트가 75 UU 에서 350 UU(1 언리얼 유닛(UU) = 1 센티미터(cm)) 까지 떨어져 있을 때 가장 잘 보인다고 추천하고 있으며 이에 우리는 제공된 가이드 라인에 따라 오브젝트를 배치하도록 노력하였다.

2) VR 카메라 셋업

언리얼 엔진 환경에서 VR 카메라 구성 방식은 사용자가 콘텐츠를 앉아서 플레이 하느냐 서서 플레이 하느냐에 따라 매우 달라지다. 본 프로젝트에서는 관람객이 갤러리 공간을 지속적으로 걸어 다니며 작품들을 감상하기 때문에 사용자가 서 있는 설정으로 하여 VR 카메라를 셋업 하였다. 이 경우에는 카메라 원점을 0, 즉 땅 위치에 오도록 하여 VR 카메라를 성정하면 된다.

3) VR 캐릭터 세팅

우리는 VR 헤드셋을 사용하지 않고 PC 기반으로 콘텐츠를 제작하였지만 1인칭 시점으로 관람하는 콘텐츠이기에 관람자의 시점을 기반으로 한 캐릭터 셋업이 필요했다. 캐릭터의 신장, 속력, 카메라 위치 등 모두 VR 캐릭터에 적합하도록 조정이 필요한데 본 콘텐츠는 백남준 아트센터를 주로 방문하여 전시를 관람하는 청소년을 기준으로 하여 캐릭터의 신장과 속력, 카메라 위치 등을 조정 하였다.

4) 모델링 데이터 Import

Unreal Engine 4는 Plug-in을 통해 기존 Maya, 3dMax, CAD 같은 3D프로그램의 모델, 재질, 조명 같은 다양한 요소를 담고 있는 data들을 확장자인 .datasmith 형태로 파일을 변환하여 import 할 수 있도록 지원하고 있다. 우리는 Adobe사의 Maya를 이용하여 전시 공간인 파르나스 갤러리와 메인 작품들인 총체피아노들, 랜덤 엑세스, 실험 TV들을 모델링하고 마지막 장면에 등장하는 현재의 백남준 아트센터의 TV정원도 모델링하여 언리얼 엔진에 불러들여 사용하였다. 이를 통해 더욱 사실적이고 정교한 모델링 데이터를 언리얼 엔진 내에서 활용할 수 있었다.

5) Blueprint 설정

실시간 상호작용이 있는 콘텐츠를 제작할 때 가장 중요한 과정 중 하나는 블루프린트(Blueprint)라고 하는 언리얼엔진의 비주얼 스크립팅(Visual Scripting)이다. 이 시스템은 노드 기반 인터페이스를 사용하여 게임플레이 요소를 제작하는 개념을 토대로 한 비주얼 스크립팅으로 인터랙티브한 콘텐츠를 만들 때는 반드시 필요한 시스템이다[19]. 여기에서 노드(node)는 언리얼 엔진에서 제공하는 9가지의 변수의 유형 모듈(module)을 연결하며 다양한 쓰임새를 만드는 것을 의미한다. 노드의 연결을 통해 가상공간의 사물에 다양한 이벤트를 적용하고 어떠한 자극이 있을 때 어떤 반응이 있게 할 것인지 설계할 수 있다.


Fig. 11. 
Blueprint of ‘Exposition of Music’

우리는 전시 단계별로 사용자에게 제공할 적합한 인터랙션과 전시 관람 순서를 정리하기 위해 그림 12와 같이 사용자 플로우 차트(Flow Chart)를 만들고 이를 통해 체계적인 노드의 연계가 가능하도록 하였다. 사용자는 가상현실 전시를 관람하는 동안 정해진 인터랙션 수행을 통해 다음 전시 순서로 넘어갈 수 있으며 메뉴버튼을 주어 원하는 단계의 전시로 돌아가 다시 체험해볼 수 있도록 사용자 플로우를 디자인 하였다.


Fig. 12. 
User Flow Chart

4-2 PC버전 어플리케이션의 제공

기존의 HMD 기반의 가상현실 전시들은 관람객들이 직접 박물관을 방문하여 예약을 통하여 관람을 했기 때문에 접근성과 범용성이 높지 않았다. 혹은 가정에 HMD를 구비하고 있어야 하여야 했기 때문에 대중성도 높지 않았다. VR 전시를 제공하는 박물관이나 미술관 입장에서도 갤러리 내에 VR 기기 작동법을 도와줄 인력을 투입하여야 하며 기계를 구비해야 하는 등 VR 전시를 지속적으로 제공하기에 운영이 어렵고 비용이 많이 드는 단점들이 있었다. 이에 본 프로젝트에서는 더욱 많은 관객들이 직접 전시관을 찾지 않고도 가정 내의 개인 PC 환경에서 HMD 없이도 VR 전시를 즐길 수 있도록 VR 어플리케이션을 개발하였고 그림 13과 같이 백남준 아트센터 홈페이지를 통해 다운 받을 수 있도록 제공하였다.


Fig. 13. 
PC version application released on Namjun Paik's Art Center website

기존의 웹과 모바일 VR 전시의 장점을 융합하여 가정용 VR 전시에서는 개인 PC환경을 기반으로 하여 그림 14과 같은 장점들을 도출할 수 있었다. 기존의 HMD 기반 환경에서 컨트롤러로 조정할 수 있었던 사용자의 손 인터랙션과 공간이동을 마우스와 키보드의 단축키로 할 수 있도록 제공하였다. 특히 손을 사용해 물건을 잡는 동작같이 디테일한 동작을 수행할 때는 마우스의 클릭 버튼을 통해 최대한 사용자가 PC환경에서도 자연스러운 손의 움직임을 체험할 수 있도록 하여 몰입을 강화하고자 하였다.


Fig. 14. 
Advantages of VR exhibitions in the home that complements the disadvantages of existing exhibition platforms

또한 기존의 웹이나 모바일 환경에서 데이터 전송의 문제로 인해 제공되지 않았던 실시간 상호작용성과 높은 퀼리티의 그래픽 제공을 위해 어플리케이션 형태로 제작하여 누구나 가정에서 개인 PC에 손쉽게 다운로드 받아 실행할 수 있도록 제공하였으며 이를 통해 콘텐츠의 범용성과 대중성 그리고 접근성을 모두 제공하였다.


Ⅴ. 결 론

현재 박물관과 미술관 등의 전시 공간은 참여자와 작품, 그리고 전시 공간 간의 상호작용에 한계가 있다. 이에 가상현실과 같은 첨단 기술을 접목하여 관람객들에게 더욱 확장된 경험을 제공하고자 하는 시도가 계속되고 있다. 그러나 기존의 웹이나 모바일 기반 가상현실 전시들은 높은 접근성과 범용성을 가지지만 제한된 상호작용의 단점이 있었으며 오프라인 기반의 HMD 전시들은 전시 운영이 어려우며 높은 비용과 접근성이 떨어지는 등의 단점을 가지고 있었다. 이에 본 연구는 백남준 아트센터와 함께 백남준의 첫 번째 개인전 ‘음악의 전시’를 가정용 어플리케이션 형태로 개발하여 개개인이 자신의 가정에서도 손쉽게 높은 퀄리티와 실시간 상호작용성을 제공하는 가상현실을 체험할 수 있도록 하였다. 이를 위하여 가상현실의 궁극적 목적인 현존감을 증강시킬 수 있는 상호작용 요소들을 도출하고 이를 적용한 PC 기반의 가상현실 전시를 개발하여 실감콘텐츠 전시의 대중화 방안을 제시하였다. 이러한 시공간의 제약을 뛰어넘은 가상현실 전시콘텐츠의 개발을 통해 기존의 박물관들의 운영의 어려움을 해소하고 더 많은 관람객들에게 몰입도 높은 체험형 전시를 언제 어디서든 자유롭게 감상할 수 있게 제공함으로 새로운 가상현실 전시의 모델을 제공하고자 하였다.

그러나 아직 가정용 가상현실 전시에서 제공할 수 있는 콘텐츠에는 제약이 많다. 특히 웹이나 모바일의 제한된 인터페이스로 인해 몰입환경이 부족하다는 단점들이 존재하기 때문에 이를 보완할 수 있도록 다양한 연구가 지속되어야 할 거이다. 예를 들면 관람자들이 동시에 접속 가능한 다중 접속 시스템이나 가정용 상호작용 인터페이스에 대한 연구가 지속되어야 할 것이다. 이러한 연구가 지속적으로 이루어져 가정에서도 관람객들이 소극적 수용자가 아닌 능동적 조작자가 되는 확장된 경험을 제공하는 실감콘텐츠 전시들이 더욱 발전하기를 바란다.


Acknowledgments

본 연구는 2022년도 이화여자대학교의 지원에 의하여 이루어진 연구로서, 관계부처에 감사드립니다.


References
1. M. Y. Jung, "Study on the Development Plans for Education at Museums by Utilizing Digital Technology - Centered on the Cases of the Education Programs of Gyeongju National Museum and the Exhibition Contents of the Children's Museum thereof, " Museum Education, Vol. 3, Dec. 2019, p. 30.
2. Arte365. Museum 3.0: From Art Consumption to Production Base. [Internet]. Available: https://arte365.kr/?p=55134
3. Louvre. The Mona Lisa in virtual reality in your own home. [Internet]. Available: https://www.louvre.fr/en/what-s-on/life-at-the-museum/the-mona-lisa-in-virtual-reality-in-your-own-home
4. Salvador Dalí Museum. Dreams of Dalí. [Internet]. Available: https://thedali.org/dreams-of-dali-2/
5. S. H. Park and E. Y. Kang, "A Study on the Use of Character Star System to Ease the Entry Barrier of Consumers in Virtual Reality(VR) Content," Korean Society of Cartoon & Animation, Vol. 56, pp. 331-356, Aug. 2019.
6. J. Y. Sim, "A Study on the Ways of Museums’ Using VR Technology," Global Cultural Contents, Vol. 43, pp. 89-90, May. 2020.
7. N. J. Paik, Letter to Rolf Yeh Ling, Bupertal, December 22, 1962, Paik Nam-joon Art Center, p. 84, 2010.
8. S. W. Hyun, "The Status of Photographic Records Surrounding Nam June Paik's ‘Exposition of Music–Electronic Television’(1963)," History of Modern and Contemporary Art in Korea, Vol. 41, p. 188, June. 2021.
9. N. J. Paik, About the Exposition of the Music, John G. Hanhardt et al. (eds.), (2019), Wolf Vostell (ed.), Décollage, vol. 3, p. 92. 1962.
10. N. J. Paik, Random Access Information, Art forum, 1, September, p. 47, 1980.
11. B. R. Kim and H. S. Yong, "A Study on the Types and Implications of Virtual Exhibition Spaces," Journal of Digital Contents Society, Vol. 22, No. 8, p. 1309. Aug. 2021.
12. M. Minsky, The society theory of thinking, Artificial intelligence: an MIT perspective, Vol. 1, pp. 421-450, 1979.
13. J. Steuer, “Defining virtual reality: Dimensions determining telepresence,” Journal of communication, Vol. 42, No. 4, pp. 73-93, Dec. 1992.
14. D. Reid, “Exploring the Relationship between Occupational Presence, Occupational Engagement, and People’s Well-being,” Journal of Occupational Science, 15(1), 2, pp. 43-47, Sep. 2008.
15. C. Heeter, “Being there: The subjective experience of presence,” Presence: Teleoperators and Virtual Environments, Vol.1, No.2, pp. 262-271, May. 1992.
16. J. Short, E. Williams and B. Christie, The social psychology of telecommunications, 1st ed. London ; New York : Wiley 1976.
17. N. J. Paik. E. Decker & I. Weave, Baek Nam-joon: From Horse to Christ, Paik Nam-joon Art Center, p. 240, 2010.
18. E. K. Choi, Technical existence and image becoming in the digital media art : the process of ecological evolution in Eunkyoung Choi's works, Ph.D. dissertation, Hongik University, p. 116, Dec. 2013.
19. Unreal Engine 4.26 Documentation. Blueprint Overview.[Internet]. Available: https://docs.unrealengine.com/4.26/ko/ProgrammingAndScripting/Blueprints/Overview/

저자소개

강지영(Jiyoung Kang)

2004년 : Pratt Institute 컴퓨터 그래픽스 (학사)

2006년 : New York University, 인터랙티브 텔레커뮤니케이션 (석사)

2013년 : 한국과학기술원(공학박사-인터랙션 디자인)

2022년~현 재: 이화여자대학교 커뮤니케이션 미디어학부 교수

※관심분야:가상현실(VR), 증강현실(AR), 인터랙션 디자인 등