백남준의 첫 번째 개인전 ‘음악의 전시’를 기반으로 한 가정용 가상현실 전시콘텐츠의 개발

2-1 선행 연구

많은 사람들이 가상현실 박물관이나 미술관을 생각했을 때 가장 먼저 떠올리는 것은 현실 세계의 전시공간을 가상현실 세계에 복제하는 것이다. 이렇듯 초창기의 가상현실 전시는 현실세계의 관람 경험을 가상현실 공간으로 대체할 수 있는 VR 투어 형식의 전시들이 대부분이었다. 세계의 유명 미술관을 직접 방문하지 않아도 시간과 장소에 구애받지 않는 관람이 가능한 것이다. 이러한 원격 VR 전시관들은 대부분 360도 실사 영상을 활용하여 실제 전시관을 그대로 360도 영상으로 옮겨 놓아 카메라를 따라 공간을 관람하거나 3D 그래픽스 기술을 통해 구현된 가상의 전시관 위에 재현된 가상의 작품을 관람하도록 구현되어 있다. 이러한 전시들은 전통적인 박물관의 기능에 충실한 기본적인 층위의 활용이라고 볼 수 있으며, 기존의 박물관이 제작하던 카달로그와 도슨트의 역할을 VR 기술을 활용하여 관객들에게 제공하는 것이다 [2].

국내에서는 국립현대미술관, 국립중앙박물관, 사비나 미술관, 서울 역사박물관 등에서 웹사이트를 방문한 사용자들이 온라인 전시를 관람할 수 있는 가상현실 전시 콘텐츠를 제공하고 있다. 아래 그림 1과 같이 국립현대미술관과 사비나 미술관에서는 공간 캡쳐 기술을 사용하여 재구현하고 웹VR 기술을 활용하여 고해상도 360도 사진기반 가상 전시 공간을 구현하고 마우스와 키보드 조작을 통하여 전시 공간을 관람하게 구현되었다.

Fig. 1.

(Up) The Museum of Modern Art's Online VR Exhibition (Down) Online VR Exhibition at Savina Museum of Art

국외에서는 영국의 내셔널갤러리, 뉴욕의 현대미술관, 프랑스의 오르세 미술관 등 세계 유수의 박물관과 전시관들이 온라인 Virtual 투어 영상 및 VR 전시를 제공하고 있다. 그림 2와 같이 영국의 내셔널 갤러리와 파리의 오르세 미술관은 VR 비디오 영상을 통해 실제 미술관 공간과 작품을 가상현실 공간에 재구현해 놓았다. 관람객들은 방향키 버튼과 마우스 조작을 통해 작품에 더 가까이 가서 자세히 관람을 하거나 마우스 클릭을 통해 작품에 대한 설명을 볼 수도 있다.

Fig. 2.

(Up) Virtual Tour at The National Gallery (Down) Virtual Tour at Musée d’Orsay

이러한 온라인 기반의 가상현실 전시들은 웹이나 모바일에서 손쉽게 전시 공간과 전시품들을 접할 수 있게 하여 전시 공간을 직접 찾지 않고도 전시에 대한 정보를 전달할 수 있어 접근성과 대중성이 매우 높다. 그러나 이러한 전시들은 실제 존재하는 전시 공간과 작품을 기반으로 하여 3D로 캡쳐를 하거나 360도 촬영을 하는 경우로 실재 작품의 원본이 남아있지 않은 작품들이나 전시 공간의 경우에는 적용하기 어려운 상태이다. 또한 온라인의 특성상 데이터를 환경에 맞게 최적화하기 위해서는 고해상도의 3D 그래픽 환경이나 실시간 상호작용이 자유롭게 이루어지기 어려운 단점을 가지고 있다. 예를 들면 360도로 촬영된 공간을 자유롭게 관람이 가능하나 단순 클릭을 통한 정보전달이 이루어지거나 데이터 송수신 속도의 문제로 인하여 실시간 상호작용보다는 미리 렌더링 된 영상을 관람하는 형태로 제공되는 콘텐츠가 주류를 이루고 있다.

온라인의 VR 전시뿐만이 아니라 더욱 높은 몰입도를 제공하기 위한 HMD 기반의 전시 콘텐츠도 활발하게 제작이 되고 있다. 2019년 파리의 루브르 박물관은 그림 3과 같이 ‘Mona Lisa: Beyond the Glass’ VR 전시를 공개하였다[3]. 모나리자 VR 전시는 레오나르도 다빈치 블록버스터 전시의 일부였다.

Fig. 3.

Mona Lisa: Beyond the Glass

루브르 박물관에는 매일 약 2만 명 이상의 관람객들이 모나리자 작품을 보기 위해 모여든다. 그렇기 때문에 대부분의 관람객들은 군중 틈 저 멀리서 유리관에 갇혀 있는 모나리자를 볼 수밖에 없었다. 이러한 제한된 관객경험의 한계를 확장하고자 루브르 박물관 큐레이터 팀은 HTC VIVE와 함께 관객들이 모나리자를 독대할 수 있는 전시를 구성하였다. 전시를 위해 마련된 VIVE 헤드셋을 착용하면 박물관 내 수많은 사람들은 사라지고 관람객들은 살아 움직이는 모나리자를 마주하게 된다.

인터랙티브 디자인, 사운드, 3D 애니메이션을 통해 관람객들은 나무 패널의 질감, 페인트의 텍스쳐 등도 디테일하게 느낄 수 있도록 하여 실제 작품을 경험할 수 있도록 하였으며 모나리자가 그려졌던 그 시간과 공간을 가상현실 공간에 재구현해 내어 관객들이 작품 속 그 순간을 경험할 수 있도록 하였다. 그러나 관객들이 직접 모나리자와 상호작용하거나 공간과 상호작용할 수 있는 기능은 제공되지 않았다.

미국 플로리다주 피츠버그에 있는 살바도르 달리 미술관은 VR 기술을 이용해 달리의 작품을 재구성하는 파격적인 시도를 하였다. 초현실주의를 대표하는 화가 살바도르 달리(Salvador Dalí)는 밀레(Millet)의 <만종>에 나오는 두 인물이 높다란 조각상으로 서 있는 풍경을 상상하며 <밀레의 만종에 대한 고고학적 회상(Archeological Reminiscence of Millet’s Angelus)>(1933-1935)을 그렸다. <달리의 꿈>에서 이용자는 달리의 ‘고고학적 회상’ 속으로 들어가 360도 가상공간에서 두 석상을 맞닥뜨리게 된다. 달리 미술관이 기획한 '달리의 꿈'은 영상은 기존의 미술관들이 해왔던 것처럼 가상현실 미술관을 360도로 체험하는 것이 아니라 달리의 작품세계를 3차원 구현하고 관객이 그 속에 들어가서 체험하도록 하였다[4].

그림 4와 같이 <달리의 꿈>에서 사용자는 달리의 작품 속으로 들어가 360도 가상공간에서 두 석상을 맞닥뜨리게 된다. 초현실주의적인 달리의 작품세계를 가상현실로 구현해 낸 <달리의 꿈>은 가상현실 기술과 작품세계를 효과적으로 융합한 사례로 2016년 칸국제광고제와 원쇼(One Show) 광고제 등 다양한 수상을 하며 예술과 기술의 시너지 효과를 인정받은 사례이다.

Fig. 4.

Dreams of Dali

관객은 오프라인 전시 공간에 제공되는 HMD를 통해 작품을 감상할 수 있으며 현재 영상 형태로 YouTube에 제공되어 HMD 없이도 영상을 관람할 수 있다. 그러나 이 가상현실 작품에서도 역시 관객은 가상현실 공간의 소극적인 관람자로 시청각적인 경험을 통해서만 전시를 관람할 수 있을 뿐 작품과 상호작용이 가능한 환경을 제공하지는 않았다. 즉 사용자가 실시간으로 작품이나 공간을 탐색할 수 있는 상호작용 요소를 제공하지 않았다.

위의 사례들은 가상현실 기술을 활용하여 전시 공간이나 작품을 재현하여 관람객과 작품사이의 경계를 허물고 새로운 경험을 할 수 있게 해주었다. 특히 루브르 박물관과 달리미술관의 사례는 기존의 원본 작품이 가진 것 이상의 작품세계를 가상현실을 통하여 표현해 내어 관객들에게 더 높은 차원의 경험을 제공하여 작품에 대한 이해와 몰입을 높였다. 그러나 아직까지 이러한 몰입형 가상현실 전시들은 박물관이나 미술관 내 전시 공간에 HMD를 기반으로 제공되어 관객들이 전시관을 직접 방문해야만 하는 접근성의 문제가 있다. 또한 이러한 오프라인 전시를 운영할 때 HMD 기기에 익숙하지 않은 관객들을 도와줄 수 있는 도우미들이 상시 대기하고 있어야 하는 운영의 어려움도 있었다. 또한 범용성을 가지는 웹사이트나 모바일을 통해 관람할 수 있는 가상현실 전시의 경우에는 가상현실 기술의 가장 큰 장점중 하나인 상호작용성 측면에서 보았을 때는 360도의 공간을 자유롭게 둘러볼 수 있는 시청각적 경험 외에 관객의 체화된 경험을 제공할 수 있는 인터랙션 사례는 거의 찾아볼 수 없었다. 선행연구에 따르면 더욱 새로운 경험을 추구하는 관람객 수용환경의 변화에 발맞춰 VR기술이 활발하게 발전하고 있음에도 불구하고 가상현실 전시가 대중화되지 못한 것은 “VR기기 조작의 학습비용”, “HMD(Head Mounted Device)의 기술적 문제”, “콘텐츠의 부재에 따른 소비가치의 결여” 이렇게 세 가지지를 들었다[5]. 우리는 아래 표 1과 같이 기존 가상현실 전시의 장점과 단점을 도출하였다. 웹과 모바일 기반의 가상현실 전시는 별도의 기계나 운영이 필요 없기 때문에 많은 관객들이 손쉽게 접근이 가능하여 접근성과 범용성 그리고 대중성을 가진다. 그러나 환경에 따른 제약으로 인해 실시간 상호작용성이 부족하여 관객의 몰입을 저하시킬 수 있다는 단점이 있다. 오프라인 전시 공간의 HMD 기반 가상현실 전시들은 높은 퀄리티의 콘텐츠와 실시간 상호작용을 제공하여 높은 몰입도를 장점으로 하나 항시 운영이 어려우며 접근성과 대중성이 부족하다는 단점을 가진다. 우리는 이를 바탕으로 하여 높은 퀼리티와 실시간 상호작용이 가능한 가상현실콘텐츠이지만 별도의 HMD 기기 없이 개인 PC 환경에서 관람이 가능한 가정용 가상현실 전시를 제안하고자 한다.

Table 1.

Advantages and Disadvantages of Existing Virtual Reality Exhibition

세계적인 건축가 도미니크 폴로는 오늘날 “박물관의 수준을 좌우하는 것은 가지고 있는 소장품이 아니라 어떤 주제에 대한 독창적인 시각과 이를 표현하는 지적 역량”[6]이라 주장하였다. 우리는 이러한 독창적인 시각과 역량을 가지고 새로운 가상현실 전시를 시도하기 위하여 경기도에 위치한 백남준 아트센터와 함께 백남준 작가의 ‘음악의 전시’를 가정용 가상현실 전시로 재탄생 시켰다.

2-2 <음악의 전시-전자 텔레비전(Exposition of Music-Electronic Television>

‘비디오 아트’ 의 창시자로 세계적으로 잘 알려진 백남준은 예술사에서도 실험적인 작품 활동으로 잘 알려진 예술가이다. 백남준의 첫 개인전이었던 <음악의 전시-전자 텔레비전(Exposition of Music-Electronic Television>은 1963년 3월 11일부터 3월 20일까지 독인 부퍼탈(Bupertal)의 파르나스 갤러리(Galerie Parnass)에서 열렸다[7]. 백남준의 <음악의 전시>는 그의 작가로서의 활동이 뻗어나갈수록 가치가 높이 평가되어 백남준 아트센터를 비롯한 세계 곳곳에서 이에 관한 심포지엄을 열기도 하였다[8]. 그럼에도 불구하고 <음악의 전시>의 전시 공간이나 전시품들은 현재 흑백사진 몇 장들과 전시에 대한 기록글로만 남아있는 상황이다. 이는 <음악의 전시>가 관객의 참여와 작가의 행위와 같은 순간적인 인터랙션 요소들을 포함한 전시였기 때문이며, 이를 기록할 수 있는 수단이 사진들과 전시를 관람했던 관객들밖에 없었기 때문이다. 우리는 이러한 기록들과 작가의 작품 세계에 대한 글을 바탕으로 작가가 <음악의 전시>를 통해 표현하고자 하였던 소통으로서의 예술을 가상현실 기술을 통하여 표현하고자 하였다. 기존의 많은 전시들이 실제 작품을 스캔하거나 사진으로 기록하여 가상현실에 구현하는 방식을 사용하였지만 백남준의 <음악의 전시>는 그 실물이 남아 있는 상태가 아니고 관객의 상호작용을 중심으로 전시가 진행되기 때문에 3D 그래픽을 기반으로 하는 인터랙티브 전시를 기획하여야 하였다.

백남준의 ‘음악의 전시’는 전시명과 같이 음악을 전시하고자 했다. 백남준은 원래 음악을 공부했으며 실험정신이 강한 음악에 관심이 많았다. 백남준은 통상 음악의 ‘바깥’이라고 간주해온 일상의 소리(소음)나 행위, 관객 참여를 연주 내용에 포함하며 “음악을 전시한다.” 고 선언하였다[9]. 음악이 모든 소리뿐만이 아니라 행위를 포함한다는 것을 깨달으면서 그는 관람객들의 행위와 소리를 포함하는 음악을 전시하고자 한 것이다. 백남준은 “예술은 소통의 가장 오래된 형식”[10]이라는 믿음을 가지고 시간성과 소통에 대하여 성찰하면서 이를 개념적 실행적인 작품으로 표현해내었다. 우리는 ‘음악의 전시’에서 관람객들의 소통을 가상현실 공간에 가장 잘 표현할 수 있는 상호작용성이 높은 작품 3가지를 선정하여 개발하였다.

1) 총체 피아노(Prepared Pianos)

첫 번째 작품은 그림 5의 <총체 피아노>로 파르나스 갤러리의 1층에 위치해 있던 네 대의 장치된 피아노 작품이다. 그 중 2대의 피아노는 건반과 피아노 내부 현에 일상적인 사물들을 부착하거나 매달아 놓았다.

Fig. 5.

(Up) Original Prepared Piano (Down) VR Prepared Piano

보통 피아노 건반을 누르면 피아노 소리가 날 텐데, 이 두 대의 총제 피아노 중 한 대는 다른 무언가를 두드리는 소리가 나거나 피아노 주변의 조명을 켜기도 하고 라디오나 환풍기를 작통시키기도 한다. 다른 하나의 피아노는 피아노 건반을 눌렀을 때 건반을 누르는 둔탁한 소리만이 들리고 소리가 나지 않도록 장치해 놓았다. 그 외 나머지 두 대의 피아노는 백남준이 전시 중에 피아노를 부수는 퍼포먼스를 하여 부서진 상태로 전시되어 있었기 때문에 우리는 4대중 관람객들이 직접적인 상호작용을 할 수 있는 2대의 총체 피아노를 중심으로 재구현하였다.

2) 랜덤 액세스(Random Access)

두 번째 작품은 그림 6의 <랜덤 액세스(Random Access)>로 갤러리 파르나스 갤러리 복도의 벽면에 카세트 테이프를 잘라 무질서하게 붙여놓았다. 그리고 그 아래는 마치 물레처럼 생긴 기계에 역시 테이프를 붙여 놓고 돌아가도록 설치하였다. 관객이 함께 설치된 마그네틱 헤드를 잡고 테이프를 자유롭게 긁으면 테이프에 저장되어 있는 다양한 소리가 무작위하게 나오게 된다. 이 작품도 역시 관람객들이 자유롭게 상호작용하고 참여함으로써 작품이 완성될 수 있는 참여형 작품이다. 가상현실 공간에 재구현한 작품에서도 관람객이 마그네틱 헤드를 잡고 테이프를 긁는 과거 전시장과 같은 상호작용을 할 수 있도록 하였다.

Fig. 6.

(Up) Original Random Access (Down) VR Random Access

3) 실험 TV방(Experimental TV)

마지막 작품은 그림 7의 실험 TV방(Experimental TV)으로 총 13대의 실험TV들을 방안에 전시하였다. 남아있는 흑백 사진들과 자료에 의해서는 이 실험 TV 들이 모두 한 공간에 있지 않았으나 가상현실로 재 구현된 VR 전시에서는 관람객들이 한 공간 안에서 실험 TV 들을 경험할 수 있도록 배치하였다. 실험 TV 방의 TV들은 사전에 내부 회로를 물리적으로 조작해 동일한 방송 채널의 화면이 네거티브로 보이게 한 TV, 가로줄이나 세로줄 혹은 여러 형태의 곡선들이 화면을 방해하여 왜곡되어 보이도록 하는 TV 같이 사전에 TV를 조작하여 동시간 대에 하나의 채널만을 일률적으로 방송해야 했던 미디어를 해체하는 작업을 보여주었다. 이러한 실험 TV 중 관객이 TV의 다이얼을 돌려 TV 모니터 속 점의 크기를 변형시킬 수 있는 ‘한점 TV’를 통해 관객들이 상호작용을 할 수 있도록 제작하였다.

Fig. 7.

(Up) Original Experimental TV Room (Down) VR Experimental TV Room

3-1 가상현실전시의 사회적 현존감

가상 전시공간은 가상현실 기술의 발달과 함께 다양한 전시방식을 만들어내고 있으며, 전시를 감상하는 관람객들에게 마치 가상공간에 존재하는 것 같은 현존감(presence)을 느낄 수 있도록 해주고 있다. 현존감은 사용자의 신체는 현실세계에 있지만 가상현실을 통해 마치 가상공간에 존재하고 있는 것처럼 느끼는 것을 의미하며 매개된 환경에서 사용자들이 매개되지 않은 듯한 지각적 환상으로 정의될 수 있다[11]. 민스키(Minsky, 1979)는 일찍이 “거기에 있다는 느낌(sense of being there)"을 의미하는 용어로 ’원격현존감(telepresence)‘을 제시하였다[12]. 또한 스튜어(Steuer, 1992)는 가상현실과 관련하여 어떤 상황 속에 존재하는 느낌이라고 현존감을 규정하였다[13].

라이드(Reid, 2008)는 가상현실 공간의 사용자가 진정한 현존감을 느끼기 위해서는 단순히 기술적인 경험을 넘어선 상상적 경험이 필요하며 이를 위해서는 가상공간의 다른 주체와의 커뮤니케이션이 필요하다고 주장하였다[14]. 즉 실제가 없는 가상공간에서 사용자가 현존감을 느끼기 위해서는 가상공간의 사용자가 가상공간의 타인이나 가상환경과 상호작용을 해야 한다는 것을 의미한다. 아무리 잘 만들어진 실재와 같은 가상전시실에 관객이 들어가도 그곳에서 어떠한 상호작용이 없다면 실제로 전시실에 와 있는 듯한 현존감을 느끼기 어렵다는 것이다. 히터(Heeter, 1992)는 가상세계에서의 사회적 현존감을 강조하면서 사회적 현존감은 가상세계에서 “다른 존재들이 미디어 이용자에게 존재하는 것처럼 그리고 반응하는 것처럼 보이는 범위”라고[15] 정의하였다. 사회적 현존감은 가상공간의 다른 존재와의 상호작용에 방점이 놓여 있다. 가상전시에서도 사회적 현존감의 정도는 언어적 혹은 비언어적인 사회적 상호작용이 사용자에게 얼마나 제공 되는가 그리고 사용자의 행동에 대한 피드백이 얼마나 즉각적으로 제공되는가에 따라 달라질 수 있다[16].

기존의 가정용 전시들은 작은 화면을 통해 마우스나 키보드 등의 제한된 인터페이스를 사용하여야 하였기에 관객의 현존감을 높이기가 어려웠다. 이에 본 가상현실 전시에서는 가정에서 관람하는 관객의 사회적 현존감을 증강시키기 위해 언어적, 비언어적 사회적 커뮤니케이션 요소들과 사용자의 인터랙션에 대한 즉각적인 피드백을 풍부하게 제공하여 사용자가 가상환경 안에 존재하고 반응하는 것을 느끼도록 하였다. 이를 통해 사용자가 몰입형 가상환경이 아닌 모니터 기반의 가상환경에서도 충분한 사회적 현존감을 느끼게 되어 마치 1963년 백남준의 첫 번째 전시가 열린 페르나스 갤러리에 존재하고 있는 것처럼 느끼게 하고자 하였다.

3-2 확장된 경험

백남준 <음악의 전시>의 대표적인 작품 3가지를 가상현실 기술을 통하여 구현할 때 우리는 기존의 자료들을 고증하여 원본을 그대로 재현하는 것도 중요하지만 가상현실 전시에서만이 경험할 수 있는 확장된 경험을 제공하고자 하였다. 백남준은 전시가 열리기 전 1962년 12월에 발표한 글 「음악의 전시(Del’exposition de la musique)」에서 관객의 자유에 대하여 언급하였다. 그는 “방에 각종 악기와 소리를 낼 수 있는 사물을 전시해서 관객이 마음껏 가지고 놀 수 있게 한다.(나는)이제 요리사(작곡가)가 아니라 ‘식료품 가게 주인’일 뿐이다.”[17]라고 하였다. 이는 <음악의 전시>를 통해 백남준이 관객에게 작품 참여의 자유를 줌으로써 전시의 수용자가 아닌 주체가 되어 확장된 경험을 하도록 전시를 기획한 것을 의미한다.

이와 같이 백남준이 ‘음악의 전시’를 통해 관객들이 참여로 완성되는 전시를 만들고자 했듯이 우리는 가상현실 기술이 가진 상호작용성의 특징을 활용하여 관객들이 확장된 경험을 통해 사회적 현존감을 느낄 수 있도록 하였다. 기존의 가상현실 전시들 역시 360도의 자유로운 시야각과 공간 사운드 그리고 컨트롤러 등을 통한 상호작용을 제공하였지만 대부분 전시품에 대한 단순한 설명 텍스트나 내레이션 등의 정보 전달에 그치는 경우가 대부분이었다. 이는 박물관이나 전시관의 전시품들 대부분이 관람객들이 수동적으로 관람하는 형태의 평면 회화 작품이나, 만질 수 없는 조각 혹은 설치물들이기 때문이다. 또한 전통적인 전시관이 가지는 관객과 작품 간의 경계가 가상현실 전시에서도 존재하기 때문이었다. 그러나 백남준 작가의 첫 번째 전시는 관객이 참여하는 실험적이며 상호작용적인 전시로 가상현실 기술을 접목하기에 매우 적합한 작품들이었다. 관객들은 가상현실 기술을 통해 작품과 상호작용하며 소통하고 체험 할 수 있다. 이때 상호작용은 각 시스템 안에서 구조적인 변화를 촉발하고 전시물의 내용과 형식, 기술적 실현 방법분만 아니라 전시 방법과 상호 관계를 갖는다[18]. 우리는 아래의 표 1과 같이 언어적, 비언어적 커뮤니케이션 요소들과 즉각적인 피드백 그리고 상상적 경험을 통해 사용자에게 확장된 경험을 통한 현존감을 느끼도록 하였다. 또한 사용자가 취하는 인터랙션들은 각각 즉각적인 피드백을 사용자에게 제공하여 관객의 사회적 현존감을 강화시켰다.

Table 2.

Verbal and nonverbal communication elements provided in this Virtual Reality exhibition

언어적 커뮤니케이션 요소를 강화하기 위해 내레이터는 마치 사용자에게 직접 얘기하는 듯한 어투를 사용하여 친근감이 있도록 하였다. 비언어적 커뮤니케이션 요소로는 사용자가 직접 피아노 건반을 누르는 인터랙션이나 그림 8과 같이 핀을 들어 벽에 붙어있는 테이프 조각들을 직접 긁어 소리를 내기도 하는 등의 제스처를 취하게 하여 자연스러운 손 인터랙션을 하도록 하였다.

Fig. 8.

A virtual hand holding a pin and scratching pieces of tape on the wall

또한 텔레포트 기능을 통해 공간과 공간의 이동을 용이하게 하고 수행해야 하는 인터랙션에서 다음 인터랙션 단계로 넘어가는 단계에서 혼선이 없이 진행할 수 있도록 하였다. 즉각적인 피드백 요소에서는 사용자가 핀을 긁을 때 다양한 소리를 즉각적으로 발생시키고, 피아노 근처의 사물들을 만졌을 때 부서지거나 소리가 나게 하였으며 그림 9와 같이 텔레비전 다이얼을 돌렸을 때 화면 속의 점의 크기가 변하게 하는 등 다양한 요소들을 제공하였다.

Fig. 9.

A dot on the television that changes in size when the user dials it

마지막으로 과장된 애니메이션을 더해 가상현실 속에서만 할 수 있는 상상 속의 경험을 할 수 있도록 하였다. 예를 들면 현실세계에서는 벌어질 수 없는 텔레비전이 풍선처럼 팽창했다 수축했다 한다든지 그림 10과 같이 인터랙션 하고 있는 텔레비전에만 스폿 라이트가 켜지는 등의 애니메이션 요소를 통해 가상현실만이 표현할 수 있는 요소들을 제공하였다.

Fig. 10.

Spot-lighted television

4-1 게임엔진을 활용한 제작

가정용 가상현실 전시 제작을 위하여 우리는 3D 모델링 소프트웨어인 Maya를 활용하여 전시품 및 전시 공간을 모델링하고 사용자의 실시간 상호작용을 적용하기 위하여 리얼타임 게임엔진인 언리얼(Unreal Engine)4를 사용하여 개발을 진행하였다. 언리얼 게임 엔진의 특성상 높은 그래픽 퀄리티의 콘텐츠 제작이 가능하지만 어플리케이션의 용량이 큰 관계로 그래픽의 퀄리티는 최대한 보존하되 가정용 PC 환경에 가장 적합할 수 있도록 최적화하는 것에 주력하여 개발을 진행하였다.

5) Blueprint 설정

실시간 상호작용이 있는 콘텐츠를 제작할 때 가장 중요한 과정 중 하나는 블루프린트(Blueprint)라고 하는 언리얼엔진의 비주얼 스크립팅(Visual Scripting)이다. 이 시스템은 노드 기반 인터페이스를 사용하여 게임플레이 요소를 제작하는 개념을 토대로 한 비주얼 스크립팅으로 인터랙티브한 콘텐츠를 만들 때는 반드시 필요한 시스템이다[19]. 여기에서 노드(node)는 언리얼 엔진에서 제공하는 9가지의 변수의 유형 모듈(module)을 연결하며 다양한 쓰임새를 만드는 것을 의미한다. 노드의 연결을 통해 가상공간의 사물에 다양한 이벤트를 적용하고 어떠한 자극이 있을 때 어떤 반응이 있게 할 것인지 설계할 수 있다.

Fig. 11.

Blueprint of ‘Exposition of Music’

우리는 전시 단계별로 사용자에게 제공할 적합한 인터랙션과 전시 관람 순서를 정리하기 위해 그림 12와 같이 사용자 플로우 차트(Flow Chart)를 만들고 이를 통해 체계적인 노드의 연계가 가능하도록 하였다. 사용자는 가상현실 전시를 관람하는 동안 정해진 인터랙션 수행을 통해 다음 전시 순서로 넘어갈 수 있으며 메뉴버튼을 주어 원하는 단계의 전시로 돌아가 다시 체험해볼 수 있도록 사용자 플로우를 디자인 하였다.

Fig. 12.

User Flow Chart

4-2 PC버전 어플리케이션의 제공

기존의 HMD 기반의 가상현실 전시들은 관람객들이 직접 박물관을 방문하여 예약을 통하여 관람을 했기 때문에 접근성과 범용성이 높지 않았다. 혹은 가정에 HMD를 구비하고 있어야 하여야 했기 때문에 대중성도 높지 않았다. VR 전시를 제공하는 박물관이나 미술관 입장에서도 갤러리 내에 VR 기기 작동법을 도와줄 인력을 투입하여야 하며 기계를 구비해야 하는 등 VR 전시를 지속적으로 제공하기에 운영이 어렵고 비용이 많이 드는 단점들이 있었다. 이에 본 프로젝트에서는 더욱 많은 관객들이 직접 전시관을 찾지 않고도 가정 내의 개인 PC 환경에서 HMD 없이도 VR 전시를 즐길 수 있도록 VR 어플리케이션을 개발하였고 그림 13과 같이 백남준 아트센터 홈페이지를 통해 다운 받을 수 있도록 제공하였다.

Fig. 13.

PC version application released on Namjun Paik's Art Center website

기존의 웹과 모바일 VR 전시의 장점을 융합하여 가정용 VR 전시에서는 개인 PC환경을 기반으로 하여 그림 14과 같은 장점들을 도출할 수 있었다. 기존의 HMD 기반 환경에서 컨트롤러로 조정할 수 있었던 사용자의 손 인터랙션과 공간이동을 마우스와 키보드의 단축키로 할 수 있도록 제공하였다. 특히 손을 사용해 물건을 잡는 동작같이 디테일한 동작을 수행할 때는 마우스의 클릭 버튼을 통해 최대한 사용자가 PC환경에서도 자연스러운 손의 움직임을 체험할 수 있도록 하여 몰입을 강화하고자 하였다.

Fig. 14.

Advantages of VR exhibitions in the home that complements the disadvantages of existing exhibition platforms

또한 기존의 웹이나 모바일 환경에서 데이터 전송의 문제로 인해 제공되지 않았던 실시간 상호작용성과 높은 퀼리티의 그래픽 제공을 위해 어플리케이션 형태로 제작하여 누구나 가정에서 개인 PC에 손쉽게 다운로드 받아 실행할 수 있도록 제공하였으며 이를 통해 콘텐츠의 범용성과 대중성 그리고 접근성을 모두 제공하였다.