웨어러블 밴드를 활용한 감성 반응형 인터랙티브 VR 영화의 연구

1-1 연구의 배경

현재 가상현실 시장은 빠른 시장으로 성장하고 있다. 세계 굴지의 기업인 구글, 페이스 북, 삼성, 소니 등의 기업들은 가상현실 하드웨어를 시작으로 하여 가상현실 환경에 적합한 소프트웨어와 콘텐츠 제작까지 그 영역을 넓혀가고 있다. 이는 스마트폰 시장의 포화로 인한 새로운 하드웨어 시장의 개척과 더욱 새로운 경험을 원하는 미래의 소비자들을 위한 새로운 콘텐츠 시장의 개발이기도 하다. 즉 소극적으로 만들어진 영상을 관람하던 일방향형 미디어 시대에서 웹과 모바일의 발달을 통한 쌍방향형 미디어 시대를 넘어 가상현실 기술을 기반으로 한 체험형 인터랙티브 미디어 시대로의 변화라고 할 수 있다. 현재 통신속도의 발달로 인해 눈부신 성장을 거둔 웹과 모바일 미디어 환경은 관객들에게 콘텐츠에 직접 개입이 가능한 여러 가지 형태의 쌍방향 콘텐츠를 제공하고 있다. 웹과 모바일을 기반으로 하는 유투브 채널은 관객들이 직접 창착자가 되어 콘텐츠를 제작하고 공유할 수 있는 공간을 제공하고 있으며 이를 통해 관객과 창작자가 일치되는 현상이 발생하고 있다. 또한 빠른 속도로 성장하고 있는 넷플릭스 같은 플랫폼 사업자는 사용자가 선택하는 콘텐츠를 분석하여 취향에 맞는 콘텐츠를 제공하거나 사용자의 선택에 따라 이야기가 변하는 인터랙티브 스토리텔링을 도입한 콘텐츠들을 제공하고 있다.

2017년에는 드림웍스와 협력하여 자사의 오리지널 콘텐츠 인터랙티브 애니메이션 '장화 신은 고양이의 모험(The Adventure of Puss in Boots)'을 공개하였다. 이 인터랙티브 애니메이션에는 13개의 선택지를 제공되며 사용자가 캐릭터를 대신해 결정을 내리고 스토리를 이어가는 대화형 콘텐츠였다. 사용자는 애니메이션을 관람하며 선택하는 선택지에 따라 각각 다른 두 개의 결말을 볼 수 있다. 2019년에는 ‘밴더스 내치’ 같은 인터랙티브 드라마 장르를 선보이는 등 사용자의 개입이 점점 확장되고 있는 것을 볼 수 있다. 미국의 영화 전문 채널 HBO도 2017년 인터랙티브 드라마 '모자이크(Mosaic)'를 방영하였다. 이 인터랙티브 드라마는 기본 스토리의 맥락과 결말은 같지만 시청자가 캐릭터의 시점을 선택해 달리 해석할 수 있도록 한 버전을 제공했다. 시청자가 인물을 선택하면 이에 따른 추가 영상, 캐릭터의 음성 메일, 스토리 해결과 관련된 문서 등을 부가 콘텐츠를 제공하여 같은 사건을 다른 인물의 시점으로 시청할 수 있도록 하는 새로운 시도를 하였다. 이처럼 사용자와 콘텐츠 간의 실시간 상호작용이 가능해진 환경에 맞추어 콘텐츠 제공자들은 관객에게 새로운 경험을 제공하기 위한 다양한 인터랙티브 콘텐츠를 제공하고 있다.

그러나 지금까지 상용화된 인터랙티브 콘텐츠들은 웹과 모바일에 한정된 영상과 사운드를 통한 1차원적인 시청각 경험을 통해 향유되었지만 현재 급속도로 발전하고 있는 가상현실 기술의 발전과 생태계의 형성과 함께 사용자의 신체적인 상호작용과 감성적 상호작용 더 나아가 사용자 개인과 다른 사람들과의 상호작용까지 콘텐츠에 영향을 미치는 소셜 상호작용까지 고차원적 상호작용까지 확장되고 있다. 이에 본 연구에서는 현재 이슈가 되고 있는 가상현실 콘텐츠를 중심으로 변화하고 있는 상호작용성의 확장 현상을 살펴보고 웨어러블 기술을 활용한 사용자의 감성 반응형 인터랙티브 VR 영화의 제작사례를 통해 가상현실 인터랙티브 콘텐츠가 나아갈 방향을 모색하고자 한다.

1-2 연구의 방법

가상현실 기술은 이미 과거부터 인간의 시청각적 정보뿐만이 아니라 다양한 상호작용성을 통해 사용자의 몰입을 높이고자 하였다. 1962년 Morton Heilig가 개발한 ‘가상현실 비디오 아케이드인 Sensorama’[1] 시뮬레이터는 이미 3차원 비디오와 모션, 칼라, 입체 음향, 향기, 바람 효과, 진동 의자로 구성되어 있어 사용자의 시청각뿐만이 아니라 다양한 감각을 통한 가상현실 시스템을 구현하였다.

Fig. 1.

Sensorama Simulator

기존의 스크린과 웹 그리고 모바일을 통해 수요되는 콘텐츠와 가상현실 콘텐츠와의 가장 큰 차이점은 가상현실 경험의 중요한 특징이 감각을 통한 커뮤니케이션이라는 것이다. 즉 기존의 콘텐츠들이 상징 기호인 문자에 기반한 언어적 커뮤니케이션을 중심으로 수요 되었다면 가상현실 콘텐츠는 영상 이미지(graphic image), 음향(sound)과 같이 감각적으로 체험되는 “자연 기호(natural sign)"에 기반한 커뮤니케이션이라는 점이다 [2]. 볼터(Bolter)는 가상현실의 커뮤니케이션은 3차원 그래픽, 음향, 촉각적 자극 등을 통한 자연적 기호를 통해 이루어지며 이는 기존의 커뮤니케이션 수단인 언어의 자의성과 추상성과는 다른 특성을 가진다고 하였다 [3]. 또한 Katherine Hayles(1993)는 가상현실은 "체현된 지식 (embodied knowledge)"을 앎의 형태로 갖는 것이라고 하며 가상현실 공간에서의 체회된 경험의 중요성을 강조하였다 [4].

앞의 학자들이 주장한 것처럼 가상현실 체험은 디지털 이미지의 기본적 성질들을 기반으로 하되 시뮬레이션(simulation), 원격현전(telepresence), 몰입(immersion) 등의 메커니즘을 통해 이루어진다. 가상현실 콘텐츠를 이루고 있는 가상의 이미지와 사운드, 상호작용을 통한 시뮬레이션을 통하여 사용자는 마치 그곳에 가 있는 것 같은 원격현전을 경험하며 이를 통해 몰입을 느끼게 된다. 이러한 가상현실의 특징 때문을 통해 콘텐츠 창작자들은 수요자들에게 궁극의 몰입을 느끼게 하고자 하며 이를 위해 고화질의 360도 입체 영상, 공간 사운드, 실시간 상호작용 등을 가상현실 콘텐츠에 접목하고 있다.

그러나 현재까지 대부분의 가상현실 콘텐츠들은 사용자의 시청각적인 정보에 집중한 가상현실 콘텐츠가 주류를 이루고 있으며 가상현실 콘텐츠의 상호작용성에 대한 연구가 부족한 것이 현실이다. 상용화 된 가상현실 콘텐츠들 중 상호작용성을 기반으로 한 콘텐츠들은 주로 가상현실 게임으로 실제와 같은 신체적인 상호작용성에 집중하여 콘텐츠를 개발하고 있다. 예를 들면 슈팅게임에서는 실제 사용자가 총을 들고 슈팅을 하는 것과 같은 상호작용을 제공하고 뛰어가는 장면에서는 트레드밀(treadmill)과 같은 시뮬레이터를 개발하여 실제 뛰어가는 행동을 취하게 하는 방식이다. 그러나 가상현실에서의 상호작용성은 위와 같은 신체적 상호작용 외에도 다양한 방식으로 이루어질 수 있다.

앞에서 언급했듯이 사용자의 시청각적인 정보를 통한 상호작용이 1차원적 상호작용이라고 했을 때 사용자의 몸, 정신, 소셜 인터랙션 등을 통한 다차원 적인 상호작용이 이루어질 수 있는 것이라. 본 연구에서는 이러한 가상현실 공간에서 이루어지는 다차원적인 상호작용에 대하여 살펴보고 그중 사용자의 감성적 상호작용을 활용한 가상현실 영화 제작 사례를 제시함으로서 향후 가상현실 영화콘텐츠가 나아갈 방향을 제시하고자 한다.

2-1 신체적 상호작용

크루거(Krueger)는 가상현실의 매개된 환경에서 현전을 가능하게 해주는 “궁극적인 인터페이스”(ultimate interface)는 몸이고, 이 몸의 운동이 가상현실 체험을 가능하게 한다고 주장하였다 [5]. 즉 가상현실 공간에서 사용자가 실제 그들의 몸을 사용하여 신체적인 움직임을 취했을 때 가상현실 공간에 매개될 수 있으며 몰입할 수 있다는 것을 의미한다. 이를 위해 최근에는 가상환경에서의 신체적 상호작용을 목적으로 다양한 센서들이 활용되고 있다. 이미 상용화된 오큘러스 리프트와 HTC의 VIVE 등은 Depth 센서들을 활용하여 사용자의 신체적 움직임을 실시간으로 트래킹하며 사용자의 손에 가속도, 자이로프스코프 센서 등이 탑재된 콘트롤러를 들고 상호작용하게 하여 손의 움직임을 통해 콘텐츠와 상호작용하게 한다. 그러나 이러한 콘트롤러 기반의 상호작용은 HMD 기반의 가상현실의 큰 장점이라고 할 수 있는 자유로운 두손의 움직임을 제한하는 유저 인터페이스를 제공하고 있다. 이러한 단점을 해소하기 위해 최근에는 RGB-D 카메라, depth 센서, IMU 센서등 3차원 공간에서의 사용자의 움직임을 추적하고 제스처를 인식이 가능한 가상현실 인터페이스에 대한 연구도 활발히 일어나고 있다. 또한 현실과 같은 신체적 상호작용을 가능하게 하기 위하여 단순 클릭 인터랙션이 아닌 콘트롤러와 센서를 기반으로 한 제스쳐를 제공하는 사례들도 점점 늘고 있다. 최근 가상현실 게임 시장에서 선풍적인 인기를 얻고 있는 비트세이버 같은 게임의 사례를 대표적으로 들 수 있다.

Fig. 2.

VR Game 'Beat Saber'

체코의 인디게임 개발사 하이퍼볼릭 마그네티즘이 2018년 1윌에 선보인 ‘비트세이버’[6]는 사용자가 VR 헤드셋을 끼고 가상의 공간에서 음악에 맞춰 스타워즈를 연상케 하는 광선검으로 다가오는 노트를 베어버리는 VR 리듬게임중 하나이다. 기존의 상호작용 콘텐츠들이 관객의 움직임을 최소화 하는 인터랙션을 제공했던 것과는 다르게 비트세이버는 경쾌한 노래에 맞추어 양 팔을 자유롭게 움직이며 광선검을 휘두르는 자유로우면서도 직관적인 인터랙션을 제공함으로써 전세계적으로 인기를 얻고 있다.

또한 미국에서 개발된 Omni Virtux 트레드밀[7]은 HMD를 착용한 사용자가 직접 가상현실 공간을 걷거나 뛰면서 게임을 즐길 수 있는 런닝머신 형태의 시뮬레이터를 개발하였다. 국내의 누믹스에서 개발한 퀀텀 VR 트레밀은 사용자의 360도 전 방향으로 무한 보행이 가능하고 가상현실의 환경 변화에 따라 바람분사, 지면진동, 표면 각 변화 등의 4D효과로 변환시켜 트레드밀에 탑승 중인 사용자에게 즉각적으로 전달한다. 이를 통해 사용자의 감각적 체험이 극대화 되도록 개발된 세계 최초의 ‘오감형 VR 트레드밀’이다. 이러한 트레드밀 형태는 사용자가 가상현실 공간에서 인지부조화로 일어나는 멀미 현상을 줄이고 현실세계에서의 신체적 상호작용을 가상공간에서 일치시킴으로서 몰입감을 높이는 것을 목표로 하고 있다.

Fig. 3.

Numix, 'Quantum Treadmill'

본 연구자는 이러한 신체적 상호작용의 일환으로 웨어러블 기술을 활용한 신체적 상호작용을 영화콘텐츠에 접목한 VR 영화 ‘소녀에게’를 제작하기도 하였다. ‘소녀에게’는 프리렌더 방식의 VR 인터랙티브 애니메이션으로 관객이 HMD를 착용하고 영화를 관람하다 3개의 분기마다 손 제스쳐 인터랙션을 소녀와 상호작용함으로써 결말이 달라지는 형태의 인터랙티브 애니메이션이다. 관객에게 자유로운 손 제스쳐를 제공하기 위해서는 IMU 센서를 탑재한 웨어러블 밴드를 사용하였다.

앞에서 살펴본 콘트롤러나 센서 그리고 트레드 밀을 통한 상호작용에는 별도의 센서나 카메라 등을 설치하여야 하며 센서나 카메라가 프래킹 할 수 있는 범위에 제약이 있다는 단점들이 아직 존재한다. 사용자에게 좀 더 자유로우며 제약이 적은 신체적 상호작용이 적은 신체적 상호작용을 제시하기 위해서는 센서와 카메라 등을 HMD에 탑재하거나 웨어러블 형태로 제시하는 방법 등 다양한 연구가 향후 진행되어야 할 것이다.

2-2 감성적 상호작용

가상현실에서의 상호작용에 대한 연구는 크게 2가지 방향성을 가지고 연구되는데 앞에서 명시한 신체적 상호작용은 사용자의 현실세계에서의 신체적 상호작용을 그대로 가상공간에서도 취하게 함으로써 체화된 경험을 통한 몰입을 느끼에 하는 것이였다. 그러나 어떤 연구자들은 이러한 신체 상호작용이 내러티브 중심의 콘텐츠에서는 사용자의 몰입과 큰 관련이 없으며[8], 자칫 방해 요소가 될 수가 있다는 주장도 제기되고 있다.

이러한 이유에서 가상현실 환경에서 사용자의 생체신호 반응을 콘텐츠에 접목하는 감성적 상호작용에 대한 연구도 진행되고 있다. 사용자의 감성 반응은 주로 사용자의 생리적 반응 측정을 통해 이루어지는데 사용자의 뇌파(EEG: Electroencephalogram), 심혈관 반응(PPG: Photoplethysmography), 표정 등이 가장 대표적으로 많이 사용되고 있다. 국내에서는 가상현실 심리 기술훈련 시뮬레이션을 통해 야구 선수들의 심리 상태를 측정하기 위한 뇌파 분석을 진행한 연구도 있었다. [9] 해외에서도 많은 연구 기관들이 뇌파 기반 인퍼테이스 기술에 대한 연구를 진행하고 있으며 기존에 감정상태 파악을 위해 많이 도입해오던 기능적 자기공명영상(fMRI) 기법과 병행하여 뇌파를 통해 감정을 인식하고자 하는 노력을 하고 있다.

Fig. 4.

Game Play of ‘Relax to Win' Numix

PPG 측정을 통한 사용자의 감성 반응 측정은 사용자의 감성반응에 따라 변화하는 자율신경계의 심혈관 반응을 분석하는 것을 통해 이루어진다. 이 같은 심혈관계 반응의 변화를 통해 사용자의 감성을 측정하려는 연구들은 국내외 연구자들에 의해 꾸준히 진행되고 있다 [10, 11]. 또한 Ekman(1992)은 얼굴 표정 연구를 통하여 인간의 기본정서를 기쁨(happiness), 슬픔(sadness), 분노(anger), 공포(fear), 혐오(disgust) 및 놀람(surprise)의 여섯 가지로 구분하였으며, 많은 연구자들이 이와 유사한 기본 정서에 대한 연구를 진행하고 있다.

이러한 인간의 생체반응을 콘텐츠에 접목하여고 하는 시도 또한 세계 곳곳에서 이루어지고 있다. 이러한 분야를 바이오 피드백 콘텐츠라고 볼 수 있는 이는 사용자의 생체 신호 데이터를 콘텐츠에 접목하는 콘텐츠라고 할 수 있다. 현재까지 바이오피드백 콘텐츠는 치료, 건강 증진을 목적으로 하는 기능성 게임의 하나로 많이 연구되어 왔다. 하지만 최근에는 엔터테인먼트 요소를 높인 바이오피드백 게임도 증가 추세에 있다.

외국의 사례 중 아일랜드 더블린의 미디어랩(media lab)에서는 우울증이나 스트레스 치료를 위해서 긴장을 해소시키고 이완을 도와주는 릭랙스 투 윈(relax to win)[12] 이라는 이름의 게임을 발표하였다. 사용자의 손가락에 흐르는 맥박과 전류를 분석해서 긴장을 풀고 맥박이 낮아질수록 빨라지는 공룡을 조작하는 게임이다. 미국의 Wild Divine사에서는 호흡 명상을 통한 육체와 마음의 이완과 게임을 접목한 바이오피드백 게임인 The Journey to Wild Divine을 만들어 본격적인 상용화에 성공하였다. 이 게임은 손가락에서 심전도와 맥파를 측정하여 게이머에게 피드백하여 게임을 진행하면서 자신의 심리 상태를 시각적으로 관찰할 수 있도록 하였다 [13].

이렇듯 사용자의 생체 신호는 기존의 콘텐츠와는 다르게 자연스럽고 직관적인 인터랙션과 새로운 재미요소를 제공하고 있다. 그러나 현재까지 사용되어 온 뇌파니 심혈관, 표정 등을 활용한 감정 인식을 위해서는 데이터의 측정과 분석을 위한 별도의 장치가 필요하며 이는 위해서는 많은 비용과 시간이 소요되어 실시간 상호작용이 즉각적으로 이루어져야 하는 가상현실 콘텐츠에는 아직 활용하기 어려운 요소들이 많다. 이와 같은 이유 때문에 최근에는 국내 기업인 룩시드랩스가 사용자의 감정 분석을 위한 뇌파 센서와 아이트래킹 장치 등을 최소화 하여 탑재한 HMD를 개발하기도 하였다. 그 동안의 가상현실 콘텐츠가 시각, 청각 중심의 기술을 중심으로 연구되어 왔다면 향후에는 사용자와의 자연스럽고 직관적인 상호작용이 가능한 생체신호를 매개로 한 인터랙션에 대한 연구가 매우 중요한 분야가 될 것으로 예측 된다 [14].

2-3 사회적 상호작용

가상현실 콘텐츠 시장의 성장과 함께 국내외에는 가상현실 게임과 영화 등 다양한 콘텐츠들이 쏟아져 나오고 있다. 그러나 이들은 아직 기술적 제약과 제작환경의 한계로 인해 5분에서 20분 내외의 짧은 콘텐츠들이 대부분이다. 이러한 콘텐츠들은 사용자들에게 1번의 체험으로 충분한 단말성 콘텐츠로서 다가오고 있으며 기존의 성공한 콘텐츠들처럼 사용자에게 지속적으로 소비하게 만드는 어포던스를 제공하지 못하고 있다. 이에 많은 전문가들은 가상현실과 소셜 미디어가 만난 소셜 VR 콘텐츠에 눈길을 돌리고 있다. 사실 현실 세계를 모방하는 가상현실 세계의 특성 관점에서 바라보았을 때 현실 세계와 가장 닮아있는 콘텐츠는 바로 소셜 VR 이라고 할 수 있다. 소셜 VR 공간에서 사용자들은 현실 세계와 같이 다른 사용자들과 사회적 상호작용을 통하여 관계를 형성한다. 사용자들은 가상의 공간에서 상호작용을 통하여 현실세계와 같이 친구, 연인, 가족과 같은 관계를 맺는 것이다. 이러한 소셜 VR 콘텐츠의 예로는 페이스북 스페이스, 알트 스페이스 VR, 빅스크린 VR, Rec room 등이 있다. 페이스북 스페이스는 세계적인 소셜 서비스인 페이스북을 가상세계에서 즐길 수 있는 형태의 페이스북이 2017년 공개하였다. 사용자들은 자신의 아바타를 만들어 다른 사용자들과 가상의 공간에서 상호작용을 할 수 있다. 페이스북 스페이스의 아바타는 사진을 통해 사동으로 생성되지만 세세하게 수동으로 조정할 수 있으며, 사용자마다 머리나 손 등 신체 움직임까지 표현되며, 누가 어느 방향을 향해 말하는지 느낄 수 있도록 해당 방향에서 목소리가 들리고 입도 움직이도록 설계되었다. 아바타들은 최대 4명까지 모일 수 있으며 가상의 원형 케이블에서 360도 동영상 사진 등을 배경으로 하여 대화를 나눌 수 있다. 그러나 페이스북 스페이스를 사용하기 위해서는 VR 헤드셋인 오큘러스 리프트(Oculus Rift)와 오큘러스 터치(Oculus Touch) 콘트롤러가 필요하기 때문에 대중화 되기 위해서는 VR 헤드셋의 대중화가 먼저 필요하다는 제약이 있다.

Fig. 5.

Facebook Space

2017년 마이크로소프트(MS)가 인수한 최초의 가상현실 소셜미디어 ‘알트 스페이스 VR(Altspace VR)’ 는 2013년 이미 가상현실 소셜 콘텐츠를 시작했다. 알트 스페이스 VR도 페이스북 스페이스와 마찬가지로 누구나 가상 공간에서 자신만의 아바타를 만들고 활동할 수 있는 VR 소셜 네트워크 플랫폼이다. 사용자의 머리나 사용자의 눈동자 움직임까지 아바타가 재현할 수 있는 가장 진화된 형태의 소셜 플랫폼 중 하나이며 이미 2017년 오픈 베타 테스트를 통해 세계 50개국의 사람들의 참여를 유도하고 지속적인 업데이트를 진행하고 있다. 이러한 가상현실 소셜 플랫폼들은 이제 아바타의 다양성, 인터넷과 채팅, 동영상 시청 등을 기본으로 탐재하고 있다.

Fig. 6.

Altspace VR

미국 유망 스타트업들 역시 소셜 VR 콘텐츠 개발에 적극적이다. 미국 실리콘밸리 스타트업이 개발한 ‘빅스크린 VR’은 일반 PC 화면에서 디스플레이 되는 영화나 게임을 가상현실 공간에서 친구들과 공유하고 대화하며 즐길 수 있도록 만들어 큰 인기를 얻고 있다. 사용자들은 가상현실 안에서 PC 스크린을 구현하여 위치와 크기를 마음대로 조절할 수 있고, 자신만의 아바타를 만들어 여러 명이 같은 가상 공간 안에 모여 멀티 플레이 게임을 하거나 Unity 엔진으로 게임을 만들거나 Maya로 3D 모델링도 할 수도 있다.

Fig. 7.

Rec room

시애틀에 기반을 둔 스타트업 어겐스트 그래비티(Aganist Gravity)의 VR 소셜 게임 ‘렉룸(Rec room)’도 가상공간에서 만난 사람들과 팀을 이뤄 피구, 골프, 탁구 등 다양한 스포츠 게임을 즐길 수 있어 큰 호응을 얻고 있다[15]. 이 앱에서 구현된 가상환경은 마치 3차원으로 그려진 만화처럼 표현되어 있으며 고등학교 체육관을 배경으로 한다. 사용자들은 마치 고등학생처럼 가상의 공간에서 실제 움직임을 바탕으로 페인트 볼 게임이나 피구 등을 직접 플레이 할 수 있다. 또한 사용자들이 모여 서로 대화를 나누며 상호작용하는 락커룸이라는 가상공간을 제공하여 가상 공간 안에서 친구를 만들고 함께 운동경기를 즐길 수 있도록 하였다. 렉룸에서 친구가 되는 방법은 상대의 손을 잡고 흔드는 것인데 이때 사용자가 손에 쥔 컨트롤러가 진동하도록 하여 신체적인 피드백까지 느낄 수 있도록 하였다.

이러한 소셜 VR 플랫폼들은 아직 대중화되지 않은 가상현실 콘텐츠 시장의 확장을 위하여 다수의 사용자들의 상호작용을 통한 가상현실 공간에서의 관계의 형성을 통해 사용자의 확장을 꾀하고 있다. 이러한 소셜 상호작용은 아직까지 개인용의 영화와 게임들이 주류를 이루고 있어 단발성의 콘텐츠로 끝나버리는 가상현실 콘텐츠의 단점을 보완할 수 있으며 우리가 현실 세계에서 맺을 수 있는 관계를 가상공간으로 확장함으로써 더욱 확장된 인간관계를 맺을 수 있도록 한다.

3-1 감성의 측정 방법

지금까지 우리는 가상현실에서 사용자들이 경험하는 상호작용의 종류를 신체적 상호작용, 감성적 상호작용, 소셜 상호작용의 3가지 측면에서 살펴보았다. 이러한 상호작용 중 신체적 상호작용은 센서 기술의 발달과 함께 가장 활발히 발전되고 있는 분야이며 소셜 상호작용 역시 앞에서 언급한 다양한 소셜 VR 플랫폼들의 출시와 개발이 활발히 이루어지고 있다. 그러나 가상현실 공간에서의 감정적 상호작용은 사용자의 정확한 감정을 판단하는 것이 매우 어려우며 생체정보를 측정하는 디바이스의 비싼 가격과 분석 시간의 문제 등 아직까지 가상현실 콘텐츠에 접목하기에 가장 어려움이 많은 분야라고 볼 수 있다. 비교적 정확한 감성을 판단할 수 있는 뇌파 센서 또한 가상현실을 경험할 때 발생하는 움직임에 매우 민감하기 때문에 신체적 인터랙션이 동반되는 가상현실 콘텐츠에 적용하기에는 많은 어려움이 따른다[16]. 이에 본 연구에서는 기존의 뇌파나 심혈관, 얼굴 표정 등의 생체 정보가 아닌 사용자의 손에서 간편하게 수집할 수 있는 생체정보를 활용하여 사용자의 감성정보를 활용한 가상현실 콘텐츠를 개발하고자 하였다. 이는 이미 HMD를 머리에 착용하고 있는 사용자들의 뇌파를 별도의 장치로 측정하거나 이를 실시간으로 분석하는 것이 어려운 단점을 보완하기 위함이다.

3-2 인터랙티브 VR 영화의 설계

본 연구자는 선행연구를 통하여 웨어러블 기술을 활용한 가벼우며 착용이 간편한 감성 측정 기기인 웨어러블 밴드인 Emoband를 개발하였으며 사용자 실험 결과 IMU센서, GSR센서, 심박 센서 중 관객의 움직임을 측정한 IMU센서의 데이터가 감성 반응과 가장 연관이 적으며 GSR센서 데이터와 심박의 변화 데이터가 감성 반응과 연관이 높은 것을 알 수 있었다. 이에 본 연구에서는 관객의 감성 반응에 따른 스트레스 지수의 변화를 감지할 수 있는 GSR 센서와 심박센서의 데이터만을 사용하여 관객의 감성 반응을 실시간으로 특정하고 분석하여 이에 따라 반응하는 감성 반응형 인터랙티브 영화를 개발하였다. 본 연구에서 제시하는 감성 반응형 인터랙티브 영화는 영화의 스토리에 반응하는 관객의 감성 반응 측정을 통하여 영화가 목표로 하는 감성 반응인 ‘공포’의 감정을 충분히 전달하는 것을 목표로 하여 설계되었다. 영화는 총 3개의 분기로 나누어져 있으며 총 3개의 분기 동안 관객의 생체반응 신호를 측정하여 관객이 충분히 본영화의 관람자로써 몰입하여 공포감을 느꼈을 때는 이야기가 해결되며 끝나는 엔딩을 제공하고 3개의 분기를 통해서도 관객의 공포 반응이 충분하지 않았을 때에는 관객에게 더욱 극대화된 공포를 제공하기 위한 히든 엔딩을 제공하여 극에 더욱 몰입할 수 있도록 하였다. 즉 관객들이 영화의 분기 구조 마다 제작자가 원하는 공포의 생체신호를 보였을 때에는 영화의 원래 엔딩 화면을 보게 되지만 영화의 분기 구조에서 충분한 공포 감성을 느끼지 못한 경우에 더욱 극대화 된 공포장면을 마지막에 제공함으로써 공포의 감성을 추가적으로 이끌어 내는 것이다.

4-1 ‘시선’의 스토리

vr영화 ‘시선’ 은 실사 촬영을 기반으로 한 360도 입체 영화로 제작되었으며 남자 주인공 서준이 여자 주인공 연희에게 보이는 과도한 호감을 통해 연희가 받는 정신적인 고통을 표현하고자 하였다. 기존의 많은 인터랙티브 스토리텔링 기반의 콘텐츠들이 분기형 스토리 구조를 선택하여 관객들에게 선택지를 텍스트나 영상형태로 제공하고 선택에 따라 결말이 바뀌는 형식을 따랐다면 VR 영화 ‘시선’은 관객들에게 분기형 구조를 제공하지만 눈에 보이는 선택 없이 그들이 영화를 보며 느끼는 감정 상태의 결과가 영화의 결말을 변화시키도록 한 것이다.

이를 통해 기존의 분기형 인터랙티브 스토리텔링 콘텐츠가 범하게 되는 단순한 멀티 플롯 스토리 구조의 문제의 해결이 가능하고 전통 영화의 선형적인 스토리의 강점은 살리되 관객들이 자신도 모르는 사이에 감성 반응을 기반으로 한 인터랙티브한 스토리를 제공받을 수 있도록 하였다.

4-2 웨어러블 밴드의 적용

앞에서 언급하였듯이 연구자의 선행 연구로 개발한 ‘Emoband'에서 가장 사용자의 감성 반응과 밀접한 관련이 있다고 평가된 관객의 심박수와 GSR 데이터를 기반으로 하여 실시간으로 사용자들의 분기별 감성 상태를 분석하도록 하였다. 먼저 실험 전 관객들의 기본 생체 데이터의 수집을 위해 약 5분 가량 영화 보기전의 평균 심박수와 GSR 데이터의 평균값을 추출하여 관객의 기본 상태를 체크 하였다. 실험은 3단계로 나눈 분기마다 관객들의 생체신호 데이터를 3분 동안 수집하여 마지막 3개의 분기를 모두 관람한 후에 평균값을 내어 관객의 공포 감정의 최종 값을 산출하였다. 이 평균값이 처음 영화를 보기 전 생체 신호 데이터의 기본 상태와 비교 하였을 때 수치가 GSR 데이터의 값이 10 이상, 심박 데이터가 5 이상 높아졌을 때를 공포감을 충분히 느낀 상태로 설정하고 그 이내로 변화하였을 때를 공포감을 충분히 느끼지 못한 상태로 설정하여 각각 다른 결말을 플레이 하도록 영화의 구조를 설계 하였다.

4-3 유저 테스트

실험은 20대에서 30대 사이의 관객 10명을 대상으로 실행하였으며 관객들은 모두 팔목에 ‘Emoband'를 착용하고 삼성 기어 VR2 HMD를 착용하고 영화를 관람하였다. 10명의 관객 중에 총 6명의 관객은 GSR 센서값의 평균 변화가 13.7, 심박 데이터의 평균 변화가 11.2의 생체반응 신호의 변화를 보여 이야기가 해결되는 엔딩을 체험하였고 나머지 4명의 관객의 평균 GSR은 7.8, 평균 심박수 변화는 5.7로 GSR 데이터의 변화가 기준에 미치지 못하여 더욱 높은 공포 반응을 주기 위한 히든 엔딩을 제공 하였다. 4명의 히든 엔딩을 관람한 관객들은 엔딩 관람 후에 생체반응 신호가 11.2 수준으로 심박수 또한 13.9로 올라 히든 엔딩을 본 후에 관객들의 공포 감성이 높아진 것을 알 수 있었다.

Fig. 8.

Change of average GSR and BPM data

실험 후 함께 실행한 인터뷰를 통해서 6명의 충분한 공포 감정을 느꼈던 관객들은 영화의 공포감 레벨을 5점 리커트 척도를 기준으로 하여 4.1을 체크하였다. 또한 영화 관람 후에 ‘너무 무서웠다.’, ‘헤드셋을 벗어버리고 싶었다.’ 등 공포의 감정을 매우 잘 느낀 것을 알 수 있었다. 다른 4명의 히든 엔딩을 관람한 관객들은 영화의 공포감 레벨을 3.8로 체크 하여 생체 신호 데이터의 평균 변화가 더 컸던 그룹보다는 낮았지만 인터뷰를 통해 ‘처음엔 전혀 무섭지 않았는데 마지막에 소름이 끼쳤다.’, ‘마지막 장면이 무서웠다.’ 같은 히든 엔딩에 대한 긍정적인 반응을 얻을 수 있었다. 이러한 결과 분석을 통해 우리는 목표로 하였던 공포의 감성 반응을 효과적으로 얻지 못한 관객들이 있을 때 이러한 감성 반응을 실시간으로 측정하여 스토리에 반영한다면 더욱 효과적인 콘텐츠의 감성적 몰입을 이끌어 낼 수 있다는 것을 확인할 수 있었다.