다중감각적 상호작용을 통한 사용자 인터페이스의 몰입과 공간 확장성

1-1 연구 배경

편리한 인간-컴퓨터 상호작용을 구현하는 사용자 인터페이스(user interfaces)는 지속적인 발전을 거듭하게 되면서 다양한 응용분야에서 주요한 이슈로 다뤄지고 있다. 특히 Shneiderman[1]의 직접 조작(direct manipulation)이라는 개념으로 실제 환경 속에서 사람들이 물건들을 손으로 조작하여 움직이면서 어떤 일들을 수행하는 것과 유사하게 사용자 인터페이스가 만들어져야 함을 강조한 이후로 컴퓨터와의 상호작용은 더 자연스러운 형태와 인간의 실제 생활에서의 기본적 상호작용 방식에 유사하게 적용되고 있다.

이러한 맥락에서 컴퓨터와의 상호작용 방식에서 어떤 요소들이 중요하며, 어떤 영향 관계에 있는지를 탐색하는 시도들이 최근 많이 진행되고 있다. 인간의 상호작용 방식에 근접한 인터페이스 기술의 구현을 위해서는 외부 정보와 상호작용하는 인간의 기본적 정보처리 채널로서의 감각정보처리에 기반한 다중감각 정보처리의 상호작용 원리와 그 특성을 파악하고, 이를 반영한 컴퓨터 인터페이스의 구현이 매우 중요하다. 특히 인간의 다양한 감각은 기능적으로 매우 독립적으로 보이지만, 실제 환경과 상호작용하는 인간의 정보처리 상황에서는 고립된 상태가 아니라 항상 두 가지 이상의 감각들이 상호작용의 결과물로서 하나의 지각물(percept)을 심리적 처리과정에 이용하게 된다. 이와 같은 과정에서 시각이 청각에, 청각이 시각에, 시각이 촉각에, 촉각이 청각에 등등 상호작용에 의해 독립된 감각정보와 다른 감각을 형성하고, 인간의 감성, 의사결정, 행동반응 등에 반영된다. 이러한 다중감각적 인터페이스를 통해야만 풍부한 정보 제공의 1차원적 기능과 함께 사용자경험(user experience) 확장을 통해 사용자는 인터페이스가 제공하는 보다 충분한 몰입감(immersion), 현존감(presence), 즐거움(pleasure) 등 감성적 측면을 얻게 된다[2]-[6]. 이와 같은 사용자경험의 감성적 측면들은 3D영상 콘텐츠의 활성화와 함께 각광받고 있는 4D 기술의 새로운 과제들로서도 부상하고 있다.

아울러 다중감각(multisensory) 정보처리 기술도 차세대 인터페이스 개발에 핵심이 되고 있다. 다중감각 정보처리 기술은 시각, 청각, 촉각 등의 인간의 다중감각 데이터에 기반하여 인간과 기계가 효율적으로 상호작용하기 위한 정보 처리기술이다. 이는 인간-컴퓨터 상호작용(HCI), 인지심리학, 신경과학의 융합과학적 응용기술 분야를 중심으로 발전하고 있다. 특히 고령화 사회로 접어들면서 다중감각을 이용한 인터페이스 기술은 그 중요성이 더해지고 있다[7]-[9].

현대 컴퓨터 정보기술은 이제 인간과 기계의 자연스러운 상호작용을 만들어 낼 수 있는 인간인지 요소의 고려에 눈을 돌리고 있다. 특히 사용자 인터페이스(user interfaces)를 설계하는 과정에서 다중감각적 요소들(multimodal factors)이 널리 활용되고 있다. 사용자의 동작이나 음성 등을 입력모드로 활용한 여러 가지 게임들처럼, 다양한 감각적 정보를 입력으로 적용한 사례는 그 효과성과 응용 가능성이 활발히 연구되고 있다. 그러나 출력모드로서의 다중감각적 정보는 여전히 게임 디스플레이에서의 시각적 정보를 표현하는 데 그치고 있는 것이 현실이다. 기존의 사용자 인터페이스의 출력모드에서 사용자들이 경험하게 되는 다중감각적 장치의 활용은 아케이드 게임(arcade game) 시장을 중심으로 시도되었다. 대표적 사례로 레이싱 게임(racing game)의 경우, 오토바이나 차량 내부 모형에서 게임을 플레이하는 등 게임에서 필수적인 장비들의 모형을 현실에서 구현함으로써, 게이머들의 몰입도를 높이는 것이다. 이 같은 방식은 사용자가 조종하는 기기의 메타포(metaphor)를 현실에 그대로 인터페이스로서 적용하여, 가상성(virtuality)을 인위적으로 확장한 것인데, 개별 시스템에 따라 서로 다른 외관을 제작하고, 맥락에 맞는 다중감각적 환경을 지원해야하기 때문에 사용자들의 시스템 환경에 적용되기에 효율적이지 못한 제한점이 있다. 즉, 개별 시스템에 따라 다른 외관을 제작하고, 각각의 맥락에 맞는 다중감각적 환경을 지원하기 위해서는 사용자의 감각적 특성을 반영하는 미리 준비할 환경 특성파악과 제작에 많은 기회비용 소모되고, 복잡하고 규모 있는 외부환경 조성의 부담이 이러한 다중감각적 환경과의 상호작용 가능성이 적용되는 기술 사용성에 걸림돌이 될 수 있다.

이에 본 연구에서는 게임이라는 컴퓨터 인터페이스 맥락에서 시각과 촉각 자극을 사용자 인터페이스의 디스플레이 영역 외부에 제시하여, 게임 인터페이스 주변 환경에 비치된 일상적 도구들(예, 방안 조명, 가구 등)을 컴퓨터 인터페이스로 활용할 가능성을 확인하고자 하였다. 이는 기존에 준비된 좌석이나 캡슐 등을 이용한 진동 및 시각자극 제시 시뮬레이터 장치들과 같이 사용자 측면에서 부담스러움을 극복하고, 사용자의 일상적 주변환경을 이용한 좀 더 자연스럽고 덜 부담되는 다중감각경험의 효과를 파악하고, 이를 이용한 응용기술을 탐색하는 의미가 있다. 특히 본 연구는 시각과 촉각 자극의 환경 변화를 추가하는 방식으로 확장된 사용자 인터페이스로서의 주변 환경 영역을 조작하여, 이에 따른 사용자의 몰입도, 즐거움, 현장감, 그리고 과제수행 수준 등 사용자 경험의 다양한 측면을 분석하고, 그 결과를 바탕으로 인간-컴퓨터 상호작용의 극대화를 위한 컴퓨터 인터페이스 다중감각적 특성을 정리하고자 하였다.

1-2 연구 목표 및 내용

3차원 공간 상호작용 인터페이스 기술은 인간의 일상의 삶에 혁신을 이루어내고 있지만, 역으로 인간 사용자들이 이 기술을 외면하게끔 만드는 양날의 칼로 역할을 하고 있다. 대표적인 예가 일본 닌텐도사의 가정용 비디오 게임기인 Wii의 급격한 판매 저하를 들 수 있다. 그 근본 이유는 3차원 공간 상호작용 인터페이스 기술이 갖는 사용경험(user experience)의 한계 때문이라고 불 수 있다[10]. 3차원 공간 상호작용 기술을 이용할 때 사용자는 컴퓨터 인터페이스가 제공하는 시각적 정보나 청각적 정보 디스플레이의 통합적 연관성과 일체감을 경험하여야만 풍부한 몰입과 이로 인한 현장감을 느끼게 되는데, Wii의 상호작용 방식은 하나의 포인터 디바이스를 이용하여 허공 속에서 화면에 나타나는 시각적 디스플레이의 변화에만 의존하여 전체적인 시스템의 경험을 구성해야 하는 제한점이 있는 것이다.

이렇게 게임을 하나의 축으로 하는 컴퓨터 인터페이스의 발전과정에서 사용자들이 인터페이스 사용경험을 통해 느끼게 되는 다양한 반응들이 컴퓨터 인터페이스를 대하는 사용자의 심리적 측면으로서 그 중요성이 인정되고, 특히 기술의 방향을 설정하는 중요한 척도로서 산업적 가치 또한 적지 않음에 주목하게 되었다[8]. 그러므로 본 연구는 복잡하게 구성된 부담스러운 컴퓨터 인터페이스 시스템이 아니라 간단한 시스템이 사용자의 생활 주변 환경의 다양한 대상들을 인터페이스로 확장할 수 있는지와 그 방법적 측면에서의 다중감각적 인터페이스 설계가 사용자에게 미치는 영향에 관하여 탐구하고자 하였다.

게임 관련 이전 연구들에 의하면, 몰입(immersion)은 완전한 게임 환경으로의 몰입과 더불어 현실 공간에 대한 인식의 부재 혹은 탈피 정도로 측정된다. 따라서 게임 인터페이스 바깥 주변 환경, 즉 외부로부터의 자극들이 게이머의 몰입에 대한 방해로 작용할 가능성도 존재한다. 그러나 멀티미디어 환경을 게임에 도입한 연구를 보면, 몸동작을 지원하는 입력기기로 활성화된 사용자들 사이의 사회적 상호작용(social interaction) 기회가 몰입감을 방해하는 것이 아니라, 오히려 몰입감을 증대시키는 결과를 보여준다[2]. 이러한 결과는 가상환경과 실제 환경이 서로 완전히 배제된 차원이라기보다는 특정한 환경적 연결을 통해 사용자에게 확장된 환경으로 연결될 수 있는 경험을 제공할 수 있을 것이다.

게임 사용자 인터페이스 환경에서 다중감각 정보제시를 이용하여 게이머의 경험을 향상하는 방법은 크게 두 가지로 나뉠 수 있다. 게임의 가상환경에서 기대되는 것과 유사한 감각정보를 실제 환경에서 제시하여 사용자의 가상세계에 대한 몰입감을 증대시키는 것이 첫 번째 방법이고, 이러한 방법은 최근 주로 4D영화 관람 환경 등에서 적용되고 있다[5]. 두 번째 방법은 게이머가 임무를 수행하는데 유용한 정보들(즉, 에너지 레벨, 사용 무기 등)을 다중감각 정보로 현실감 있게 제시함으로써, 사용자의 동기와 몰입을 높여 게임 수행을 지원하는 것이다[3],[4]. 이러한 접근 방법은 다중감각적 경험과 함께 게이머의 감성에 효과적으로 접근함으로써 게임에 대한 즐거움과 만족도를 높일 수 있다.

위와 같은 배경들에서 컴퓨터 인터페이스 사용경험의 향상을 위해 본 연구는 사용자 인터페이스의 다중감각적 자극을 일정한 범위로 한정된 기존 게임 환경을 벗어난 영역, 즉 방안 조명이나 가구와 같은 주변 환경을 통해 제시함으로써 게이머의 사용경험에 미치는 영향 관계를 확인하고자 하였다. 특히 사용자 인터페이스에 대한 범위를 확장하여 인식하게 되는 효과가 게임수행 수준과 사용자의 주관적 경험에 대한 반응들(몰입도, 현장감, 즐거움 등)에 미치는 효과를 실험적으로 검증하고자 시도하였다[11].

2-1 참가자

본 연구는 43명의 일반인(남성: 22명, 여성: 21명; 평균 25세)을 대상으로 게임이나 가상공간에 대한 몰입의 민감도를 측정하는 사전검사를 거쳐 실험에 참여하였다.

2-2 실험설계 및 절차

실험 1은 사용자 인터페이스의 확장요소 시각자극(전등 불빛) 및 촉각자극(의자진동) 장치를 게임 콘텐츠(Unity 기반 슈팅게임 콘텐츠 자체 개발)에서 특정 이벤트와 연동하는 실험환경을 구축하여 수행되었다(그림 1 참조). 높은 게임숙련도를 요구하지 않는 단순한 슈팅게임이 본 연구를 위해서 설계되었고, 게임엔진과 아두이노 보드(arduino board)를 연동하여 구성되었다. 게임 내에서 사용자의 비행체가 발사하는 무기공격에 적기나 다른 물체와 충돌로 인한 폭발이 일어나는 사건이 게임 인터페이스 외부의 조명과 의자 등을 이용한 조명과 진동장치에 신호를 줄 수 있도록 제작하였다. 무기공격에 따른 충돌 폭발에 따라 촉각 자극의 경우는 진동기(vibrator)에 의한 진동자극이 폭발음과 동일하게 제시되었고, 시각의 경우는 220V의 조명전구(white, 6000k)로 깜박임이 1초 동안 주어졌다.

Fig. 1.

2D/3D expression space of the game screen used in Experiment 1 (left) and multi-sensory presentation of the user interface experiment environment (middle: flashing LED lamp placed above the space and vibration device attached to the back of the chair, right: schematic experiment environment)

실험설계는 사용자 인터페이스의 다중감각적 상호작용에 의한 공간확장성과 몰입감 평가(종속변인: 사용자의 행동적 반응으로서 게임수행 수준과 함께 몰입감, 현장감, 그리고 즐거움의 정도 등의 주관적 반응 측정)를 위한 두 가지 독립변인들(게임화면의 표현공간: 2D, 3D; 다중감각적 사용자 인터페이스 조건: 기본, 시각추가, 촉각추가, 시각+촉각추가)로 구성되었다.

참가자는 게임의 조작법에 대한 안내를 받고, 실험에 참여한다. 게임은 간단한 슈팅게임으로 공간을 이동하여 날아오는 적을 피하며 미사일 무기를 이용해 적을 공격해 격추하여 얼마나 오랫동안 게임 상에서 목숨을 유지하고, 동시에 많은 적기를 격추하느냐가 관건인 게임이다. 게임이 시작부터 종료되기까지의 시간 동안 게임 수행 점수(game score)로 게임에 대한 수행수준을 측정한다. 촉각자극 제시조건에서는 게임에서 적기를 맞출 때마다 의자 등받이에 부착된 진동장치에서 자극이 주어지고, 시각자극 제시조건에서는 같은 상황에 조명의 깜박임이 주어진다. 촉각과 시각자극 동시 제시조건의 경우, 진동과 조명 깜박이가 함께 주어진다. 기본조건은 일반적인 게임방식에서처럼 효과음으로 폭발음만 주어진다. 게임이 종료되면, 참가자들은 몰입감, 현장감, 그리고 즐거움에 대한 5점 척도 설문평가지를 통해 주관적 평가를 측정하였다.

Table 1.

Factors and scales of subjective ratings

2-3 결과 및 분석

실험 1의 결과에 대한 분석 절차는 주변환경을 이용한 게임 출력모드에 따른 요인(기본 방식, 촉각자극 추가(의자 진동), 시각자극 추가(전등 불빛), 촉각과 시각 동시 추가) 네 수준, 게임공간을 표현하는 시각적 환경으로서의 표현공간 두 수준(2D, 3D 게임공간)으로 하는 2요인 반복측정 변량분석(ANOVA)을 통해 진행되었다.

결과분석 그래프(그림 2)에서 볼 수 있듯이, 참가자들의 전반적인 주변환경을 이용한 게임 출력 모드별(feedback) 반응 정도는 촉각+시각 동시추가 조건에서 가장 높게 나타났으며, 촉각자극 추가 조건, 시각자극 추가 조건, 그리고 기본방식 조건의 순서로, 네 가지 주변환경을 이용한 게임 출력모드 사이에 차이가 게임수행도를 제외한 주관적 평가 요소들인 현존감, 몰입감, 즐거움 등 전반적인 측정치에서 통계적으로 유의미하게 나타났다(현장감: F(3,126)=11.187, p=.000; 몰입감: F(3,126)=3.109, p=.029; 즐거움: F(3,126)=4.532, p=.005; 게임수행도: F(3,114)=1.407, p=.244). 이 가운데 각 조건간 의 통계적인 차이는 촉각+시각 동시추가 조건과 기본방식에서 가장 크게 나타났다.

Fig. 2.

Statistical analyzed results of presence, immersion, fun, and game performance scores according to the interaction between game feedback and space types in Experiment 1

이와 함께 게임공간의 시각적 표현구성인 2D와 3D 게임공간(space)에 따른 게임 인터페이스(feedback) 조건과의 상호작용 효과는 나타나지 않았고, 게임공간의 주효과만 통계적인 차이를 나타냈다. 즉 2차원 게임공간보다 3차원으로 표현된 게임공간에서 더 높은 현장감, 몰입도, 즐거움뿐 아니라 게임점수에서도 높은 수행결과를 보였다(현장감: F(1,42)=28.283, p=.000; 몰입감: F(1,42)=14.790, p=.000; 즐거움: F(1,42)=22.853, p=.000; 게임수행도: F(1,38)=7.880, p=.008).

실험 1에서는 게임 사용자 인터페이스에서 주변환경의 다중감각적 자극제시를 통한 인터페이스의 확장가능성을 검토하기 위하여 두 가지 게임화면 표현공간과 네 가지 서로 다른 주변환경 변화조건들에서 게이머의 수행수준과 주관적 반응들이 측 정되었다. 촉각이나 조명 같은 게임공간 외부적 요소의 인터페이스 추가가 게임공간의 기본적 인터페이스 조건보다 전반적으로 공간확장성의 주관적 평가요소에서 높은 평가 결과를 나타냈고, 특히 촉각과 시각이 함께 제시되었을 때 현장감, 몰입감, 즐거움 등 이 모두의 종속변인에서 기본방식과 비교하여 의미 있는 증가를 보였다. 그 결과 간단한 다중감각의 제시만으로 게이머가 확장된 인터페이스를 경험하고, 이러한 확장성은 게임에 대한 더 큰 만족감으로 이어지는 것을 알 수 있었다. 본 연구에서는 충돌시점이 외부자극과 연동되었지만, 게이머에게 유용한 정보를 다중감각을 통해 제시하거나, 게임의 난이도를 높이기 위하여 게이머를 혼란하게 만드는 방법의 하나로 외부출력 인터페이스를 조작하는 것이 가능하다. 이와 같이 여러 가지 인터페이스에서의 응용이 가능하므로, 다양한 게임인터페이스의 맥락과 게임 장르에서의 사용성 검토가 향후 기대될 수 있다.

3-1 참가자

본 실험 2에서는 실험 1과 별도의 참가자 46명(남성: 23명, 여성: 23명; 평균 24세)을 대상으로 게임이나 가상공간에 대한 몰입의 민감도를 측정하는 사전검사를 거쳐 실험을 수행하였다.

3-2 실험설계 및 절차

실험 2는 실험 1과 달리 스마트폰 기반의 모바일 사용환경에서 사용자 인터페이스의 확장요소 시각자극(전등 불빛) 및 촉각자극(스마트워치 타입 진동기) 장치를 게임 콘텐츠(Unity 기반 슈팅게임 콘텐츠 자체 개발)에서 특정 이벤트와 연동하는 실험환경을 구축하였다(그림 3 참조). 실험의 설계는 두 가지 독립변인들(모바일 게임화면의 표현공간: 2D, 3D; 모바일 외부 다중감각적 사용자 인터페이스 조건: 기본, 조명추가, 진동추가, 조명+진동추가)을 구성하여 사용자 인터페이스의 다중감각적 상호작용에 의한 공간확장성을 평가할 수 있는 현장감(presence), 몰입감(immersion), 즐거움(fun) 등 사용자의 주관적 평가요소와 객관적 평가요소로서 수행게임점수(game score) 등을 종속변인으로 실험을 설계하여 진행하였다.

Fig. 3.

Mobile device (smartphone) game screen used in Experiment 2 (above) and multisensory presentation of the user interface wirelessly connected experiment environment (middle: wirelessly connected flashing LED light and vibration device worn on both wrists, below: practice experiment scene)

3-3 결과 및 분석

실험 2 결과에 대한 분석 절차는 스마트폰 기반의 모바일 게임환경에서 주변장치를 이용한 게임 출력모드(feedback)에 따른 요인(Basic:기본방식, Light+:시각자극 추가 (전등 불빛), Haptic+:촉각자극 추가(의자 진동), Light&Haptic+:촉각과 시각 동시 추 가) 네 수준과 게임공간을 표현하는 시각적 환경으로서의 표현공간(space) 두 수준 (2D, 3D 게임공간)으로 하는 2요인 반복측정 변량분석(ANOVA)을 통해 진행되었다.

결과분석 그래프(그림 4)에서 볼 수 있듯이, 참가자들의 전반적인 주변환경을 이용한 게임 출력 모드별(feedback) 반응 정도는 촉각+시각 동시추가 조건(Light&Haptic+)에서 가장 높게 나타났으며, 촉각자극 추가 조건(Haptic+), 시각자극 추가 조건(Light+), 그리고 기본방식 조건(Basic)의 순서로, 네 가지 주변환경을 이용한 게임 출력모드 사이에 차이가 게임수행도를 제외한 주관적 평가요소들인 현장감, 몰입감, 즐거움 등 전반적인 측정치에서 통계적으로 유의미하게 나타났다(현장감: F(3,135)=19.585, p=.000; 몰입감: F(3,135)=10.042, p=.000; 즐거움: F(3,135)=7.974, p=.000; 게임수행도: F(3,135)=0.414, p=.743). 이 가운데 각 조건간의 통계적인 차이는 촉각+시각 동시추가 조건과 기본방식에서 가장 크게 나타났다. 즉 촉각과 시각 자극이 추가된 조건에서 보다 높은 몰입감, 현장감, 그리고 게임에 대한 즐거움을 느꼈음을 알 수 있다. 또한 이러한 결과가 추가된 다중감각적 환경에 의한 영향임을 이해할 수 있다.

Fig. 4.

Statistical analyzed results of presence, immersion, fun, and game performance scores according to the interaction between game feedback and space types in Experiment 2

이와 함께 게임공간의 시각적 표현구성인 2D와 3D 게임공간(space)에 따른 게임 인터페이스(feedback) 조건과의 상호작용 효과는 나타나지 않았으나 게임공간의 주효과(main effect)는 통계적인 차이를 나타냈다. 즉 2차원 게임공간보다 3차원으로 표현된 게임공간에서 더 높은 현장감, 몰입감, 즐거움뿐 아니라 게임점수에서도 높은 수행결과를 보였다(현장감: F(1,45)=31.652, p=.000; 몰입감: F(1,45)=18.074, p=.000; 즐거움: F(1,45)=35.603, p=.000; 게임수행도: F(1,45)=4.295, p=.044).

위와 같은 결과는 실험 1에서 진행한 PC기반의 몰입 콘텐츠 사용경험이 만드는 공간 확장성 관련 평가 요소들에서의 분석결과와 대체로 일치하는 것으로, 공간적 제약이 크지 않은 스마트폰 기반의 모바일 콘텐츠 소비 환경에서도 주변환경의 인터페이스를 활용한 공간확장성이 어느 정도 가능하며, 이를 통해 콘텐츠에 대한 사용경험을 풍부하게 제공할 수 있음을 확인하였다. 실험 1에 이은 실험 2 연구를 종합해보면, 게임과 같은 몰입형 콘텐츠의 공간적 제약을 정보 연결성(connectivity)을 통해 제공 가능한 환경을 간단히 구성하여 게임 사용자 인터페이스에서 주변환경의 다중감각적 자극을 제시하는 것만으로도 사용자가 느끼게 되는 사용경험을 증강하는 인터페이스의 확장가능성이 일관되게 검증되었다. 구체적으로는 두 가지 게임화면 표현공간(space)과 네 가지 서로 다른 주변환경 변화조건들(feedback)에서 게이머의 주관적 반응들과 수행수준이 측정되었다. 촉각이나 조명 같은 게임공간 외부적 요소의 인터페이스 추가가 게임공간의 기본적 인터페이스 조건보다 전반적으로 공간확장성의 주관적 평가요소에서 높은 평가 결과를 나타냈고, 특히 진동 자극과 조명 자극이 함께 제시되었을 때 공간적 확장성을 가능하게 하는 현장감, 몰입감, 즐거움 등이 기본적인 게임 이용방식에 비해 높은 평가를 나타냈다. 그러므로 간단한 출력 인터페이스의 연결성 제공을 통한 다중감각 자극경험 제시가 게이머에게 확장된 인터페이스로 경험되고, 이러한 확장성은 더 큰 몰입감과 사용경험으로 이어지는 것을 알 수 있었다.