가상현실 게임의 UI 사례분석을 통한 UI의 효율적 활용방안에 대한 연구

Ⅰ. 서 론

가상현실은 사용자에게 적극적인 참여와 현실적인 정보를 제공하여 높은 몰입감을 제공한다. 사용자가 가상환경에 몰입하여 그곳에 존재하고 있는 듯한 감각인 현존감으로 인해 교육, 의료, 군사 및 게임과 같은 다양한 분야에서 활발하게 사용되고 있다[1][2][3]. 가상현실의 중요한 특징은 사용자에게 적극적인 참여를 유발하고 현실적인 정보를 제공함으로써 가상환경을 제어하고 상호 작용할 수 있는 인간과 컴퓨터 간의 인터페이스라고 할 수 있다. 가상세계와 사용자 간의 상호작용은 일반적으로 UI를 통해 수행되고 UI는 사용자와 컴퓨터 또는 컴퓨터 생성 콘텐츠 간의 상호작용에 필요한 매개체라고 할 수 있다. 즉, UI는 가상세계에서 실제 상황에서처럼 조작하는 느낌을 플레이어에게 제공하는 상호작용이 중요하다고 할 수 있다[4][5]. 이러한 상호작용은 자연스러운 인터페이스를 사용하여 몰입할 수 있다. 가상현실에서의 자연스러운 인터페이스는 환경 그 자체로서 사용자와 상호작용하는 것이다. 가상세계를 이루고 있는 모든 것들이 현실에서처럼 사용자와 자연스럽게 상호작용할 수 있도록 유도하는 것이다. 다시 말해, 사용자가 가상환경을 인위적으로 만든 인터페이스로 조작하고 있음을 인지하지 못하도록 하는 것이다[6]. 이러한 가상현실에서의 자연스러운 인터페이스는 시스템과 사용자의 자연스러운 상호작용을 통한 몰입을 통해 가상세계에서 실제 장소에 있는 듯한 경험을 제공할 수 있다. 이처럼 자연스러운 상호작용을 위한 인터페이스는 가상현실을 구현하는 데 있어 중요한 구성 요소이다.

가상현실 게임에서의 UI는 플레이어가 콘텐츠와 상호 작용할 때 정보를 빠르고 정확하고 인지하며, 쉽고 편리하게 조작할 수 있도록 하는 것이 목적이다. 또한, 정보전달 시 주변 상황과 자연스러운 상호작용을 유도하여 몰입감을 저하하지 않는 것이 필요하다. 즉, 플레이어가 처한 상황을 정확하고 빠르게 인지하여 임무를 완수하기 위해서는 직관적이며 주변 환경과의 몰입감을 저하하지 않는 UI가 제공되어야 한다. 가상현실 기술이 발전함에 따라 플레이어에게 보다 높은 몰입감을 제공하기 위하여 가상현실 기기를 착용하여 게임을 플레이할 수 있는 몰입형 가상현실(Immersive Virtual Reality) 게임이 제작되고 있다. 몰입형 가상현실 게임은 머리에 HMD(Head-mounted Display)를 착용하여 가시성을 완전히 커버함으로써 사용자를 둘러싼 물리적 환경으로부터 외부 자극을 배제하여 가상환경이 제공하는 것에만 집중하여 몰입하게 된다. 따라서 가상환경 자체와의 모든 상호작용은 몰입의 요인으로서 가상현실 시스템 및 기능적 작업을 위한 UI를 만들려면 각별한 주의를 기울여야 한다. 몰입형 가상현실 게임에서는 플레이어와 가상세계와의 직관적이고 자연스러운 상호작용으로서 몰입감을 극대화해야 한다. 즉, 플레이어가 가상세계에서 콘텐츠와 상호 작용하는 방법을 배우지 않고 사용자의 행동이나 움직임과 자연스럽게 상호 작용할 수 있는 UI가 필요하다. 또한, 플레이어는 콘텐츠의 해상도나 품질과 관계없이 콘텐츠와의 상호작용이 원활하지 않거나 반응 속도에 불편함을 느낀다면 가상환경에 몰두하지 않을 것이다[7]. 몰입형 가상현실 게임의 UI 디자인은 사용자의 몰입 및 만족도에 중대한 영향을 미칠 수 있다[8]. 이러한 몰입형 가상현실 인터페이스를 설계하는 궁극적인 목표는 컴퓨터 상호작용을 통해 인간의 감각에 완전히 몰입하여 실제와 같은 경험을 얻는 것이다[9][10].

본 논문에서는 몰입형 가상현실 게임에 적용 할 수 있는 UI 유형을 분석하고 이를 활용하여 상호작용성과 몰입감을 높이는 효율적인 방안을 제안한다.

Ⅱ. 가상현실 게임

최근 가상현실 기술이 발전함에 따라 플레이어가 HMD와 같은 장치를 착용하고 가상세계에 몰입하여 플레이할 수 있는 많은 몰입형 가상현실 게임이 제작되고 있다. HMD는 사용자의 머리에 착용하여 시야를 완전히 차단하고 360°로 만들어진 영상을 경험할 수 있는 디스플레이 장치이다. 이것은 플레이어가 몰입형 가상현실 게임을 경험하는 데 필요한 장치이며, 플레이어에게 기존의 평면 스크린에서는 경험할 수 없는 몰입감, 현존감 및 상호작용에 대한 강력한 감각을 제공한다는 점에서 주목을 받고 있다.

Ⅲ. 가상현실 게임 UI

대부분의 가상현실 환경에서는 사용자 참여 과정 및 조건을 고려할 때 상호 작용성이 매우 중요하다. 가상세계와 사용자 간의 상호작용은 일반적으로 UI를 통해 수행된다. 또한, UI는 플레이어와 가상세계 사이의 경계를 통과하는 접근점이라고도 한다[26]. 가상현실과 사용자 간의 원활한 상호작용을 향상시키기 위해서는 사용자와 시스템 간의 관계를 보다 효율적으로 만들 수 있도록 인터페이스를 설계하는 것이 중요하다.

Fagerholt와 Lorentzon은 UI 요소가 가상세계에 존재하는지 여부와 3D 게임 공간의 일부인지 여부에 따라 UI 요소를 분류하는 용어들을 그림 2와 같이 제안했다. UI의 구성 요소를 디에제틱(Diegetic), 비 디에제틱(Non-Diegetic), 공간(Spatial) 및 메타(Meta)와 같이 네 가지로 분류했다[27]. 디에제틱의 개념은 처음으로 아리스토텔레스에 의해 내레이터가 말하는 이야기라고 정의되었다. 그 이후로 디에제틱의 개념은 영화나 음악 등 다양한 분야에서 이야기 안에 존재한다는 의미로 사용되었다[28]. 예를 들어, 영화의 세계를 구성하는 모든 요소들을 등장인물이 인식 할 수 있다면 그것은 디에제틱이라고 한다. 디에제틱은 외부에서 생성 된 것이 아니라 이야기 세계를 구성하는 모든 요소이다[29]. 이러한 개념은 가상현실에도 적용될 수 있다. 가상현실에서의 디에제틱 요소들은 플레이어가 보는 모든 객체가 가상 세계에 속해 있으며 때로는 직접 상호 작용할 수 있는 것들 이다. 즉, 가상 세계에 존재하는 모든 캐릭터, 객체, 소리 및 환경이 디에제틱 요소들로 인식된다.

Fig. 1.

UI Terminology from Fagerholt and Lorentzon[27]

앤드류(Andrews)는 인터페이스를 게임 세계에 배치하고 플레이어에게 현실적인 경험을 제공하는 방법으로 디에제틱 UI를 사용하는 것을 강조했다.

그는 가상현실 콘텐츠의 UI를 디에제틱 UI, 비 디에제틱 UI, 공간 UI 및 메타 UI로 구분하였다. UI는 크게 반대 개념으로 디에제틱 UI와 비 디에제틱 UI로 나눌 수 있다. 디에제틱 UI는 게임 세계에 포함된 인터페이스로서 가상세계의 캐릭터, 배경, 소품 및 사운드와 함께 게임 세계에 완벽하게 포함되는 것을 활용한 인터페이스이다. 이러한 디에제틱 UI는 게임 캐릭터가 가상환경 안에서 보거나 들을 수 있다. 반면, 비 디에제틱 UI는 게임 세계 외부에서 랜더링 되어 표시되는 HUD( Head-up Display)와 같이 현실 세계의 플레이어에게만 보이고 들리는 일반적인 UI를 말한다[30].

가상현실 게임에서 대부분의 UI는 가상세계 외부에서 만들어 덮어 씌어진 GUI(Graphical User Interface)와 같이 플레이어의 몰입감과의 상관관계를 고려하지 않고 정보 제공의 목적으로 사용되었다. 이러한 비 디에제틱 UI를 사용하면 실제 물리적 환경과 가상환경 사이의 분리로 인해 사용자의 몰입이 저하 될 수 있다[27].

3-1 디에제틱 UI

디에제틱 요소는 가상세계 내에 존재하며 플레이어는 다양한 감각을 통해 내재적 요소들과 상호 작용할 수 있다. 즉, 플레이어는 아바타의 관점을 통해 가상세계를 구성하는 요소들을 보고 직접 조작할 수 있다. 게임 캐릭터의 관점을 통해 가상세계의 캐릭터들과 상호작용하며 환경에 조화되어 게임 세계에 완벽하게 몰입하게 된다. 가상세계의 디에제틱 UI 요소는 플레이어가 이야기의 주체가 될 수 있도록 도와 체험의 질을 향상시키고 몰입감 높은 경험을 플레이어에게 제공한다.

2017년 레디 엣 던(Ready at Dawn)에서 제작한 론 에코(Lone Echo)는 상호작용 환경에서 이야기 캐릭터와 함께 토성의 고리에 있는 크로노스 II 채굴 시설을 탐색하고 신비로운 공간의 비밀을 발견하는 가상현실 내러티브 어드벤처 게임이다. 론 에코의 주요 디에제틱 UI는 자료를 수집하고 위치를 파악하여 상황을 확인할 수 있는 핸드 스캐너다.

가상 캐릭터가 지니고 다니는 스캐너를 활성화하며 정보를 수집한다. 또한, 그림 2와 같이 주변 기기들의 패널을 조작하거나 홀로그램 지도를 보고 정보를 파악할 수 있다.

Fig. 2.

Diegetic UI in Lone echo game

론 에코 게임에서는 가상세계에 존재하는 디에제틱 UI를 사용하며 몰입을 높이기 위해 모든 인터페이스 요소에서 HUD 요소를 배제하였다. 이처럼 디에제틱 UI 요소는 게임 스토리에 포함되어 있으며 가상공간에 존재한다. 이것은 플레이어의 모든 행동과 조작이 가상세계에 속하는 것으로만 이루어져야 한다는 확실한 방향성을 가지고 있어야 한다.

3-2 비 디에제틱 UI

비 디에제틱 UI는 가상세계 외부에서 랜더링되며 실제로 게임을 플레이하는 플레이어의 관점에서만 보고 들을 수 있는 인터페이스이다. 보통 전통적인 HUD를 사용하며 플레이어가 상호작용할 수 있도록 외부에서 만든 그래픽 요소로 게임 화면에 덮어 쓰인 상태로 볼 수 있다. 주로 한눈에 많은 정보를 플레이어에게 전달하는 데 사용된다.

2016년 언노운 월드(Unknown Worlds)가 제작한 서브노티카(Subnautica)는 VR 어드벤처 게임으로서, 신비로움과 위험으로 가득 찬 외계 수중 세계를 탐험하는 게임이다. 이 게임에서는 그림 3과 같이 전형적인 헤드 업 디스플레이를 사용하는 비 디에제틱 UI를 사용했으며 가상세계 외부에서 생성된 그래픽을 사용하여 플레이어의 상태와 정보를 표현했다.

Fig. 3.

Non-diegetic UI in Subnautica game

서브노티카 게임에서는 잠수함의 조정실 내부 구조와 상관없는 그래픽을 HUD로 표현하여 정보를 전달하는 것으로만 제작되었다.

서브노티카와 같이 플레이어가 운송기기에 탑승한 상황일 경우에는 조정실 안에 배치된 패널들을 디에제틱 UI 요소로 구성하여 정보를 전달하는 것이 이질감을 줄이는 방법일 것이다. 즉, 게임 세계를 구성하고 있는 디에제틱 요소들을 활용한다면 플레이어들에게 실제로 잠수함을 조정하여 해저를 탐험한다는 실재감을 느끼게 하여 몰입감을 높여 줄 수 있을 것이다.

3-3 공간 UI

공간 UI 요소는 가상세계에서의 존재 여부와 상관없이 3D 공간에 표시되며, 이는 디에제틱이거나 비 디에제틱일 수 있으며, 플레이어에게 추가적인 정보를 제공해야 할 때 사용된다. 가상세계에는 여전히 존재하며, 플레이어가 HUD 메뉴를 통해 몰입이 방해당하는 것을 막을 수 있다. 예를 들어, 1인칭 슈팅 게임에서 벽 뒤에 숨어있는 동맹군을 자연스럽게 식별하여 위치를 파악할 수 있게 하는 방식으로서 캐릭터의 외형 윤곽선을 표현한다. 이는 플레이어에게 더 많은 정보를 제공하여 원활한 게임이 진행되도록 도와준다.

2018년 퍼스트 컨택트 엔터테인먼트(First Contact Entertainment)에서 제작한 파이어월 제로 아워(Firewall Zero Hour)는 플레이스테이션 VR 전용 게임으로서 4 대 4 온라인 일인칭 슈팅 게임이다. 플레이어는 게임에서 익명의 클라이언트가 고용한 용병이 되어 다양한 임무를 수행하게 된다. 그림 4와 같이 플레이어는 건물 벽 뒤의 동맹군 위치를 캐릭터의 외형 윤곽선으로서 인식할 수 있다. 이 캐릭터 외형에 표시된 윤곽선은 게임 속 이야기에는 존재하지 않지만, 가상공간에 존재한다.

Fig. 4.

Character outline display in Firewall Zero Hour

공간 UI는 가상세계의 배경에 표시하여 플레이어에게 정보를 제공해야 할 때에도 사용된다. 가상공간에 존재하는 물체에 덧붙여 표현함으로서 플레이어에게 추가적인 정보를 제공해야 할 때 사용된다.

3-4 메타 UI

메타 UI 요소는 가상세계에 존재할 수 있지만 반드시 공간에 시각화되는 것은 아니다. 메타 UI의 일반적인 예로는 캐릭터가 적으로부터 공격을 받았을 때 화면에 피 튀김과 같은 얼룩으로 표현되며 이는 캐릭터의 체력 상태를 나타낸다. 이와 같은 요소는 UI의 은유적 표현으로서 적으로부터 공격을 받으면 화면에 캐릭터의 피가 튀는 것으로 표시되어 플레이어에게 캐릭터가 건강을 잃고 있음을 알려준다[31].

2016년 믹스드 렐름(Mixed Realm)에서 제작한 사이렌토(Sairento)는 SF 액션 게임이다. 플레이어는 닌자 무술 조직의 침묵의 암살자라고 불리는 고대 사무라이 회원이 되며, 캐릭터 설정에 따라 다양한 공격 방식으로 임무를 수행할 수 있다. 그림 5와 같이 게임에서 화면에 얼룩지는 피 튀김 효과는 전형적인 메타 UI의 예로서 은유적으로 캐릭터 체력의 피해를 나타낸다.

Fig. 5.

Blood splatter effect in Sairento

또한, 운송기기에 탑승하여 진행되는 게임에서는 조정석 유리가 깨지는 효과로서 플레이어 체력의 피해를 나타내기도 한다. 헤드 업 디스플레이의 수치나 헬스 바로서 플레이어의 체력을 나타내는 것이 아니라 플레이어의 피해를 은유적으로 나타내면서 빠르게 피해 상황을 인지할 수 있도록 도와준다.

이와 같이 선행연구에서 제시한 네 가지 인터페이스 유형을 바탕으로 가상현실 게임에 적용된 사례들을 정리하였다.

Ⅳ. UI 활용 방식

가상현실 게임에서의 디에제틱 요소들은 게임 세계에 존재하며 게임 캐릭터가 보고 들을 수 있는 모든 것들을 포함한다. 앞에서 살펴본 가상현실 게임에서의 UI 적용 사례에서처럼 게임 장르와 기획의도에 따라 UI의 표현 요소들이 디에제틱 요소들과 다른 유형의 UI 요소들을 적절히 활용한다면 플레이어에게 몰입감 있는 환경을 제공할 수 있다. 본 연구에서는 가상현실 게임에 적용할 수 있는 네 가지 UI 유형을 분석하고 몰입 요소를 분석하기 위하여 최근 5년 안에 제작되었던 VR 게임들 중 스팀(Steam)에서 높은 평점을 받은 게임을 장르별로 선정하여 분석하였다.

4-1 표현 요소에 따른 UI 분류

가상현실 게임에서의 디에제틱 UI는 게임 세계에 존재하는 디에제틱 요소들을 활용하여 상호작용함으로써 플레이어가 실제로 조작하는 듯한 느낌을 제공하는 것이다. 표 1은 가상현실 게임에서 UI 분류에 따른 표현 요소들이다.

Table 1.

Representation elements in VR game UI

가상현실의 게임에서의 UI는 디에제틱 UI, 비 디에제틱 UI, 공간 UI 및 메타 UI로 나눌 수 있다. 디지털 기술에 의해 매개된 환경에서의 사용자는 1인칭 시점으로서 가상세계와 상호작용함으로써 체험적 경험의 본질을 강조할 수 있으며 [32], 특히, 1인칭 시점 게임에서 디에제틱 UI와 공간 UI를 사용함으로써 가장 몰입감 있는 상호작용을 유도할 수 있다[33].

또한, 가상현실 게임에서의 UI는 디에제틱 UI의 사용뿐만 아니라 3D 공간에 포함되어 표시되는 공간 UI 및 공간적으로 시각화되지 않고 필요할 때만 은유적으로 나타나는 메타 UI가 사용될 수 있다[30].

앞의 분석에서와 같이, 디에제틱 UI는 외부에서 생성되지 않고 내면에 존재하며 세계의 모든 구성 요소가 될 수 있다. 이러한 디에제틱 요소들은 컴퓨터 인터페이스에도 자연스럽게 적용될 수 있다[34]. 디에제틱 UI는 가상세계 안에 존재하는 모든 것과의 인터페이스로서 플레이어의 캐릭터가 보고 직접 상호 작용할 수 있는 모든 객체라고 할 수 있다. 다시 말해, 플레이어가 가상세계를 탐색할 때, 디에제틱 UI에 포함된 모든 가상 캐릭터, 물체, 사운드 및 환경은 자연스럽게 이야기의 일부로 인식된다. 반면 비 디에제틱 UI는 가상세계에 포함되지 않은 외부로부터 생성된 시⦁청각적 요소로 정보를 전달한다[35][36].

가상현실에서 디에제틱 UI는 사용자의 직접적인 경험으로서 이루어지며, 텍스트를 사용하는 UI보다는 사용자의 직접적인 인식에 의한 참여가 필요하다. 사용자가 상호 작용하는 가상세계의 모든 것들은 UI 요소이므로 스토리 세계의 모든 공간과 시각, 청각 및 촉각적 경험에 의해 존재한다. 가상현실 게임에서 다양한 UI 유형을 적용할 수는 있지만 적어도 1인칭 시점 게임에서는 사용자의 선호도에 따라 디에제틱 UI를 활용하여 더 나은 정보를 제공하는 것으로 나타난다[37]. 그러므로 1인칭 시점 기반 몰입형 가상현실 게임의 UI는 사용자의 몰입을 방해하지 않으며 원활한 정보전달을 위한 디에제틱 UI의 활용으로서 접근해야한다[38]. 그러나 가상현실 게임에 한 가지 UI 유형만 적용해야 하는 것이 아니라 게임의 장르 (Genre)나 기획 의도에 따라 여러 유형의 UI를 적절히 사용할 수 있다.

4-2 몰입 요소에 따른 UI 분류

어드벤처 게임인 론 에코에서는 플레이어가 이야기 속 주인공이 되어 가상공간을 구성하고 있는 객체를 통한 다양한 차원의 소통과 상호작용을 경험할 수 있다. 가상환경을 구성하고 있는 디에제틱 요소들과의 자연스러운 상호작용을 통하여 플레이어가 이야기의 진행을 주도하고 있는 캐릭터에 공감되어 동일시되었다는 것에 대한 환영을 만들어 주었다.

Fig. 6.

Diegetic elements of Lone echo game

또한 이야기의 진행을 도와주는 NPC(Non Playable Character)들과 자연스러운 상호작용을 하면서 일상에서와 같은 사회적 플레이를 경험 할 수 있다.

어드벤처 장르에서는 플레이어가 바라보는 공간에서 모든 것을 조작할 수 있는 행위의 주체자라고 인식하는 것이 중요하다. 플레이어는 연쇄적으로 연결되어있는 사건들을 해결해 나가며 스토리 전개에 따라 심리적 몰입을 한다. 또한, 플레이어가 이야기의 진행을 주도하고 있는 가상 캐릭터와 NPC의 자연스러운 상호작용을 통하여 캐릭터에 대한 환영을 만들어 몰입감을 향상시켜 준다. 또한, 이야기 장소의 설정과 더불어 그 장소를 구성 하는 객체들의 구성과 배치를 고려상호작용을 원활하게 하기 위한 제작이 필요하다. 가상현실 공간에서 실제 장소에 있는 듯한 환영을 만들어 준다면 경험자는 높은 몰입감을 느낄 수 있을 것이다.

2017 년 슬라이틀리 매드 스튜디오(Slightly Mad Studios)사에서 만든 프로젝트 카스(Project Cars) 2라는 가상현실 게임은 레이싱 시뮬레이션(Racing simulation) 게임으로서 자동차를 운전하는 게임이다. 그림 7과 같이 플레이어는 차 안 운전석에서 운전하는 일 인칭 시점으로 게임을 플레이하게 된다.

Fig. 7.

Diegetic user interface in Project Cars 2

플레이어는 실제 현실에서 자동차를 운전하듯이 차 내부의 계기판을 보며 정보를 파악할 수 있다. 자동차의 속도를 표시하는 HUD 대신 자동차 내부의 대시보드에 배치된 속도 계기판이 실시간으로 속도를 알려준다. 또한, 차의 룸미러나 사이드미러가 주변을 비춰 주며 주위 상황을 파악할 수 있게 제작함으로서 자동차 내부에 배치되어 있는 디에제틱 요소들과 직접적인 상호작용하여 현실감을 느끼도록 유도한다. 이처럼 자동차와 같은 운송기기를 조정해야 하는 상황에서는 실제 운전석 내부와 동일한 패널 위치에 GUI를 배치하고 플레이어가 조작함에 따라 디에제틱 요소들과 상호작용하게 하여 실제로 조정한다는 느낌을 끌어낼 수 있다.

2016년 다운풀 인터랙티브 (Downpour Interactive)사에서 출시한 온월드 (Onward)는 가상현실 멀티 플레이어 일인칭 슈팅 게임이다. 플레이어는 전투에서 목표를 완수해야 하며 날씨와 여러 환경에 따라 적합한 전술을 활용하여 임무를 완수한다. 또한, 플레이어가 착용하고 있는 장비들과도 직접적인 상호작용을 통하여 몰입감을 높였다. 예를 들어 머리 위에 있는 야시경을 내리는 동작을 통하여 상호작용하고, 팀원끼리 소통할 때도 귀 부분의 무전기를 실제로 사용하는 듯한 상호작용을 통하여 상황에 더욱 몰입할 수 있도록 도와준다. 그림 8과 같이 플레이어는 드론과 같은 기기와의 직접적인 상호작용을 통하여 적의 위치를 파악하는 전술로서 게임을 플레이한다.

Fig. 8.

Tactical play using diegetic element in Onward

이 게임에서는 전형적인 슈팅 게임에서 사용하는 HUD의 사용을 배제하고 가상세계에 존재하는 객체들로만 상호작용할 수 있게 하였다. 플레이어는 현실에서처럼 총의 조준경을 통해 적을 확대해 정확한 위치를 파악하기도 하고 몸의 높이를 변경하여 엄폐하는 전투 기술로서 플레이한다. 본 게임에서는 가상세계 속 디에제틱 요소들과 상호작용하여 정보를 수집함으로써 좀 더 현실적인 체험을 제공한다. 또한, 플레이어들끼리 목적을 완수하기 위하여 공동으로 임무를 수행하며 상황에 더욱 몰입할 수 있도록 한다.

2018년 폴리아크(Polyarc)에서 제작한 모스(Moss)는 가족을 찾기 위해 모험을 떠나는 생쥐 퀄의 모험을 일인칭과 삼인칭이 조합된 시점으로 플레이하는 가상현실 액션 어드벤처 게임이다. 이 게임에서 플레이어는 일인칭 시점과 삼인칭 시점으로 변환해가며 플레이를 할 수 있다. 그림 9에서처럼 플레이어는 아바타를 삼인칭 시점에서 조작하게 되고, 동시에 게임의 조력자로서 일인칭 시점으로 다양한 퍼즐을 풀어가며 게임을 플레이한다.

Fig. 9.

Gameplay using various viewpoints in Moss

플레이어는 동화 속 신비로운 공간에서 퍼즐을 풀어가며 이야기를 진행한다. 또한, 가상세계를 구성하고 있는 다양한 객체들과 상호작용하여 게임을 플레이한다. 게임 내 GUI 요소들을 최소화하고 디에제틱 요소들을 활용하여 게임을 진행함으로써 플레이어는 이야기 속 상황에 더욱 몰입할 수 있다.

2017 년 스카이댄스 인터랙티브 사에서 만든 아크엔젤 헬화이어(Archangel Hellfire)라는 가상현실 게임은 메크(Mech) 슈팅 게임으로서 로봇에 탑승하여 전투하는 게임이다. 그림 10와 같이 게임에서는 로봇에 탑승한 플레이어가 실제로 조정석에게 앉아 조정할 수 있는 컨트롤 패널처럼 화면이 구성되어 있다.

Fig. 10.

Hybrid UI type in Archangel Hellfire

로봇의 조정석에 디스플레이되는 GUI 화면은 합리적인 위치와 정보를 배치함으로써 플레이어가 실제로 조정하는 듯한 현실감 및 몰입감을 유도할 수 있다. 이러한 사례는 디에제틱과 비 디에제틱 요소들이 조화롭게 융합되어 사용된 경우로서 외부에서 제작된 그래픽을 가상세계 배경의 적합한 위치에 배치하여 실제 상황처럼 표현할 수 있다. 또한, 플레이어가 적으로부터 공격을 받으면 유리창이 깨지는 은유적 표현으로서의 메타 UI를 적용하여 더욱 현실감 있게 표현하였다. 한 가지 유형의 UI를 적용하는 것이 아니라 쓰임에 따라 여러 종류의 UI 유형을 적용하여 플레이어가 실제감을 느낄 수 있도록 제작하였다. 이처럼 복합적인 UI 유형의 조합으로서의 HUD는 현실에 존재할 법한 상황에서 조정하는 화면처럼 HUD를 구성하고 가상 환경과 현실감 있는 상호작용으로서 사용자에게 가상현실 상황에 몰입할 수 있도록 도와준다.

가상현실게임에서 몰입감을 향상시킬 수 있는 요소들을 지각적 몰입과 심리적 몰입 요소로 나누어 그림 11과 같이 분류하였다.

Fig. 11.

The elements of improving immersion

이처럼 게임의 장르에 따라 정보의 전달, 플레이 방식과 몰입감 유도의 목적에 따라 몰입 요소는 다양하게 적용될 수 있다. 게임 장르별 몰입 요소의 공통점으로는 가상세계에 내제해 있는 디에제틱 요소들로서 현실에서와 같은 자연스러운 상호작용을 유도하여 몰입감을 향상시킨다.

Ⅴ. 결 론

가상현실 게임의 일반적인 인터페이스는 헤드 업 디스플레이와 같은 가상세계 외부에 존재하는 요소를 사용하여 가상세계와의 이질성을 유발하여 플레이어의 몰입감을 저하 시킬 수 있다. 이러한 비 디에제틱 UI 사용을 최소화하고 디에제틱 UI를 활용한다면 플레이어들의 인지적 참여와 제어 감각의 증가를 통해 사용자의 몰입감 향상에 영향을 줄 수 있다[39]. 궁극적으로 플레이어와 상호작용하고 가상환경에 존재하는 모든 요소로 몰입할 수 있는 상황을 유도하는 UI를 만들어야 한다. 또한, 가상현실 게임에서 헤드 업 디스플레이를 디자인할 때도 실제 환경에 있는 기기를 제어하는 듯한 화면처럼 UI를 배치하여 구성하여야 한다. 이렇게 가상환경을 구성하고 있는 요소들로서 GUI를 구성한다면 플레이어가 가상 세계에 더욱 몰입할 수 있도록 도와줄 수 있다. 즉, 게임 장르와 플레이어의 조작 방식에 따라 적합한 UI를 활용한다면 직관적인 상호작용을 유도하여 몰입감을 효율적으로 향상시킬 수 있다.

본 연구에서는 자연스러운 UI의 사용으로 플레이어의 몰입감을 향상하는 방법으로서 디에제틱 UI와 다른 유형의 UI와의 복합적인 활용 방안을 제시하였다. 전형적인 HUD 메뉴와 같은 비 디에제틱 UI의 사용을 피하고 디에제틱 UI를 사용함으로써 자연스러운 상호작용을 유도하여 몰입감을 높이는 것에 중점을 두었다. 가상현실을 구성하고 있는 공간과 상호작용 가능한 객체의 사용 및 시각적 표현효과를 통하여 단서를 제공하여 몰입감있는 상호작용을 유도한다. 또한, 다양한 게임 장르의 특성에 따라 혼합된 UI를 적용할 수 있다. 어드벤처 장르의 게임에서는 HUD없이 가상세계에 존재하는 디에제틱 UI로만 구성이 되게 하여 플레이어가 이야기 속 캐릭터에 더욱 몰입하여 플레이할 수 있다. 슈팅 게임이나 시뮬레이션 게임에서는 디에제틱 요소와 비디에제틱 UI를 접목하여 사용할 수 있다. 플레이어가 가상세계 속 디에제틱 요소들과 상호작용하여 직접 조정한다는 느낌이 들게 하는 원격 현존감을 강화함과 동시에 합리적인 위치에 GUI를 배치함으로써 빠르고 정확하게 정보를 파악할 수 있도록 한다. 결국, 가상현실을 구성하는 모든 구성 요소와 상호 작용하여 몰입감을 저하하지 않는 디에제틱 요소들로 표현한 인터페이스와 장르나 기획 의도에 따른 복합적인 UI의 적절한 활용으로서 사용자가 실제로 가상세계와 상호작용한다는 감각을 극대화시켜 효율적으로 활용 할 수 있다. 몰입형 가상현실 게임의 UI는 가상세계와 사용자와의 직관적인 상호작용을 통해 몰입을 극대화할 수 있는 특성이 있으므로 다른 영역의 UI 디자인과 차별화된 지속적인 연구가 필요할 것이다.

Acknowledgments

이 논문은 2020년도 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임(NRF-2019S1A5A2A01047357).

References

• C. Moro, Z. Štromberga, & A. Stirling, “Virtualisation devices for student learning: Comparison between desktop-based (Oculus Rift) and mobile-based (Gear VR) virtual reality in medical and health science education”, Australasian Journal of Educational Technology, Vol. 33, No. 6, 2017. [https://doi.org/10.14742/ajet.3840]
• K. Ahir, K. Govani, R. Gajera, & M. Shah, “Application on virtual reality for enhanced education learning”, military training and sports. Augmented Human Research, Vol. 5, No. 1, 7, 2020. [https://doi.org/10.1007/s41133-019-0025-2]
• D. Checa, & A. Bustillo, “A review of immersive virtual reality serious games to enhance learning and training”, Multimedia Tools and Applications, Vol. 79, No. 9, pp. 5501-5527, 2020. [https://doi.org/10.1007/s11042-019-08348-9]
• M. Minsky, “Telepresence”, Omni, 2, pp. 44–52, 1980.
• M. Lombard, & T.B. Ditton, “At the heart of It all: The Concept of Presence”, Journal of Computer-Mediated Communication, Vol.3, No.2, 1997. [https://doi.org/10.1111/j.1083-6101.1997.tb00072.x]
• Hearyun Shim, “Synasthetise und naturliches Interface”, Korean journal of aesthetics, 60, pp. 115-150, 2009.
• J. Steuer, “Defining virtual reality: Dimensions determining telepresence”, Journal of communication, Vol. 42, No. 4, pp. 73-93, 1992. [https://doi.org/10.1111/j.1460-2466.1992.tb00812.x]
• Llanos, C. Stein, and Kristine Jørgensen, "Do players prefer integrated user interfaces? A qualitative study of game UI design issues." Proceedings of DiGRA 2011 Conference: Think Design Play. 2011.
• F. Biocca, T. Kim, & M. R. Levy, “The vision of virtual reality”, Communication in the age of virtual reality, pp. 3-14, 1995.
• Ji young Kang and Sang-Il Choi, “Study on the Expanded Interface in Immersive Virtual Reality Content”, The Journal of Digital Contents Society, Vol. 21, No. 9, pp. 1599-1606, 2020. [https://doi.org/10.9728/dcs.2020.21.9.1599]
• Janet Horowitz Murray, Hamlet on the Holodeck: The Future of Narrative in Cyberspace, MIT press, 2017.
• A. McMahan, Immersion, engagement and presence, The video game theory reader, pp. 67-86, 2003.
• G. Seo, & B. C. Bae, “Towards the utilization of diegetic ui in virtual reality educational content”, In International Conference on Human-Computer Interaction, Springer, Cham, pp. 111-115, 2018. [https://doi.org/10.1007/978-3-319-92285-0_16]
• T. B. Sheridan, “Musings on telepresence and virtual presence”, Presence: Teleoperators & Virtual Environments, Vol. 1, No. 1, pp. 120-126, 1992. [https://doi.org/10.1162/pres.1992.1.1.120]
• M. Slater, & M. Usoh, “Representations systems, perceptual position, and presence in immersive virtual environments”, Presence: Teleoperators & Virtual Environments, Vol. 2, No. 3, pp. 221-233, 1993. [https://doi.org/10.1162/pres.1993.2.3.221]
• B. G. Witmer, & J. M. Singer, “Measuring presence in virtual environments: A presence questionnaire”, Presence, Vol. 7, No. 3, pp. 225–240, 1998. [https://doi.org/10.1162/105474698565686]
• M. Lombard, & Snyder-Duch, “Interactive Advertising and Presence: A Framework”, Journal of Interactive Advertising, Vol. 1, No. 2, pp. 56-65, 2001. [https://doi.org/10.1080/15252019.2001.10722051]
• C. Heeter, “Interactivity in the context of designed experiences”, Journal of interactive advertising, Vol. 1, No. 1, pp. 3-14, 2000. [https://doi.org/10.1080/15252019.2000.10722040]
• N. Lavroff, Virtual reality playhouse: explore artificial worlds on your PC, Corte Madera: Waite Group Press, 1992.
• Sheridan, T. B., “Musings on telepresence and virtual presence”, Presence: Teleoperators and Virtual Environments, Vol. 1, No. 1, pp. 120-126, 1992. [https://doi.org/10.1162/pres.1992.1.1.120]
• D. Zeltzer, “Autonomy, interaction, and presence”, Presence: Teleoperators and Virtual Environments, Vol. 1, No. 1, pp. 127-132, 1992. [https://doi.org/10.1162/pres.1992.1.1.127]
• Gorisse, G., Christmann, O., Amato, E. A., & Richir, S., “First-and Third-Person Perspectives in immersive Virtual environments: Presence and Performance analysis of embodied Users”, Frontiers in Robotics and AI. Vol. 4, No. 33, 2017. [https://doi.org/10.3389/frobt.2017.00033]
• M. Slater, B. Spanlang, M. V. Sanchez-Vives, & O. Blanke, “First person experience of body transfer in virtual reality”, PloS one, Vol. 5, Np. 5, e10564, 2010. [https://doi.org/10.1371/journal.pone.0010564]
• V. I. Petkova, M. Khoshnevis, & H. H. Ehrsson, “The perspective matters! Multisensory integration in ego-centric reference frames determines full-body ownership”, Frontiers in psychology, Vol. 2, No. 35, 2011. [https://doi.org/10.3389/fpsyg.2011.00035]
• H. G. Debarba, E. Molla, B. Herbelin, & R. Boulic, “Characterizing embodied interaction in first and third person perspective viewpoints”, In 2015 IEEE Symposium on 3D User Interfaces (3DUI), IEEE, pp. 67-72, 2015. [https://doi.org/10.1109/3DUI.2015.7131728]
• Sherman, R. William, and Alan B. Craig, “Understanding virtual reality: Interface, application, and design”, Morgan Kaufmann, 2018. [https://doi.org/10.1016/B978-0-12-800965-9.00010-6]
• E. Fagerholt, & M. Lorentzon, “Beyond the HUD - User Interfaces for Increased Player Immersion in FPS Games”, Master of Science Thesis, Chalmers University of Technology, 2009.
• J. T. Kirby, “Mimesis and diegesis, foundations of aesthetic theory in plato and aristotle”, Helios, Vol. 18, No. 2, pp. 113-128, 1991.
• K. Thompson, & D. Bordwell, Film history: An introduction, Boston: McGraw-Hill, Vol. 205, 2003.
• M. Andrews, 2010. Game UI Discoveries: What Players Want [Internet]. Available: https://www.gamasutra.com/view/feature/132674/game_ui_discoveries_what_players_.php?page=1, Accessed on July 02, 2020.
• A. Stonehouse, 2014. User Interface Design in Video Games. [Internet]. Available: http://www.gamasutra.com/blogs/AnthonyStonehouse/20140227/211823/User_interface_design_in_video_games.php, . Accessed on July 02, 2020.
• Brenda. Laurel, The art of human-computer interface design, Addison-Wesley, 1990.
• Rennan. Raffaele, Virtual Reality Immersive user interface for first person view games, Master Thesis, University of Beira Interior, 2017.
• Alexander R. Galloway, Gaming: Essays on algorithmic culture, Vol. 18, U of Minnesota Press, 2006.
• S. Soyluçiçek, “The association of typography with form and content in digital games”, New Trends and Issues Proceedings on Humanities and Social Sciences, Vol.2, No. 1, pp. 216–223, 2016. [https://doi.org/10.18844/gjhss.v2i1.302]
• K. Saunders, & J. Novak, Game development essentials: Game interface design, Cengage Learning, 2012.
• M. Peacocke, R. J. Teather, J. Carette, & I. S. MacKenzie, “Evaluating the effectiveness of HUDs and diegetic ammo displays in first-person shooter games”, In 2015 IEEE Games Entertainment Media Conference (GEM). IEEE. pp. 1-8, 2015. [https://doi.org/10.1109/GEM.2015.7377211]
• G. Seo, Study on the Diegetic User Interface Meditated as Illusion Factor for Virtual Reality Interactive Storytelling, Doctor of Fine Art Dissertation, Sejong University, 2019.
• I. Iacovides, A. Cox, R. Kennedy, P. Cairns, & C. Jennett, “Removing the HUD: the impact of non-diegetic game elements and expertise on player involvement”, In Proceedings of the 2015 Annual Symposium on Computer-Human Interaction in Play, pp. 13-2. 2015. [https://doi.org/10.1145/2793107.2793120]