착용형 디스플레이 기반 손동작 추적 기술을 활용한 원격 증강현실 보드게임 개발

2-1. 온라인 보드게임

온라인 게임 시장에서 주도적 역할을 하는 네오위즈, 넷마블, NHN 엔터테이먼트 업체의 전체 매출 가운데 50%가 게임에서 나오고 그 중 카드 보드게임이 80%를 차지한다. 온라인 보드게임의 종류는 화투, 포커, 장기, 바둑, 카드 그림 맞추기, 전략 카드, 게임 등 다양하며, 지속적해서 발전된 형태로 나오면서 블자자드 게임 개발사는 하스스톤 카드 게임은 세계적 온라인 보드게임 시장을 급속도로 빠르게 성장시키는데 기여하고 있다.

온라인 보드 게임의 특징 중 하나는 사용자가 본인의 아바타를 생성하여 게임을 진행하는데 있다고 할 수 있다. NHN 같은 경우는 회사의 성장을 돕는데 특히 보드게임의 “아바타의 판매가 급증하여 외형 신장의 원인이 됐다“고 밝혔다. 하지만 지금은 온라인 게임 시장이 포화상태이며 보드게임 역시 사용자들을 만족하게 할 있는 차별화되며 재미를 줄 수 있는 보드게임을 제공해야만 경쟁력을 가질 수 있다[5].

현재의 온라인 보드게임의 발전은 스마트폰 디바이스가 매년 출시되고 고가 폰의 경우 고성능 그래픽 지원이 가능하여 게임 그래픽 품질이 발전하고 있다. 보드게임 콘텐츠의 경우에도 직관적인 사용자 손으로 스마트폰 화면 터치를 통하여 게임 플레이를 하게 되며 시각적 효과 기술을 비롯하여 다양한 파티클 및 물리 엔진을 사용하여 MMORPG와 같은 볼륨으로 개발되어 시장에 출시되고 있다.

2-2. 게임콘텐츠 입력 컨트롤 디바이스

모든 게임콘텐츠는 하드웨어의 구조와 인터페이스의 관계는 불가분의 관계이다. 좀 더 정확하게는 입력장치와의 관계이며 즉 사물과 사물 또는 사물과 인간과 연결해 주어 의사소통이 가능하게 하는 도구이다.

게임콘텐츠의 경우 사용자의 입력수단으로 그림1과 같이 마우스와 키보드 패드가 지금까지 입력수단이 돼 왔고 게임 콘텐츠의 장르에 따라서 컨트롤 디바이스 인터페이스가 조금씩 변화되어 졌다. 비디오게임 경우에는 주로 업체의 콘솔 제품에서 제공되는 패드가 사용되고 있으며 특정 장르에 맞춰진 스포츠 게임 같은 경우에 동작 인식을 위해 키넥트 디바이스와 자이로 센서를 이용한 모션 컨트롤 패드 사용한다. 최근에는 PC게임이나 콘솔 게임에서 사용되는 컨트롤 디바이스의 경우는 연결선이 없는 무선형 컨트롤 디바이스로 출시하고 있다. 기존의 선을 없애고 Wireless 컨트롤 디바이스는 게임을 진행하는 데 선을 연결할 필요 없는 부분에서 많은 편리함을 주고 있다.

Fig. 1.

Game Content Control Input Devices

현재 4차 산업혁명 시대에 빠르게 빠르게 변화 하는 요즘에 디지털 콘텐츠들은 모바일로 집중되고 있으며 많은 사용자가 소지하고 있는 스마트폰에서 사용하는 모바일 게임 콘텐츠들이 급성장하고 있으며 매년 출시되고 있는 스마트폰의 성능에 맞춰 비약적으로 발전하면서 현재는 PC와 버금가는 퀄리티의 모바일 게임 콘텐츠들이 지속해서 출시되고 있다.

모바일 게임콘텐츠들은 주로 스마트폰의 디스플레이를 사용자의 손을 사용하여 화면을 터치하는 형태로 게임을 컨트롤하며 진행하고 있으며 보드게임 콘텐츠도 역시 사용자의 손을 사용하여 플레이하는 게임으로 개발되고 있다. 최근 모바일 게임 그래픽의 발전만큼 조작 메뉴도 매우 복잡해지며 실시간으로 네트워크 상대화 대화도 주고받으면서 게임을 진행해야 하는 다양한 액션을 요구하고 있다.

특히 모바일 게임 화면의 경우 스마트 폰 중 제일 큰 삼성 갤럭시 노트 9 경우 디스플레이 세로 길이는 162mm 가로 76.3mm의 한정적 제약된 공간에서 컨트롤하며 게임을 진행해야 하므로 게임을 하는 경우에 손가락에 가려지는 상황이 많이 발생 된다. 게임을 진행할 때 직관적인 사용자 손으로 게임을 컨트롤하는 인터페이스가 좋기는 하지만 작은 화면으로 인하여 복잡한 게임을 컨트롤하는 것은 한계가 있으며 게임을 지속해서 플레이를 하기도 어렵기 때문에 사용성과 유용성이 나쁘다고 본다. 때문에 이러한 문제점을 해결하기 위해 스마트폰에 또 다른 입력 컨트롤 패드가 나오게 되었다.

이와 같은 경우모바일 상황에서 게임플레이를 하는 경우 직관적인 입력으로 사용자 손을 사용하여 스마트폰 게임 플레이를 진행하기에는 모바일 게임은 디스플레이의 한계성이 있게 되어 스마트폰에 적합한 스마트폰 전용 컨트롤 디바이스가 위 그림2와 같이 출시되어 사용되고 있다. 이렇게 입력 인터페이스의 컨트롤 디바이스는 산업 변화에 따라 다양하게 변화되고 발전하고 있음을 알 수 있다. 모바일의 경우 사용자의 직관적인 손을 사용하여 디스플레이 터치를 통하여 입력하는 방식은 매우 직관적인 편리하기는 하지만 스마트폰의 경우 입력하는 디스플레이 크기의 한계성으로 인해 손보다 다른 컨트롤 디바이스를 선호한다는 것을 알 수 있다.

Fig. 2.

Mobile game control input device

2-3. 손 트랙킹 기술 기반 게임

Fig. 3.

Hand-tracking control input device

현재까지 사용자가 게임을 진행할 때 사용하는 인터페이스 도구는 키보드, 마우스 또는 게임 전용 디바이스에 적합한 패드들이 있다. 하지만 시간이 지날수록 사용자는 편리하고 간편하며 게임 환경에서 매우 자연스럽게 게임을 진행하기를 원한다[6]. 예를 들면, 마이크로소프트사의 엑스박스 콘솔 게임의 경우 키넥트 카메라의 센서를 이용하여 손에 컨트롤 입력장치 없이 손에 아무것도 들고 있지는 않는 상태에서의 사용자의 손동작과 몸동작의 정보를 인식을 통해 게임을 조작하고 진행 할 수 있다. 마이크로소프트사의 엑스박스 게임들 중 모션 게임들은 댄스, 스포츠, 체조, 운동(fitness) 등 액티비티한 게임들이 있다. 물론 키넥트의 모션센서 정보만을 이용하여 게임을 진행하기 때문에 손동작 및 몸동작의 추적 기술은 부족함이 있으며, 이에 따라 게임 플레이도 제한적이며 단순한 형태의 게임으로 개발될 수 밖에 없다. 하지만 최근에는 손을 인식하고 손 모션을 추적하는 기술을 통하여 인식하는 립모션이 등장하면서 손동작 추적 정보를 이용한 직관적 손을 사용하는 애플리케이션 게임들도 등장하고 있다[7][8].

립모션은 기술은 키넥트와 비슷한 원리지만 RGB 카메라와 Depth 정보로 키넥트 보다 200배 높은 감도를 가지고 있으며 약 100분의 1㎜의 움직임까지도 감지하는 IR 센서 장치이다. 간편하게 연결되어 사용될 수 있으며 립모션을 통해서 손을 인식하는 부분이 키넥트 보다 매우 편리하고 간편하다. 립모션 디바이스에서 제공되는 손을 사용하는 게임들도 제공되고 있다. 또 다른 손 트랙킹 기술인 키넥트의 경우에는 개발에 참여했던 연구 인력들이 더욱 진보된 증강현실 기술과 결합하여 마이크로소프트에서 출시한 홀로렌즈 디바이스를 사용하여 사용자 손을 사용하는 증강현실 게임 콘텐츠들이 개발되고 있다. 앞으로 지금까지 사용해 오고 있는 기존 입력장치 들인 키보드, 마우스. 게임 패드가 계속 유지 된다는 보장이 없을 것이다. 그 이유는 매우 자연스럽고 직관적인 인간의 손이 디바이스를 사용하는 최적의 입력 인터페이스라는 것을 스티브 잡스는 아이패드를 처음 출시할 때 말했다.

증강현실 기술에서는 인터랙션이 가능한 입력 인터페이스로 사용자 손을 사용한 콘텐츠들이 홀로렌즈 디바이스를 통하여 지속해서 연구 개발될 것이다.

3-1. 시스템디자인

본 연구에서는 증강현실 기반 원격 네트워크 보드게임에서 부가적인 입력장치 없이 자연스럽고 직관적인 인터페이스로 사용자 손만을 사용하여 인터랙션 가능한 보드게임을 개발하였다.

Local User의 경우 사용자의 손 인식을 추적하는 Leap Motion 센서와 카메라가 달린 비디오 투시 (Video See-through) HMD 기반 증강현실 플랫폼을 사용하였으며 Remote User 경우도 마찬가지로 Leap Motion 센서와 카메라가 달린 비디오 투시 (Video See-through) HMD 기반 증강현실 플랫폼과 Kinet를 통하여 Remote User의 몸동작을 추적하여 아바타로 재현 하였으며 손 추적의 경우 따로 오브젝트 3D 가상 손을 캐릭터의 팔과 연결이 되도록 하여 손동작 트랙킹을 할 수 있도록 하였다 .

본 플랫폼에서는 HMD로서 Oculus Rift DK2를 사용하며, 사용자에게 보여 줄 현실 영상을 위해 OvrVision 1 스테레오 카메라를 사용한다.

Local User의 경우 사용자의 손과 정합된 3D 가상 손을 사용하게 되며 Leap Motion 센서로 트랙킹이 되어 게임을 할 수 있다. Remote User를 3D 아바타의 캐릭터 형태로 가상의 공간에 소환되어 함께 3D 보드게임 오브젝트를 볼 수 있다. 이와 같은 시스템 구성을 통해 게임 플레이어는 기존의 일반적인 게임처럼 마우스 키보드 또는 패드와 같은 컨트롤러 디바이스를 사용하지 않고 맨손만을 사용하여 가상의 보드게임 객체로 인터랙션이 가능한 게임을 할 수 있게 된다.

증강현실 보드게임 시스템 개발은 Unity 3D 게임엔진에서 C# 언어를 사용하여 스크립트로 시스템을 개발하였다. 또한, 실험 구성을 위해 동일한 하드웨어로 구성된 2대의 시스템이 포함된 로컬 네트워크를 구성하고 [그림 5], 로컬 네트워크로 연결하여 소규모 네트워크 시스템을 구성하였으며 양측의 게임 시스템에 나오는 가상의 3D 오브젝트 보드를 연동하였다 [그림 4]. Unity 3D에서 네트워크 및 Scene 구성 및 리모트 유저 3D 캐릭터 모듈 통합을 진행하였다.

Fig. 4.

Augmented Reality Board Game Structure

Fig. 5.

AR Board Game System Structure

Local User의 경우에는 게임을 하는 원격으로 Remote User 볼 수 있도록 3D 아바타 캐릭터로 현재의 자세 및 모션 정보를 Kinect를 이용하여 몸 추적이 가능토록 제작을 하였으며 실재 서로 다른 공간에 있으면서도 동일한 공간에 있는 것 같은 공존감 높은 증강현실 보드게임을 구현하였다.

3-2. 증강현실 보드게임 3D 객체 디자인

증강현실 보드게임은 로컬 플레이어와 리모트 플레이어를 대신하는 아바타 캐릭터 3D Model data와 카드 블록 형태의 3D Bord Model로 이루어져 있다.

3D Model data는 3D Graphic Program MAX 2018버전으로 데이터를 제작 하였으며 전체 시스템은 로컬 네트워크로 연결하여 게임이 진행되기 때문에 특별히 캐릭터의 폴리곤 수의 제약을 고려하지 않았으나 PC 성능을 고려하여 미들 폴리곤 형태의 Mesh 데이터로 제작이 되었다. 폴리곤 숫자는 캐릭터 5,646개 그리고 게임보드 환경 오브젝트는 8*8개수를 가지고 있어 대략 17,000개 폴리곤으로 디자인을 하였다.

텍스쳐 크기 이미지 512*512 size 캐릭터 4장과 게임보드 텍스쳐 환경은 3장으로 만들었다. 그 이외에. 캐릭터 리깅은 3D MAX의 Bipad의 Bone을 사용하여 Skin으로 리깅을 진행 하였으며 캐릭터의 손 부분의 폴리곤만 객체를 Detach 하여 오브젝트를 따로 분리하여 증강현실 보드게임 폴리곤 모델 데이터 디자인을 하였다. 이렇게 3D 오브젝트 작업을 하여 진행한 데이터는 Unity 3D 엔진에서 사용할 수 있도록 FBX 포맷 형태로 저장을 하였으며 Unity 3D 환경에 적합한 형태로 게임 환경을 만들기 위해 [그림 6]과 같이 디자인 작업을 진행 하였다.

Fig. 6.

Augmented Reality Board Game 3D Model Data

캐릭터 객체 디자인과 리깅 작업의 환경을 구성을 진행한 후 Asset으로 불러와 Unity 3D 환경에서 scene 셋팅을 하고 조명과 메트리얼을 만들어 증강현실 게임 콘텐츠 시스템으로 진행하였다.

3-3. 증강현실기반 원격 보드게임

본 논문의 증강현실 보드게임은 일반 데스크톱 PC로 컴퓨터 게임을 할 수 있으며 네트워크가 연결된 공간이면 어디서나 로컬 플레이어와 다른 장소에 있는 원거리 리모트 플레이어가 연결되어 같은 가상의 공간에서 3D 아바타 캐릭터와 또 다른 입력 컨트롤 디바이스 없이 맨손을 사용하여 증강된 3D 보드게임을 실시간 인터랙션 하며 즐길 수 있다.

증강현실 보드게임 방식은 두 가지 모드가 있으며 첫 번째는 경쟁 모드, 두 번째는 협업 모드로 이루어져 있고 첫 번째 경쟁 모드 게임은 보드 판에 하늘색과 빨강색으로 구별된 블록으로 가로세로 8*8의 블록이 있다. 블록을 터치하게 되면 블록이 회전하여 앞뒷면의 색이 서로 바뀌도록 진행하였다. 게임은 정해진 시간 안에 사용자의 하늘색이 블록 50% 원거리 리모트 플레이어 50%가 기본으로 세팅된 상태에서 게임을 시작하며 정해진 시간 30초 동안 블록 터치를 많이 하여 플레이어들 자신의 블록의 컬러를 많이 보유한 경우 경쟁 모드 게임에서 승리하게 된다.

블록을 터치할 때에 직관적으로 사용자의 맨손만을 사용하여 증강된 보드게임의 블록을 손으로 터치하게 되면 손 정보 입력으로 보드 블록이 뒤집어지게 된다.

두 번째 협업 모드의 게임은 정해진 시간 안에 주어진 이미지 패턴을 사용자들이 인지하고서 로컬 플레이어와 리모트 플레이어가 협업하여 인지한 블록의 패턴을 정확하게 만들어야 미션이 끝난다.

경쟁과 협업 모드를 통해 네트워크로 연결되어 한 현실의 한 공간 안에서 게임 플레이를 직관적인 컨트롤 인터페이스인 손을 사용하여 증강현실 플레이가 가능하다. 증강현실 게임은 직관적인 인터페이스로 재미와 성취감, 그리고 함께 같은 공간에서 게임을 하고 있다는 현존감을 느끼게 하였다. 증강현실 네트워크 보드게임은 시간과 공간에 구애받지 않고 다른 장소의 플레이어와 직관적인 인터페이스 손을 사용하여 인터렉션 하며 증강된 아바타의 객체를 통해 함께 같은 공간에서 협업 게임을 진행하며 몰입감을 느끼게 할 수 있다. 손의 움직임은 게임 시스템에서 설명했던 립모션 센서을 사용하여 플레이어 손을 컨트롤 할 수 있었다. 손의 움직임은 게임 시스템에서 설명했던 립모션 센서를 사용하여 플레이어 손을 컨트롤 할 수 있으며 손추적 센서를 통하여 실시간으로 손의 각관절 움직임 정보를 얻어서 파악하여 3D가상 손 모델과 정합한 데이터로 트랙킹 되어 시각화 할 수 있다[9].

연구개발과정 및 구현된 시스템의 사용성 평가 단계에서 증강현실 보드게임을 플레이한 사용자들이 맨손으로 블록을 터치 하는 경우 정해진 시간에 빠르게 터치를 하는 경우 매끄럽게 블록 인식이 안되는 부분이 있었으며 맨손과 가상 3D 손모델 데이터의 손가락 자가가림 현상이 생기는 경우에도 불록 터치 인터랙션이 원활하지 못한 부분이 발생 되는 점도 있었다.

Fig. 7.

Augmented Reality Board Game Mode