코비드헌터+: 코로나19 종식 기원 증강현실 디펜스 게임

Ⅰ. 서 론

코로나19가 전 세계를 강타한 지도 벌써 2년이 훌쩍 지났다. 금방 종식되리라는 기대가 무색하게도 거리 두기와 마스크 착용은 일상이 되었고, 사람들의 몸과 마음은 지쳐가고 있다. 2022년 5월 실외 마스크 착용 의무화가 해제되었고, 2022년 10월 현재 실내 마스크 착용 의무도 해제하자는 여론이 형성되고 있지만, 여전히 만 명대의 일일 확진자가 발생하고 있다. 이러한 상황 속에서 작금의 코로나 시국을 주제로 코로나 방역에 대한 경각심을 일깨우고, 어려운 시기를 잘 극복할 수 있다는 희망의 메시지를 전달하기 위한 목적에서 코비드헌터(CovidHunter)가 개발되었다[1].

코비드헌터는 무작위로 생성되는 바이러스를 퇴치하고 시민들에게 마스크를 씌워주면서 코로나바이러스로부터 마을을 지켜나가는 증강현실 디펜스게임이다. 게임의 무대가 크기 때문에 플레이어는 실제로 자신의 몸을 이동해가면서 게임을 플레이해야 하는데 이 과정에서 현실 세계와 가상 물체 사이의 인터랙션을 경험하는 등 실감나게 게임에 몰입할 수 있다. 코비드헌터는 증강현실을 구현하기 위한 개발 환경으로는 적합하지 않은 교육용 플랫폼인 코스페이시스[2]를 선택하였다. 증강현실을 구현하기 위해서는 사용자가 보고 있는 시점, 즉 카메라와 현실 세계 사이의 3차원 자세를 계산한 다음, 계산된 자세에 맞게 가상의 콘텐츠를 정합하는 과정이 필요하다. 이를 구현하기 위해서는 이미지 프로세싱과 컴퓨터 비전, 컴퓨터 그래픽스 등의 기술을 필요로 하며, 최근 이러한 기반 기술들의 급속한 발전에 힘입어 상용화 수준의 증강현실 응용들이 상당수 개발되어 오고 있다[3-5]. 코스페이시스에서 제공하는 증강현실 솔루션은 머지큐브[6]라는 교육용 도구를 손에 쥐고 체험하는 증강현실 콘텐츠 개발을 위해 머지큐브의 3차원 자세를 인식하는 수단이 유일하며, 코비드헌터는 그림 1과 같이 머지큐브의 단면을 확대 출력하여 마을의 바닥으로 배치하여 증강현실 솔루션을 구현하였다. 하지만 이는 증강현실 솔루션을 구현하기 위한 좋은 방법이 아닌 일종의 임시방편이다. 코비드헌터에서 머지큐브는 카메라와 현실 세계 사이의 3차원 자세를 계산하기 위한 마커로 사용되기 때문에 게임 도중에 카메라를 많이 기울인다거나 너무 멀리서 비추는 상황에서는 인식에 실패할 가능성을 수반한다. 또한, 게임의 무대 중앙에 크게 출력되어 배치된 마커는 게임의 미관을 해치며, 플레이어의 몰입감을 저해하는 요소로 작용한다. 뿐만 아니라 코비드헌터는 코스페이시스 앱 위에서만 구동되기 때문에 체험을 위해서는 코스페이시스 앱을 반드시 설치해야 한다. 이는 게임을 출시하고 배포하는 등 사용자층을 확보하는 데 있어서 큰 장애물로 작용한다.

Fig. 1.

A play scene of CovidHunter

코비드헌터의 문제점을 개선하기 위해 코비드헌터+(CovidHunter+)를 개발하게 되었다. 유니티3D(Unity3D)를 메인 개발 환경으로 하여 모든 게임 로직과 게임 인터페이스를 구현하였으며, 마커 없이 증강현실 솔루션을 구현하기 위해 뷰포리아(Vuforia) 엔진[7]의 3D트래킹 모듈을 이용하였다.

추가로 게임의 실감성과 몰입도를 높이기 위해 3D프린터로 출력한 건물을 중심으로 현실 세계를 그대로 축소하여 제작한 미니어처 디오라마를 게임의 무대로 사용하였다.

코비드헌터+는 코비드헌터와 마찬가지로 코로나 방역에 대한 경각심과 희망의 메시지를 전달하는 목적이 있다. 추가로 증강현실 인식 수준을 확대하고 증강현실에 대한 개념을 확산하고자 한다. 메타버스의 핵심 인터페이스 기술 중 하나인 증강현실은 메타버스의 열풍에 힘입어 관심과 기대감이 증가하고는 있으나, 다수의 사람은 포켓몬고와 같이 현실 세계에 가상 물체를 증강하는 기술 정도로만 인식하고 있다. 코비드헌터+는 현실 세계를 그대로 축소하여 제작한 미니어처 디오라마를 무대로 펼쳐지는 증강현실 디펜스게임으로서 게임을 플레이하는 플레이어는 자신의 몸을 이동해가면서 게임을 플레이해야 하는데 이 과정에서 자신의 시점에 따라 가상 물체가 건물에 가려지는 등 증강현실이 가져야 하는 현실과 가상 사이의 인터랙션을 체험할 수 있다. 이러한 체험을 통해 증강현실의 인식 수준을 확대하고, 더 나아가 증강현실의 개념을 확산할 수 있는 킬러앱으로서 그 역할을 다하고자 한다.

Ⅱ. 개발 환경

코비드헌터+의 메인 개발 환경은 유니티3D이다. 유니티3D 상에서 스크립트 작성을 위한 개발언어로 C#을 선택하였다. 현재는 삼성 갤럭시탭에 안드로이드로 빌드하여 개발과 시연을 하고 있으나 향후 윈도우와 iOS 등 크로스 플랫폼으로 빌드가 가능하다. 미니어처 디오라마의 메인 건물은 오토데스크(Autodesk)의 퓨전 360(Fusion 360)[8]을 이용하여 직접 모델링하였다. 모델링한 메인 건물을 3D프린터를 이용하여 직접 출력하였다. 메인 건물의 3D트래킹을 위해 뷰포리아 엔진의 모델 타겟 트래킹(model target tracking) 모듈을 이용하였다.

추가로 3D트래킹의 시작 범위를 넓히기 위해 뷰포리아 엔진의 고급 모델 타겟 데이터베이스(advanced model target databases) 모듈을 이용하여 다양한 시점을 학습하였다. 게임에 등장하는 사람들을 다양화하기 위해 브이로이드 스튜디오(VRoid Studio)[9]를 이용하였으며, 그 과정에서 유니VRM(UniVRM)[10]과 믹사모(Mixamo)[11] 등을 추가로 이용하였다. 사람들의 이동 동선을 지정하기 위해 베지어 경로 생성기(Bézier path creator)[12]를 이용하였다. 사람을 제외한 모델들은 팅기버스(Thingiverse)[13]와 터보스퀴드(TurboSquid)[14] 등의 3D모델 공유 플랫폼에 게시된 무료 모델을 이용하였다.

Ⅲ. 개발 과정

3-1 메인 건물의 3D모델링

코비드헌터+는 현실 세계를 축소한 미니어처 디오라마를 무대로 한 증강현실 디펜스게임이다. 게임의 실감성과 몰입도를 높이기 위한 목적으로 저자들이 소속한 학과의 건물을 포함하는 주변 일대를 미니어처 디오라마로 제작하기로 하였으며, 그 첫걸음으로 3D프린터를 이용하여 메인 건물을 출력하기로 하였다. 메인 건물의 3D프린팅과 3D트래킹에 이용하기 위한 목적으로 메인 건물의 3D모델링을 수행하였다. 최대한 실제 건물과 유사하게 만들기 위해 시설과에 제공 받은 해당 건물에 대한 2D평면도를 바탕으로 오토데스크의 퓨전 360을 이용하여 그림 2와 같이 메인 건물의 3D모델을 제작하였다.

Fig. 2.

3D model of the main building

3-2 메인 건물의 3D모델링

제작한 메인 건물의 3D모델을 이용해 메인 건물을 3D프린터로 출력하였다. 자체 보유 중인 3D프린터로는 출력 시간이 비현실적으로 오래 걸리는 것으로 계산되어서 인근에 위치한 3D프린팅 센터에 출력을 의뢰하였다. 1:100스케일로 설정하였는데도 가장 긴 변의 길이가 1m가 되는 대규모 출력이라 건물을 4등분으로 나누고, 동시에 2대의 3D프린터를 이용하여 약 2주간의 출력 끝에 그림 3과 같이 메인 건물을 출력할 수 있었다.

Fig. 3.

Main building printed with 3D printer

3-3 미니어처 디오라마 제작

게임의 몰입도와 현실감을 높이기 위해 메인 건물을 중심으로 하여 현실 세계의 미니어처 디오라마를 제작하였다. 압축 스티로폼을 바닥에 두고 실제 색상에 맞게 채색한 메인 건물을 중심으로 디오라마 제작 재료 등을 이용하여 바닥의 재질과 주변의 나무, 주차장 등을 표현하여 그림 4와 같이 디오라마를 완성하였다.

Fig. 4.

A miniature diorama of the real world that is the stage of the game

3-4 메인 건물의 3D트래킹 구현

미니어처 디오라마 상에 가상의 물체를 증강하기 위해서는 미니어처 디오라마에 대한 3D트래킹을 수행해야 한다. 맥스트(Maxst) AR SDK[15], AR코어(ARCore)[16] 등 키포인트를 이용한 시각적 SLAM 기반의 솔루션[17, 18] 등 3D트래킹을 위한 여러 솔루션을 검토한 결과, 뷰포리아 엔진의 모델 타겟 트래킹 모듈이 가장 적합하다고 판단하였다. 뷰포리아 엔진의 모델 타겟 트래킹 모듈은 주어진 3D모델을 이용하여 해당 모델의 실사물에 대한 3D트래킹을 수행한다. 이미 메인 건물의 3D모델을 가지고 있으며, 미니어처 디오라마의 중심에 메인 건물이 위치하기 때문에 미니어처 디오라마에 대한 실시간 3D트래킹을 위한 솔루션으로 뷰포리아 엔진의 모델 타겟 트래킹을 선택하였으며, 메인 개발 환경인 유니티3D 상에 메인 건물이 3D트래킹될 수 있도록 구현하였다.

그림 5는 뷰포리아 엔진의 모델 타겟 트래킹 모듈을 이용하여 메인 건물을 3D트래킹하는 순간을 보여준다. 뷰포리아 엔진의 모델 타겟 트래킹 모듈은 화면에 3D모델을 오버레이하여 보여주고 플레이어가 카메라를 움직여 오버레이된 3D모델과 실사물을 겹치도록 유도하면서 3D트래킹을 시도한다. 즉, 3D트래킹의 초기화는 미리 설정한 위치와 방향에서만 이루어진다. 이를 개선하기 위해 뷰포리아 엔진의 고급 모델 타겟 데이터베이스 모듈을 이용하여 다양한 시점에서 바라본 메인 건물의 키프레임을 미리 학습한 결과[19], 3D모델의 오버레이 없이 모든 위치와 방향에서 바라보는 그 즉시 3D트래킹의 초기화가 이루어지도록 하였다.

Fig. 5.

3D tracking of the main building using Vuforia engine’s model target tracking (top: 3D model guideline is overlaid on the screen to try 3D tracking, bottom: 3D tracking is completed and virtual object is augmented)

3-5 브이로이드 스튜디오를 이용한 다양한 사람 생성

코비드헌터+의 주된 디펜스 요소는 랜덤하게 생성되는 바이러스를 퇴치하고, 거리를 활보하는 사람들에게 마스크를 씌워주는 것이다. 거리를 활보하는 사람을 다양하게 생성하기 위해 브이로이드 스튜디오를 이용하였다.

브이로이드 스튜디오는 그림 6과 같이 직접 커스터마이징하여 다양한 휴머노이드 타입의 3D모델을 생성할 수 있는 프리웨어이다. 생성된 3D모델은 VRM 확장자를 가지기 때문에 오픈소스인 유니VRM을 추가로 이용하여 유니티3D에서 불러올 수 있도록 구현하였다. 휴머노이드 타입의 3D모델에 걷기 등의 애니메이션을 적용하기 위해 믹사모를 이용하여 리깅을 수행하였다. 그림 7은 브이로이드 스튜디오로 생성한 휴머노이드 타입의 3D모델을 유니티3D 상에 불러와서 걷기 애니메이션을 수행하는 모습을 보여준다. 이 과정을 통해 성별, 연령, 키, 생김새, 의상 등을 달리하면서 최대한 다양한 휴머노이드 타입의 3D모델을 확보하였다.

Fig. 6.

Humanoid type 3D model customization using VRoid Studio

Fig. 7.

3D models of various humanoid types with animations

3-6 게임 로직 구현

모든 게임 로직은 유니티3D를 이용하여 구현하였다. 메인 건물의 3D모델을 불러오고, 그 주변에서 게임이 동작하도록 구현하였다. 일정 시간이 지나면 무작위 위치에 바이러스가 생성되고, 특정 시간이 지나면 사라지면서 패널티가 부여된다.

역시 일정 시간이 지나면 미니어처 디오라마의 경계 인근의 무작위 위치에서 사람이 생성되고, 자신의 경로를 따라 이동을 시작한다. 베지어 경로 생성기를 이용하여 그림 8과 같이 베지어 곡선으로 이루어진 여러 개의 경로를 미리 생성해두고, 사람이 생성될 때 무작위로 선택하도록 구현하였다. 마스크를 착용한 채로 생성되는 사람이 있는 반면에 마스크를 착용하지 않은 채로 생성되는 사람이 있다. 마스크를 착용하지 않은 사람이 이동을 완료하여 화면에서 사라지면 패널티가 부여된다. 거리가 멀어서 마스크를 착용하지 않은 사람의 구별이 힘든 문제를 해결하기 위해 그림 9와 같이 마스크를 착용하지 않은 사람은 마스크 그림을 포함한 말풍선을 생성하도록 하였다. 그림 10은 이렇게 구현한 전체적인 게임 로직을 보여준다.

Fig. 8.

Bézier curve for human movement path

Fig. 9.

Visualization of speech bubble to express whether a person is wearing a mask (left: in development, right: in game)

Fig. 10.

Overall game logic

3-7 게임 인터페이스 구현

유니티3D를 이용하여 그림 11과 같이 게임 인터페이스를 구현하였다. 1인칭 시점 표현을 위해 화면의 좌측 하단과 우측 하단에 각각 스프레이와 마스크를 배치하였다. 해당 모델을 터치하면 스프레이를 분무하고 마스크를 던진다. 우측 상단에 패널티를 받을 때마다 깎이는 생명력을 배치하였다. 스프레이, 마스크와 함께 게임에서 등장하는 바이러스는 팅기버스[13]와 터보스퀴드[14] 등의 3D모델 공유 플랫폼에 게시된 무료 모델을 이용하였다. 증강현실 인터페이스를 위해 매 프레임마다 뷰포리아 엔진의 모델 타겟 트래킹 모듈의 결과가 반영되어 모든 모델의 좌표가 업데이트되도록 구현하였다. 게임의 몰입도와 현실성을 높이기 위해 증강현실이 가져야 하는 현실 세계와 가상 물체 사이의 인터랙션 중 하나인 리얼리티 블렌딩(reality blending)을 구현하였다. 유니티3D 상에서 메인 건물의 3D모델을 마스킹 처리하여 구현할 수 있었다. 리얼리티 블렌딩에 의해 플레이어는 자신의 시점에 따라 현실 세계의 물체가 가상 물체를 가리는 것을 체험할 수 있다. 그림 12는 코비드헌터+의 메인 건물인 현실 물체가 증강된 가상 물체를 가리는 리얼리티 블렌딩의 예시를 보여준다.

Fig. 11.

Game interface

Fig. 12.

Reality blending effect in which virtual objects are occluded by real objects

Ⅳ. 시 연

코비드헌터+를 체험하기 위해서는 스마트 폰이나 태블릿PC와 같은 모바일 단말기 혹은 홀로렌즈와 같은 증강현실 장비가 필요하다. 또한 게임의 무대가 되는 미니어처 디오라마 역시 준비되어 있어야 한다. 코비드헌터+를 실행하면 카메라가 동작하고 카메라(플레이어의 시선)이 미니어처 디오라마를 향하는 즉시 메인 건물에 대한 3D트래킹에 성공하면서 게임이 시작된다.

게임은 무작위로 생성되는 바이러스를 퇴치하고, 사람들에게 마스크를 씌워주면서 일정 시간 마을을 지켜내는 방식으로 진행된다. 좌측 하단에 위치한 스프레이를 터치하면 분무 이벤트가 발생하면서 살균제를 뿌릴 수 있다. 또한 우측 하단에 위치한 마스크를 터치하면 마스크를 던질 수 있다. 화면의 정 중앙에는 과녁을 배치하였으며, 우측 상단에는 생명력을 표시하였다. 바이러스는 플레이어가 뿌린 살균제에 닿으면 퇴치되고, 시간 안에 퇴치하지 못한 바이러스는 사라질 때 생명력을 감소시킨다. 마스크를 쓰지 않은 사람은 머리 위에 마스크 그림을 포함한 말풍선을 달고 이동한다. 플레이어가 던진 마스크가 마스크를 쓰지 않은 사람에 닿으면 마스크를 착용하게 된다. 마스크를 착용하지 않은 사람이 이동을 완료하면 화면에서 사라지면서 생명력을 감소시킨다.

생명력이 0이 되면 디펜스에 실패하게 되고, 생명력이 0이 아닌 채로 특정 시간을 버티면 디펜스에 성공한다. 그림 13은 코비드헌터+의 게임 플레이 화면을 보여준다. 게임 시연 영상은 유튜브 링크를 통해 확인할 수 있다[20].

Fig. 13.

A play scene of CovidHunter+

게임의 무대가 크고 바이러스와 사람이 무작위 위치에 생성되기 때문에 디오라마의 곡곡을 수시로 살펴보아야 한다. 이를 위해 플레이어는 실제로 자신의 몸을 이동해가면서 게임을 플레이해야 하는데 이 과정에서 현실 세계와 가상 물체 사이의 인터랙션을 경험하는 등 실감나게 게임에 몰입할 수 있다. 그림 14는 몸을 이동해가면서 게임을 플레이하는 플레이어의 모습을 보여준다.

Fig. 14.

A view of a player playing CovidHunter+

Ⅴ. 결 론

본 논문에서는 코로나를 주제로 하여 유니티3D와 뷰포리아 엔진, 3D프린터 등을 활용해 개발한 증강현실 디펜스게임인 코비드헌터+를 소개하였다. 코비드헌터+는 현실 세계를 축소하여 제작한 미니어처 디오라마를 배경으로 펼쳐지는 증강현실 디펜스게임으로서 코비드헌터+를 플레이하는 사용자는 자신의 몸을 이동해가면서 게임을 플레이해야 하는데 이 과정에서 사용자의 시점에 따라 가상 물체가 현실 물체에 가려지는 등의 증강현실이 가져야 하는 현실 세계와 가상 물체 사이의 인터랙션을 경험할 수 있다.

향후, 대학이나 지자체와 연계하여 전시관이나 체험관, 홍보관 등에 전시하여 방문한 학생이나 외부인에게 체험할 수 있도록 개방할 계획이다. 코비드헌터+의 체험을 통해 코로나 방역에 대한 경각심을 일깨우고 어려운 시기를 잘 극복할 수 있다는 희망의 메시지를 전달하고자 한다. 또한, 코비드헌터+는 일반 사람들의 증강현실에 대한 인식 수준을 확대하고, 더 나아가 증강현실의 개념을 확산할 수 있는 킬러앱으로서 그 역할을 다하고자 한다. 코비드헌터+의 전시와 체험을 통해 미니어처 디오라마 기반의 증강현실 콘텐츠에 대한 사람들의 흥미도를 토대로 사업화 가능성을 평가할 계획이다. 긍정적인 평가가 나오면 코비드헌터+를 개발하는 과정을 일반화할 수 있는 3D프린터로 출력한 실사물 기반의 증강현실 콘텐츠 저작 기술을 연구 개발하고, 향후, 사업화로 이어갈 계획이다.

Acknowledgments

본 결과물은 2022년도 교육부의 재원으로 한국연구재단의 지원을 받아 수행된 지자체-대학 협력기반 지역혁신 사업의 결과입니다(재단 과제관리번호: 2021RIS-003).

References

• S. Lee, “CovidHunter: Augmented Reality Defense Game Developed using CoSpaces with Merge Cube,” Journal of Digital Contents Society, Vol. 23, No. 2, pp. 175-181, Feb 2022. [https://doi.org/10.9728/dcs.2022.23.2.175]
• CoSpaces Edu for kid-friendly 3D creation and config [Internet]. Available: https://www.cospaces.io/edu/, .
• H. Cho, S. U. Jung, Y. S. Yoon, S. Park, and H. K. Jee, “ARStudio: AR broadcasting system based on multiple RGB-D cameras,” in Proceeding of the 9th International Conference on Information and Communication Technology Convergence, Jeju Island, Korea, pp. 1140-1143, Oct 2018. [https://doi.org/10.1109/ICTC.2018.8539673]
• C. Park, H. Cho, S. Park, S. U. Jung and S. Lee, “Strategy for Creating AR Applications in Static and Dynamic Environments Using SLAM-and Marker Detector-Based Tracking,” in CMES-COMPUTER MODELING IN ENGINEERING & SCIENCES, Vol. 131, No. 1, pp. 529-549, Jan 2022. [https://doi.org/10.32604/cmes.2022.019214]
• S. K. Kim, S. J. Kang, Y. J. Choi, M. H. Choi, and M. Hong “Augmented-Reality Survey: from Concept to Application,” KSII Transactions on Internet and Information Systems (TIIS), Vol. 11, No. 2, pp. 982-1004, Feb 2017. [https://doi.org/10.3837/tiis.2017.02.019]
• Merge EDU [Internet]. Available: https://mergeedu.com/, .
• Vuforia Engine [Internet]. Available: https://developer.vuforia.com/, .
• Autodesk Fusion 360 [Internet]. Available: https://www.autodesk.co.kr/products/fusion-360/, .
• N. Isozaki, S. Ishima, Y. Yamada, Y. Obuchi, R. Sato, and N. Shimizu, “VRoid studio: a tool for making anime-like 3D characters using your imagination,” in SIGGRAPH Asia 2021 Real-Time Live!, Tokyo, Japan, pp. 1-1, Dec 2021. [https://doi.org/10.1145/3478511.3491311]
• UniVRM: unity package for import and export vrm format [Internet]. Available: https://github.com/vrm-c/UniVRM/, .
• Mixamo [Internet]. Available: https://www.mixamo.com/, .
• Bézier Path Creator [Internet]. Available: https://assetstore.unity.com/packages/tools/utilities/b-zier-path-creator-136082/, .
• Thingiverse: Digital Designs for Physical Objects [Internet]. Available: https://www.thingiverse.com/, .
• TurboSquid: 3D Models for Professionals [Internet]. Available: https://www.turbosquid.com/, .
• Maxst AR SDK [Internet]. Available: https://developer.maxst.com/, .
• ARCore [Internet]. Available: https://developers.google.com/ar/, .
• R. Mur-Artal, J. M. M. Montiel, and J. D. Tardós, “ORB-SLAM: a versatile and accurate monocular SLAM system,” IEEE Transactions on Robotics, Vol. 31, No. 5, pp. 1147-1163, Oct 2015. [https://doi.org/10.1109/TRO.2015.2463671]
• R. Mur-Artal and J. D. Tardós, “Orb-slam2: An open-source slam system for monocular, stereo, and rgb-d cameras,” IEEE Transactions on Robotics, Vol. 33, No. 5, pp. 1255-1262, Oct 2017. [https://doi.org/10.1109/TRO.2017.2705103]
• D. Gálvez-López, D and J. D. Tardós, “Bags of binary words for fast place recognition in image sequences,” IEEE Transactions on Robotics, Vol. 28, No. 5, pp. 1188-1197, May 2012. [https://doi.org/10.1109/TRO.2012.2197158]
• Demonstration video for CovidHunter+ [Internet]. Available: https://youtu.be/RVya6DjXIjs, .