가상현실과 증강현실 사용자의 비대칭 가상환경 제작 공정에 관한 연구

Ⅰ. 서론

컴퓨터로 만들어진 가상환경에서 현실 세계와 유사한 경험을 사용자에게 제공하는 가상현실 및 증강현실 기술은 Oculus Quest, HTC Vive, Microsoft Hololens 등과 같은 HMD 장비의 발전과 함께 모션 플랫폼, 트레드 밀, 햅틱 장비와 같은 하드웨어 지원을 통해 몰입감 높은 체험 환경을 제공되고 있다. 최근에는 가상현실, 증강현실을 넘어 실제와 가상의 경계를 넘는 새로운 경험을 제공하기 위한 혼합현실, 확장현실에 대한 연구, 개발이 다양한 분야에서 이루어지고 있다.

가상현실, 증강현실을 비롯한 리얼리티 시스템은 누구와, 어디에서, 어떻게 행동하는지에 대한 경험을 실제와 같이 제공하여 현존감을 향상시키기 위한 사용자의 몰입을 유도하기 위한 연구들이 진행되고 있다. 입체적 시각정보를 전송하는 디스플레이, 오디오 소스를 활용하여 청각에 대한 몰입을 높이는 공간 오디오, 햅틱 시스템을 통한 물리적 힘을 계산하거나 촉각 등의 감각을 전달하는 연구들이 폭넓게 이루어지고 있다[1-3]. 사용자의 인체 관절의 움직임을 정확히 감지하고, 가상 모델, 관절에 사실적으로 반영하여 현존감을 높이는 연구들로 구면 메쉬 추적 모델(sphere-mesh tracking model)을 통해 정교한 손 모델을 계산하는 방법[4], 모션 캡쳐 데이터를 기반으로 손, 얼굴, 표정을 포함 몸 전체의 움직임을 가상 공간에 표현하는 연구[5] 들이 진행되었다. 이외에도 제한된 공간에서 무한한 가상 공간에서의 걷기, 움직임을 표현하기 위한 응용 연구[6-8]들이 진행되었다. 이외에도 사용자의 측면에서 높은 접근성과 범용성을 고려하여 쉽고 직관적인 구조의 인터페이스를 설계하여 몰입을 높이는 새로운 인터페이스를 설계하는 연구들도 시선, 손, 다리 등을 폭넓게 활용하여 진행되고 있다[7, 9, 10]. 이러한 연구는 다중 사용자가 주어진 조건과 환경에서 의사소통을 통해 협업할 수 있는 가상협업환경에 응용되기도 한다[11].

다중 사용자 체험 환경은 다수의 HMD 사용자가 함께 몰입할 수 있는 리얼리티 시스템을 설계해 가고 있다. 이와 관련된 연구들은 다중 가상현실 사용자들 사이에 공동 작업을 효율적으로 처리하거나 몰입 환경에서 의사소통 할 수 있는 상호작용을 제안[Park:2019]하는 연구는 물론 비몰입형 및 증강현실 사용자가 함께 참여하는 비대칭 가상환경 연구로 발전되고 있다[12-14]. 하지만 기존 연구들은 가상현실 사용자에 주로 초점을 맞추어 다른 체험 환경의 사용자는 제한된 참여를 하거나 사용자의 특성, 환경 등을 고려한 다양한 접근 연구는 아직까지는 부족한 상황이다.

본 연구는 리얼리티 시스템의 특성을 폭넓게 고려하여 다양한 산업 분야에 비대칭 가상환경을 응용할 수 있도록 가상현실과 증강현실 사용자가 함께 참여하는 비대칭 가상환경 구축을 위한 콘텐츠 및 어플리케이션 제작 공정을 정의한다. 이를 위해 제작 공정을 사용자의 참여 환경을 나누어 설계한다.

• ◆ 가상현실 사용자: 독립형 HMD인 오큘러스 퀘스트와 개발 도구를 기반으로 개발환경을 정의하고 손 추적 기능을 활용한 몰입형 상호작용을 설계
• ◆ 증강현실 사용자: 모바일 플랫폼을 기반으로 뷰포리아 플러그인을 통한 개발환경 및 터치 기반 인터페이스를 통한 상호작용을 설계 제안하는 비대칭 가상환경 제작 공정은 유니티 엔진을 기반으로 통합 개발환경을 구축한다.

제안하는 비대칭 가상환경 제작 공정은 유니티 엔진을 기반으로 통합 개발환경을 구축한다.

Ⅱ. 관련연구

현존감을 중심으로 한 몰입형 가상현실 및 리얼리티 시스템을 위한 응용 연구들은 입체적인 시각정보를 전송하는 HMD 장비가 대중화됨에 따라 높은 공간감을 제공하고, 이를 기반으로 서라운드 사운드로부터 청각에 대한 몰입을 높이거나 손, 발 등의 신체 부위를 직접 사용하여 가상 객체를 제어, 걷기 등을 표현하면서 물리적 반응을 촉각으로 전달 또는 힘을 반영하는 등의 연구들이 폭넓게 이루어지고 있다[1, 8, 15]. 가상과 실제 사이의 사실적인 상호작용을 위해 인체 관절의 움직임을 빠르고 정확하게 감지, 추적하고 행동의 의도를 분석하여 가상환경에 매핑하는 연구들이 진행되고 있다[16]. 여기에 상호작용 과정에서 발생하는 물리적 반응을 촉각 등을 통해 피드백하거나 힘 등을 계산하여 반영하는 햅틱 연구들로 패시브, 액티브 햅틱 시스템 등 다양한 접근이 이루어지고 있다[2, 17, 18]. 이외에도 촉각과 청각, 시각과 촉각 등 두 가지 이상의 감각을 동시에 고려하는 멀티 모달리티 (modality) 연구 [19]나 사용자의 걷기를 통한 움직임 구현을 위한 응용 연구 [20]등도 진행되고 있다. 하지만 사용자의 몰입을 높이기 위해 장비들이 새롭게 연구되고 추가되는 체험 환경은 오히려 비용 부담, 응용 분야의 제한 등 한계가 존재할 수 있다. 따라서 장비의 의존을 최소화하면서 체험 환경을 통해 몰입을 높일 수 있는 새로운 접근도 필요할 것이다.

가상협업환경은 다중 사용자 간 의사소통과 상호작용을 통해 흥미를 유발하거나 몰입을 높일 수 있음을 확인하기도 한다. 이는 분산 대화식 가상 환경과 같이 사용자와 환경 또는 사용자 간 상호작용을 대화식 구조로 정의하는 연구로부터 시작하였다. 이러한 연구들은 분산 협업에서 몰입형 환경을 제공하고, 공동 작업에서의 인식 과정을 분석하는 연구 등으로 응용되었다 [21, 22]. 그리고 가상현실 HMD 사용자는 물론 비몰입형 (non-HMD) 사용자들까지도 함께 참여하는 비대칭 가상현실로 발전되고 있다. Duval et al.[23]은 HMD 사용자와 PC 사용자 사이의 비대칭 상호작용을 제안하였다. Dollhouse VR 연구[24]는 서로 다른 역할과 상호작용을 통해 새로운 체험 환경을 제시하기도 하였고, Share VR 연구[12]는 HMD와 non-HMD 사용자에게 능동적인 행동을 부여하고 이를 비교 분석하였다. Lee et al. [14]이 제안한 Role VR에서는 HMD와 non-HMD 사용자 각각에 구분된 역할과 최적화된 상호작용을 통해 모든 사용자가 만족하는 경험과 향상된 현존감을 제시할 수 있는 방향을 제안하기도 하였다. 최근에는 가상현실 사용자와 증강현실 사용자가 가상 객체를 조작하는 공동 작업 환경을 제안하는 등 비대칭 가상환경에 대한 연구들이 주목받고 있다.

본 연구는 이러한 연구 배경을 토대로 가상현실 사용자와 증강현실 사용자의 체험 환경, 장비의 차이, 특징을 구분하고 사용자간 의사소통 및 협업을 고려한 비대칭 가상환경 구현을 위한 제작 공정을 정의한다.

Ⅲ. 비대칭 가상환경 제작 공정

3-1 개요

본 연구는 가상현실 사용자와 증강현실 사용자가 동일한 가상환경에서 함께 체험하면서 협업 또는 의사소통을 주고받는 비대칭 가상환경을 제공하기 위한 제작 공정을 정의하는 것이 핵심 목적이다. 그림 1은 본 연구에서 구현하고자 하는 비대칭 가상환경의 개요를 나타낸 것이다. 가상현실 사용자는 오큘러스 퀘스트를 활용하여 장소에 구애받지 않고 자유롭게 체험할 수 있다. 증강현실 사용자는 모바일 플랫폼을 활용하여 이미지 타깃 (마커)를 통해 가상환경과 현실 세계를 결합한 장면을 생성한다. 이때, 가상현실 사용자와 증강현실 사용자의 좌표는 인식된 증강현실 사용자의 이미지 타깃 로컬 중심을 월드 좌표로 하여 좌표계를 일치시킨다. 가상현실 사용자는 손을 활용하여 가상환경과 상호작용하며, 증강현실 사용자는 모바일 환경에서 GUI (Graphical User Interface)와 터치를 기반으로 가상환경 또는 가상현실 사용자와 상호작용한다. 표 1은 제안하는 비대칭 가상환경 제작 공정을 위한 개발환경을 정리한 것이다.

Fig. 1.

Overview of the proposed asymmetric virtual environment

Table 1.

Development environment for the asymmetric virtual environment production pipeline

3-2 가상현실 사용자

비대칭 가상환경에서 가상현실 사용자는 가상의 공간 내에 직접적으로 체험하는 존재로 하나의 독립된 캐릭터로써 행동할 수 있다. 이는 가상환경을 직접 제어하고 그에 따른 반응 역시 현실감에 있게 확인할 수 있다는 의미를 갖는다. 따라서 본 연구는 컨트롤러를 활용하는 것은 물론 손을 직접 사용하여 가상 환경과 상호작용하고, 보다 자유롭게 참여할 수 있는 체험 환경 제공을 위하여 오큘러스 퀘스트 HMD를 활용한다. 오큘러스 퀘스트는 PC와 연결하여 오큘러스 리프트 (rift) 또는 HTC Vive와 같은 체험이 가능함과 동시에 모바일 어플리케이션과 같은 방식으로 빌드하여 이동 체험이 가능한 독립형 방식으로도 체험이 가능하다. 또한, 손 추적 기능을 제공하고 있어 컨트롤러 뿐 아니라 손을 직접 활용한 상호작용 구현이 가능하다는 이점이 있다.

유니티 엔진을 기반으로 오큘러스 퀘스트를 활용하여 개발환경을 구현하는 과정은 다른 오큘러스 기기(리프트, 고 등)를 통해 구현하는 과정과 같다. 그림 2와 같이 유니티 엔진의 에셋 스토어에서 제공하는 유니티 통합(integration) 패키지[25]를 임포트하고 패키지에서 제공하는 프리팹을 활용하여 구현한다. 기본적으로 OVRCameraRig 프리팹을 통해 디스플레이의 좌,우 카메라로 렌더링되는 장면을 계산하고 HMD의 위치와 방향을 추적하여 정확한 시각정보를 제공하도록 설정되어 있다. OVRCharacterController 프리팹은 유니티의 캐릭터 컨트롤러 속성이 추가되어 컨트롤러 또는 키보드 입력을 통한 이동 기능까지 제공한다.

Fig. 2.

Construction of the Oculus development environment in unity engine

오큘러스 퀘스트는 오큘러스 리프트와 달리 손 추적 기능을 포함하고 있다. 그림 3 (a)는 오큘러스 퀘스트의 손 추적 기능을 설정하는 과정을 나타낸 것으로 퀘스트의 전용 손 추적 기능을 사용하기 위해 우선 오큘러스 퀘스트 전용 링크 케이블을 활용해 데스크톱과 연결을 진행한다. 연결된 퀘스트 장비 내 링크 시스템을 활성화하여 오큘러스 리프트와 동일 한 작업 환경을 구축할 수 있게 된다. 이후 데스크톱과 연결된 오큘러스 퀘스트 장비 시스템의 기본 설정 중 하나인 컨트롤러 및 입력처리 설정 내 사용자 실시간 손 추적 기능을 활성화하게 되면 사용자의 손이 실시간으로 가상환경에 정확하게 렌더링 되는지 확인할 수 있다.

Fig. 3.

Design of the Interface and interaction using the hand tracking function of Oculus Quest: (a) hand tracking function settings, (b) mapping between real and virtual hands

오큘러스 퀘스트 내 가상환경에서 확인된 실시간으로 추적되는 손 렌더링 결과를 유니티 작업 환경에서 사용하기 위하여 OVRCameraRig 프리팹의 하위 객체인 TrackingSpace 즉, 추적 공간에 사용하고자 하는 OVRHandPrefab을 왼손, 오른손 각각 배치한다. 이후 새로운 게임 오브젝트를 생성하여 각각의 손의 위치, 방향, 사용하고자 하는 렌더링 모드와 같은 속성을 일괄 관리하고, 쉽게 제어가 가능한 스크립트 (HandManager)를 등록해 가상환경에 배치된 손을 각각 알맞게 설정한다. 또 OVRHandPrefab 속성인 OVRHand와 OVRSkeleton, OVRMesh에서 알맞은 손 타입 (왼손, 오른손)을 각각 설정하고, 사용하고자 하는 렌더링과 스켈레톤 모델을 설정하게 되면 기본적인 오큘러스 퀘스트의 손 추적 기능을 유니티 작업 환경에서 쉽게 사용할 수 있다. 그림 3 (b)와 같이 유니티 엔진에서 실제 손을 인식하여 가상 손으로 실시간 렌더링되는 것을 확인할 수 있다.

유니티 작업 환경에서 설정한 OVRHandPrefab 속성인 OVRSkeleton에서 알맞은 왼손, 오른손을 설정하게 되면 해당 손 각각에 스켈레톤 모델이 자동으로 생성된다. 일반적으로 생성되는 스켈레톤 모델은 렌더링이 활성화되어 있지 않아 시각적으로 보이지 않으나 OVRMesh를 통해 알맞은 스켈레톤이 생성되었다는 것을 쉽게 확인할 수 있다. 또 생성된 스켈레톤 각각에는 알맞은 손가락 충돌체 (collider)가 자동으로 생성 및 설정된다. 충돌체의 속성 (Enable Physics Capsules)을 활성화하면 가상환경 내 객체들과 상호작용이 가능하도록 설정할 수 있다.

3-3 증강현실 사용자

증강현실은 현실 세계 위에 컴퓨터로 생성된 가상의 그래픽 영상, 객체 등을 합성하여 장면을 생성하는 기술로, 증강현실 사용자는 가상현실 사용자와 다르게 다양한 시점, 각도에서 가상환경에 참여할 수 있는 특징을 갖는다. 이는 안드로이드, iOS, 유니버셜 윈도우 등 모바일과 같이 독립적인 플랫폼은 물론 홀로렌즈와 같은 몰입감 높은 장비 등을 활용할 수 있다. 본 연구는 접근성이 높고, 다수의 사용자가 동시에 참여할 수 있는 체험 환경까지 고려하여 모바일 플랫폼 기반의 개발환경을 구현한다. 이를 위해 모바일 플랫폼 전용 증강현실 소프트웨어 개발 도구인 뷰포리아 (Vuforia)를 활용한다[26]. 이는 컴퓨터 비전 기술을 기반으로 이미지는 물론 3D 객체를 타깃으로 실시간 인식과 추적이 가능한 기술을 지원한다. 최근에는 유니티 엔진 내부 기능으로 제공하고 있어 별도의 설치과정 없이 쉽게 활용할 수 있는 이점이 있다. 그림 4는 유니티 엔진에서 뷰포리아 개발환경을 설정하는 과정을 나타낸 것이다. 유니티 버전이 2019 이하의 경우 유니티 엔진 내에서 뷰포리아 플러그인 활성화하여 쉽게 개발환경을 구축할 수 있고, 2020 이상 버전의 경우 뷰포리아 개발자 사이트에서 제공하는 패키지 파일을 임포트하여 개발환경을 구축한다. 본 연구는 증강현실 사용자가 공간의 제약없이 어디서나 쉽게 비대칭 가상환경에 참여할 수 있도록 유니티 엔진 개발환경에서 이미지 타깃을 기반으로 한 뷰포리아 플러그인을 활용한다.

Fig. 4.

Construction of augmented reality development environment based on Vuforia in unity engine

뷰포리아는 컴퓨터 비전 기술을 기반으로 마커 기반 추적 방법과 무마커 추적 방법을 제공한다. 단, 뷰포리아에서의 마커 기반 추적 방법은 기존의 흑백 도형의 단순 패턴으로 구성된 마커가 아닌 이미지 또는 3D 객체를 활용하고 있다. 그리고 기기에 연결된 카메라가 마커를 현실 세계에서 인식하면 카메라 뷰에 가상의 객체, 그래픽 이미지 또는 동영상 등이 마커의 로컬 좌표위에 표시되는 방식이다. 이때, 마커의 인식, 추적 기능은 뷰포리아에서 자체적으로 제공되는 기술이기 때문에 증강현실 콘텐츠를 제작하는 개발자는 뷰포리아 개발자 사이트에 마커로 사용된 이미지 또는 객체에 대한 정보만 등록하면 된다.

모바일 플랫폼 기반의 증강현실 사용자는 스크린 위에 표시된 버튼, 텍스트, 이미지 등의 GUI와 스크린 터치를 통해 가상 객체, 환경, 가상현실 사용자와 상호작용한다. 그림 5는 증강현실 사용자의 상호작용을 나타낸 것으로, 3인칭 시점으로 증강현실 사용자가 제어 가능한 캐릭터를 GUI를 통해 제어함은 물론 가상환경에 참여하는 증강현실 사용자의 캐릭터 및 가상 환경과 터치를 통한 상호작용 또한 가능한 구조를 갖는다.

Fig. 5.

Augmented reality user interaction through GUI and touch-based interface

3-4 통합 개발환경

제안하는 비대칭 가상환경은 가상현실, 증강현실 사용자가 함께 참여하는 체험 환경으로 모든 사용자를 고려한 개발환경 구현 과정이 필요하다. 따라서, 본 연구는 유니티 엔진을 기반으로 비대칭 가상환경 구현을 위한 통합 개발환경을 구축한다. 가상현실 사용자는 오큘러스 퀘스트 HMD와 전용 컨트롤러 또는 손 추적 기능을 활용하고, 증강현실 사용자는 이미지 타깃 기반의 모바일 장비를 사용한다. 그리고 이러한 과정을 유니티 엔진 개발환경 아래서 오큘러스 통합 패키지와 뷰포리아 플러그인을 활용하여 통합 개발환경을 구축한다. 이때 중요한 점은 그림 6(a)와 같이 가상현실 사용자와 증강현실 사용자가 함께 참여하는 가상 공간에서 일관된 정보를 기반으로 정확한 상호작용을 수행하여야 한다는 점이다. 이를 위해서 정확한 동기화 과정을 구현해야 한다. 본 연구는 가상 공간에서의 통일된 정보전달과 함께 사용자 간 의사소통과 행동 동기화를 위해 Photon Unity Networking (PUN)[27]을 활용한다. 그림 6 (b)는 유니티 엔진에서 PUN 패키지를 활용하여 동기화를 구현하는 과정을 나타낸 것이다. PUN 패키지에서 제공하는 속성 (PhotonView, PhotonTransformView, PhotonAnimatorView 등)을 활용하여 가상 객체 또는 캐릭터의 변환 정보(위치, 회전, 크기), 애니메이션 정보 등을 자동으로 동기화할 수 있다. 또한, 원격 프로시저 호출 (Remote Procedure Call, [PunRPC])을 통해 상호작용 과정에서 변화된 값, 행동을 일관성있게 유지하고 표현할 수 있다.

Fig. 6.

Integrated development environment for implementation of asymmetric virtual environment: (a) virtual reality, augmented reality user participation in the same space, (b) synchronization using PUN

비대칭 가상환경에서 사용자의 참여 환경에 따라 동기화가 필요한 부분은 물론 행동, 역할에 차이가 존재할 수 있다. 가상현실 사용자는 가상 공간에 존재하는 하나의 캐릭터로써 보다 직접적인 행동을 수행하는 만큼 가상현실 사용자의 변환(Transform) 정보와 함께 손을 직접 사용하여 상호작용하는 경우 손의 움직임과 제스쳐 등 애니메이션에 대한 정확한 동기화가 필요하다. 그리고 가상현실 사용자는 한 명의 참여자로서 가상환경 또는 객체를 직접 선택, 제어하는데 이때 변화되는 환경, 객체의 정보를 다른 사용자들에게 정확하게 전달하는 것 또한 중요하다. 증강현실 사용자는 3인칭의 관찰자의 관점에서 가상 공간에 접근하기 때문에 증강현실 사용자의 직접적인 변환 정보보다는 증강현실 사용자가 장면을 전체적으로 탐색하면서 GUI 또는 터치를 통해 선택, 제어, 조작, 행동하여 변화된 가상환경, 객체, 캐릭터 등의 정보를 다른 사용자에게 정확하게 전달하는 것이 필요하다. 사용자의 체험 환경 특성을 고려하여 정확한 동기화를 구현하는 것이 비대칭 가상환경 구현에 중요한 요인이다. 이외에도, 포톤에서 제공하는 서버를 통해 참여가 가능한 방을 만들고 2명 이상의 가상현실, 증강현실 사용자가 동시에 참여할 수 있는 환경을 구현한다.

유니티 엔진을 기반으로 가상현실, 증강현실 사용자 각각의 체험 환경에 맞는 어플리케이션으로 빌드하는 과정에서 오큘러스와 뷰포리아의 충돌이 발생하는 경우, 증강현실 사용자 어플리케이션 빌드 시 오큘러스 라이브러리를 삭제하면 충돌을 해결할 수 있다.

Ⅳ. 실험 및 분석

제안하는 비대칭 가상환경은 가상현실, 증강현실 사용자들이 함께 참여하는 체험 환경으로 이를 위한 제작 공정 정의를 위해 Unity 2020.1.3f1(64bit), Oculus SDK 그리고 Vuforia 9.4.6 을 사용하여 구현하였다. 또한 가상현실 사용자는 Oculus Quest HMD를 착용한 상태에서 전용 컨트롤러 또는 손을 직접 사용하고, 증강현실 사용자는 Samsung Galaxy Note S20 모바일을 사용하여 참여하였다. 마지막으로 통합 개발 환경과 샘플 어플리케이션 제작 실험을 위한 PC는 Intel Core I7-6700, 16GB RAM, Geforce 1080 GPU를 탑재하고 있다.

그림 7은 가상현실 사용자와 증강현실 사용자가 함께 체험하는 실험 환경을 나타낸 예로, 가상현실 사용자는 편하게 앉거나 서서 체험할 수 있는 정도의 공간, 증강현실 사용자는 이미지 타깃 위에서 가상 객체를 자유롭게 제어할 수 있는 여유로운 크기의 공간으로 구성하였다. 가상현실 사용자의 경우 오큘러스 퀘스트를 PC와 연결하여 사용할 수 있을 뿐 아니라 독립 플랫폼으로 APK 포맷으로 빌드하여 PC와 상관없이 자유롭게 체험이 가능하다. 또한, 손 추적 기능을 통해 컨트롤러없이 손을 직접 사용한 상호작용이 가능하다. 증강현실 사용자는 이미지 타깃을 활용하여 쉽게 가상환경을 구성할 수 있으며, 추후에 Ground Plane을 통해 마커 없이 바닥을 인지하여 가상 공간을 구성할 수 있도록 발전시켜 나갈 계획이다.

Fig. 7.

Configuration of asymmetric experience environment in which virtual reality and augmented reality users participate

본 연구에서 정의한 제작 공정을 토대로 가상현실 사용자와 증강현실 사용자가 함께 참여하는 비대칭 가상환경을 체험할 수 있는 간단한 프로토타입 콘텐츠를 직접 제작한다. 이는 가상현실 사용자는 한 명의 캐릭터로서 가상 공간을 탐색하며 지정된 목적지를 길위의 몬스터를 피해 빠르게 탈출하는 역할로 참여한다. 여기에 손 추적 기능을 활용하여 가상환경 및 객체 (아이템, 몬스터, 배경 등)와 직접적인 상호작용을 수행한다. 증강현실 사용자는 3인칭 시점에서 장면을 생성, 제어하는 창조자의 역할로 참여하고 가상현실 사용자를 방해하는 몬스터를 제거하고 몬스터의 공격으로부터 방어를 도와주고 목적지를 찾아가는데 도움이 되는 역할 (이동 속도 증가, 몬스토 교란 및 방어 등)을 수행한다. 증강현실 사용자는 가상 공간의 몬스터를 직접 터치하여 3차원 공간, 캐릭터와 직접적인 상호작용을 수행할 수도 있다. 그림 8은 에셋 스토어의 리소스[28-30]를 활용하여 제작 공정을 통해 제작된 프로토타입 콘텐츠를 나타낸 것으로, 사용자들은 각자의 체험 환경에 맞게 참여하여 주어진 역할에 따라 흥미롭게 참여할 수 있음을 확인하였다.

Fig. 8.

Results of asymmetric virtual environment prototype content creation

Ⅴ. 결 론

본 연구는 가상현실 사용자와 증강현실 사용자가 함께 참여하는 비대칭 가상환경에서 체험 방식과 환경, 특징 등을 분석하여 콘텐츠를 제작하는데 필요한 개발환경 구축을 설계함을 목적으로 제작 공정을 정의하였다. 가상현실 사용자는 PC는 물론 이동 체험이 가능한 독립형 HMD인 오큘러스 퀘스트와 개발도구를 활용하였다. 오큘러스 퀘스트의 손 추적 기능을 활용하여 컨트롤러는 물론 손을 직접 활용한 몰입형 상호작용을 제공하였다. 증강현실 사용자는 모바일 플랫폼을 활용하여 접근성과 활용성을 높이도록 하였고, 뷰포리아 플러그인을 통해 개발환경을 정의하였다. 여기에, 모바일을 활용한 터치 기반 인터페이스를 통해 가상환경 또는 가상현실 사용자와 편리한 상호작용을 제공하도록 하였다. 마지막으로, 비대칭 가상환경 제작을 위하여 유니티 엔진을 활용한 통합 개발환경을 구축하며, 사용자 간 상호작용 및 정확한 정보 전달에 필요한 동기화 과정을 구현하였다. 이러한 일련의 과정을 토대로 제안하는 제작 공정을 통해 비대칭 가상환경을 효과적으로 구현할 수 있음을 프로토타입 콘텐츠를 직접 제작해 봄으로써 증명하였다.

Acknowledgments

이 논문은 2020년 문화체육관광부의 재원으로 한국콘텐츠진흥원의 위탁을 받아 수행된 연구 (김민규, Mingyu Kim)이며, 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임 (No. NRF-2020R1F1A1063442) (조윤식, Yun-Sik Cho), 또한, 본 연구는 한성대학교 교내학술연구비 지원과제 임(김진모, Jinmo Kim)

References

• C. Schissler, A. Nicholls, and R. Mehra. “Efficient HRTF-based Spatial Audio for Area and Volumetric Sources,” IEEE Transactions on Visualization and Computer Graphics, Vol. 22, No. 4, pp. 1356–1366, April 2016. [https://doi.org/10.1109/TVCG.2016.2518134]
• M. Kim, C. Jeon, and J. Kim. “A Study on Immersion and Presence of a Portable Hand Haptic System for Immersive Virtual Reality,” Sensors, Vol. 17, No. 5, 1141, May 2017. [https://doi.org/10.3390/s17051141]
• C. Carvalheiro, R. Nóbrega, H. da Silva, and R. Rodrigues, “User Redirection and Direct Haptics in Virtual Environments”. In Proceedings of the 2016 ACM on Multimedia Conference. MM ’16, New York: NY, pp. 1146–1155, 2016. [https://doi.org/10.1145/2964284.2964293]
• E. Remelli, A. Tkach, A. Tagliasacchi, and M. Pauly, “Low-Dimensionality Calibration through Local Anisotropic Scaling for Robust Hand Model Personalization,” In 2017 IEEE International Conference on Computer Vision (ICCV), pp. 2554–2562, 2017. [https://doi.org/10.1109/ICCV.2017.277]
• H. Joo, T. Simon, and Y. Sheikh, “Total Capture: A 3D Deformation Model for Tracking Faces, Hands, and Bodies,” in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, pp. 8320-8329,2018. [https://doi.org/10.1109/CVPR.2018.00868]
• Z.C. Dong, X.M. Fu, C. Zhang, K. Wu, and L. Liu, “Smooth Assembled Mappings for Large-scale Real Walking,” ACM Transactions on Graphics, Vol. 36, No. 6, pp. 211:1–211:13, November 2017. [https://doi.org/10.1145/3130800.3130893]
• J. Lee, K. Jeong, and J. Kim, “MAVE: Maze-based immersive virtual environment for new presence and experience,” Computer Animation and Virtual Worlds, Vol. 28, No. 3-4, e1756, May 2017. [https://doi.org/10.1002/cav.1756]
• S. Marwecki, M. Brehm, L. Wagner, L.P. Cheng, F.F. Mueller, and P. Baudisch, “VirtualSpace-Overloading Physical Space with Multiple Virtual Reality Users,” In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. CHI ’18, New York: NY, pp. 241:1–241:10, 2018. [https://doi.org/10.1145/3173574.3173815]
• M. Kim, J. Lee, C. Jeon, and J. Kim, "A Study on Interaction of Gaze Pointer-Based User Interface in Mobile Virtual Reality Environment," Symmetry, Vol. 9, No. 9, 189, September 2017. [https://doi.org/10.3390/sym9090189]
• S. Han, and J. Kim, “A Study on Immersion of Hand Interaction for Mobile Platform Virtual Reality Contents,” Symmetry, Vol. 9, No. 2, 22, February 2017. [https://doi.org/10.3390/sym9020022]
• W. Park, H. Heo, S. Park, and J. Kim. “A Study on the Presence of Immersive User Interface in Collaborative Virtual Environments Application,” Symmetry, Vol. 11, No. 4, 476, April 2019. [https://doi.org/10.3390/sym11040476]
• J. Gugenheimer, E. Stemasov, J. Frommel, and E. Rukzio, “ShareVR: Enabling Co-Located Experiences for Virtual Reality Between HMD and Non-HMD Users,” In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems. CHI ’17, New York: NY, pp. 4021-4033, 2017. [https://doi.org/10.1145/3025453.3025683]
• J.G. Grandi, H.G Debarba, and A. Maciel, “Characterizing Asymmetric Collaborative Interactions in Virtual and Augmented Realities,” In 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), pp. 127–135, 2019. [https://doi.org/10.1109/VR.2019.8798080]
• J. Lee, M. Kim, and J. Kim, “RoleVR: Multi-experience in immersive virtual reality between co-located HMD and non-HMD users,” Multimedia Tools and Applications, Vol. 79, No. 1, pp. 979–1005, January 2020. [https://doi.org/10.1007/s11042-019-08220-w]
• N. Sidorakis, G.A. Koulieris, and K. Mania. “Binocular eye-tracking for the control of a 3D immersive multimedia user interface,” In 2015 IEEE 1st Workshop on Everyday Virtual Reality (WEVR), pp. 15–18, 2015. [https://doi.org/10.1109/WEVR.2015.7151689]
• W. Zhao, J. Chai, and Y.Q. Xu, “Combining Marker-based Mocap and RGB-D Camera for Acquiring High-fidelity Hand Motion Data,” In Proceedings of the ACM SIGGRAPH/Eurographics Symposium on Computer Animation. SCA ’12, Airela-Ville, Switzerland, pp. 33–42, 2012.
• D. Leonardis, M. Solazzi, I. Bortone, and A. Frisoli, “A 3-RSR Haptic Wearable Device for Rendering Fingertip Contact Forces,” IEEE Transactions on Haptics, Vol. 10 No. 3, pp. 305–316, July 2017. [https://doi.org/10.1109/TOH.2016.2640291]
• M. Kim, J. Kim, K. Jeong, and C. Kim. “Grasping VR: Presence of Pseudo-Haptic Interface Based Portable Hand Grip System in Immersive Virtual Reality,” International Journal of Human–Computer Interaction, Vol. 36, No. 7, pp. 685–698, April 2020. [https://doi.org/10.1080/10447318.2019.1680920]
• R. Nordahl, A. Berrezag, S. Dimitrov, L. Turchet, V. Hayward, and S. Serafin, “Preliminary Experiment Combining Virtual Reality Haptic Shoes and Audio Synthesis,” In Proceedings of the 2010 International Conference on Haptics–Generating and Perceiving Tangible Sensations: Part II. EuroHaptics’10, pp. 123–129, 2010. [https://doi.org/10.1007/978-3-642-14075-4_18]
• K. Vasylevska, H. Kaufmann, M. Bolas, and E.A. Suma, “Flexible spaces: Dynamic layout generation for infinite walking in virtual environments,” In 2013 IEEE Symposium on 3D User Interfaces, pp. 39–42, 2013. [https://doi.org/10.1109/3DUI.2013.6550194]
• C. Carlsson, and O. Hagsand, “DIVE A multi-user virtual reality system,” In Proceedings of IEEE Virtual Reality Annual International Symposium, pp. 394–400, 1993.
• K.D Le, M. Fjeld, A. Alavi, and A. Kunz, “Immersive Environment for Distributed Creative Collaboration,” In Proceedings of the 23rd ACM Symposium on Virtual Reality Software and Technology. VRST ’17, pp. 16:1–16:4, 2017.
• T. Duval, and C. Fleury, “An Asymmetric 2D Pointer/3D Ray for 3D Interaction Within Collaborative Virtual Environments,” In Proceedings of the 14th International Conference on 3D Web Technology, pp. 33–41, 2009. [https://doi.org/10.1145/1559764.1559769]
• H. Ibayashi, Y. Sugiura, D. Sakamoto, N. Miyata, M. Tada, T. Okuma, T. Kurata, M. Mochimaru, and T. Igarashi, “Dollhouse VR: A Multi-view, Multi-user Collaborative Design Workspace with VR Technology,” In SIGGRAPH Asia 2015 Emerging Technologies. SA ’15, pp. 8:1–8:2, 2015. [https://doi.org/10.1145/2818466.2818480]
• Oculus Integration for Unity [Internet]. Available: https://developer.oculus.com/downloads/package/unity-integration/
• Vuforia Engine to a Unity Project [Internet], Available: https://developer.vuforia.com/downloads/sdk
• Photon PUN Unity Assets [Internet], Available: https://www.photonengine.com/sdks#pun-sdkpununity
• SD Unity-Chan Haon Custom Bundle [Internet], Available: https://assetstore.unity.com/packages/3d/animations/sd-unity-chan-haon-custom-bundle-8499
• Cartoon Town and Farm for Unity [Internet], Available: https://assetstore.unity.com/packages/3d/environments/cartoon-town-and-farm-17254
• RPG Monster Wave PBR for Unity [Internet], Available: https://assetstore.unity.com/packages/3d/characters/creatures/rpg-monster-wave-pbr-158727