소셜 VR 환경에서의 손 인터랙션과 몰입도의 관계에 대한 연구
Copyright ⓒ 2021 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
초록
5G 시대를 맞아 고용량의 데이터를 초고속으로 전송가능한 환경이 되면서 가상현실 콘텐츠 시장이 다시 태동을 하고 있다. 기존의 개인형 콘텐츠가 아닌 다양한 사용자들이 실시간으로 가상 공간에 접속하여 상호작용이 가능한 소셜 VR 플랫폼의 확장이 바로 그것이다. HMD 기반의 관련 하드웨어 기술의 발전으로 인해 소셜 VR 플랫폼들은 사용자들에게 더욱 확장된 체화된 인터랙션을 제공하고 있으며 이를 통해 사용자들의 몰입감을 높이고자 노력하고 있다. 이에 본 연구에서는 소셜 VR 플랫폼에서 현재 제공하고 있는 체화된 인터랙션을 핸드 제스쳐를 중심으로 물리적 인터랙션과 사회적 인터랙션으로 분류하였다. 또한 분류한 인터랙션에 따른 사용자의 몰입도를 살펴보기 위하여 소셜 VR 플랫폼 ‘VRChat'의 손 인터랙션별 뇌파를 측정하여 분석하였다. 실험을 통하여 소셜 VR 공간에서 사용자들은 사회적 인터랙션을 취했을 때 더욱 높은 몰입도를 보인다는 것을 확인할 수 있었다. 본 연구는 추후 소셜 VR 콘텐츠만이 아니라 다양한 VR 콘텐츠에서의 몰입도 있는 사용자 인터랙션을 디자인하는데 초석이 될 것이다.
Abstract
In the 5G era, the Virtual Reality content market is growing again as it has become an environment where high-capacity data can be transmitted at high speed. This is the expansion of social VR platforms where various users, not existing personal content, can access virtual space in real time and interact. Due to the development of HMD-based related hardware technologies, social VR platforms are providing users with more extended, embodied interactions, and are striving to increase their immersion. In this study, physical and social interactions were classified, focusing on hand gestures, which are currently provided by social VR platforms. In addition, brain waves were measured and analyzed to examine the level of immersion of users according to classified interactions in the social VR platform 'VRChat'. Experiments have shown that in the social VR environment, users are more immersed in social interaction. This study will serve as a cornerstone in designing user interactions with immersion in various VR content as well as social VR content in the future.
Keywords:
Social VR, Hand Gesture, Immersion, Physical Interaction, Social Interaction키워드:
소셜 VR, 핸드 제스쳐, 몰입도, 물리적 인터랙션, 사회적 인터랙션Ⅰ. 서 론
1-1 연구의 배경
페이스북이 오큘러스를 인수한 2014년도 이래로 현재 가상현실 콘텐츠 시장은 르네상스 시대하고 할 수 있을 정도로 빠른 변화를 겪고 있다. 페이스북의 오큘러스, HTC VIVE, 마이크로 소프트의 홀로렌즈, 소니의 플레이스테이션 VR 등 글로벌 기업들은 저마다 새로운 HMD 기기들을 출시하며 하드웨어 시장을 확장해 가고 있다. 특히 2020년 9월 오큘러스는 오큘러스 퀘스트의 두 번째 버전을 선보이며 별도의 컴퓨터나 복잡한 센서의 세팅이 필요 없는 올인원 HMD의 가능성을 보여주고 있다.
하드웨어 시장의 빠른 성장과 함께 VR 게임, VR 영화 등을 중심으로 한 엔터테인먼트 콘텐츠의 시장 성장도 빠르게 진행되고 있다. 기존의 게임 유저들은 가상현실 환경의 시각적인 몰입도와 콘트롤러 기반의 체감형 인터랙션을 적용한 새로운 VR 게임들의 매력으로 인해 그 수요가 높아지고 있으며, 글로벌 영화제들을 중심으로 VR영화들도 더욱 다채로운 작품들을 쏟아내고 있다. 이렇듯 빠르게 성장하고 있는 가상현실 시장을 선점하고 싶어 하는 전 세계의 이목이 이곳으로 향하고 있으나 아직까지 대표적인 킬러 콘텐츠가 나오지 않고 있는 상황이다. 지금까지 가상현실 하드웨어의 비용, 성능 등으로 인해 진입 장벽이 높았고, 콘텐츠들도 HMD의 환경에 적합한 1인용 콘텐츠가 대부분이었기 때문에 가상현실 콘텐츠의 대중화가 더디게 이루어지고 있었다.
그러나 Pekins Coie와 XR Association이 2019년에 발표한‘2019 augmented and virtual reality survey report’에 따르면, 2025년까지 증강, 가상현실과 혼합현실을 포함한 XR 몰입형 기술은 모바일 기술만큼이나 강력한 기술로 성장할 것을 예견하고 있다[1]. 또한, 국내를 중심으로 하여 성장하고 있는 5G 기술은 더욱 실감나는 VR 콘텐츠가 구현되어 VR이 대중화되는데 큰 영향을 끼칠 것으로 기대되고 있다[2]. 현재 국내 통신사들은 5G 시대의 도래를 선언하며 저마다 VR, AR을 기반으로 한 실감콘텐츠 시장을 확장해 나가고 있다. 5G란 숫자 5에 G(Generation·세대)가 더해진 용어로 이동통신의 다섯 번째 세대라는 뜻이다. 5G의 속도는 4세대(LTE)의 최대 20배인 20Gbps에 이르는데 예를 들면 LTE로는 2GB 영화를 내려 받는 데 16초가 걸린다면 5G에서는 단 0.8초면 된다는 것을 의미한다[3]. 통신 속도의 발달로 인해 고해상, 고용량의 데이터를 빠르게 송수신 할수 있게 됨으로써, 기존에는 불가능했던 모바일 환경에서의 실시간 VR 콘텐츠 사용이 가능해진 것이다. 또한 개인형 콘텐츠가 아닌 동시에 여러 사람들이 함께 즐기는 가상현실 환경의 구현이 가능해 지면서 소셜 VR 플랫폼들이 등장하고 있다. 페이스북은 최근 Altspace VR을 인수하고 소셜 VR서비스인 Horison VR 플랫폼을 공개하였으며, 국내에서도 SKT가 2018년 옥수수VR 이후 자사 서비스 점프 VR 앱에 ‘버추얼 소셜 월드’를 출시하기도 하였다. 이제 혼자서 즐기는 1인용 VR 콘텐츠가 아닌 다수의 사용자들이 가상공간에서 서로 상호작용할 수 있는 다양한 형태의 소셜 네트워크 기반의 VR 콘텐츠들이 증가하고 있는 것이다. 이는 현재 코로나 19로 인하여 오프라인 공간에서의 만남과 활동이 어려워진 사용자들의 니즈 때문이기도 하다.
본 연구에서는 VR 게임을 필두로 발전하였던 VR 콘텐츠 시장을 확장해 나갈 것으로 기대되고 있는 소셜 VR 플랫폼을 중심으로 사용자의 몰입도와 인터랙션의 상관관계에 대하여 알아보고자 한다. 먼저 소셜 VR 플랫폼 공간에서 이루어지고 있는 사용자들 간의 인터랙션을 현존감의 종류에 따라 분류하였다. 또한 실험을 통하여 인터랙션별 사용자의 뇌파를 측정하여 인러랙션의 방법에 따른 사용자의 집중도를 분석하여 소셜 VR에 적합한 상호작용 방법을 도출하고자 하였다. 이를 통해 향후 소셜 VR 플랫폼의 개발에 있어 사용자에게 더욱 몰입도 있는 인터페이스 환경을 구축할 수 있는 지침이 되고자 한다.
1-2 관련 선행연구
페이스북의 창업자 마크 주커버그는 VR은 가장 소셜한 플랫폼으로 진화하고 있으며 문자, 사진, 비디오 다음에 이뤄질 온라인 커뮤니케이션이라고 하며 소셜 VR공간에서도 실제 친구들과 어울리는 것과 같은 환경을 만들고 싶다고 하였다. 소셜 네트워크 서비스(Social Network Service; SNS)는 개인의 온라인 프로필을 바탕으로 형성된 관계와 연결에 따른 상호작용을 지원하는 웹 기반의 서비스로 정의 한다[4]. 통신 속도와 모바일 기기의 발달로 오프라인에서의 인간관계가 온라인으로 확대되어 나가면서 개인의 생각과 감정을 적극적으로 전파할 수 있는 소셜 미디어는 빠르게 성장해 왔다. 이와 함께 소셜 VR 공간에서의 상호작용성은 여러 연구자들에게 연구되어 왔다.
소셜 VR 플랫폼의 의사소통과 콘텐츠, 아이템, 동작 등에 해당하는 상호작용 요인을 핵심적 요소로 두고 진행한 연구[7], VR 소셜 플랫폼들을 분석하여 개선방안을 소통 관련 구성 요소 적용을 중심으로 도출한 연구[8], 그리고 VR 소셜 플랫폼의 아바타의 얼굴의 실재화와 상호작용간의 관계를 도출한 연구등이 진행되었다[9].
이러한 선행 연구들은 가상현실 기반의 소셜 플랫폼들을 분석하고 제공하고 있는 상호작용 요소들을 다양한 요소들을 기반으로 평가를 하거나 필요한 구성 요소들을 제언하는 연구들이 주류를 이루고 있다. 특히 가상현실의 장점인 높은 몰입도와 체감도에 대한 만족도가 요소로 작용되고 있으며 여러 주변 장치들과의 연구 개발과 여러 기술과의 융합과 전문분야의 적용을 통해서 체감도를 더 높일 수 있는 기술로의 연구가 이어지고 있다[10]. 이에 본 연구는 가상현실 기반 소셜 서비스 플랫폼들의 상호작용 요소 중 HMD 기반 가상현실 환경에 특화된 핸드 제스쳐 기반의 체화된 상호작용과 몰입과의 관계를 분석하고 사용자의 감성반응 평가를 통하여 더욱 신뢰도 있는 상호작용 요소를 도출하고자 한다. 이를 통해 가상환경에 적합한 인터랙션 요소를 도출하여 사용자들의 가상공간에서의 현존감을 높일 수 있는 인터페이스를 제안하고자 한다.
Ⅱ. 본 론
2-1 소셜 VR 플랫폼의 상호작용성
상호작용(interaction)은 인간이 주어진 환경에서 타인과 행하는 행위, 또는 인간과 사물 혹은 존재(entities) 하는 것들 사이에 주고받는 모든 행위이며 이러한 행위의 가능성을 제공하는 미디어를 상호작용적(interactive)이라 정의한다[11]. William, Rice & Rogers는 상호작용성을 ‘커뮤니케이션 과정의 참여자들이 상호 담론하는 과정에서 서로 통제 가능하며 역할이 교환되는 정도’로 정의하였다[12]. Liu & Shrum은 상호작용성을 ‘두 사람 이상의 대화 대상자가 서로에게 반응하고 소통 미디어와 게시물에 반응하며, 그러한 영향이 동시에 발생하는 정도’로 나타냈다[13].
환경의 변화는 새로운 마케팅 커뮤니케이션 방식의 도래를 필요로 하게 되었으며 SNS는 다른 소비자들과 커뮤니케이션하며 콘텐츠를 소비하고 생성할 수 있는 최적화된 기술을 제공해 준다[14]. 가상현실의 발전과 함께 대두한 소셜 VR 플랫폼들은 기존의 SNS가 사용자들에게 제공하던 사용자들 간의 소통을 문자와 텍스트, 사운드를 뛰어 넘은 더욱 고차원적인 수준의 상호작용이 가능하게 하고 있다. 가상현실기술은 실재와 같은 시청각적인 경험뿐만이 아니라 HMD(Head Mounted Display)를 통한 시각적 자유와 콘트롤러 기반의 신체적 상호작용성을 제공한다. 가상현실 공간의 신체적 상호작용성은 모바일 기기에서의 단순한 터치나 온라인 공간에서의 마우스 클릭이 아닌 현실세계와 유사한 경험을 제공하는 것을 이야기하며 이를 통해 사용자들의 더욱 가상공간에 몰입하게 된다. 이러한 실재와 같은 물리적 감각을 제공하기 위해 현재의 가상현실 디바이스들은 양손에 들고 상호작용하는 오큘러스 터치와 같은 콘트롤러부터 손에 끼는 장갑형태의 HaptX[15]나 Manus 글러브[16]등을 제공한다. 더 나아가 전신에 실재와 유사한 감각 정보를 제공하기 위한 Teslasuit[17]과 같은 풀바디(Full-body) 인터페이스들도 등장하고 있다.
VR 인터페이스의 발전은 소셜 VR 공간에서의 자아의 재현과 이를 통한 감정의 표현방법에도 변화를 가져왔다. Facebook이나 인스타그램으로 대표되는 온라인 공간에서의 SNS는 사용자간의 커뮤니케이션의 표현 수단인 텍스트, 사진, 사운드, ‘좋아요’, ‘슬퍼요’ 등의 공감 표현 이모티콘 등을 통해 사용자간의 상호작용을 해왔다. 그러나 가상현실 공간에서는 이러한 사용자간의 상호작용의 형태가 아바타를 통해 더욱 구체화된다. 즉 자신을 대체하는 아바타를 통해 감정 상태를 직접적인 표정이나 제스처를 활용하여 표현할 수 있게 되었다는 것이 큰 차이점이라고 할 수 있다. 이러한 가상신체의 표현은 가상현실의 궁극적인 목적이며 중요한 이슈인 현존감에 기여할 수 있는 요소이며 가상 환경 내에서 몸을 소유하고 제어하는 것과 그에 따라, 발생되는 감각의 조화를 체화감(Sense of Embodiment)이라 한다[18]. 가상현실에서의 존재감 또는 현존감(Sense of Presence)은 사용자에게 가상 환경에 대한 참여와 몰입을 가능하게 함으로써, 사용자의 활동 및 감각에 영향을 미치며[19] 소셜 VR에서도 사용자의 참여와 몰입을 증대시킬 수 있는 중요한 요소라고 할 수 있다.
2-2 소셜VR의 신체적 상호작용의 분류
가상현실 콘텐츠의 상호작용에서 기존의 다른 콘텐츠들과의 가장 큰 차이점은 사용자들이 콘트롤러를 들고 실재와 같은 신체적 상호작용을 할 수 있다는 점이다. 이는 가상현실 영화나 게임과 같은 분야뿐만이 아니라 가상현실 소셜 네트워크 서비스에서도 적용되고 있다. 최근 다양한 센서기술의 발달로 인해 별도의 센서 없이도 HMD 전방에 내장되어 있는 카메라를 통해 사용자의 콘트롤러를 자유롭게 인식할 수 있게 됨으로써 소셜 VR 내에서도 사용자들에게 다양한 신체적 인터랙션을 통해 몰입감을 높이고자 하는 시도들이 이루어지고 있다. 특히 사용자의 움직임과 동작을 인식하여 가상현실 환경에 자연스러운 NUI(Natural User Interaction)[20]를 적용하려는 연구 등이 진행되고 있다. 소셜 VR에 적용되고 있는 NUI는 음성인식이나 사람들의 모션, 제스처 인식, 아이 트레킹(Eye tracking)등 다양하나[21] 본 연구에서는 오큘러스 퀘스트나 HTC VIVE, 소니의 플레이스테이션 VR등의 디바이스들이 제공하고 있는 콘트롤러 기반의 핸드 제스처를 중심으로 연구를 진행하였다. 실제 사람들의 의사소통이나 활용도 측면에서 손이 가장 많은 비중을 차지하여 가상현실 환경에서도 핸드 제스처에 대한 연구가 필요하기 때문이다[22].
소셜 VR 공간에서 이루어지는 핸드 제스쳐를 통한 인터랙션은 크게 2가지로 나누어 볼 수 있는데, 가상현실 공간의 사용자가 아바타의 몸을 통해 자신의 핸드 제스쳐를 통하여 상호작용을 함으로써 물리적 현존감을 느끼는 물리적 인터랙션과 다른 아바타와의 관계를 형성하고 상호작용하는데 쓰이는 사회적 인터랙션으로 나누어 볼 수 있다. 먼저 소셜 VR 내에서는 사용자가 1인칭 시점으로 가상 공간을 체험하기 때문에 자신의 얼굴이나 몸을 거울을 통해서 보거나 내려다보지 않으면 보지 못한다. 그러나 아바타의 손의 움직임은 1인칭 시점으로도 볼수 있으며, 이를 통해 사용자들은 나의 몸이 가상현실 공간에서도 존재하고 있는 물리적 현존감을 느낄 수 있다. 물리적 현존감(physical presence)은 가상세계에서 자신이 물리적으로 존재하는 것처럼 주관적으로 지각하는 상태를 의미하며[23] 물리적 현존감의 대표적 특성에 관한 연구는 Leyzberg의 연구가 있는데 이 연구는 물리적으로 현존하는 실체가 있을 때 더 효과적인 학습 결과를 가져온 것을 증명하였다[24].
소셜 VR 환경에서의 사회적 인터랙션은 소셜 VR이 가지는 특성을 대표하는 요소로 사용자와 사용자간의 관계를 형성하기 위한 것이다. 기존의 개인형 VR 콘텐츠에서는 개인의 물리적 현존감을 위한 물리적 인터랙션이 주류를 이루었다면 사용자가의 관계 형성이 중요한 목적인 소셜 VR 환경에서는 사회적 현존감을 위한 인터랙션이 주요 목적이라고 할 수 있다. 사회적 현존감(Social Presence)은 가상공간에서 다른 존재를 지각한 후, 상대방과 공존하면서 정서적인 유대감을 느낄 수 있는 정도를 의미하는데[25], 사회적 현존감은 미디어에 의하여 사회적 행위자들이 인위적으로 창조되어 미디어 이용자가 타 이용자를 경험할 때 발현된다고 한다[26]. 소셜 VR 환경에서 사용자가 다른 사용자를 만났을 때 자신의 의사나 느낌 등을 전달하고 관계를 맺기 위하여 취하는 제스처들이 바로 사회적 인터랙션이다.
Ⅲ. 핸드 제스쳐와 몰입과의 관계 실험
본 연구에서는 VR 게임 칼럼 사이트 RyanSchultz.com에서 독자들을 대상으로 한 2019년 11월 VR플랫폼 별 사용자 계정 설문 조사 결과를 참고로 하여 소셜 VR 서비스 중 상위 6위의 소셜 VR 플랫폼을 확인하였다[29]. 그 중 한국어 서비스를 제공하며 국내 사용자 수가 많은 VRChat을 대상으로 하여 실험을 진행하기로 하였다.
VRChat은 과거 유행하였던 웹기반 소셜 게임인 세컨드 라이프의 VR 버전으로 다른 사용자들과 가상공간에서 대화를 하거나 월드에 들어가 미니게임을 즐길 수도 있고 다양한 맵을 즐길 수 있다. 전 세계의 여러 사용자들과 어울려 소통한다는 재미가 있으며, 여러 언어를 서비스하고 PC과 VR 기기를 모두 지원하여 많은 참여를 돕고 있다. 2018년 초 VR 관련 콘텐츠에서는 1위를 차지하기도 하였다. VRChat의 강점은 사용자들이 자신이 직접 모델링하거나 제작한 아바타를 불러와 사용할 수 있는 점과 아바타들의 얼굴 표정이나 동작 등도 가상공간으로 불러와 사용할 수 있다는 점이다.
본 실험에는 20-40대 남녀 중 VR HMD 체험을 1회 이상 체험해 본 사용자들이 참여하였으며 VRChat에서의 핸드 제스처를 학습하기 위하여 15분동안 VRChat 튜토리얼과 소셜 공간 탐색을 통해 새로운 콘텐츠와 콘트롤러 기반의 제스처에 익숙해질 시간을 제공하였다. 실험 기기는 오큘러스 리프트S를 사용하여 사용자가 양손에 오큘러스 터치 콘트롤러를 들고 상호작용 가능한 환경을 제공하였다.
Social VR Platform Ranking
Social VR Platform VRChat
VRChat[30]에는 기본적으로 오큘러스 터치 콘트롤러를 사용하여 인식 가능한 핸드 제스쳐들을 아래 그림과 같이 제공하고 있다. 손을 모두 펼치는 동작, 승리의 브이 동작, 손가락으로 가르치는 동작, 핸드건 동작, 엄지손가락을 들어 보이는 동작, 주먹을 뒤는 동작, 락앤롤 동작 등을 제공하여 기존의 가상환경에서 콘트롤러 기반의 콘텐츠들이 표현하기 힘들었던 손가락을 활용한 제스처 인터랙션을 제공하는 것이다.
본 실험에서는 이러한 다양한 핸드 제스쳐 인터랙션들을 사용자가 물리적 인터랙션과 사회적 인터랙션을 위하여 각각 사용할 때의 몰입의 정도를 사용자의 뇌파를 통해 측정하였다. VRChat 내에는 다양한 월드가 존재하는데 다양한 사용자간의 자유로운 상호작용성을 실험하기 위하여 기본 오픈월드 내에서 실험을 진행하였으며 각 사용자 마다 20분의 플레이 시간을 제공하고 자유롭게 오픈월드를 다니며 다양한 국적의 사용자들과 상호작용 할 수 있도록 하였다.
VRChat 내에서는 사용자의 손을 활용한 제스처 인터랙션을 제공하기 위해 오큘러스 터치 콘트롤러를 활용하여 아래 그림과 같은 표현들이 가능하도록 하고 있다. 이 중 본 실험에서는 펼친 손 모양, 가리키는 손 모양, 손가락 브이 모양, 주먹을 쥔 모양의 4가지 손 모양을 사용하여 물리적인 상호작용을 위하여 사용한 경우와 다른 사용자와의 사회적 상호작용을 위하여 사용한 경우로 나누어 실험을 진행하였다.
오픈 월드에서 제공한 상호작용은 아래 표와 같으며 20명의 사용자들 중 10명은 물리적 상호작용만을 목적으로 핸드 제스쳐를 사용한 그룹 A로, 나머지 10명은 사회적 상호작용을 목적으로 한 핸드 제스쳐를 사용한 그룹 B로 나누어 실험을 진행 하였다.
VRChat Oculus Hand Gestures
손바닥 모양의 제스처는 물리적으로 상호작용할 때는 가상공간에 있는 아바타로 대체된 나를 인식하기 위해 손바닥을 펼쳐 손을 바라보게 하였고, 사회적 인터랙션을 위해서는 오픈 월드에 있는 다른 사용자에게 손을 펼쳐 흔들며 인사를 하도록 사용하였다.
A User's 'Hi' Hand Gesture
주먹을 쥐는 동작을 물리적으로 사용하기 위해서는 가상공간에 있는 물체를 주먹으로 쳐서 움직이게 하도록 하였고, 사회적 인터랙션을 위해서는 다른 사용자들과 주먹을 맞대며 인사를 하도록 하였다. 손가락으로 브이를 만드는 동작은 물리적으로 자신의 아바타 모습을 확인하고 사진을 찍을 수 있는 기능을 활용하여 셀카를 찍을 때 사용하도록 하였으며, 사회적 인터랙션을 위해서는 다른 사용자들과 함께 사진을 찍을 때 브이 동작을 하도록 하였다. 마지막으로 손가락으로 가리키는 포인트 동작을 물리적 인터랙션 요소로 사용 시에는 가상공간에 있는 장소나 물체를 가리키는 동작으로 사용하였으며, 사회적 인터랙션 요소로는 다른 사용자를 손가락으로 찌를 때 사용하도록 하였다.
Hand Gestures' Physical and Social Interaction
위 표와 같이 네 가지의 같은 핸드 제스쳐 동작들을 서로 다른 목적을 가지고 A, B 그룹의 사용자들은 2명씩 한조를 이루어서 VRChat 공간을 경험하였고 경험하는 동안 룩시드랩스가 개발한 룩시드 링크[31]를 사용하여 실시간으로 사용자의 뇌파를 측정하여 집중도를 관찰하였으며 특히 핸드 제스쳐 인터랙션이 일어나는 1분 동안의 시간을 중심으로 데이터를 분석하였다.
룩시드 링크는 연구자가 선행 연구에서도 사용하였던 VR 기기를 위한 뇌파 측정기로 HMD를 착용하는 이마 부분에 센서가 위치하게 하여 사용자의 전두엽으로부터 뇌파를 측정할 수 있는 뇌파 측정기이다. 룩시드 링크는 자체 어플리케이션인 2D Visualizer를 제공하고 있어 뇌파 데이터를 분석하여 사용자의 몰입도를 아래와 같이 수치로 볼 수 있었다.
Lookid Link's 2D Visualizer for the Experiment
Ⅳ. 실험 결과
물리적 인터랙션을 목적으로 하여 실험을 진행한 그룹 A와 사회적 인터랙션을 목적으로 하여 실험을 진행한 그룹 B의 몰입도를 수치적으로 비교하면 아래와 같은 결과를 얻을 수 있었다. 사회적 인터랙션을 취한 그룹이 물리적 인터랙션을 한 그룹보다 평균적으로 14.7%정도 높은 몰입감을 나타내는 것을 관찰할 수 있었다. 이는 모든 사용자들이 같은 모양의 핸드 제스쳐를 취했음에도 불구하고 VRChat 상의 다른 사용자들과 사회적 인터랙션을 목적으로 제스처를 취했을 때 훨씬 높은 가상현실 공간과 아바타에 대한 몰입효과가 있었다는 것을 보여주는 결과이다.
Comparison of Immersion Levels According to Interaction Purposes
Comparison of Satisfaction for Interaction Purposes
실험 결과 값 중 흥미로운 점은 사회적 인터랙션 중에서도 다른 사용자와 주먹치기와 손가락으로 찌르기와 같이 가상공간에서의 아바타끼리의 신체적 접촉이 일어날 때 순간적인 몰입도가 상승한 것을 관찰할 수 있었다. 다른 사용자와의 접촉이 없는 사회적 인터랙션보다 약 14.2%정도의 집중도가 증가하는 결과를 보여 접촉이 일어나는 순간 몰입도가 높아졌다는 것을 알 수 있었다.
추가적으로 실험 후에 진행한 인터뷰에서 진행한 리커트 척도 기반의 만족도 조사에서도 사회적 인터랙션을 경험한 그룹 B 의 사용자들이 그룹 A 사용자들보다 상호작용 인터페이스에 대한 만족감이 평균 1.02점 높았으며 가상공간에서 다른 사용자들과 실재적으로 상호작용하고 있다는 느낌이 높았다고 응답하였다. 실험을 통해 우리는 같은 제스처라도 그 목적이 물리적 인터랙션인지 사회적 인터랙션인지에 따라 몰입효과가 달라지며 사용자들 간에 교류를 목적으로 한 사회적 인터랙션일 때 더욱 높은 집중도를 보이는 것을 알 수 있었다. 또한 사회적 인터랙션 중에서도 아바타들끼리 신체적인 접촉이 있을 때 더욱 높은 집중도를 보이는 것을 알 수 있었다.
Ⅴ. 결 론
5G 시대를 맞아 급성장하고 있는 소셜 VR들은 가상공간에서 사용자에게 높은 몰입감과 상호작용성을 제공하며 그 시장을 넓혀가고 있다. 최근 HMD 관련 하드웨어 기술의 발달과 함께 콘트롤러 기반의 제스처 인식이 가능해지면서 이를 활용한 서비스들도 증가하고 있는 추세이다.
본 연구에서는 전 세계적으로 많은 사용자들을 가지고 있는 VRChat을 대상으로 하여 사용자의 손을 중심으로 한 제스처 인터랙션을 분류하고 분석하였다. 소셜 VR 공간에서 이루어지는 핸드 제스쳐 인터랙션은 사용자가 아바타의 몸을 통해 자신의 손을 움직임으로써 물리적 현존감을 느끼는 물리적 인터랙션과 다른 사용자들과 상호작용하기 위한 사회적 인터랙션으로 나누어 분류하여 실험을 진행하였다. 실험을 통해 사용자들 간의 사회적 인터랙션을 경험한 그룹의 몰입도가 더 높으며 그 중에서도 아바타들 간의 신체적 접촉이 있는 인터랙션인 경우 순간적인 몰입도가 상승하는 것을 관찰할 수 있었다.
가상공간 안에서 사용자의 손을 통한 제스쳐 인터랙션은 사용자의 몰입효과를 위한 매우 중요한 요소이며 그 범위가 확장되고 있는 만큼 연구가 지속되어야 하는 분야이다. 특히 소셜 VR 공간에서의 핸드 제스쳐 인터랙션은 자신을 느낌이나 감정상태를 상대방에게 표현하기 위한 중요한 수단으로써 앞으로 더욱 심도 깊은 연구가 필요할 것이다. 본 연구에서는 특정 소셜 플랫폼에서 제공하고 있는 몇 가지의 핸드 제스쳐만을 통해 몰입효과를 살펴보았지만 향후 표정이나 몸 전체를 통한 다양한 표현을 통한 몰입효과에 대한 연구로 확장이 필요하다. 이러한 연구가 지속된다면 소셜VR 플랫폼에 적합한 사용자 인터랙션 디자인과 개발에 효과적인 지표가 될 것이다.
Acknowledgments
본 연구는 2020년도 단국대학교의 지원에 의하여 이루어진 연구로서, 관계부처에 감사드립니다.
References
- K. Don et al. Augmented and Virtual Reality Survey Report. Pekins Coie, 3, pp. 2-21, 2019.
- Y. J. Lee, The Effect of Presence Factor of Social VR Content on Consumer's Continuous Usage Intention, Hongik University, Graduate School Thesis Paper, p.14, 2020.
- World's First 5G Commercialization Success Condition. [Internet]. Available: http://news.mk.co.kr/v2/economy/view.php?year=2019&no=82212
-
D. M.. Boyd & N. B. Ellison, "Social network sites: Definition, history, and scholarship," Journal of computer-mediated communication, 13(1), pp. 210-230, 2007.
[https://doi.org/10.1111/j.1083-6101.2007.00393.x]
-
J. S. Kang and T.I. Kang, "Social VR Platform Usability Analysis -Focused on avatar, environment, interaction & communication-," Journal of Communication Design, 69, pp. 419-428, 2019.
[https://doi.org/10.25111/jcd.2019.69.32]
-
J. W. Park and S. K. Noh, "A study on the Analysis and improvement Strategies of VR Social Network Service -focused on the application of communication-related components- ," Journal of Communication Design, 66, pp. 272-281, 2019.
[https://doi.org/10.25111/jcd.2019.66.21]
- H. J. Kim, T. H. Kim et al, "The Features of Facial Realistic Grade of an Avatar as an Interactive Factor in VR Social Network Services," Proceeding paper, Korea HCI Conference. Vol.2017. No.2, pp. 974-976, 2017.
-
S. H. Lee and E. J. Song, A Study on Application of Virtual Augmented Reality Technology for Rescue in Case of Fire Disaster. Journal of Digital Contents Society, 20(1), 60, 2019.
[https://doi.org/10.9728/dcs.2019.20.1.59]
-
M. S. D. Lombard & J. J. Snyder-Dutch, J, “Interactive Advertising and Presence: A Framework”. Journal of Interactive Advertising, 1(2), pp. 581-592, 2001.
[https://doi.org/10.1080/15252019.2001.10722051]
- F. Williams, R. E. Rice and etc, Research methods and the new media. Simon and Schuster, 1988.
-
Y. Liu & L. J. Shrum, "What is interactivity and is it always such a good thing? Implications of definition, person, and situation for the influence of interactivity on advertising effectiveness," Journal of advertising, 31(4), pp. 53-64, 2002.
[https://doi.org/10.1080/00913367.2002.10673685]
-
R. Varadarajan & M. S. Yadav, "Marketing strategy in an internet-enabled environment: a retrospective on the first ten years of JIM and a prospective on the next ten years," Journal of Interactive Marketing, 23(1), pp. 11-22, 2009.
[https://doi.org/10.1016/j.intmar.2008.10.002]
- HaptX. [Internet]. Available: https://haptx.com/
- ManusVR. [Internet]. Available: https://manus-vr.com/
- Teslasuit. [Internet]. Available: https://teslasuit.io/the-suit/
-
J. C. Lepecq, L. Bringoux and et al, "Afforded actions as a behavioral assessment of physical presence in virtual environments," Virtual reality, 13(3), pp.141-151, 2009.
[https://doi.org/10.1007/s10055-009-0118-1]
- J. W. Lee, A Sense of Presence with Virtual Embodiments, Master's degree dissertation, Konkuk University, Graduate School, p.1 , 2019.
- D.B. Kim, A. Kumar G, and Y.H. Chai, "A Study on the NUI based Interactions in Virtual Environments", Proceedings of the Society of CAD/CAM Conference, Korea, p. 5-7. 2005.
-
R. Azuma et al. "Recent advances in augmented reality," IEEE computer graphics and applications, 21.6, pp. 34-47, 2001.
[https://doi.org/10.1109/38.963459]
-
Rautaray, S. Siddharth and A. Anupam, "Vision based hand gesture recognition for human computer interaction: a survey," Artificial Intelligence Review, 43.1, pp. 1-54, 2015.
[https://doi.org/10.1007/s10462-012-9356-9]
-
F. Biocca, "New media technology and youth: Trends in the evolution of new media," Journal of Adolescent Health, 27(2), pp. 22-29, 2000.
[https://doi.org/10.1016/S1054-139X(00)00136-1]
- D. Leyzberg, S. Spaulding, M. Toneva at el, "The physical presence of a robot tutor increases cognitive learning gains," In Proceedings of the annual meeting of the cognitive science society , Vol. 34, No. 34, 2012.
-
J. Takatalo, G. Nyman & L. Laaksonen, "Components of human experience in virtual environments," Computers in Human Behavior, 24(1), pp. 1-15, 2008.
[https://doi.org/10.1016/j.chb.2006.11.003]
-
F. Biocca, C. Harms, & J. K. Burgoon, "Toward a more robust theory and measure of social presence: Review and suggested criteria," Presence: Teleoperators & virtual environments, 12(5), pp. 456-480, 2003.
[https://doi.org/10.1162/105474603322761270]
- On Which Social VR Platforms/Virtual Worlds Do You Have a User Account? [Internet]. Available: https://ryanschultz.com/2018/08/31/results-of-the-first-ever-ryanschultz-com-reader-poll-on-which-social-vr-platforms-virtual-worlds-do-you-have-a-user-account/
- VRChat. [Internet]. Available: https://hello.vrchat.com/
- Lookid Link. [Internet]. Available: https://looxidlabs.com/looxidlink/
저자소개
2004년 : Pratt Institute 컴퓨터 그래픽스 (학사)
2006년 : New York University, 인터랙티브 텔레커뮤니케이션 (석사)
2013 : 한국과학기술원(공학박사-인터랙션 디자인)
2012년～현 재: 단국대학교 SW융합학부 SW융합콘텐츠학과 부교수
※관심분야： 가상현실(VR), 증강현실(AR), 인터랙션 디자인 등