메이키메이키를 활용한 저비용 가상현실 환경용 사용자 인터페이스 구현 및 활용 가능성 평가
Copyright ⓒ 2024 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
초록
본 논문은 스마트폰 기반의 머리 착용 디스플레이(Head-Mounted Display, HMD)로 체험하는 저비용의 가상현실(Virtual Reality, VR) 환경에서 도입 가능한 사용자 인터페이스(User Interface, UI)를 제안한다. 스마트폰 기반의 HMD는 매우 저가이지만 대부분의 일체형 HMD를 구매하면 기본적으로 제공되는 컨트롤러 형태의 UI 장비가 없다. 인공지능을 이용하여 UI를 구현할 수 있지만, VR 콘텐츠가 인공지능의 성능에 매우 의존적이 되며, VR의 시나리오를 제한할 수 있다. 또한, 별도의 연산량을 요구하기 때문에 발열이나 배터리 문제 등의 2차 문제를 유발할 수 있다. 우리는 이러한 점을 고려하여 교육용 목적으로 시중에 판매 중인 메이키메이키를 활용하여 스마트폰 기반의 HMD에서 사용할 수 있는 UI를 제안한다. 메이키메이키가 미세전류를 이용하여 물체가 터치되었음을 인식할 수 있다는 점에서 착안하여 메이키메이키 보드를 스마트폰에 연결하여 특정 물체의 터치를 VR 콘텐츠의 인터랙션으로 구현하는 등 UI로 사용하였다. 실험을 위해 제안한 방법으로 사용자의 발 위치를 인식할 수 있는 UI 장비를 제작하고, 이를 활용하는 VR 게임을 개발하였다. 시연과 사용자 테스트를 통해 제안한 방법이 저비용 VR 환경에서의 훌륭한 UI 대체재가 될 수 있음을 보인다.
Abstract
This study proposes a user interface (UI) for a low-cost virtual reality (VR) environment using a smartphone-based head-mounted display (HMD). Smartphone-based HMDs, cheaper than integrated ones, lack a controller-like UI. Even though artificial intelligence (AI) can be used to implement the UI, it makes VR content heavily dependent on AI performance and can cause secondary issues like overheating or battery problem owing to extra computation. To address these challenges, we propose a UI solution utilizing MakeyMakey, an educational tool available on the market. Drawing from MakeyMakey's ability to detect touch via microcurrents, we connected it to the smartphone to translate touch on specific objects into VR interactions. We crafted a UI device that can recognize users' foot positions using this method and developed a VR game to test its efficiency. Demonstrations and user testing revealed that this method can act as a viable UI replacement in low-cost VR environments.
Keywords:
Smartphone-based Head-Mounted Display, Virtual Reality, User Interface, MakeyMakey, CoSpaces키워드:
스마트폰 기반 머리 착용 디스플레이, 가상현실, 사용자 인터페이스, 메이키메이키, 코스페이시스Ⅰ. 서 론
가상현실(Virtual Reality, VR)이란 컴퓨터 그래픽스와 인공지능 등의 기술을 활용하여 생성한 가상의 세계를 마치 현실인 것처럼 느끼게 하는 기술 혹은 경험을 뜻한다[1],[2]. VR을 활용하면 비용, 안전, 시공간의 제약 등의 문제로 현실에서 수행하기 어려운 경험을 제공할 수 있으며, 공상과학 영화나 상상 속에서나 볼법한 경험 또한 제공할 수 있다. 덕분에 VR은 교육, 훈련, 의료, 엔터테인먼트 등 다양한 분야에서 새로운 활용 사례가 등장하고 있으며[3]-[10], 하드웨어와 컴퓨터 기술의 발전 등에 힘입어 앞으로 더 많은 분야에서 활발하게 활용될 것으로 예상된다.
VR을 체험하기 위해서는 VR 환경을 구축해야 한다. 일반적으로 VR 환경에는 사용자의 실시간 시점을 반영하여 시각적인 피드백(feedback)을 제공하는 머리 착용 디스플레이(Head-Mounted Display, HMD)와 함께 사용자의 손에 의한 상호작용(interaction) 수단인 컨트롤러를 포함한다. 그 외에 체험하는 응용에 따라 총 키트, 활 키트, 테니스 라켓 키트 등과 같은 사용자 인터페이스(User Interface, UI)를 위한 외부 장비를 추가로 도입하여 더 높은 몰입감(immersion)을 제공할 수 있다.
VR의 활용가치와 미래전망은 매우 높으나 현실적인 한계점 또한 존재한다. VR의 발전을 저해하는 기술적인 문제와 가정에 널리 보급되어 대중화되기까지 개선해야 하는 문제점 등이 그것이며, 이는 몇몇 요인에서 찾아볼 수 있다. 첫째로는 VR 환경을 구축하기 위해 발생하는 비용 문제를 들 수 있다. 가정에서 VR을 체험하기 위해서는 HMD를 기본으로 구매하고, 추가로 몰입감을 높이기 위해서는 콘텐츠에 맞는 UI 장비 또한 구매해야 한다. 최근에는 고성능 컴퓨터의 도움 없이 모든 연산과 출력을 자체적으로 수행하는 독립형(stand-alone) HMD가 출시되고 있으나 이 또한 가정에서 구매하기에는 부담스러운 가격이다. 둘째로는 VR 콘텐츠를 체험하는 사용자가 느낄 수 있는 멀미와 답답함을 들 수 있다. 이는 사용자의 시야가 현실보다 좁은 점, HMD의 불편함, 현실과 가상의 시공간적 차이(disparity) 등으로 인해 발생할 수 있다. VR 체험이 사용자에게 멀미를 유발할 수 있다는 사실이 여러 논문을 통해 연구되었으며[11]-[14], 이를 VR 질병(sickness) 혹은 사이버 질병(cybersickness) 등으로 정의하고 있다. 셋째로는 걷는 수단의 부재 또는 구축의 어려움을 들 수 있다. VR에서 대형 가상 공간의 구현은 이론상 가능하지만, 실제로 사용자의 걷기와 같은 움직임을 실현하려면 여러 공간적 제약에 부딪히게 된다.
이를 해결하기 위한 연구는 다양한 방식으로 이루어지고 있으며, 제자리 걷기(Walk-In-Place, WIP)가 가장 활발하게 연구되고 있으며[15],[16], WIP는 컨트롤러 조작을 이용한 이동보다 훨씬 높은 몰입도를 보인다고 알려져 있다[17]. WIP를 구현하기 위해서는 사용자가 제자리에서 걷는 행위를 인식해야 하는데, 외부에 키넥트(kinect) 카메라를 설치하거나[18],[19], 신체에 트래커(tracker)를 부착하는 방법[20] 등이 있다. 하지만 WIP 방식은 사용자가 의도적으로 제자리를 걷는 행위를 취해야 하며, 이 또한 몰입감의 저하로 이어진다. VR 공간의 이동을 구현하기 위해 가장 좋은 방법은 한국에서 흔히 러닝머신이라고 불리는 트레드밀(treadmill) 형태의 UI 장비를 도입하는 방법이다[21]. 트레드밀 위에서 걷는 보행을 인식하여 가상세계를 걷는 방식이다. 하지만 트레드밀 형태의 UI 장비는 매우 고가이기 때문에 가정에서 이를 구축한 경우는 매우 드물다. 따라서 가정용 VR 콘텐츠는 트레드밀 형태의 UI 장비가 없다고 가정하기 때문에 제자리에 서서만 체험하거나 약간의 공간만을 이동할 수 있는 콘텐츠로 제한된다. 이는 VR 콘텐츠의 시나리오를 제한하며, 킬러 VR 콘텐츠의 부재로 이어질 수 있다.
본 논문에서는 저비용 VR 환경에서 사용할 수 있는 새로운 형태의 UI 시스템을 제안한다. 제안한 시스템은 교육용 목적으로 시중에 판매 중인 메이키메이키(MakeyMakey)를 활용하였으며, 미세전류의 흐름으로 물체의 접촉을 감지할 수 있는 기능을 VR 콘텐츠의 상호작용 수단으로 이용하였다. 제안한 시스템은 앞서 언급한 VR의 한계점을 최대한 반영하여 아래 특징들을 가지도록 설계되었다.
- - 스마트폰 기반의 HMD로 체험하는 저비용 VR 환경을 제공하기 위해 스마트폰에서 동작해야 한다.
- - 인공지능에 의존하지 않고, 사용자의 몸과 물리적인 상호작용을 할 수 있는 인터페이스여야 한다.
- - 저비용의 VR 환경을 유지하기 위해 저비용으로 제작 가능해야 한다.
제안한 시스템이 VR 환경에서 잘 동작한다는 것을 보이기 위해 사용자의 발 위치를 감지할 수 있는 UI를 제작하고, 이를 활용한 VR 게임을 개발하고 테스트한다. 사용자 연구를 통해 제안한 시스템이 저비용 VR 환경에서 우수한 UI 대안으로 사용될 수 있음을 입증하고자 한다.
Ⅱ. 개발 환경
2-1 메이키메이키
메이키메이키는 전자·전기·컴퓨터를 주제로 한 흥미 유발형 교육과 창의적인 프로젝트를 수행할 수 있는 시스템이다[22]. 메이키메이키는 물체에 흐르는 미세전류를 탐지하여 사용자의 터치를 인식한 다음 연결된 컴퓨터에 해당 물체와 매핑된 키보드 입력 이벤트를 전달할 수 있는 특징이 있다. 이러한 특징을 이용하면 다양한 창의 프로젝트를 수행할 수 있다. 가장 많이 수행하는 프로젝트는 바나나를 건반으로 하는 피아노 제작이다. 메이키메이키의 보드와 바나나를 전선으로 연결하고, 블록코딩을 통해 키보드 입력에 따라 소리가 재생되도록 프로그래밍을 하면 된다. 그림 1은 메이키메이키로 제작한 피아노와 이를 체험하는 모습을 보여준다. 흑연의 전도성을 이용하여 연필로 피아노 건반을 그리고, 이를 손가락으로 터치하여 피아노를 연주한다. 이때, 소리는 메이키메이키의 보드와 연결된 컴퓨터에서 출력된다. 메이키메이키의 보드 아래쪽은 사용자와 연결된 전원 회로의 일부인 접지(ground)라고 불리는 핀이 존재한다. 사용자가 물체를 터치할 때에는 항상 신체 일부가 접지와 연결되어 있어야 한다. 그림 1에서 오른손으로 피아노 건반을 터치함과 동시에 왼손으로 접지와 연결된 건반을 터치하고 있는 것도 그 이유에서다.
2-2 코스페이시스
제안한 시스템이 VR 환경에서 잘 동작한다는 것을 보이기 위한 목적으로 VR 콘텐츠의 개발 및 시연이 필요하다. 일반적으로 VR 콘텐츠를 개발하기 위한 개발환경으로는 유니티(Unity)와 언리얼(Unreal)과 같은 게임엔진을 선택한다. 하지만 우리의 목적은 상용화 수준의 VR 콘텐츠를 개발하는 것이 아니라 제안한 시스템의 동작 여부를 확인하기 위함이기 때문에 코스페이시스(CoSpaces)[23]를 게임엔진으로 선택하였다.
코스페이시스는 초급 프로그래머도 수준 높은 VR 콘텐츠를 개발할 수 있는 웹 기반 교육용 플랫폼이다. 그림 2와 같이 사람, 동물, 건물 등의 다양한 3차원 모델들이 제공되며, 이것들을 개발자나 학습자가 자신이 개발 중인 가상현실 세계 자유롭게 놓을 수 있다. 또한 블록 기반의 프로그래밍을 통해 이 모델들에게 움직임을 부여할 수 있고, 키보드나 마우스 등의 사용자 입력도 처리할 수 있다. VR 환경을 제공하기 위해 사용자의 시점을 나타내는 가상의 카메라가 존재하고, 개발한 콘텐츠를 스마트폰에서 실행할 수 있다. 또한, 실행 중에 입체적 렌더링(stereoscopic rendering) 기능을 지원하기 때문에 스마트폰 기반의 HMD로 VR을 체험할 수 있다.
코스페이시스는 다양한 연령대의 학생들, 즉 초등학생부터 대학생까지를 대상으로 하여 창의적 표현, 시각적 학습 및 사고, 스토리텔링, 가상 전시회, 문학 해석, 인포그래픽 등의 다양한 교육 형태에 사용되고 있다[24],[25]. 또한, VR이나 증강현실(augmented reality) 서비스의 초기 모델(프로토타입)을 생성하는 데에도 활용되고 있다[26]-[28].
Ⅲ. 제안 방법
제안한 방법을 소개하기 위해 메이키메이키를 활용하여 사용자의 발 위치를 감지하는 UI 장비를 제작하고, 이후, 제안한 방법이 저비용 VR 환경에서 UI로 활용 가능함을 보인다.
3-1 시스템 설계
사용자의 발 위치를 감지하기 위해 사용자가 올라서서 밟을 수 있도록 발판 형태로 제작하기 위해, 가로 90cm, 세로 50cm의 종이보드 2장을 수평 방향으로 바닥에 두고 메이키메이키와 연결할 호일을 부착할 수 있도록 설계하였다. 발판 아래쪽에 사용자가 서 있는 위치를 네 곳으로 구분할 수 있도록 네 칸에 걸쳐 호일을 부착하였다. 발판 중앙에는 종이보드 2장을 동시에 덮으면서 수평 방향으로 길게 호일을 부착하였다. 이는 추후 접지로 사용하기 위함이다. 발판 위쪽에도 마찬가지로 종이보드 2장을 동시에 덮으면서 수평 방향으로 길게 호일을 부착하였다. 이는 추후 앉아 있음을 인식하기 위한 용도이다. 그림 3은 이렇게 제작할 UI 장비의 기본 설계도를 보여준다. 숫자는 길이를 나타내며 단위는 cm이다.
그림 4는 UI 장비의 기본 설계도에서 각 호일의 역할을 보여준다. 발판 아래쪽에 같은 간격으로 네 칸에 걸쳐 부착된 호일은 추후 사용자가 서 있을 때, 즉 사용자의 발바닥과 터치되어 사용자의 위치를 인식한다. 발판 중앙에 수평 방향으로 길게 부착된 호일은 메이키메이키 보드의 접지에 연결된다. 원래 메이키메이키는 접지를 한 손으로 터치하고, 동시에 다른 손으로 물체를 터치하도록 유도하는데, 우리는 별도로 접지를 터치할 필요 없이 사용자가 어느 칸에 서 있기만 하면 자동으로 접지가 터치될 수 있도록 설계하였다. 발판 위쪽에 수평 방향으로 길게 부착된 호일은 사용자가 손으로 터치하여 앉아 있음을 인식한다. 발바닥을 발판에 붙인 채로 위쪽에 부착된 호일을 손으로 터치하려면 자연스럽게 쪼그려 앉는 자세가 될 것이다. 아래쪽에 부착된 호일 중 하나가 사용자의 위치를 항상 인식해주기 때문에 위쪽에 부착된 호일은 특별히 칸을 나눌 필요 없이 통으로 길게 붙일 수 있도록 설계하였다.
3-2 UI 장비 제작
UI 장비의 기본 설계도를 토대로 UI 장비를 제작하였다. 시중에 판매 중인 5mm 두께의 종이보드와 시중에 판매 중인 요리용 호일을 사용하였으며, 가정용 호일은 내구성의 문제로 약 3배 정도 더 두꺼운 캠핑용 호일을 사용하였다. 추가로 사용자가 설 수 있는 공간에 맞게 네모모양의 구멍을 뚫은 격자 모양의 부직포를 부착하였다. 이는 HMD를 착용하여 보이지 않는 상태의 사용자가 칸을 이동할 때 칸과 칸 사이의 경계를 인지할 수 있도록 촉감 피드백을 주기 위함이다. 발판 아래쪽에 네 칸에 걸쳐 부착한 호일은 왼쪽부터 각각 키보드 A, S, D, F가 입력될 수 있도록 메이키메이키 보드에 연결하였으며, 발판 위쪽에 수평 방향으로 길게 부착한 호일은 키보드 G가 입력될 수 있도록 메이키메이키 보드에 연결하였다. 마지막으로 발판 중앙에 수평 방향으로 길게 부착한 호일은 메이키메이키 보드의 접지에 연결하였다. 그림 5는 완성된 UI 장비를 보여준다. 아래쪽에 빨간 원으로 표시된 것이 메이키메이키 보드이다. 총 제작 비용은 메이키메이키 구매 가격을 포함하여 약 26,000원이었다.
Ⅳ. UI 테스트
4-1 테스트용 VR 게임 개발
제안한 UI가 저가형 VR 환경에서 잘 동작한다는 것을 보이기 위해 제작한 UI 장비를 활용하여 체험할 수 있는 VR 게임을 개발하였다. 제작한 UI 장비 위에 서서 위치 이동, 제자리 점프, 쪼그려 앉기 등의 행동으로 날아오는 장애물을 피하는 방식의 게임이다. 개발과정은 다음과 같다. 먼저, 그림 6과 같이 장애물이 날아올 수 있는 공간을 구현하고, 이동하는 보폭에 따라 가상세계에서의 변화가 일치하도록 현실과 똑같은 크기의 발판을 구현하였다. 그 후, 키보드 입력 이벤트에 따라 위치를 바꾸거나 쪼그려 앉거나 점프를 하는 행동을 구현하고, 무작위의 장애물이 생성되어 사용자를 향해 다가오는 게임 로직을 구현하였다. 모든 구현은 코스페이시스에서 제공하는 3차원 모델과 블록코딩을 이용하여 수행되었다. UI 테스트가 목적이기 때문에 난이도, 점수 등의 게임완성도를 위한 요소들은 도입되지 않은 상태에서 구현을 위해 총 180개의 블록이 사용되었다.
4-2 시연을 통한 UI 테스트
메이키메이키 보드의 전원선을 스마트폰에 연결하고, 스마트폰에서 테스트용 VR 게임을 실행한다. 그 후, 입체적 렌더링으로 재생하고, 스마트폰 기반의 HMD에 장착하면 체험을 위한 준비가 끝난다. 그림 7은 스마트폰 기반의 HMD를 착용한 채로 UI 장비 위에서 테스트용 VR 게임을 체험하는 사용자와 함께 사용자의 1인칭 시점을 입체적 렌더링으로 보여주고 있다. 게임상에서 사용자가 취해야 하는 행동으로는 4칸의 위치 중 한 곳으로 이동한 다음 장애물이 지나갈 때 서 있거나 제자리에 앉거나 타이밍을 맞춰 점프해야 한다. 이에 맞춰 장애물 또한 4칸×(서기/앉기/점프)의 총 12종류로 구성되며, 사용자가 취해야 하는 행동을 직관적으로 알 수 있도록 벽에 구멍을 뚫어 표현하였다. 그림 8은 장애물 예시와 해당 장애물을 피하기 위해 사용자가 취해야 하는 행동을 보여준다. 사용자를 바꿔가며 실시한 수차례의 테스트를 통해 한 번의 오작동 없이 잘 동작한다는 것을 확인하는 등 제안한 UI가 저비용 VR 환경에서 우수한 UI 대안으로 사용될 수 있음을 입증하였다. 시연 영상은 유튜브 링크를 통해 확인할 수 있다[29].
4-3 사용자 테스트를 통한 UI 평가
4-2장의 UI 테스트는 제안한 UI를 적용하여 제작한 UI 장비가 잘 동작한다는 것을 보이기 위한 동작 테스트에 불과하다. 추가로 제안한 UI의 활용 가능성을 평가하기 위해 사용자 테스트를 실시하였다. 표 1과 같이 초등학생에서 일반인으로 구성된 14명을 대상으로 테스트용 VR 게임을 키보드와 모니터로 한번, 제안한 UI를 적용하여 제작한 UI 장비로 한번 체험시킨 후 설문조사를 수행하였다. 설문조사는 몰입도, 반응속도, 재미, 오작동 등 4가지 항목을 1~5점 사이의 점수로 평가하는 질문들로 구성하였다. 직관적인 비교를 위해 오작동의 경우, 낮을수록 오작동이 많이 발생하는 것으로 점수를 환산하였다. 표 2는 사용자 테스트의 결과로서 평가요소별 평균점수를 보여준다. 몰입도와 재미에서 제안한 UI가 높은 점수를 받았으며, 반응속도와 오작동에서는 키보드와 모니터가 높은 점수를 받았다. 결과를 분석하면 제안한 UI를 활용하면 반응속도가 떨어지고 오작동은 많이 발생할 수 있으나 게임의 몰입도와 재미 요소를 증가시킬 수 있다고 볼 수 있다.
Ⅴ. 결론 및 제언
본 연구에서는 미세전류를 탐지하여 물체가 터치되었음을 인식할 수 있는 메이키메이키를 VR 환경에서의 UI로 사용 가능하다는 것을 제안하였다. 이를 입증하기 위해 사용자의 발 위치를 인식할 수 있는 UI 장비를 제작하고, 테스트용 VR 게임을 시연하여 테스트하였다. 그 결과, 제안한 UI가 저비용 VR 환경에서 우수한 UI 대안으로 사용될 수 있음을 입증하였다. 제안한 UI는 저비용으로 제작할 수 있으며, 스마트폰에서 동작한다. 이는 VR의 한계점 중 하나인 설치비용 문제를 극복할 수 있는 저비용 VR 환경을 구축하기 위해 매우 중요한 특징이다. 또한, 제안한 UI는 사용자의 목소리나 손을 인식하는 등의 인공지능에 의지하는 것이 아니라, 사용자의 물리적인 상호작용을 통해 인터페이스가 이뤄진다. 이는 인공지능의 성능에 의존하여 발생하는 VR의 시나리오를 제한과 별도의 연산량 필요로 발생하는 발열이나 배터리 문제 등의 2차 문제에서도 자유롭다고 볼 수 있다.
Ⅲ장에서 제작한 UI 장비는 제안한 방법을 소개하고 검증하기 위해 선택한 한가지 예일뿐, 제안한 방법을 활용한 UI 장비는 VR 시나리오에 맞게 다양하게 변형될 수 있다. 예를 들어 손에 쥘 수 있는 스틱이나 패드 등의 물체로 저비용 VR 환경에서 사용할 수 있는 컨트롤러 형태의 UI 장비를 제작할 수 있다. 체험시간이 길어질수록 사용자가 UI 장비를 벗어난 위치로 이동하는 등의 문제가 발생했는데, 이는 현실과 가상의 동기화를 오롯이 촉감과 직감에만 의존하기 때문이라고 여겨진다. 향후, 이런 점이 보완된다면 제안한 방법이 VR의 한계점을 해소하고, 저비용 VR 환경에서 다양한 형태로 활용될 것으로 기대한다.
Acknowledgments
본 논문은 2023년도 교육부의 재원으로 한국연구재단의 지원을 받아 수행된 지자체-대학 협력기반 지역혁신 사업의 결과입니다. (재단 과제관리번호: 2021RIS-003)
References
- G. C. Burdea and P. Coiffet, Virtual Reality Technology, 2nd ed. Hoboken, NJ: John Wiley & Sons, 2003.
- W. R. Sherman and A. B. Craig, Understanding Virtual Reality: Interface, Application, and Design, Cambridge, MA: Morgan Kaufmann, 2019.
- T. D. Parsons and A. A. Rizzo, “Affective Outcomes of Virtual Reality Exposure Therapy for Anxiety and Specific Phobias: A Meta-Analysis,” Journal of Behavior Therapy and Experimental Psychiatry, Vol. 39, No. 3, pp. 250-261, September 2008. [https://doi.org/10.1016/j.jbtep.2007.07.007]
- L. Freina and M. Ott, “A Literature Review on Immersive Virtual Reality in Education: State of the Art and Perspectives,” in Proceedings of the 11th International Scientific Conference on eLearning and Software for Education, Bucharest, Romania, pp. 133-141, April 2015. [https://doi.org/10.12753/2066-026X-15-020]
- C. J. Wilson and A. Soranzo, “The Use of Virtual Reality in Psychology: A Case Study in Visual Perception,” Computational and Mathematical Methods in Medicine, Vol. 2015, 151702, August 2015. [https://doi.org/10.1155/2015/151702]
- B. Carvalho, M. M. Soares, A. Neves, G. Soares, and A. Lins, Virtual Reality Devices Applied to Digital Games: A Literature Review, in Ergonomics in Design: Methods & Techniques, Boca Raton, FL: CRC Press, ch. 9, pp. 125-141, 2017.
- M. Slater and M. V. Sanchez-Vives, “Enhancing Our Lives with Immersive Virtual Reality,” Frontiers in Robotics and AI, Vol. 3, 74, December 2016. [https://doi.org/10.3389/frobt.2016.00074]
- S. Kavanagh, A. Luxton-Reilly, B. Wuensche, and B. Plimmer, “A Systematic Review of Virtual Reality in Education,” Themes in Science and Technology Education, Vol. 10, No. 2, pp. 85-119, 2017.
- B. K. Wiederhold and G. Riva, “Virtual Reality Therapy: Emerging Topics and Future Challenges,” Cyberpsychology, Behavior, and Social Networking, Vol. 22, No. 1, pp. 3-6, January 2019. [https://doi.org/10.1089/cyber.2018.29136.bkw]
- B. Xie, H. Liu, R. Alghofaili, Y. Zhang, Y. Jiang, F. D. Lobo, ... and L.-F. Yu, “A Review on Virtual Reality Skill Training Applications,” Frontiers in Virtual Reality, Vol. 2, 645153, April 2021. [https://doi.org/10.3389/frvir.2021.645153]
- H. K. Kim, J. Park, Y. Choi, and M. Choe, “Virtual Reality Sickness Questionnaire (VRSQ): Motion Sickness Measurement Index in a Virtual Reality Environment,” Applied Ergonomics, Vol. 69, pp. 66-73, May 2018. [https://doi.org/10.1016/j.apergo.2017.12.016]
- S. Weech, S. Kenny, and M. Barnett-Cowan, “Presence and Cybersickness in Virtual Reality are Negatively Related: A Review,” Frontiers in Psychology, Vol. 10, 158, February 2019. [https://doi.org/10.3389/fpsyg.2019.00158]
- E. Chang, H. T. Kim, and B. Yoo, “Virtual Reality Sickness: A Review of Causes and Measurements,” International Journal of Human-Computer Interaction, Vol. 36, No. 17, pp. 1658-1682, 2020. [https://doi.org/10.1080/10447318.2020.1778351]
- J. J. LaViola, “A Discussion of Cybersickness in Virtual Environments,” ACM SIGCHI Bulletin, Vol. 32, No. 1, pp. 47-56, January 2000. [https://doi.org/10.1145/333329.333344]
- C. Boletsis and D. Chasanidou, “A typology of virtual reality locomotion techniques,” Multimodal Technologies and Interaction, Vol. 6, No. 9, pp. 72, August 2022.
- E. S. Martinez, A. S. Wu, and R. P. McMahan, “Research trends in virtual reality locomotion techniques,” In IEEE Conference on Virtual Reality and 3D User Interfaces (VR), pp. 270-280, April 2022.
- C. Boletsis and J. E. Cedergren, “VR locomotion in the new era of virtual reality: an empirical comparison of prevalent techniques,” Advances in Human-Computer Interaction, April 2019.
- C. Ioannou, P. Archard, E. O'neill, and C. Lutteroth, “Virtual performance augmentation in an immersive jump & run exergame,” In Proceedings of the 2019 CHI conference on human factors in computing systems, pp. 1-15, May 2019. [https://doi.org/10.1145/3290605.3300388]
- E. Langbehn, T. Eichler, S. Ghose, K. von Luck, G. Bruder, and F. Steinicke, “Evaluation of an omnidirectional walking-in-place user interface with virtual locomotion speed scaled by forward leaning angle,” In Proceedings of the GI Workshop on Virtual and Augmented Reality (GI VR/AR), pp. 149-160, September 2015.
- C. T. Tan, L. C. Foo, A. Yeo, J. S. A. Lee, E. Wan, X. F. K. Kok, and M. Rajendran, “Understanding user experiences across VR Walking-in-Place locomotion methods,” In Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems, pp. 1-13, April 2022.
- A. Bashir, T. De Regt, and C. M. Jones, “Comparing a friction-based uni-directional treadmill and a slip-style omni-directional treadmill on first-time HMD-VR user task performance, cybersickness, postural sway, posture angle, ease of use, enjoyment, and effort,” International Journal of Human-Computer Studies, Vol. 179, 103101, November 2023.
- Makey Makey. Joylabz Official Makey Makey Store [Internet]. Available: https://makeymakey.com/, .
- CoSpaces Edu. CoSpaces Edu for Kid-Friendly 3D Creation and Coding [Internet]. Available: https://www.cospaces.io/edu/, .
- C. M. Nam and C. W. Kim, “Analysis on Instruction Design and Learning Motivation for Pre-Service Teachers’ Cospace Education,” Journal of the Korean Association of Information Education, Vol. 22, No. 4, pp. 501-508, August 2018. [https://doi.org/10.14352/jkaie.2018.22.4.501]
- J. H. Hwang, “Development of AR Content Production in Education Curriculum Using CoSpaces,” Culture and Convergence, Vol. 43, No. 6, pp. 319-342, June 2021. [https://doi.org/10.33645/cnc.2021.06.43.6.319]
- S. Lee, “CovidHunter: Augmented Reality Defense Game Developed Using CoSpaces with Merge Cube,” Journal of Digital Contents Society, Vol. 23, No. 2, pp. 175-181, February 2022. [https://doi.org/10.9728/dcs.2022.23.2.175]
- S. Lee, S. Kim, S. Kim, E. Son, B. Jeong, and S.-M. Choi, “CovidHunter+: Augmented Reality Defense Game Developed in Hopes of the end of COVID-19,” Journal of Digital Contents Society, Vol. 23, No. 12, pp. 2337-2344, December 2022. [https://doi.org/10.9728/dcs.2022.23.12.2337]
- S. Lee, S. Kim, S. Kim, H. Cho, and S.-M. Choi, “Flying Over Tourist Attractions: A Novel Augmented Reality Tourism System Using Miniature Dioramas,” in Proceedings of SIGGRAPH Asia 2023 Posters (SA ’23), Sydney, Australia, 18, December 2023. [https://doi.org/10.1145/3610542.3626129]
- YouTube. Demonstration Video the Proposed System [Internet]. Available: https://www.youtube.com/shorts/P3si064vloo/, .
저자소개
2012년:한국과학기술원 (공학석사)
2017년:한국과학기술원 (공학박사)
2018년∼현 재: 경상국립대학교 컴퓨터과학부 부교수
※관심분야:증강현실(Augmented Reality), 컴퓨터비전(Computer Vision) 등