VR 공간상의 가상 반려동물에 의한 힐링 효과의 검증

Ⅰ. 서 론

최근 COVID-19 팬데믹 상황으로 인해 정상적인 사회생활 및 커뮤니케이션이 이루어지지 않아 불안, 스트레스 및 우울증을 호소하는 사람들이 늘어났다 [1].

일상생활 속에서 스트레스, 불안감 등을 해소하기 위해 정신적 평안 및 안정을 느끼는 것은 사람들에게 있어서 매우 중요한 일이다. 인간과 동물의 상호작용(HAI)은 반려동물을 소유하고 접촉함으로써 우울증과 외로움의 감소, 사회적 상호 작용, 불안 억제의 효과가 있다 [2]-[4]. 또한 반려동물과의 활동을 통하여 운동 및 외부 신체 활동이 촉진되는 측면이 있다. 반면 인간과 동물의 상호작용으로 인해 알레르기, 천식, 동물에 물린 상처 및 긁힘 등의 문제가 발생 할 수 있고, 반려동물이 다치거나 죽을 때의 슬픔과 부정적인 감정을 겪을 수 있다. 그리고 반려동물을 소유하고 양육하는 데는 많은 시간과 비용 역시 발생 한다. 특히 인간과 동물의 상호작용은 반려 동물과의 교감을 통해 인간의 건강과 웰빙의 일부 측면에 유익한 것으로 보고 되는 반면, 의료기관 등에서 환자들에게 직접 적용하기 어려운 문제도 있다 [5], [6].

최근에는 인간과 동물의 상호작용의 대체 대상으로써 반려로봇 및 가상 반려동물과의 상호작용을 통해 스트레스 해소 및 힐링 효과를 기대하는 연구들이 진행 되고 있다.

반려로봇은 노인요양 시설에서 노인들의 우울증 및 스트레스 해소에 효과적이고 치매 증상의 개선, 치매 예방에도 효과적이라는 보고가 있다 [7]-[9]. 그러나 반려로봇은 사용자의 인터랙션에 제약조건이 많고, 구입 비용이 매우 고가이며 유지, 보수 하는 데에도 시간과 비용이 소요된다.

가상 반려동물과의 상호 작용은 스마트폰 등의 정보단말기의 보급과 COVID-19 팬데믹 상황으로 인해 증가 하는 추세이다[10], [11]. 최근 연구를 통해 가상 반려동물과 접촉하여 뇌성마비, 장애아동에게도 힐링 효과를 낼 수 있다는 결과가 보고되고 있다[12], [13]. 노인 알츠하이머 환자의 가상 반려동물과의 상호작용은 좌절, 불안 같은 부정적인 감정 요인을 감소 시킴을 통해 알츠하이머병의 치료에 긍정적이기도 하다[14]. 또한 닌텐도 DS용 소프트웨어의 가상 반려동물과 접촉하여 심리적 편안함을 느낄 수 있다는 사실을 검증한 실험도 있다 [15]. 가상 반려동물은 스마트폰, 태블릿 컴퓨터를 통해 손쉽게 상호작용을 할 수 있고, 실제 반려동물에서 발생하는 알레르기, 양육 시 소요되는 시간과 비용에 대해 효과적인 반면, 가상 반려동물은 실제로 존재하지 않고 실질적인 상호작용을 할 수 없기 때문에 힐링 효과가 실제 반려동물에 비교해 적을 가능성이 있다.

그러므로 가상 반려동물과의 상호작용의 관점에서 현실 공간의 반려동물의 상호 작용과 위화감이 없는 사용자의 직관적인 조작이 중요하다. 직관적인 조작을 실현하는 방법으로서, 특히 손의 동작을 이용하는 핸드 제스처 사용자 인터페이스(HGUI)를 이용해 사용자의 제스처를 VR 공간에서 적용해야 한다[16], [17]. 본 연구에서는 립모션(Leap Motion)으로부터 핸드 제스처를 인식하여 VR 공간의 가상 반려 동물과 사용자가 직관적으로 상호작용 할 수 있도록 하였다.

VR 반려 동물의 환경을 구축하는 기존 연구에서 VR헤드셋과 립모션를 이용하여 몰입감과 직감적인 조작성을 높이는 연구 [18], 홀로렌즈를 이용하여 현실 세계에 VR 반려 동물을 제시하여 인간과 동물의 상호작용을 하는 콘텐츠를 구현하였다 [19], [20]. 이어서 스트레스 감소 효과에 대한 평가 실험을 위해 설문조사 및 NASA-TLX에 의한 방법 등이 수행 되었고 [18], 뇌파를 이용한 분석[21]과 심전도에 의한 방법도 진행 되었다 [20].

본 연구의 목적은 립모션을 이용한 핸드 제스처를 통해 직감적으로 VR 공간에서 가상 반려 동물과 상호작용 할 수 있는 VR 몰입형 시스템을 구축하고 사용자의 뇌파를 분석하여 가상 반려 동물에 의한 힐링 효과를 검증하는 것이다.

Ⅱ. 평가실험의 방법

2-1 제안시스템

VR 공간의 반려동물과 상호작용을 하는 시스템의 구성도를 그림 1과 같이 제시 한다. 사용자가 볼 수 있는 화면은 시스템 구성도로 그림 1의 A와 같이 제시한다.　사용자가 HMD을 착용하면 VR 공간상에서 자신의 손과 가상 반려동물을 볼 수 있다. 사람들은 동물 중 가상 고양이에 더 잘 상호작용하고 편안함을 느낀다는 연구 보고에 근거해, 본 연구에서 가상 반려동물은 VR 고양이를 채택하여 제시하였다 [22].

Fig. 1.

The proposed system that interacts with VR pet in VR space. A: VR system environment presented to users, B: The process of the system implemented in the proposal system

제안 시스템에서 구현한 시스템의 처리 프로세스는 그림 1의 B와 같이 수행된다. 제안 시스템을 구현하기 위해 유니티(Unity)를 사용하여 3D VR 환경을 구축하고 HTC Vive를 사용하여 몰입형 디스플레이를 구현하였다. 본 시스템은 Intel i7-6700 CPU, 8GB RAM 및 NVIDIA GeForce GTX1070 GPU 사양의 PC에서 수행되었다. 입체 3D CG는 HTC Vive HMD (해상도: 2,160 × 1,200, 시야: 110°, 프레임 레이트: 90 Hz)에의해 제시되었다.

사용자가 VR 고양이와 상호작용하는데 사용하는 핸드 제스처를 립모션에서 인식하여 유니티에서 VR 핸드를 제시한다. 립모션은 손의 제스처로 컴퓨터를 조작 할 수 있는 입력 장치이고 양손을 동시에 실시간으로 사용할 수 있다. 제안 시스템에서는 립모션을 상호작용에 사용하기 위해 HTC Vive HMD의 컨트롤러를 활용하지 않는다. VR 고양이의 모델은 유니트 에셋스토어의 Cu Cat을 사용하였다 [23].

VR 고양이의 반응 동작은 립모션으로부터 인식된 핸드 제스처를 제시하는 VR 핸드를 이용하여 VR 고양이의 특정 신체 부위를 터치하면 상호작용으로 실행되도록 구현하였다. VR 고양이의 특정 신체 부위의 핸드 제스처에 의한 터치는 유니트 에셋스토어의 SAColliderBuilder[24]를 이용하여 충돌을 검출하였다.

검출 된 각 신체 부위에 해당하는 VR 고양이의 반응 동작은 유니티의 애니메이터 컨트롤러를 사용하여 대응하는 동작을 생성하였다. 구체적인 VR 고양이의 반응 동작을 표 1에 제시 하였다. 사용자가 핸드 제스처를 사용하여 터치 할 수 있는 VR 고양이의 신체 부위는 머리, 귀, 등으로 3개 부분으로 한정하였다. 사용자는 양손을 사용할 수 있고 특정 부위가 터치되면 VR 고양이의 반응 동작이 생성 된다.

Table 1.

VR cat's reaction behavior

VR 고양이의 머리 부위가 터치되면 혀로 앞발을 핥거나 앞발로 자신의 얼굴을 터치한다. 귀 부위를 터치하면, 뒷발로 귀를 터치하는 반응 동작을 생성한다. 등 부위를 터치하면 랜덤하게 배를 보이고 눕거나 옆으로 눕는 동작을 생성한다.

Ⅲ. 연구결과 및 고찰

3-1 연구결과

표 2는 평가실험에서의 힐링 효과의 이원 반복 측정 분산분석의 결과를 제시한다. 위 표는 사칙연산과 VR 고양이의 체험에서 유의한 차가 있었음 나타내고 있다 (F(1, 8) = 69.99, p < 0.0001, partial η² = 0.897). 또한 α파와 β파의 변화에도 유의한 차가 있음을 제시한다 (F(2, 58) = 6.475, p = 0.034, partial η² = 0.447). 반면 Test요소와 EEG요소에서 유의한 상호작용은 없음을 표시한다 (F(1, 8) = 0.122, p = 0.736, partial η² = 0.015). 각 요소의 상호작용이 없으므로 쌍대 비교를 이용해 사후 검증 분석을 실시 하였다. 평가 실험의 결과는 그림 2와 표 3에 통계적으로 제시하였다. 그림 2를 보면 막대 그래프의 왼쪽이 α파를 오른쪽이 β파의 각 변화를 제시 하고 있다.

Table 2.

Statistical Results of Healing Effect by Two-way Repeated Measure ANOVA

Fig. 2.

Changes in alpha and beta waves during Four Basic Operations and virtual pet

Table 3.

Post-hoc test of healing effect by pairwise comparisons

그래프의 결과는 α파와 β파 모두 사칙연산의 계산 문제 중의 뇌파보다 가상 애완동물 중의 뇌파가 내려간 것을 나타내고 있다. 이 결과는 α파가 저하되는 경향을 보이며 편안한 상태(Relax)가 되었다고는 할 수 없다 (p = 0.006, CI: 0.022 – 0.09). 반면 β파가 저하되는 경향으로부터, 흥분이나 긴장감은 해소되었다는 결과를 얻었다 (p = 0.002, CI: 0.032 – 0.098).

Ⅳ. 결 론

본 연구에서는 립모션을 이용한 핸드 제스처를 통해 VR 공간에서 가상 반려 동물과 상호작용 할 수 있는 시스템을 구축하고 사용자의 뇌파를 분석하여 힐링 효과를 검증하였다. 제안 시스템을 이용한 실험을 통해 편안한 상태 (Relax)의 효과는 기대 할 수 없지만, 흥분이나 긴장감의 해소에는 통계적으로 의미 있는 결과를 얻었다. 반면, VR 공간의 가상 반려동물 상호작용에서 인간의 오감을 자극하는 멀티 모달의 정보량이 제한적인 점과 HMD의 디바이스가 사용자에게 부담이 되는 문제점은 후속 연구에서 개선이 필요한 부분이다. 본 연구는 초 고령화 사회 및 COVID-19 팬데믹으로 인한 스트레스, 우울증 등을 가상 반려 동물과의 상호작용을 통해 예방하는 디지털 치료제로써 의미가 있다.

References

• S. M. A. Shah, D. Mohammad, M. F. H. Qureshi, M. Z. Abbas, and S. Aleem, “Prevalence, psychological responses and associated correlates of depression, anxiety and stress in a global population, during the coronavirus disease (COVID-19) pandemic,” Community mental health journal, Vol. 57, No. 1, pp. 101-110, January 2021. [https://doi.org/10.1007/s10597-020-00728-y]
• S. Eun. Kim, “A Study on the Effects of Companion Animals on Humans : Based on the Tale of a Righteous Dog in Hongseong,” The Journal of the Korea Contents Association ,Vol. 20, No.12, pp. 659-670, December 2020. [https://doi.org/10.5392/JKCA.2020.20.12.659]
• E. Friedman and C. Krause-Parello, “Companion animals and human health: benefits, challenges, and the road ahead for human-animal interaction.,” Revue scientifique et technique (International Office of Epizootics), Vol. 37, No. 1, pp. 71-82, April 2018. [https://doi.org/10.20506/rst.37.1.2741]
• J. A. Griffin, K. Hurley, and S. McCune, “Human-animal interaction research: progress and possibilities,” Frontiers in Psychology, Vol. 10, p. 2803, December 2019. [https://doi.org/10.3389/fpsyg.2019.02803]
• N. R. Gee, M. K. Mueller, and A. L. Curl, “Human-animal interaction and older adults: An overview,” Frontiers in psychology, Vol. 8, p. 1416, August 2017. [https://doi.org/10.3389/fpsyg.2017.01416]
• K. E. Rodriguez, H. Herzog, and N. R. Gee, “Variability in human-animal interaction research,” Frontiers in Veterinary Science, Vol. 7, p. 619600, January 2021. [https://doi.org/10.3389/fvets.2020.619600]
• K. Wada, T. Shibata, T. Saito, and K. Tanie, “Psychological and social effects in long-term experiment of robot assisted activity to elderly people at a health service facility for the aged,” in International Conference on Intelligent Robots and Systems (IROS)(IEEE Cat. No. 04CH37566), Vol. 3, pp. 3068-3073, September 2004. [https://doi.org/10.1109/IROS.2004.1389877]
• H. Robinson, B. MacDonald, N. Kerse, and E. Broadbent, “The psychosocial effects of a companion robot: a randomized controlled trial,” Journal of the American Medical Directors Association, Vol. 14, No. 9, pp. 661-667, September 2013. [https://doi.org/10.1016/j.jamda.2013.02.007]
• A. Liang et al., “A pilot randomized trial of a companion robot for people with dementia living in the community,” Journal of the American Medical Directors Association, Vol. 18, No. 10, pp. 871-878, October 2017. [https://doi.org/10.1016/j.jamda.2017.05.019]
• C. Jung, C. Jung, K. Jongyotha, I. De, M. Brennan, and J. Naumovski, “Using Virtual Pet to Replace Pet Therapy Visits in Our Nursing Facility During the COVID-19 Pandemic,” Journal of the American Medical Directors Association, Vol. 22, No. 3, p. B18, March 2021. [https://doi.org/10.1016/j.jamda.2021.01.088]
• M. -G. Cho, “A Study on Augmented Reality-based Virtual Pets for the Elderly Living Alone,” International Conference on Information and Communication Technology Convergence (ICTC), pp. 1280-1283, December 2021. [https://doi.org/10.1109/ICTC52510.2021.9620928]
• D. Saimaldahar, Virtual Pet Companion A digital console to enhance the Experience of Children with Cerebral Palsy, Ph.D. dissertation, OCAD University, Toronto, May 2016.
• Y.-F. Tsai, The effects of interacting with a computer-simulated virtual pet dog on children’s empathy and humane attitudes, Ph.D. dissertation, Education-Simon Fraser University, Burnaby, July 2008.
• H. Ben Abdessalem, Y. Ai, K. Marulasidda Swamy, and C. Frasson, “Virtual Reality Zoo Therapy for Alzheimer’s Disease Using Real-Time Gesture Recognition,” in Proceedings of the 4th World Congress on Genetics, Geriatrics and Neurodegenerative Disease Research, Springer, pp. 97-105, January 2022. [https://doi.org/10.1007/978-3-030-78775-2_12]
• S. Lawson and T. Chesney, “The impact of owner age on companionship with virtual pets,” In 15th European Conference on Information Systems, June 2007.
• Y. Xiao, Q. Peng, and others, “A hand gesture-based interface for design review using leap motion controller,” in Proceedings of the 21st International Conference on Engineering Design, Vol 8, pp. 239-248, August 2017.
• S. C. Ferreira et al., “Empirical evaluation of a 3D virtual simulator of hysteroscopy using Leap Motion for gestural interfacing,” Journal of Medical Systems, Vol. 44, No. 11, pp. 1-10, October 2020. [https://doi.org/10.1007/s10916-020-01662-y]
• T. T. N. Do, Development of a virtual pet game using oculus rift and leap motion technologies,Ph.D. dissertation, Bournemouth University, Bournemouth, May 2016.
• N. Norouzi, “Augmented Reality Animals: Are They Our Future Companions?,” in IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops, pp. 563-564, March 2020. [https://doi.org/10.1109/VRW50115.2020.00133]
• H. Na, S. Park, and S.-Y. Dong, “Mixed Reality-Based Interaction between Human and Virtual Cat for Mental Stress Management,” Sensors, Vol. 22, No. 3, p. 1159, February 2022. [https://doi.org/10.3390/s22031159]
• R. Hayashi and S. Kato, “Psychological effects of physical embodiment in artificial pet therapy,” Artificial Life and Robotics, Vol. 22, No. 1, pp. 58-63, March 2017. [https://doi.org/10.1007/s10015-016-0320-7]
• V. Schwind, K. Leicht, S. Jager, K. Wolf, and N. Henze, “Is there an uncanny valley of virtual animals? A quantitative and qualitative investigation,” International Journal of Human-Computer Studies, Vol. 111, pp. 49-61, March 2018. [https://doi.org/10.1016/j.ijhcs.2017.11.003]
• Cu Cat. Unity Asset Store[Internet]. Available: https://assetstore.unity.com/?q=cu%20cat&orderBy=1
• SAColliderBuilder . Unity Asset Store[Internet]. Available: https://assetstore.unity.com/packages/tools/sacolliderbuilder-15058?locale=ko-KR
• J. N. Acharya, A. J. Hani, J. Cheek, P. Thirumala, and T. N. Tsuchida, “American clinical neurophysiology society guideline 2: guidelines for standard electrode position nomenclature,” The Neurodiagnostic Journal, Vol. 56, No. 4, pp. 245-252, August 2016. [https://doi.org/10.1080/21646821.2016.1245558]
• H. J. Eun, “Basics of Electroencephalography for Neuropsychiatrist,” Journal of Korean Neuropsychiatric Association, Vol. 58, No. 2, pp. 76-104, May 2019. [https://doi.org/10.4306/jknpa.2019.58.2.76]
• W. Choi, L. Li, S. Satoh, and K. Hachimura, “Multisensory integration in the virtual hand illusion with active movement,” BioMed research international, Vol. 2016, October 2016. [https://doi.org/10.1155/2016/8163098]
• I. Y. Lee and H. S. Leem, “The Effect of the Visual Stimulus on the Auditory Acuity,” The Korean Journal of Vision Science, Vol.18 No.1 pp.49-56, 2016. [https://doi.org/10.17337/jmbi.2016.18.1.49]
• S. Riches, L. Azevedo, L. Bird, S. Pisani, and L. Valmaggia, “Virtual reality relaxation for the general population: a systematic review,” Social psychiatry and psychiatric epidemiology, Vol. 56, No. 10, pp. 1707-1727, June 2021. [https://doi.org/10.1007/s00127-021-02110-z]
• E. Seabrook et al., “Understanding how virtual reality can support mindfulness practice: mixed methods study,” Journal of medical Internet research, Vol. 22, No. 3, p. e16106, March 2020. [https://doi.org/10.2196/16106]
• K. Ito, M. Tada, H. Ujike, and K. Hyodo, “Effects of the Weight and Balance of Head-Mounted Displays on Physical Load,” Applied Sciences, Vol. 11, No. 15, p. 6802, July 2021. [https://doi.org/10.3390/app11156802]