촉각 기반 가상현실 사격 교육 시스템의 구현

Ⅰ. 서 론

총기 소유의 합법 여부와 관계없이 대다수 나라의 군대, 경찰 등 국가의 주요 기관에서 총기가 필수적으로 사용되기 때문에, 총기를 다루기 위한 사격 교육은 매우 중요하다. 전통적인 사격 교육은 교관 및 학습자의 안전 문제 때문에, 통제적이며 강압적인 분위기에서 학습자의 교육이 이루어진다. 이러한 이유로, 학습자는 사격 교육에 집중하기 힘들며, 다양한 환경 및 시나리오 반영과 같은 개인화된 전문적인 훈련 경험을 제공받기 어렵다. 뿐만아니라, 기존의 사격 교육은 안전 문제 외에도 총기 교체/수리 및 탄환의 사용 등에 의한 많은 비용이 발생한다.

이러한 문제를 해결하기 위해, 실제 총기가 아닌 비살상용 총기를 이용한 스크린 기반 사격 훈련 시스템이 개발되고 있다[1]-[3]. 이러한 사격 훈련 시스템은 기존의 전통적인 사격 교육의 안전 문제와 비용 문제를 해결할 수 있다. 또한, 강압적으로 통제하는 환경이 아니라는 점 때문에 학습자는 사격 훈련에 집중할 수 있다. 그러나, 스크린 기반 사격 훈련 시스템은 사용자가 실제 사격 환경에서 훈련하는 느낌과 같은 높은 현장감을 제공하기 힘들다는 한계가 있다. 사격 교육의 목적은 학습자가 다양한 환경에서 사격을 성공하게 만드는 데에 의의가 있다. 그러므로, 실제 현장에서 사격을 하는 것 같은 높은 현장감을 생성할 수 있는 교육 환경을 제공하는 시스템 개발이 필요하다.

이처럼 높은 현장감을 요구하는 교육의 필요성 때문에, 최근에는 가상현실(VR; Virtual reality) 기술이 주목받고 있다[4]-[7]. 가상현실 기술이란 컴퓨터가 만든 가상의 공간을 다양한 인터페이스(시각 제시 장치, VR 컨트롤러, 가상환경 등)를 이용하여, 입체적으로 사용자에게 제공하는 기술을 의미한다[8]-[10]. 그러므로, 현실의 상황을 모방하거나 대체할 수 있으며, 현실에서 표현하기 힘든 다양한 상황도 가상현실 기술로 표현이 가능하다.

최근 사격 교육 시스템 및 가상현실 기술이 발전하여, 다양한 가상현실 사격 교육 시스템이 개발되고있다[11]-[15]. 개발된 가상현실 사격 교육 시스템은 기존의 스크린 기반의 사격 교육 시스템이 가지는 장점을 가지고 있을 뿐만 아니라, 실제 사격장에서 사격을 하는 듯한 높은 현장감을 제공할 수 있다. 또한, 개발된 사격 교육 시스템 중에서는 학습자에게 높은 몰입감을 제공하기 위해, 실제 총기의 반동을 표현하기 위한 햅틱 장치가 사용된 사례가 있다[12],[14],[15]. 그러나 기존 가상현실 사격 교육 시스템에 사용된 햅틱 장치는 1자유도의 단순한 충격을 제공하거나, 상용 햅틱 디바이스를 사용하기 때문에 움직임의 범위가 제한된다(표 1). 이러한 이유로 총기의 입체적인 반동 및 다양한 타입의 총기 반동을 표현하기에는 한계가 있다.

Table 1.

Summary of previous studies related to haptic devices for shooting education.

이와 같은 기존 가상현실 사격 교육 시스템의 한계를 극복하기 위해, 본 연구는 8개의 서보 모터와 와이어를 기반으로 한 입체적인 총기 반동을 표현할 수 있는 3축 힘 정보 제공용 와이어 드리븐 햅틱 장치를 개발했다. 또한, 본 연구는 개발된 와이어 드리븐 햅틱 장치를 기반으로 한 가상현실 사격 교육 시스템을 제안한다. 이를 위하여, Ⅱ장에서는 제안하는 가상현실 사격 교육 시스템의 구성을 설명하고, Ⅲ장에서는 와이어 드리븐 햅틱 장치의 기능 및 성능을 소개하고, 마지막으로, Ⅳ장에서는 본 연구의 결론을 기술한다.

Ⅱ. 제안하는 촉각 기반 가상현실 사격 교육 시스템의 구성

2-1 구성 요소

그림 1은 제안하는 촉각 기반 가상현실 사격 교육 시스템의 주요 구성 요소를 보여준다. 제안하는 시스템은 시각 제시 장치(Oculus 社) 총기 형상의 정보 입력 장치, 와이어 드리븐 햅틱 장치, 가상환경으로 구성된다. 총기 형상의 정보 입력 장치는 사용자가 가늠쇠를 보고 있는지와 총기의 방아쇠를 당겼는지를 판단하고, 와이어 드리븐 햅틱 장치는 총기의 반동에 관한 3축 힘 정보를 생성한다. 가상환경은 실제 사격 교육 장소와 유사한 지형 및 사격 훈련 콘텐츠가 포함되어 있으며, 시각 제시 장치를 통해 사용자에게 가상환경의 시각 정보를 제공한다.

Fig. 1.

Components of the proposed virtual reality shooting education system

2-2 신호 흐름도

그림 2는 제안하는 가상현실 사격 교육 시스템의 신호 흐름도를 보여준다. 사용자가 총기 형상의 정보 입력 장치의 압력 센서가 탑재된 방아쇠를 당기거나, 또 다른 압력 센서가 탑재된 개머리판에 머리를 기대는 방식으로 가늠쇠를 보는 모션을 취한다면, 총기 형상 정보 입력 장치의 2개의 압력 센서는 모션에 의해 발생하는 압력을 측정해서 마이크로 컨트롤러에 전달한다. 마이크로 컨트롤러는 측정된 2개의 압력 신호에 대한 정보를 통신 모듈을 통해 가상환경에 전달하며, 가상환경은 전달받은 압력 신호에 대한 정보를 통해 가상물체를 제어(사격의 시작/맞춘 표적의 넘어짐 등)하면서 가상환경의 그래픽 정보를 실시간으로 변화시킨다. 이 변화된 그래픽 정보는 시각 제시 장치를 통해서 사용자에게 시각 정보(구현된 가상 사격장 이미지 등)로 전달된다. 또한, 가상환경은 총기의 반동에 관한 힘과 방향을 고려해서 와이어 드리븐 햅틱 장치를 제어하는 신호를 생성한다. 와이어 드리븐 햅틱 장치는 전달받은 총기의 반동에 관한 신호를 기반으로 사용자에게 촉각 정보를 전달한다.

Fig. 2.

Signal flow diagram of entire system

2-3 총기 형상의 정보 입력 장치

본 연구의 총기 형상의 정보 입력 장치는 총기 형상의 하우징에 2개의 압력 센서(FSR 402, Interlink 社)(SZH-SEN02, SMG 社)와 햅틱 장치와의 고정부가 결합되어 있으며, 마이크로 컨트롤러(STM32F407, 위드로봇 社) 그리고 유선 통신모듈(Stellaris-JTAG, 위드로봇 社)로 구성된다(그림 3(a)).

Fig. 3.

(a) The gun-shaped information input device, (b) the combination of the gun-shaped information input device and the wire driven haptic device

개머리판 위에 있는 압력 센서는 사용자가 사격 자세를 취하고, 사용자의 머리가 개머리판을 누르면서 가늠쇠를 보고 있는지를 측정한다. 또한, 방아쇠에 탑재된 압력센서는 사용자의 손이 방아쇠 접촉 및 누르는 세기를 측정한다. 햅틱 장치와의 고정부는 와이어 드리븐 햅틱 장치의 엔드 이펙터와 결합되는데 사용되며, 와이어 드리븐 햅틱 장치가 발생시키는 힘 정보를 사용자에게 전달하는데 사용된다(그림 3(b)).

2-4 가상환경

본 연구의 가상환경은 Unity 3D와 C#언어를 기반으로 개발되었으며, 시리얼 통신을 통해서 와이어 드리븐 햅틱 장치와의 정보를 송/수신 할 수 있도록 설계되었다.

그림 4(a)는 개발된 가상환경의 전체적인 지형 모습을 보여준다. 이 가상환경에는 실제 사격환경과 유사하게 사격호와 모래주머니 등의 가상물체가 구현되었다. 그림 4(b)는 제작된 거리에 따른 표적의 모습과 표적의 주변 가상지형을 보여준다. 또한, 표적마다 지형의 높이와 주변 지형의 텍스처가 다르게 구현되었다. 그림 4(c)는 사용자가 실제로 가상환경과 와이어 드리븐 햅틱 장치를 이용해서 사격하는 상황을 보여준다. 사용자가 표적을 맞춘 경우, 표적은 실제 사격장의 표적과 같이 뒤로 넘어가도록 구현되었다.

Fig. 4.

(a) Overall appearance of the virtual environment, (b) target according to distance and surrounding environment of the target, (c) A situation where a user shoots a gun through a virtual environment.

Ⅲ. 와이어 드리븐 햅틱 장치

와이어 드리븐 햅틱 장치는 프레임(힘 생성 영역: 450 mm(가로) × 450 mm(세로) × 450 mm(높이)), 엔코더가 장착된 8개의 서보 모터(XM430-W210-R, 기어비 1/10 버전, ROBOTIS 社)와 통신 인터페이스 모듈(ROBOTIS 社), 엔드 이펙터, 와이어로 구성된다. 모터 8개는 프레임의 코너 8곳에 각각 배치되며, 각 모터의 회전부에는 와이어가 연결되어 있다. 또한, 각 모터와 연결된 와이어들의 반대 끝은 엔드 이펙터와 연결되어 있다. 통신 인터페이스 모듈은 가상환경의 제어 신호를 입력받고, 이 신호를 기반으로 모터의 회전 속도를 제어한다. 만약 모터가 구동되면, 모터의 회전에 의해 회전부에 연결되어 있는 와이어가 감기게 되면서 엔드 이펙터를 특정 방향으로 당기는 힘이 생성되게 된다.

3-1 엔드 이펙터의 위치 계산

그림 5는 제작된 와이어 드리븐 햅틱 장치의 엔드 이펙터의 위치를 계산하기 위한 모터, 와이어 그리고 엔드 이펙터의 기하학적 다이어그램을 보여준다. 와이어 드리븐 햅틱 장치의 모터들의 위치는 고정되어 있으며, 모터와 엔드 이펙트 사이의 와이어 길이는 모터 내부에 탑재된 엔코더에 의해 측정된다. 또한, 이 와이어의 길이는 각 모터의 위치 정보와 엔드 이펙터의 위치 정보 그리고 직각 삼각형에 관한 피타고라스의 정리를 통해 계산될 수 있다. 그러므로, 각 와이어의 길이는 식 (1), 식 (2), 식 (3) 그리고 식 (4)에 의해 계산된다. 또한, 이 4개의 식을 정리하면, 엔드 이펙터의 위치를 계산할 수 있다(식 (5), 식 (6) 그리고 식 (7)).

$\[ {\left(x+a\right)}^2+{\left(y+a\right)}^2+{\left(z+a\right)}^2=l_0^2 \]$

(1)

$\[ {\left(x-a\right)}^2+{\left(y-a\right)}^2+{\left(z-a\right)}^2=l_1^2 \]$

(2)

$\[ {\left(x-a\right)}^2+{\left(y+a\right)}^2+{\left(z-a\right)}^2=l_2^2 \]$

(3)

$\[ {\left(x+a\right)}^2+{\left(y-a\right)}^2+{\left(z-a\right)}^2=l_3^2 \]$

(4)

$\[ x=\frac{\left(l_0^2-l_1^2-l_2^2+l_3^2\right)}{8a} \]$

(5)

$\[ y=\frac{\left(l_0^2-l_1^2+l_2^2-l_3^2\right)}{8a} \]$

(6)

$\[ z=\frac{\left(l_0^2+l_1^2-l_2^2-l_3^2\right)}{8a} \]$

(7)

Fig. 5.

Geometrical diagram of motors, wires, and the end effector of the wire driven haptic device for calculating position.

3-2 햅틱 성능

와이어 드리븐 햅틱 장치의 엔드 이펙터의 위치는 사용자의 조작에 의해 실시간으로 변하며, 그로 인해 엔드 이펙터와 모터 사이의 x, y, z,축에 관한 각도가 달라진다. 또한, 엔드 이펙터와 모터 사이의 x, y, z축에 관한 각도가 달라짐에 따라서, 모터가 당기는 힘의 방향이 달라진다. 모터들이 당기는 방향에 의해 생성된 힘의 세기와 방향이 결정된다. 그러므로, 사용자가 원하는 방향으로 힘을 생성하기 위해선, 각 모터가 당기는 힘의 x, y, z축 성분을 구해야 한다. 그러므로, 본 연구에서는 모터와 엔드 이펙터의 x, y, z축에 관한 힘 성분을 x, y, z축 기저 벡터와 엔드 이펙터에서 모터로 향하는 벡터의 내적을 통해 계산한다. 또한, 이 힘의 x, y, z축 성분에 대한 역행렬과 생성하려는 힘에 대한 x, y, z 축 성분과의 행렬에 대한 곱을 통해서 각 모터가 당겨야 할 힘을 계산할 수 있다(그림 6).

Fig. 6.

Example of teh geometrical diagram of the wire driven haptic device for generating force and force calculation matrix

그림 7은 엔드 이펙터의 위치에 따라서, 와이어 드리븐 햅틱 장치가 발생시킬 수 있는 최대 힘을 계산한 결과이다. 발생시킬 수 있는 최대 힘은 55 N 이며, 생성하려는 힘의 방향과 엔드 이펙터의 위치가 가까워질수록 표현할 수 있는 최대 힘은 감소하며, 멀어질수록 표현할 수 있는 최대 힘이 증가하는 것으로 나타난다.

Fig. 7.

Calculation results of the maximum force depending on the direction of force to be generated by the wire-driven haptic device and the position of the end effector

Ⅳ. 결 론

본 연구에서는 와이어 드리븐 햅틱 장치와 이를 이용한 가상현실 사격 교육 시스템을 개발하였다. 개발된 와이어 드리븐 햅틱 장치는 엔드 이펙터의 위치 파악 및 원하는 방향으로 힘을 생성하기 위한 엔코더가 장착된 8개의 서보 모터와 가상환경과의 통신을 위한 인터페이스 모듈이 탑재되어 있다. 또한, 본 연구에서는 와이어 드리븐 햅틱 장치의 엔드 이펙터의 위치를 계산하기 위한 수식 및 원하는 방향으로 힘을 생성하는 행렬의 곱을 설계하였다. 또한, 엔드 이펙터의 위치와 생성하려는 힘의 방향에 따라서 와이어 드리븐 햅틱 장치가 발생시킬 수 있는 최대 힘을 계산하였다. 뿐만아니라, 개발된 가상환경은 실제 사격환경과 유사한 지형이 구현되었다. 추가적으로, 가상환경의 표적은 사격이 성공했을 때, 실제 사격장의 표적이 움직이는 것처럼 뒤로 넘어가도록 구현되었다. 본 연구는 개발된 와이어 드리븐 햅틱 장치 기반 가상현실 사격 교육 시스템은 사격 교육 뿐만아니라, 휴먼-로봇/컴퓨터 인터랙션 시스템 및 다른 종류의 가상현실 교육 시스템에 사용될 수 있을 것으로 기대한다.

Acknowledgments

이 논문은 2023년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임(No. RS-2023-00262273). 본 연구는 한국기술교육대학교 산학협력단 공용장비센터의 지원을 받아 수행되었음. 또한, 본 연구는 한국기술교육대학교 교무팀의 지원을 받아 수행되었습니다.

References

• H.-W. Liang and B. Kong, “A Shooting Training and Instructing System Based on Image Analysis,” in Proceedings of 2006 IEEE International Conference on Information Acquisition, Veihai, China, pp. 961-966, August 2006. [https://doi.org/10.1109/ICIA.2006.305866]
• I. Zanevskyy, Y. Korostylova, and V. Mykhaylov, “Specificity of Shooting Training with the Optoelectronic Target,” Acta of Bioengineering and Biomechanics, Vol. 11, No. 4, pp.63-70, 2009.
• A. J. M. Leite Jr., G. A. M. Gomes, N. A. Chicca Jr., A. D. dos Santos, C. A. Vidal, J. B. Cavalcante-Neto, and M. Gattass, “System Model for Shooting Training Based on Interactive Video, Three-Dimensional Computer Graphics and Laser Ray Capture,” in Proceedings of the 14th Symposium on Virtual and Augmented Reality, Rio De Janeiro, Brazil, pp. 254-260, May 2012. [https://doi.org/10.1109/SVR.2012.12]
• S.-C. Chang, T.-C. Hsu, and M. S.-Y. Jong, “Integration of the Peer Assessment Approach with a Virtual Reality Design System for Learning Earth Science,” Computers & Education, Vol. 146, 103758, March 2020. [https://doi.org/10.1016/j.compedu.2019.103758]
• R. R. Feinberg, U. Lakshmi, M. J. Golino, and R. I. Arriaga, “ZenVR: Design Evaluation of a Virtual Reality Learning System for Meditation,” in Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems (CHI ’22), New Orleans: LA, 567, April-May 2022. [https://doi.org/10.1145/3491102.3502035]
• G. Singh, A. Mantri, O. Sharma, and R. Kaur, “Virtual Reality Learning Environment for Enhancing Electronics Engineering Laboratory Experience,” Computer Applications in Engineering Education, Vol. 29, No. 1, pp. 229-243, January 2021. [https://doi.org/10.1002/cae.22333]
• Y. M. Chang and C. L. Lai, “Exploring the Experiences of Nursing Students in Using Immersive Virtual Reality to Learn Nursing Skills,” Nurse Education Today, Vol. 97, 104670, February 2021. [https://doi.org/10.1016/j.nedt.2020.104670]
• Y. A. G. Vilas Boas, “Overview of Virtual Reality Technologies,” Interactive Multimedia Conference, Vol. 2013, 4, 2013.
• R. Blach, Virtual Reality Technology - An Overview, in Product Engineering: Tools and Methods Based on Virtual Reality, Dordrecht, Netherlands: Springer, ch. 1, pp. 21-64, 2008.
• R. D. Gandhi and D. S. Patel, “Virtual Reality - Opportunities and Challenges,” International Research Journal of Engineering and Technology, Vol. 5. No. 1, pp. 482-490, January 2018.
• B. Shi, “Design and Realization of Shooting Training System for Police Force,” in Proceedings of the AHFE 2018 International Conference on Human Factors and Systems Interaction, Orlando: FL, pp. 175-183, July 2018. [https://doi.org/10.1007/978-3-319-94334-3_19]
• J.-P. Jo, J.-H. Kim, and Y.-H. Shin, “A Study on Design and Analysis of All in One Simulation Service for Screen Shooting and VR Shooting,” in Proceedings of the Korea Information Processing Society Conference (ACK 2021), Yeosu, pp. 19-22, November 2021. [https://doi.org/10.3745/PKIPS.y2021m11a.19]
• B. Lee, J. Kim, K. Shin, D. Kim, W. Lee, and N. Kim, “A Study on the Actual Precision Shooting Training based on Virtual Reality,” Convergence Security Journal, Vol. 18, No. 4, pp. 62-71. October 2018.
• J. L. Berna-Moya and D. Martinez-Plasencia, “Exploring the Effects of Replicating Shape, Weight and Recoil Effects on VR Shooting Controllers,” in Proceedings of the 17th IFIP TC 13 International Conference on Human-Computer Interaction (INTERACT 2019), Paphos, Cyprus, pp. 763-782, September 2019. [https://doi.org/10.1007/978-3-030-29381-9_45]
• L. Wei, H. Zhou, and S. Nahavandi, “Haptically Enabled Simulation System for Firearm Shooting Training,” Virtual Reality, Vol. 23, pp. 217-228, September 2019. [https://doi.org/10.1007/s10055-018-0349-0]