XR 기반 회전익 항공기 PMD(일일정비 점검절차) 교육 훈련 방법에 관한 연구

Ⅰ. 서 론

차세대 컴퓨팅 플랫폼 기술로서 AR(증강현실: Augmented Reality)/VR(가상현실: Virtual Reality) 기술은 기존 ICT 시장을 변화시키고 신규 시장을 창출할 수 있는 핵심기술로 Gartner의 ‘Top 10 Strategic Technology For 2018’에 디지털 비즈니스 생태계 구축을 위한 미래 핵심기술로 선정되었다[1]. 이러한 XR(확장현실: Extended Reality) 기술은 급변하는 디지털 트랜스포메이션(Digital Transformation) 시대에 현실이라는 물리적 공간에 가상의 정보를 시간 지연 없이 제공함으로써, 사용자들이 시간과 공간의 제약 없이 필요한 정보와 서비스를 이용하도록 하여, 사용자의 현실감, 몰입감, 상호작용성이 가능해져[2][4] 소방, 군사, 재난 안전 등 다양한 분야에서 적용되고 있다[5][6][7][8].

본 연구에서는 육군 기동헬기, 해병대 상륙 기동헬기, 의무후송 헬기, 경찰 헬기 등 다양한 임무를 수행하고 있는 수리온(KUH-1)의 일일정비 점검절차(PMD)를 XR 기술을 융합하여 시·공간 제약이 없이 다양한 환경 연출이 가능하고 기존에 경험하기 힘든 현실 상황을 부여하여 실질적인 교육 훈련 방법을 제시하고자 하였다. 2장에서는 회전익 항공기 일일정비 점검절차(PMD)의 개요를 살펴보고, 3장에서 XR기반 PMD 교육체계 적용 기술 분석 및 방법을 제시하였고 4장에서는 XR기반 일일정비 점검절차(PMD) 교육체계 구성 방안을 제시하였다. 5장에서는 XR 기반 회전익 항공기 일일정비 점검절차 교육 훈련체계에 대한 구현 결과를 기술하고, 6장에서 결론을 도출하였다.

Ⅱ. 회전익 항공기 일일정비 점검절차 개요

회전익 항공기의 일일정비 점검절차(PMD)는 임무일 최종 비행 후 또는 다음 임무의 첫 비행 전 수행하는 정비로 최소의 항목으로 미 수행 시 발생 가능한 치명적인 결함을 사전 검사하여 사고의 위험을 줄이는 점검절차이다. 이를 위해서는 조종사와 정비사의 숙련된 경험이 무엇보다도 중요하며 원활한 임무 수행을 위한 사전 교육에 많은 시간을 투자하고 있다[5].

그림 1은 KUH-1의 일일정비 점검절차를 위한 점검 방향 및 구역을 나타내고 있다. 최종 비행 후 다음 임무일 첫 비행 전 반드시 수행해야하는 최소한의 정비 절차로 1~6구역으로 나뉘며 2명이 팀을 이루어 수행한다.

Fig. 1.

Preventive Maintenance Daily(PMD) for rotary wing aircraft maintenance(KUH-1)

각 구역은 전방동체, 중앙동체, 전이부, 테일 붐, 테일 로더, 상부 데크로 나누고 세부 체크리스트를 사용하여 점검을 실시한다.

Ⅲ. XR기반 PMD 교육체계 적용 기술 분석

XR 기반의 일일정비 점검절차 교육훈련체계를 구축하기 위해서는 대상 모델에 대한 3차원 콘텐츠의 사실적 표현을 어느 수준으로 할 것인지에 대한 기술적 분석이 중요하다. 훈련생은 육안검사, 촉수 검사를 통하여 스크레치 발생, 찍힘 발생, 균열 발생, 스크루 풀림, 리벳 이탈 등 고장 상황에 대한 불량 유무를 점검하며, XR기반의 PMD 교육을 위해서는 각 모델에 대한 상세 모델링 및 상호작용 기능 적용은 매우 중요한 문제일 것이다. 이를 위해서는 대상 모델을 2D 기반의 메타데이터 생성 및 메타데이터를 이용한 3차원 객체 생성기술을 통하여 실현할 수 있다.

3-1 3D 표현을 위한 2D 기반 메타데이터 기술 적용

그림 2는 KUH-1에 대한 2차원 메타데이터 생성 절차를 나타내고 있으며, ① 점검 Check List를 통하여 3D 콘텐츠 대상을 선정하고, ②시스템 메타데이터를 생성한 후, ③시스템 메타데이터를 상세화하여 서브시스템에 대한 메타데이터를 설계한다. 상태정보를 관리하기 위한 데이터연동 시스템 구조를 설계 한다. 2D 메타데이터 생성은 교관통제기로부터 일일정비 점검절차에 필요한 육안검사(Visual Inspection), 촉수검사(Touchable Inspection)를 위한 상황부여가 가능하도록 콘텐츠를 분류하는 것이 중요하며 네트워크를 통한 데이터 전송 모델(XOM: eXchange Object Model)의 속성 상태정보로 사용되어 연동을 위한 인터페이스 정보를 제공한다.

Fig. 2.

KUH-1 Metadata Generation Procedure

그림 3은 KUH-1의 정비 구역별 메타정보를 관리하기 위한 양식 파일로 6개 구역에 대해 4단계의 단계코드를 부여하여 각 구성품에 대한 코드를 생성하였다. 각 코드값은 구성품에 대한 3D 콘텐츠 모델링 번호, 디지털 모델(모의 엔진) 클래스 ID, 네트워크 연동을 위한 객체 ID(XOM)로 동일하게 사용하도록 하였으며, 물리 엔진을 사용하는 훈련기의 모델 상태변화 및 점검절차 체크 리스트(Check List)의 항목 번호와 호환되도록 하여 시스템 상호 운용성을 확보하여 향후 유지보수 및 시스템 확장성을 보장하도록 설계하였다.

Fig. 3.

2D Metadata Form Files by Maintenance Area

3-2 2D 기반 메타데이터의 3D 변환 기술 적용

그림 4는 네트워크를 통하여 수신한 2차원 메타데이터(XOM) 정보를 가지고 동적으로 3차원 적용을 위한 변환 절차를 나타내고 있다. ① KUH-1에 대한 2D 메타데이터를 로딩하여 3D 변환을 위한 오브젝트 정보를 획득하고, ② PMD를 위한 항공기에 대한 모델링을 한다. ③ 모델링된 데이터를 실체화하고 2D 메타데이터를 기반으로 객체의 상태 및 이벤트 정보를 모의해야 한다. 또한, 초기 시나리오에 정의된 상태정보 및 실시간통제기를 통하여 설정된 상태 값의 변경이 가능해야 한다. ④ 시뮬레이션 엔진을 통하여 모의 된 정보는 데이터연동 시스템을 통하여 훈련기(XR)에 전송하는데 이때 협업을 위한 다중접속이 가능하도록 알고리즘을 개발하여 적용하며, 마지막으로 모의 엔진에서 수신된 객체정보를 물리 엔진(Unity3D)을 통하여 가시화하도록 설계를 하였다.

Fig. 4.

Procedure for generating 3D models of 2D-based metadata

Ⅳ. XR기반 PMD 교육체계 구성

효과적인 XR 기반의 일일정비 점검절차(PMD) 교육을 위해서는 무엇보다도 현실의 상황을 얼마나 사실적으로 표현할 수 있는지? 현실에서 경험하기 어려운 다양한 상황을 가상환경에서 어떻게 표현해야 하는지? 에 대한 요구 분석이 면밀히 이루어져야 한다. 이를 위해서 교관은 다양한 상황을 실시간에 부여할 수 있어야 하며 훈련통제기는 변경된 상황을 실시간으로 적용하여 표현 가능해야 한다.

4-1 KUH-1 PMD 교육훈련 체계 시스템 구성

그림 5는 XR 기반의 KUH-1 일정비 점검절차(PMD) 교육훈련체계를 위한 시스템 구성으로 다자간 동시 협업 프레임워크(UTOES: 시뮬레이션 엔진)을 중심으로 훈련생, 교관 관리, 훈련 이력 관리, 훈련 시나리오 관리를 위한 자료관리 시스템과 교육 시작/종료, 실시간 상황부여를 위한 훈련 통제시스템, 훈련생의 훈련 상황을 전시하기 위한 통합 관제 시스템, 훈련 결과를 분석 평가하기 위한 훈련 분석 시스템으로 구성되어 있다.

Fig. 5.

XR (eXtended Reality) based Preventive Maintenance Daily(PMD) education training system system configuration diagram

또한, 훈련생이 KUH-1 일정비 점검절차(PMD)를 수행하기 위한 훈련기를 포함하며 동시에 다수의 훈련생에 대한 교육이 가능하도록 구성하였다.

4-2 자료관리 시스템

그림 6은 교관이 사용하는 자료관리 시스템으로 자료 항목 전환, 교관 정보 관리, 훈련생 정보 관리, 훈련 이력 관리, 시나리오 관리, 검사항목 설정 기능을 포함한다.

Fig. 6.

Data Management System Configuration Screen

그림 7은 교육훈련을 위한 준비 단계에서 PMD를 위한 구역별 검사항목에 대한 점검사항 내용을 설정하는 화면으로 검사내용에 따라서 스크래치 발생, 찍힘 발생, 리벳 이탈 및 경첩 정렬 불량, 2단 고정지지대 불량, 구성품 장착 스쿠루 풀림, 커넥터 풀림 등 상태를 설정할 수 있는 기능을 제공한다. 일일정비 점검절차에 대한 상황조성을 위해서 교관이 상태를 설정하고, 설정된 점검 상태는 시나리오 관리 기능을 통해서 저장/편집/삭제가 가능하도록 기능을 제공하고 있으며 다자간 동시 협업 프레임워크(모의엔진)을 통하여 해당 모델의 상태 값으로 변환되어 관리된다. 시나리오의 각 점검 항목은 교관에 의해서 수동 설정이 가능하고 다수의 훈련 결과 분석을 통한 자동추천이 가능하며, 난이도별 설정을 통하여 초급/중급/상급자에 따라 수준별 교육이 가능하도록 기능을 제공하였다.

Fig. 7.

Preventive Maintenance Daily(PMD) check item setting screen

4-3 훈련 통제시스템

그림 8은 교관이 사용하는 교육통제 시스템으로 훈련생 점검구역 배정, 훈련통제, 화면제어, 구역별 점검결과 확인, 구역별 검사항목 확인, 훈련 추천 기능을 포함한다. 교관은 훈련생의 난이도에 따라 자료관리 시스템에서 생성한 시나리오를 선택 가능하며 훈련생의 점검구역에 따른 구역 지정이 가능해야 한다. 또한, 실시간에 훈련생의 훈련 진도 현황을 모니터링하여 점검 항목에 대한 상태정보를 변경하여 상황부여가 가능하도록 기능을 제공한다.

Fig. 8.

Training control system configuration screen

4-4 통합 관제 시스템

그림 9는 교관이 사용하는 훈현 통합 관제 시스템으로 훈련생 정보 표시, 관제 화면제어, 교관 메시지, 구역 구분, 점검절차 리스트 확인 기능이 가능하다. 통합 관제 시스템의 관제 화면은 교관을 위한 별도의 화면을 제공하여 교관의 시점에서 PMD를 위한 점검 항목을 사전 관제가 가능해야 하고, 대형 화면에 훈련생 시점의 화면을 제공하여 훈련 중인 훈련생의 점검 위치 및 실시간 점검내용을 관제할 수 있는 기능을 제공한다.

Fig. 9.

Integrated control system configuration screen

4-5 KUH-1 일일정비 점검절차(PMD) XR 훈련기

그림 10은 훈련생이 사용하는 KUH-1 일일정비 점검절차 XR 훈련기로 항공기 동체 및 구성품을 3D로 가시화하고 점검절차 실시하는 화면으로, 육안/촉수 확인 기능 및 상호작용, 동시 협업 기능을 사용하여 일일정비 점검을 수행하고, 그 결과를 체크리스트에 기록하여 훈련을 진행한다. XR 훈련기는 자료관리 시스템 및 교관이 설정한 일일정비 점검 항목을 3D로 가시화하고, 훈련생은 HMD를 통하여 가상의 환경에서 실제와 유사한 상황을 부여받는다.

Fig. 10.

Preventive Maintenance Daily XR Trainer Screen

이를 위해서 2D 기반 메타데이터의 3D 변환 기술을 적용하여 현실 세계와 동일한 구성품 및 상황부여가 가능하도록 기능을 제공하였으며 물리엔진(Unity3D)을 사용하여 가시화를 하였다.

이때 훈련생의 몰입감을 높이기 위해서 실 구성품과 동일 크기의 모델을 생성하고 현실 세계와 유사한 재질을 적용하였으며, 화면 재생속도를 고려한 최적화를 실시하였다.

훈련생이 일일점검 절차에 대한 효과적인 교육을 위해서는 얼마나 가상환경에 몰입(Immersion)할 수 있는지?, 얼마나 능동적(Active)인 행동을 통하여 상황판단이 가능한지?, 가 매우 중요한 요소가 된다. 본 연구에서는 훈련자가 가상환경에 몰입하여 능동적인 행동이 가능하도록 대상 항공기인 KUH-1의 실제 크기 및 공간을 가상환경에 동일하게 매핑(Mapping) 하도록 하여 몰입감을 극대화하였다. 그림 11은 가상공간 좌표를 매핑하기 위해 실험하고 있는 화면으로 KUH-1 항공기와 동일 크기의 공간을 확보하여 실험을 진행하였다.

Fig. 11.

GIS Spatial Mapping and Free Space Movement Experiment Screen for XR Trainer

4-6 훈련 분석 시스템

그림 12는 교관이 사용하는 훈련 분석 시스템은 훈련 분석 및 시나리오 생성을 위한 점검 항목 추천, 훈련 결과 조회, 훈련 분석 기능을 제공한다.

Fig. 12.

Training Analysis System Configuration Screen

훈련 분석 시스템은 일일정비 점검절차(PMD)를 위한 점검 항목에 대해서 육안 검사 및 촉수 검사를 실시하고 교육생의 검사 결과를 가상 공간상에서 체크리스트에 기록하도록 기능을 제공한다. 교관은 현실 세계에서 경험하기 어려운 다양한 상황을 부여하고 교육생의 점검실시 결과와 비교해서 자동 평가 및 분석을 실시한다. 분석 결과는 훈련 시나리오별, 점검 항목별 분석이 가능하며 분석 결과가 반영된 자동추천 기능을 통하여 새로운 시나리오를 생성할 수 있는 기능을 제공한다.

Ⅴ. 구현 결과

그림 13은 VR 기반 회전익 항공기 PMD(일일정비 점검절차) 교육훈련 체계 운용을 위한 실험 화면으로 초기 항공기 상태 전시화면, 교육생 점검 항목 체크리스트 작성 화면 및 훈련 진행 상황 전시, 전문가 체험 화면이다. 시험은 자료관리 시스템에서 생성한 일일정비 점검 시나리오를 기반으로 실시하였으며, 스크레치, 찍힘, 균열에 대한 육안검사 점검 상황을 부여하고 리벳 풀림 및 이탈에 대한 촉수 검사 상황을 부여하여 실시하였다. 구현 결과 시험을 통하여 자료관리 시스템에 의한 교육생 정보 관리 및 시나리오 생성 기능을 확인할 수 있었으며, 다자간 동시 협업 프레임워크(모의엔진)을 통하여 시나리오의 실행 및 실시간 교육생 정보 연동 기능에 대한 기술적용 가능성을 확인하였다. 또한, 2D기반 메타데이터를 활용하여 모델링 및 시뮬레이션이 실행 가능함을 확인하였으며, 연동된 모델의 메타정보를 가상환경에 3차원 모델로 실시간 반영하여 기술적용 가능성을 확인하였다.

Fig. 13.

Training Result Test Screen

Ⅵ. 결 론

육군 기동헬기, 해병대 상륙 기동헬기, 의무후송 헬기, 경찰 헬기 등 다양한 임무를 수행하고 있는 수리온(KUH-1)의 일일정비 점검절차(PMD)를 XR 기술을 융합하여 시·공간 제약이 없이 다양한 환경 연출이 가능하고 기존에 경험하기 힘든 현실 상황을 부여하여 실질적인 교육 훈련 방법을 제시하였다. 이를 위해서 대상 모델(KUH-1)에 대한 3차원 콘텐츠의 사실적 표현(육안검사, 촉수검사)을 통하여 스크레치 발생, 찍힘발생, 균열 발생, 스크루 풀림, 리벳 이탈 등 고장 상황에 대한 불량 유무 점검 훈련이 가능함을 확인할 수 있었다.

향후 본 연구에서 검증된 XR 기반의 교육훈련 방법을 사용하여 항공기 일일정비 점검절차 교육훈련을 개발하여 적용할 경우, 현실에서 경험하기 힘든 상황을 가상현실에 부여하고 실제 현실과 유사한 환경을 구축하여 조종사/정비사에게 제공함으로써 다양한 전장 환경에 대한 올바른 의사결정 지원에 도움이 되고, 최종적으로는 비행 전/후 철저한 점검능력 향상을 통하여 발생 가능한 치명적인 결함을 사전 검사하여 사고의 위험을 줄이는데 기여할 것이라 예상된다.

Acknowledgments

이 논문은 민군기술협력사업(Civil-Miltary Technology Coperation Program)으로 지원 받았음을 명시( 20-SN-GU-04)

References

• Gartner. Smarter With Gartner [Internet]. Available: https://www.gartner.com/smarterwithgartner/gartner-top-10-strategic-technology-trends-for-2018/, .
• S.H. Bak, H.B. You, T.J. Choi, “Electroshock weapon Training System Using VR Technology,” Journal of Digital Contents Society, Vol. 22, No. 4, pp. 605-610, April 2021. [https://doi.org/10.9728/dcs.2021.22.4.605]
• S.H. Bak, H.B. You, J.H. Bae, “VR based Multi-Collaborative Education System by Combat Situation”, Proceeding of KIIT Conference, pp. 504-506, June 2019.
• S.H. G.Y. Yun, J.H. Bae, “Implementation of Portable SAM Training System for Virtual Reality Technology”, Proceeding of KIIT Conference, pp. 115-156, June 2018.
• J.Y Park, J.H Lee, S.M Lee, Y.H Lee, H.J Jung, “Suggested Application of the Army Aviation 2nd Stair Maintenance Support System,” ,The Korean Society for Aeronautical & Space Sciences, KSAS 2020 Spring Conference, pp. 784-785, 2020.
• J. Chae, “Study on Firefighting Education and Training Applying Virtual Reality”, Fire Sci. Eng., Vol. 32, No.1, pp. 108-115, 2018. [https://doi.org/10.7731/KIFSE.2018.32.1.108]
• M. Bink, V. Ingurgio, D. James, J. Miller II, Training Capability Data for Dismounted Soldier Training System, Defense Technical Information Center, 2015.
• C. Li, W. Liang, C. Quigley, Y. Zhao and L, Yu, Earthquake Safety Training through Virtual Drills, in IEEE Transactions On Visualization and Computer Graphics, Vol. 23, No.4, pp.1275-1284, 2017. [https://doi.org/10.1109/TVCG.2017.2656958]