확장현실(XR) 기반 대함레이더 교육훈련체계 운용효과 평가방안 연구
Copyright ⓒ 2022 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
초록
XR 기술을 기반으로 개발한 “함정용 대함레이더 운용 및 정비 교육체계”의 운용 효과평가에 CIPP 모형과 Kirkpatrick 모형을 적용하는 방안을 제시하였다. 사업 전반에 대한 포괄적 평가에는 CIPP 모형을, 훈련 후 구체적 성과평가에는 Kirkpatrick 모형을 활용하는 방안이 바람직하며, 특히 Kirkpatrick 모형을 CIPP 모형의 결과평가에 하위단계로 결합하게 되면, 전반적인 교육훈련체계의 장단점, 보완사항 도출과 성과평가를 효율적으로 수행할 수 있을 것으로 판단된다. 아울러 XR을 적용한 교육훈련체제 정착과 학습효과 제고에 기여할 수 있도록 부대훈련 및 XR, 레이더 전문가 등으로 사전평가단, 훈련감독관, 반응평가관 등을 편성, 운용하는 방안과 XR 교육훈련체제의 특성을 반영한 사전평가, 교육감독, 반응평가 등의 수행방안을 제시하였다.
Abstract
A plan was proposed to apply the CIPP model and Kirkpatrick model to the evaluation of the operational effectiveness of the "Surface Search Radar Operation and Maintenance Education System" developed based on the XR technology. It was judged that it would be desirable to use the CIPP model for comprehensive evaluation of the project and Kirkpatrick model for specific performance evaluation after training. In particular, if the Kirkpatrick model is combined with the result evaluation of the CIPP model in a lower stage, it is possible to efficiently derive the advantages and disadvantages, supplementation, and performance evaluation of the overall education and training system, In addition, in order to contribute to the establishment of the XR education and training system and improvement of learning effects, the military unit training, XR, radar experts, etc. were organized and operated, and pre-evaluation, education supervision, and response evaluation reflecting the characteristics of the XR education and training system were presented.
Keywords:
Surface Search Radar, Extended Reality, Effectiveness evaluation, CIPP, Kirkpatrick키워드:
대함레이더, 확장현실, 효과평가Ⅰ. 서 론
XR(eXtended Reality)이란, 가상현실(Virtual Reality)과 증강현실(Augmented Reality)을 아우르는 혼합현실(Mixed Reality)을 가능하게 하는 기술을 총망라하는 용어이다. 특히, 3차원 공간에서의 상호작용·경험을 가능하게 하여 비대면 서비스에서의 현실적인 몰입도를 증대시킬 수 있는 기술로 주목받고 있다[1]. XR 기술의 이러한 특징을 기반으로 하는 다양한 교육훈련체계가 개발되고 있으며 구체적인 운용효과를 검증할 수 있는 연구도 활발히 이루어지고 있지만, 군사용 교육훈련체계를 대상으로 하는 연구는 드문 실정이다. 본 논문에서는 “XR 기술을 기반으로 개발하는 함정용 대함레이더 운용 및 정비 교육체계”(이하 “XR 기반 대함레이더 교육훈련체계”로 부른다.)를 야전 부대에 성공적으로 정착시키고 그 효과를 검증할 수 있는 평가방안을 제시하였다.
Ⅱ. XR기반 대함레이더 교육훈련체계 개요
2-1 함정용 대함레이더 구성
함정용 대함레이더 세트(SPS-95K)는 ’07년에 개발되어 함정 및 육상기지에서 적 함정 식별용으로 운용하고 있으며, <그림 1>과 같이 레이더 송수신기, 원격 운용기, 레이더 안테나, 레이더 전시기, 안전 스위치 등으로 구성되어 있다[2].
2-2 XR 기반 대함레이더 교육훈련체계 도입 필요성
이 장비는 향후 후속 레이더 도입 시까지 계속하여 운용될 장비로서 장비 운용 및 정비 교육이 반드시 필요하다. 그러나 장비 가격이 고가이고 장비의 규모가 커서 교육부대에서 실제 장비를 활용한 운용 및 정비 교육에 제한이 많아서, 모의장비형 CBT를 별도로 개발하여 교육용으로 운용하여 왔다.
최근 XR 관련 기술의 발전으로 교육 효과가 매우 높은 장비 운용 및 정비 교육 수행이 가능하게 되었기 때문에, 현재 모의 장비형 CBT 장비를, XR 관련 기술을 기반으로한 새로운 체계로 대체하기 위해 새로운 교육훈련체계의 군 교육 적용 가능성 및 적용 절차 등에 관한 검증이 필요하였다.
2-3 XR 기반 대함레이더 교육훈련체계 구성
본 교육훈련체계는 <그림 2>에서 보는 바와 같이 다자간 멀티협업 서버를 기본으로, 훈련기 SW와 교관 통제기 SW로 구성되어 있다. 다자간 멀티협업 서버의 경우 XR 기술을 활용하여 다자간 멀티협업 훈련지원 기능을 수행하는데, 공간/객체 동기화 기능 및 데이터관리 기능, 네트워크 관리 기능이 가능하도록 구성하였다[2].
훈련기 SW는 <그림 3>에서 보듯이 훈련생이 XR 디바이스를 사용하여 실제 대함 레이더를 운용하고 정비하는 절차를 훈련할 수 있는 내용으로 구성되어 있으며, 교관 통제기 SW는 훈련생에게 필요한 훈련 시나리오 부여 및 훈련 통제, 강평 시스템 등으로 구성되어 있다.
2-4 적용 및 파급효과
XR 기반 대함레이더 교육훈련체계는 레이더 세트 운용 교육용이나 레이더 세트 정비 교육용으로 활용할 수 있다. SW초급 수준의 운용 및 정비 요원에 대한 현장감 있는 실습여건 보장으로 운용 및 정비 품질과 전문성 향상이 가능하고, 장비의 규모 또는 고가의 비용으로 인해 실제 장비를 교육훈련부대에 배치하거나 구축하기 어려운 경우 XR 기술을 활용하여 실제와 유사한 형태로 교육하여 장비 실습 효과 향상이 가능하다. 또한, 교관과 여러 교육생이 동시에 접속하여 실제 함정에서 배치 및 운용하는 방법과 동일한 교육을 통한 실전적 교육훈련까지 가능하다.
특히 기존의 장비 운용 및 정비체계 숙지를 위한 교육 프로그램의 경우 대상 장비가 고가이거나 장비 부족과 준비 시간 부족 등으로 충분한 교육 진행에 어려움이 있었으나, XR을 기반으로 한 교육훈련체계를 활용하면 시공간 제약이 없는 상태에서 충분한 교육이 가능하다.
다양한 문제 상황에 대한 대처가 가능하고 자유로운 훈련시스템 구축으로 군 장병의 작전능력 향상 및 교육훈련 효과 제고도 가능할 것으로 판단하고 있다. 또한, 각종 전장 환경을 가정한 시나리오 구현이 가능하여 다양한 상황을 가정한 운용 및 정비 훈련이 가능하고, 실전의 응급상황에서 바로 대응할 수 있는 대응 시스템 구축으로 피해를 최소화할 수도 있다.
Ⅲ. XR 기반 대함레이더 교육훈련체계 평가 방안
3-1 교육훈련체계 평가 모형
교육훈련체계 평가에 대한 개념이 점차 중요해지면서 교육훈련체계의 다양한 효과를 측정하기 위한 많은 평가모형들이 제시되어 왔다. 이러한 평가모형들은 교육훈련 전 단계의 운용에 초점을 맞추는 과정 지향적 평가모형과 교육훈련체계의 운용 결과에 초점을 맞추는 결과 지향적 평가모형으로 구분할 수 있다[3].
과정 지향적 평가모형은 Stufflebeam의 CIPP 모형(Context-Input- Process–Product)이 대표적이며, 교육훈련 활동의 전 과정을 총괄적으로 살펴볼 수 있다는 장점을 갖고 있다. 교육훈련체계 계획 단계에서 목표를 설정하고 구성하는 결정과 관련된 상황평가, 설정된 목표와 요구를 성취하는 데 필요한 수단을 구체화하기 위한 투입평가, 설계한 대로 실천하기 위한 결정과 관련된 과정 평가 등을 포함한다[4].
결과 지향적 평가모형은 Kirkpatrick의 4단계 평가모형이 대표적이며, 교육훈련 프로그램 종결과 함께 그 성과를 교육과 학습의 논리에 따라 순차적으로 가늠하게 해준다는 점에서 교육훈련 프로그램의 객관적인 성과를 평가할 수 있다. 교육 후 만족도를 평가하는 반응평가, 학습 목표의 달성 여부를 평가하는 학습평가, 교육 후 현업 적용도를 평가하는 행동평가, 조직에 공헌도를 평가하는 결과평가 등으로 구성되며, 현재 기업교육 프로그램 평가에 가장 널리 사용되고 있다[5].
이러한 교육훈련체계 효과 평가모형을 적용한 연구는 다방면에 걸쳐 다양하게 수행되어 왔는데, 대표적인 몇가지 사례를 들면 배광민 외(2016)[6], 이혜선 외(2020)[7], 장혜정 외(2016)[8], 김소영 외(2011)[9], 김소연(2019)[10] 등을 들 수 있다.
3-2 XR 기반 교육훈련체계에 효과 평가모형 적용 방안
XR 기반 대함레이더 교육훈련체계의 운용효과 평가에서는 교육훈련 전반을 포괄적으로 점검하면서도 훈련의 성과를 체계적으로 평가하는데 적합한 평가모형의 적용이 필요하다. 따라서 본 연구에서는 포괄적이고 전반적인 평가에는 CIPP 평가모형을, 훈련 후 체계적 성과평가를 위해서는 Kirkpatrick 모형을 함께 활용할 것을 제안하였다. 특히, Kirkpatrick 모형을 CIPP 모형의 산출평가에 하위단계로 결합하게 되면, 군부대 교육훈련의 특징을 반영한 전반적인 교육훈련체계의 장단점, 보완사항 도출과 교육훈련 성과평가를 상세히 수행할 수 있는 장점이 있을 것으로 판단된다.
3-3 효과 평가 수행 방안
구체적인 효과평가 수행방안은 다음과 같다. 먼저 효과평가의 큰 틀은 CIPP 평가모형에 따른다. 먼저 상황평가를 통해 교육훈련 요구를 파악하고, 이를 충족시키기 위한 자원과 전략 선정을 위해 투입평가를 실시한다. 교육훈련 실제 운영과정의 개선을 위해 과정평가를 실시하고, 교육훈련 실천의 효과성을 확인하기 위해 산출평가를 실시하게 된다. 여기서 산출평가 결과의 충실도를 향상시키기 위해서 Kirkpatrick 평가모형의 반응평가와 학습평가 등을 접목하여 실시하고, 전체 평가 결과를 종합하여 최종 결론을 도출하게 된다[9]. 특히, 이번 평가방안 연구 대상인 XR 기반 대함레이더 운용 및 정비교육체계는 교육목표를 포함한 대부분의 교육훈련쳬계가 이미 구축되어 있는 상태에서, 교육훈련 효과를 증진시키기 위하여 XR 기반의 교육훈련체계를 도입하는데 따른 효과와 애로사항 해결이 핵심 과제라 할 수 있다. 따라서 XR 기반 교육훈련체계 도입을 위한 제반 사항(여건 조성과 준비사항, 효과적인 운용 등)을 점검하고, 보완방안을 제시할 수 있는 교육훈련 평가방안 제시가 필요하다. 다시 말하면 평가모형에서 제시한 다양한 평가사항 중 군부대 훈련 프로그램에 적용 할 수 있는 항목을 선정하고, 이를 부대 교육훈련체계에 접목하여 평가방안을 도출해야 한다. 평가는 검토 중인 5단계의 평가를 실시하되, XR 기반 교육훈련체계와 부대 업무의 특수성을 고려하여 용이하게 수행할 수 있는 방안을 선택해야 한다. 평가 시기는 교육훈련 준비단계에서부터 교육훈련 종료 시까지 전 단계에서 적절한 시기를 선정하면 된다. 평가 내용은 일반적인 교육훈련 평가 시 수행하는 내용에 XR 기반 교육훈련체계 운용 관련 사항을 중점적으로 추가하는 것이 바람직하다. 평가 실시방안에는 각 단계별 평가의 평가 목적, 평가 시기, 주요 평가 내용, 평가 방법, 평가 결과 활용 등을 제시하였는데 주요한 내용을 정리하면 <표 1>과 같다.
3-4 평가 준비 및 조치사항
실제로 교육훈련체계 성과평가를 수행하기 위해서는 <표 1>에 제시된 바와 같이 평가단(사전평가단, 훈련감독관 등)을 편성하고, 평가점검표(사전평가, 훈련감독, 반응평가 등)를 작성하며, 학습평가를 위한 데이터 수집 및 분석방안 등을 세부적으로 발전시키고 준비해야 한다.
사전 평가단은 부대훈련 전문가(XR 적용 경험자), XR 전문가(개발업체 전문인력 포함), 레이더 운용/정비 전문가 등 2~3명으로 구성으로 구성한다.
제기된 문제점을 개선할 수 있도록 충분한 시간을 확보하고, 필요시에는 2~3회까지 운용할 수도 있다.
훈련감독관은 기존의 훈련감독관을 활용하되 XR 교육훈련 유경험자를 우선하여 편성한다. 교육훈련 현장에서 문제점을 파악하고 교관과 협조하여 대책을 강구한다. 도출된 문제점 및 개선사항은 종합하여 차후 훈련계획에 반영한다.
반응 평가관은 수업진행 보조(부) 교관을 활용하여 설문지를 준비하고 배포 및 분석할 수 있는데, 필요하다면 교육훈련 중반과 종료 시 등 2회 정도 작성하면 효과적일 수도 있다. 평가 결과 만족도가 낮은 항목은 원인을 분석하여 개선방안을 강구해야 한다.
학습 평가관은 교관단에서 업무를 분담하여 학습평가 업무를 수행한다. XR 기반 교육훈련체계의 교관통제기에서 제시되는 학생 개인별/실습과제별 실습 결과를 상세하게 분석하여 실습과제별 난이도를 판단한 후, 다음 교육훈련 시에 참고하고 XR 기반 교육훈련체계 수정 보완에 반영한다.
평가점검표에는 사전평가 점검표, 교육감독 점검표, 반응평가용 설문지 등이 포함된다.
사전평가 점검표는 XR 기반 교육훈련체계의 필요성 분석 및 교육훈련 목표 설정 여부, XR 기반 교육훈련체계 구성 내용 적절성 검토 여부, 교육훈련 콘텐츠별 XR 장비(MR, VR, AR)의 적합성 검토, XR 기반 교육훈련체계 운용 여건 구비 등을 점검하기 위한 내용들을 포함하는데 구체적인 내용은 <표 2>에 제시된 바와 같다[11].
동일한 방법으로 교육감독 점검표에는 교육훈련 계획의 적절성, 교육훈련 진행실태, 효과적인 실습 진행 여부, XR 기반 교육훈련체계 활용 실태 등을 평가할 수 있는 내용을 포함하고, 반응평가용 설문지는 교육내용의 적절성, 교관 능력 및 태도, XR 기반 교육훈련체계 운용 여건, 실습 여건, 종합 의견 등을 확인할 수 있는 내용으로 준비한다.
학습평가 데이터 수집은 교관통제기에서 세부 실습 항목별, 실습내용별 난이도를 파악하여 차후 실습시간 배정 등에 반영하며, 교육생별 실습상황을 종합하여 실습 수준을 파악하고, 필요하면 보충교육을 실시한다.
주요 분석 내용은 실습 항목별로 교육생 개인별 합격률과 실습 횟수 등을 집계하여 분석하고, 실습 항목별로 교육생 전체의 합격률과 실습 횟수 등을 집계하여 분석한다. 분석 결과를 활용하여 실습 항목별 난이도를 판단하고, XR 기반 교육훈련체계의 수정, 보완 및 실습 항목별 실습 시간 조정에 활용한다. 교육생별 학습 성취도를 파악하여 저조한 교육생의 수준 향상 대책을 강구한다.
Ⅳ. 결 론
본 연구에서는 다양한 교육훈련체계를 도입하면서 단편적으로만 이루어졌던 효과평가에 대하여 대표적인 교육훈련 평가모형 적용방안을 제시하였다. 포괄적이고 전반적인 평가에는 CIPP 평가모형을, 훈련 후 체계적 성과평가를 위해서는 Kirkpatrick 모형을 함께 활용하는 방안으로, 특히 Kirkpatrick 모형을 CIPP 모형의 산출평가에 하위단계로 결합하게 되면, 군부대 교육훈련의 특징을 반영한 전반적인 교육훈련체계의 장단점, 보완사항 도출과 교육훈련 성과평가를 상세히 수행할 수 있는 장점이 있을 것으로 판단된다. 제시된 평가방안을 적용하면 XR 기반 대함레이더 교육훈련체계 등 XR 기술을 기반으로 개발되는 군사용 교육훈련체계를 조직의 임무 달성에 기여할 수 있는 효과적인 수단으로 정착시키는 데 유용하게 활용할 수 있을 것이다.
Acknowledgments
본 연구의 대상인 확장현실(XR) 기반 대함레이더 교육훈련체계는 국방과학연구소 민군협력진흥원의 민군 기술이전 사업으로 추진되었습니다. 관계기관 지원에 감사드립니다.
References
- S. H. Bak, S. Y. Lee, J. H. Bae, “eXtended reality–based Ship-to-ship radar education and training system design,” in Proceeding of the Korea Multimedia Society Conference Vol.24, No.2, D-04, pp. 7-8, Nov. 2021.
- Utobiz, “Development of Training System for Operation and Maintenance of Ship-to-ship Radar [SPS-95K] Using MR/VR Technology” System Requirement REview(SRR), pp. 11-57, Feb. 2022.
- J. Lee, An Empirical study on the Outcomes about the Job Training Education for the Social Service Personnel, Ph.D. dissertation, Pyeongtaek Univ., Gyungido, 2013. pp.28-45.
- D.J. Stufflebeam, THE CIPP MODEL FOR EVALUATION: An Update, a Review of the Model’s Development, a Checklist to Guide Implementation, Annual Conference of the Oregon Program Evaluators Network. Portland, 2003. [https://doi.org/10.1007/0-306-47559-6_16]
- D.L.Kirkpatrick, Evaluating Training Programs: The Four Levels, Berrett-Koehler Publishers, San Francisco, CA, 1996,
- G. M. Bae, Y. H. Park, “A study on measures to improve training implementation at job-related training institutes in occupational safety and health based on CIPP model.” KSLP, vol.18, no.1, pp. 57-84, June 2016.
- H. S. Lee, S. Y. Kim, “Career-related reaction evaluation on a virtual training system for automobile maintenance vocational training.”The Journal of Educational Information and Media Vol. 26, No. 3, pp. 625-645, Sep. 2020. [https://doi.org/10.15833/KAFEIAM.26.3.625]
- H. C. Chang, J. S. Kim, “Performance Evaluation of Vocational Education and Training Program for Working and Learning Dual System.”Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, Vol. 6, No. 9, pp. 353~364, Jul.2016. [https://doi.org/10.35873/ajmahs.2016.6.9.033]
- S.Y. Kim, Y. M. Lee, Y.S. Choi, S. M. Hong, “Evaluation Research on the Outcomes of Consortium Training Programs for Small and Middle-sized Corporations by Using CIPP model and Kirkpatrick's Model”, The Journal of Vocational Education Research, Vol.30, No.1, pp. 51-74, 2011.
- S.Y.Kim, Study on Development of Forest Education Evaluation Index using CIPP Model and AHP, Ph.D. dissertation, Kangwon Univ., Kangwondo, 2019.
- G.M. Bae, H.J. Woo, M.R.Choi, G.S.Yoon, “Diagnosis and Improvements Plan Study of CIPP Model-based Vocational Competency Development Training Teacher Qualification Training” The Journal of Vocational Education Research, Vol.36, No.2, pp. 6-10, 2017 [https://doi.org/10.37210/JVER.2017.36.2.51]
저자소개
2007년 : 공주대학교 영상예술대학원 (공학석사)
2016년 : 부산외국어대학교 대학원 (ICT창의융합 공학박사)
2012년~2017년: 아이에이치테크 이사
2017년~현 재: (주)유토비즈 기업부설연구소 소장
※관심분야 : HCI, 빅데이터, ICT융합, 가상현실, 증강현실, 인터랙티브 등
2013년 : 한남대학교 국방전략대학원 (공학석사)
2018년 : 공주대학교 대학원 군사 과학 정보학과 (공학박사)
1998년~2002년: 군인공제회 C&C 선임연구원
2003년~2017년: M&D정보기술/ARES 개발부 이사
2017년~현 재: (주)유토비즈 대표이사
※관심분야 : 국방M&S, 데이터연동, 워-게임, 가상현실 등