국방분야 실감미디어 기술에 대한 고찰과 국방 교육훈련 분야에서의 활용방안
Copyright ⓒ 2023 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
초록
코로나 19로 인한 사회적 거리두기와 급속한 비대면 사회로의 변화는 군의 교육훈련에도 큰 패러다임의 변화를 가져다주었다. 실전에 대비한 대규모 기동훈련을 모의로 실행하거나 축소 혹은 취소하는 등 비대면 환경과 금전적인 문제 등 실전적인 훈련을 실시하기에 많은 어려움에 직면하였다. 최근 발표된 국방혁신 4.0에서도 유·무인 전투체계를 기반으로 과학기술강군을 육성하는 아미타이거 개념을 개발하고 있으며 군 병력 감축과 함께 교육훈련을 위한 시간과 예산이 실질적인 훈련을 하는데 많은 문제점을 동반하고 있으며 이는 장기적으로 국방력의 약화를 초래할 것으로 판단하고 있다. 이러한 현실을 직시하여 본 논문에서는 현재 봉착된 문제점을 극복하기 위해 미국에서 고민하였던 문제들을 해결하기 위해 제안된 기술인 증강현실과 메타버스 기술에 대해 분석하고 현재 우리 군에서 실시하고 있는 교육훈련에 대해 분석하고 근 미래에 계획하고 있는 방안을 통하여 현재의 교육훈련체계에 언급된 기술들을 어떻게 적용할지와 그 기대효과를 제시한다.
Abstract
Social distancing and rapid changes to a non-face-to-face society due to COVID-19 have brought about a major paradigm shift in military education and training. There are many difficulties in conducting practical training, such as a non-face-to-face environment; financial problems; and mock execution, reduction, or cancellation of large-scale maneuver training in preparation for actual combat. Under Defense Innovation 4.0, the Army Tiger concept is being developed to foster a strong science and technology force based on manned and unmanned combat systems. However, it may weaken national defense capability in the long run. Faced with this reality, this study analyzed augmented reality and metaverse technologies, which were proposed to solve the problems contemplated by the United States, and analyzed the current military training. Moreover, future plans to apply these technologies to the current education and training system and their expected effects are presented.
Keywords:
Metaverse, Augmented Reality, Military Defense, Digital Twin, Future War키워드:
메타버스, 증강현실, 국방, 디지털 트윈, 미래전Ⅰ. 서 론
2019년 발생한 유례없는 전염병인 코로나는 우리 삶을 송두리째 바꾸어 놓았다. 접촉이 어려워진 시점에 상호 소통을 필요로 하는 사람은 무수히 많았고 소통을 가능케 하는 기술이 불가피하게 필요하였다. 우리는 그 문제를 해결하기 위해서 가상 공간에서 해답을 찾았다. 현재 IT에서 주목하고 있는 기술인 메타버스는 가상과 우주라는 단어를 합친 합성어이다. 현실 세계의 개개인은 온라인 속 공간인 가상현실에서 아바타 모습을 활용하거나 증강현실을 통한 간접체험을 통하여 현실감 있는 소통을 하고 있다. 5G 기술이 발전되고 가상현실 기술이 발전됨에 따라 메타버스는 디지털 세계에서 블루오션으로 떠오르고 있다. 뿐만 아니라 가상현실과 증강현실을 구현해주는 HMD가 상용화됨에 따라 시장이 활발해졌다. 현실과 가상을 잇는 메타버스 기술은 코로나 시대에 가장 주목받는 기술이다. 현시점에서 메타버스를 통한 몰입효과가 가장 효과적으로 나타낼 수 있는 분야는 교육이다[1]-[3].
메타버스와 실감미디어 기술을 활용한 교육에서 가장 효과적으로 적용할 수 있는 분야는 단연코 군이다[4]. 군에서는 오래전부터 교육훈련을 굉장히 중요시 여겼다. 교육훈련을 통해서 군인들의 능력 퇴화를 방지하였고 빠르게 변화하는 기술에 적응하기 위해서 주기적인 교육훈련이 필요하였다. 그리고 군 스스로의 자율적 통제와 기획능력 그리고 문제가 발생하였을 때 유연하게 대처할 수 있는 조정 능력을 기를 수가 있었다. 무엇보다도 교육훈련을 통해 군인들의 올바른 가치관 확립에 큰 도움이 되었다. 하지만 무엇보다도 군에서 교육훈련을 실시하는 가장 큰 이유는 실전적인 훈련을 해야하기 때문이다. 군의 근본적인 존재 목적은 전쟁 발발시 즉 유사시에 전쟁에서 승리할 수 있어야 한다. 하지만 현실에서 전쟁을 수행하는 것은 불가능한 일에 가깝다. 그렇지만 전쟁에 대비를 하지 않을 수도 없는 실정이다. 그러므로 군에서는 전쟁을 대비하기 위해서 주기적인 훈련을 통해 대비하고 있다. 하지만 실전과 같은 훈련을 표방하고 있긴 하지만 금전적인 문제와 환경적인 문제 등 많은 어려움이 따르는 것이 사실이다.
미군은 2010년부터 미래 군인들의 전투 환경이 어떻게 해야 될지에 대해 논의되어 왔다. 그들이 낸 결론 중에 하나는 각 전투원에게 디스플레이를 장착하여 다양한 정보를 제공해주자는 의견이였다. 현대전에서 가장 중요한 것은 빠른 데이터 유통이라는 것을 미군은 일찍이 깨달은 것이다. 각 전투원들이 필요에 따라 통제하여 눈에 보이는 정보를 빠르게 처리하고 필요한 정보들은 상급부대로부터 얻어 활용한다. 미군은 21년 4월부터 마이크로소프트사와 협업하여 증강현실 홀로렌즈2를 납품받아 활용하고자 한다. 추후 증강현실과 가상현실 관련 기술 그리고 디지털 트윈 기술을 도입하여 가상세계를 구현하여 저비용으로 고효율을 낼 수 있는 체계를 개발하고 있다. 지휘소의 관제 능력과 지휘관의 의사결정 그리고 교육훈련 등에 활용될 것이다. 그에 비하면 우리나라 군의 교육훈련체계에서 증강현실을 활용하는 기술의 수준은 걸음마 수준이라고 볼 수 있다. 군에서는 이러한 현실적인 문제를 해결하기 위해서 22년 5월에 발표된 국방혁신 4.0에 따르면 군대를 과학기술 강군의 전환을 위해 4차 산업혁명의 기술들을 군에 활용하고자 하는 움직임이 대두되고 있다. 무엇보다도 과학적 훈련체계 구축이라는 핵심 키워드 안에는 메타버스와 실감미디어 기술을 적극적으로 교육훈련에 도입하려는 움직임이 녹아들어있다고 할 수 있다. 용사들의 군 복무 기간이 단축됨에 따라 장병의 직무수행 숙련도가 매우 떨어질 것이라고 분석하고 있다. 이 문제를 해결하기 위해서 체계적이고 과학기술이 접목된 훈련체계를 도입하는 것이 현재 군이 당면한 숙제이다.
본 논문에서는 메타버스와 실감미디어 기술의 현재 수준에 대해 분석하고자 한다. 분석된 자료를 바탕으로 국방 분야에서 어떻게 적용할 수 있는지 가능성을 확인 할 것이다. 현재 미군에서 적용하고 있는 메타버스와 실감미디어의 기술 수준과 정책 방향을 확인하여 우리 군에 적용할 때 고려해야 할 다양한 요소들과 적용 후에 발생할 환경적인 문제점들을 분석하고자 한다. 분석된 자료를 바탕으로 차후 한국군에는 어떻게 적용할지에 대한 방향성을 제시하고자 한다. 그리고 적용한 후에 우리 군의 교육체계들이 활용될 청사진을 제시하고자 한다.
본 논문의 구성은 아래와 같다. 먼저 2장에서는 메타버스 기술과 실감미디어 기술 등에 대한 관련 연구를 살펴보고 3장에서는 미군에서 적용하고 있는 기술 사례들을 분석한다. 4장에서는 한국군에서 현재 제시하고 있는 기술들을 확인하고 5장에서는 앞서 설명한 기술들이 적용된 미래의 교육훈련체계의 기대효과를 제시하며 끝으로 6장에서는 논문의 결론을 맺는다.
Ⅱ. 메타버스와 실감미디어 기술 유형 소개
2-1 메타버스
메타버스라는 기술은 초월을 뜻하는 메타 그리고 우주 혹은 세계를 뜻하는 유니버스가 합쳐진 합성어이다. 코로나19라는 바이러스가 현대 사회에서 비대면이라는 트렌드를 몰고오면서 각광받게 된 기술이다. 기존에도 온라인 세계와 같이 현실 세계가 아닌 가상 공간에서 이루어지는 방식은 많았다. 하지만 온라인 공간을 넘어서서 사람들이 다양한 방식으로 온라인 공간을 적극적으로 활용하고 창의적으로 이용함으로써 대면이 꼭 필요했던 학교, 회사, 콘서트, 공연 등과 같이 여러 사람들이 모여 활동했던 것과는 다르게 사람들 각자가 자신의 아바타를 생성하여 학교에서 입학식이나 졸업식 회사에서는 온라인 회의와 같이 활동을 하고 공연을 관람하는 등 가상 공간이 초현실과 같은 실제적인 효과를 내는 기술이다. 메타버스는 1992년 미국의 소설에서 가상 세계를 뜻하는 말로서 처음 언급되어 등장하였다. 최근에는 단순히 가상세계라는 말을 넘어서서 가상과 현실이 유기적으로 작용하여 사회 전반적으로 가치를 창출하는 세상을 의미하기도 한다. 아바타를 통하여 가상공산에서 여러 경험을 체험할 수 있으며 몰입형 인터페이스를 적용하여 몰입에 대한 경험을 강화시킬 수도 있다. 인간을 본 떠 만든 디지털 휴먼을 활용하여 상호 소통을 하거나 다양한 서비스를 제공받을 수 있다. 그리고 가상 현실, 증강 현실, 디지털 트윈 기술 등이 접목되어 메타버스는 미래에 다양한 형태로 변화하여 진화될 것이다[5].
2-2 가상, 증강, 확장 현실(VR, AR, XR, MR)
2016년 포켓몬 고라고하는 모바일 게임은 증강현실을 보여주는 대표적인 게임이다. 현실 속에 모바일에서 구현되는 포켓몬과 위치기반 서비스인 GPS를 연동하여 만든 이 게임은 증강현실이 현실 속에서 가장 잘 구현된 사례라고 볼 수 있다. 이러한 게임 산업에 힘입어 가상현실 기술은 많은 곳에서 각광받게 되었다. 가장 먼저 가상현실(VR : Virtual Reality)은 우리가 현재 존재하고 있는 이 물리적인 공간이 아니라 컴퓨터로 구현한 가상의 환경을 의미한다[6]. 가상현실의 핵심 기술은 주변 환경을 차단하여 사용자가 새로운 세계에 있다는 착각을 불러일으킬만한 몰입감을 주는 것이 핵심이다. 이를 구현하기 위해서 머리에 디스플레이 디바이스인 HMD(Head Mounted Display)를 착용하여야 한다. VR 기술은 초기에 군사적으로 개발되었는데 1940년대 미 공군과 항공산업에서 개발한 항공 시뮬레이터를 시작으로 1960년대 유타 대학에서 HMD를 이용하여 가상현실을 개발하여 오늘날 계속적으로 발전되고 있다.
증강현실(AR : Augmented Reality)은 VR과 다르게 GPS 장치와 관성계를 이용하는 자이로스코프에 따라 위치정보 시스템을 기반으로 사용된다. 앞서 언급된 포켓몬 고와 같이 현실 세계에서 가상의 물체나 정보가 합성되는 것인데 실제 현실과 가상현실이 유기적으로 상호작용하여 나타나게 된다. 실제 사용자가 보고 있는 현실과 더불어서 3차원의 가상 영상을 중첩하여 현실과 가상의 구분이 모호해진다. 증강현실의 시초는 1990년대 보잉의 톰 코델이 항공기 조립을 위하여 가상 이미지를 실제 화면에서 중첩하여 이해하기 쉽게 사용된 것이 최초로 AR 기술이 적용된 사례이다.
확장현실(XR : eXtended Reality)은 현실과 가상세계의 결합과 더불어 인간과 기계 또한 상호 작용하는 현실을 의미한다. 앞서 설명된 가상현실과 증강현실의 모든 기술이 포괄적으로 혼합되고 확장된 기술을 XR이라고 한다. 확장 현실은 현실과 가상 세계간의 상호 작용을 통하여 현실 공간에 배치된 가상의 물체를 손으로 만질 수가 있으며 코로나 19와 같은 상황에서 XR 기술은 디지털 공간에 자료를 띄워 공유하거나 군사적으로 교육 훈련을 시뮬레이션으로 할 수 있다.
최근 실감형 콘텐츠 기술의 발전과 산업체의 관심도 증가로 인해 언급된 기술들을 확장시킨 기술을 혼합현실(MR : Mixed Reality)이라고 한다. MR은 VR이나 AR보다 한 단계 더 나아간 기술이라고 볼 수 있다. 두 기술의 장점만을 합친 기술로서 현실과 가상 공간에서 발생된 정보들을 융합하여 진화된 가상세계를 구현하는 기술로서 기존의 가상 현실 기술에서 인간의 후각과 청각 등에 정보를 추가하여 사용자가 더 많은 정보에 대해 상호 작용할 수 있는 기술이다. 기존의 기술들이 시각에 전적으로 의존하였다면 MR 기술은 시각 외에도 청각 촉각 등과 같은 인간의 오감을 접목시킨 기술로서 현실감을 더욱 구체화 시킨 기술이다.
2-3 디지털 트윈
디지털 트윈(Digital Twin) 개념은 최초 미국의 제너럴 일렉트릭사에서 자사의 엔진, 터빈 등 제품에 디지털 트윈을 적용하면서 알려졌다. 디지털 트윈 이전의 가상 세계를 표현하기 위해 등장한 기술은 CPS(Cyber Physical System) 기술이다. 실세계와 정보통신 기술을 결합한 기술로서 전통적인 임베디드 시스템과는 다르게 컴퓨팅을 활용하여 물리 세계와 상호작용을 하는 체계이다. 이러한 CPS는 지속적으로 변화하는 환경에서 능동적으로 적응하는 것에 초점을 맞추었다. 단순한 연결성을 넘어 높은 신뢰성과 실시간성에 집중하였다. 하지만 정보화 기술이 발전됨에 따라 각 물체에 대한 초연결성에 대한 개념이 대두됨에 따라 사물인터넷(Internet of Things, IoT) 기술을 기반으로 현실세계의 실제 사물, 시스템 환경 등을 가상화하여 가상의 공간에서 동일하게 모사하여 가공시키는 디지털 트윈 개념이 생겨났다. 만들어진 가상의 사물은 실제 사물과 실시간으로 연동되어야 한다. 그럼으로써 끊임없이 순환 적응하고 최적화를 하여 좋은 결과물을 이끌어낼 수 있다. 그리고 현실에서 발생하는 다양한 상황들이 가상 환경으로 컴퓨터 시뮬레이션 등을 통해 구현된 환경에서 모의로 실시하여 발생하는 결과를 가지고 현실 세계에서 예측하는 기술이다[12]. 즉 컴퓨터에 현실과 같은 쌍둥이를 만들어내는 것이다. 실물 객체와 시스템의 특성, 결과물 등이 모의할수 있고 모의 결과에 따라 실물 시스템에 적용할 수 있는 것이 가장 큰 장점이다.
Digital twin technology using helicopters [7]
F-35 third HMD(helmet-mounted display) [8]
디지털 트윈 기술을 활용하게 된다면 현실 공간의 사물들을 가상 세계에 옮겨 예측함으로써 가지고 있는 사물의 성능을 실시간으로 감독할 수 있고 잠재적인 문제점을 식별하여 그 정보 등을 바탕으로 유지 관리 및 수명 주기 등에 대한 결정을 내릴 수 있다. 이를 통해 시설의 성능 개선, 문제의 예측, 원격 모니터링, 프로덕션 시간 단축 등을 실시할 수 있다. 디지털 트윈 기술을 투영하여 건설, 제조, 에너지, 자동차, 의료 서비스, 국방 분야 등 현실 세계의 많은 것들을 적용하여 활용할 수 있는 기술이다.
Ⅲ. 미군의 메타버스 및 실감미디어 운용 현황
미국은 많은 연구를 통하여 전장환경에서 현실성 있는 게임을 통한 훈련효과가 높다는 것을 입증하였다. 실제 전투를 모방한 과학화 훈련을 통하여 발전해왔다. 최근 인공지능 기술의 폭발적인 확산과 더불어 일부 산업에 제한적으로 사용되었던 실감미디어 기술이 국방 분야에 접목되어 시간과 공간의 제한을 극복한 훈련 체계에 접목되어 새로운 패러다임을 만들어 가고 있다. 미국을 비롯한 영국, 프랑스, 이스라엘, 중국, 러시아 등 많은 국가가 증강현실 기술을 활용하여 국방 분야에 접목하려는 다양한 시도가 이루어지고 있다. 특히 미국은 이미 공군에서 증강현실 기술을 활용하여 F-35 조종사의 헬멧에 적용하였다. 조종사가 이 헬멧을 착용하면 전장에 대한 중요한 정보를 모니터와 같은 보조 장치를 사용하지 않아도 주·야간 관계없이 실시간으로 획득할 수 있으며, 전투기를 기울이거나 하는 조작을 하지 않아도 헬멧을 활용하여 외부 환경을 360도로 볼 수 있게 된다.
Integrated visual augmentation system (IVAS)
Immersive media technology of the US military
미 육군은 통합형 시각 증강 체계(IVAS, Integrated Visual Augmentation System)가 적용된 홀로렌즈를 일반 보병 부대에게 지급하기 위해 2018년부터 마이크로소프트와 협력하여 220억 달러를 투입하여 10년간 진행하고 있다. 마이크로소포트스가 개발한 IVAS 체계는 현실 세계 위에 디지털 이미지와 영상 들을 투영하여 표시하는 기술이다. 해당 기술을 전투원용 고글에 적용하여 전투원의 작전수행 및 전투지휘를 지원하고 야간 전투시에 시야를 확보할 수 있는 기능을 가지고 있다. IVAS 플랫폼은 고글 형태로 제작되어 근접 전투를 위한 작전 부대원들의 헬멧에 120,000개가 제공될 예정이다[10]. IVAS 플랫폼이 적용된 고글을 착용하게 되면 전투원들은 아군의 위치는 물론 노출된 적에 대한 정보를 실시간으로 공유하게 되고, 각개 전투원에 의해 수집된 다양한 실시간 정보는 지휘관의 의사결정에 활용되며 표적 획득 및 전장 상황에 대한 보다 정확한 판단을 도울 수 있게 된다. 또한, 수집된 정보는 훈련을 위한 데이터 세트로 저장되어 실전과 유사한 환경의 훈련 상황을 묘사하거나, 다양한 형태의 전장 시나리오를 구축하고 활용할 수 있도록 해준다. 결국, 각개 전투원은 물론 지휘관의 전술적 전투 능력을 증가시키게 되는 것이다. 또한 미군의 스트라이커 장갑차량 내에 있는 전투원에게 IVAS 체계를 적용하여 장갑차량 외부의 실시간 영상을 제공하는 등 폭넓게 사용가능하다[11].
Integrated visual augmentation system (IVAS) field testing [9]
이미 대학 및 의료기관에서 증강현실 기술을 활용하여 의료 인력 교육 및 환자 치료를 위해 활발하게 진행되고 있다. 그림 5는 존스홉킨스 대학에서 개발한 미라클 미러를 보여주고 있으며 이 시스템은 사용자가 커다란 거울 앞에서 자신의 신체 내부를 볼 수 있게 해준다. 이러한 증강현실 기술은 군사 의료 훈련을 위한 핵심 도구로도 사용되고 있다. 미 국방부는 모든 의료 인력을 충분히 훈련시킬 교수진이 충분하지 않으며, 비용과 장소의 측면에서 분석해 볼 때 증강현실 기술을 활용한 원격 교육의 필요성과 효과에 대해 대학과 기업과의 연계를 통해 활발한 연구를 진행하고 있다. 전문가들은 전장 환경에서 발생할 수 있는 다양한 전투 외상 시나리오를 갖추고 증강현실을 활용하여 의료진에게 언제 어디서나 사상자 치료를 연습할 기회를 제공한다면 비용 대비 효율적인 최적의 실습 경험을 제공할 수 있을 것이라 전망하고 있다.
AR magic mirror system for medical education and training [12]
Military medical training using by AR [13]
Ⅳ. 한국군의 메타버스 및 실감미디어 활용 방안
국군은 최근 발표된 국방혁신 4.0에 따르면 미래형 전투체계인 아미타이거를 통해 미래 전장환경에 대응하고자 한다. 훈련체계도 메타버스를 비롯하여 가상현실, 증강현실, 혼합현실 기술을 접목하여 과학적 전투훈련체계를 통해 전투 지식과 전술행동을 습득하기 위해 연구개발 중에 있다.
Immersive media technology for the ROK military
4-1 KCTC
KCTC(Korea Combat Training Center)는 과학화전투훈련체계로서 미군의 NTC(National Training Center) 훈련장을 본 뜬 체계로서 첨단 과학기술을 적용하여 실전과 같은 훈련을 실행하는 점에 착안하여 여단급 이상의 부대가 기동훈련을 할 수 있는 교육훈련체계를 말한다. 2002년에 창설된 KCTC는 시행 첫 해 중대급을 기동훈련을 시작으로 2년 뒤 대대급으로 규모를 확장시켰고 2018년에는 여단급 규모로 전투훈련을 시행할 수 있게끔 발전시켜나갔다. 여의도 면적의 41배에 달하며 세계 최대 규모로 평가되는 KCTC는 각개 병사들이 첨단 훈련 장비를 착용하고 지휘소와 통신소 같은 인프라를 설치하여 실전과 같은 교전이 가능하다. 최근 급속도로 정보화 기술이 발전됨에 따라 입체적이고 통합적인 현대전의 양상을 구현하기 위해 한국군 또한 미군처럼 가상현실 등과 같은 최신 기술을 활용하려는 움직임을 보이고 있다.
KCTC training system [14]
2017년 전력화된 KCTC 훈련장의 수명주기와 아미타이거 4.0 체계의 여단급 부대 교육훈련 능력 확보를 위해서 미래 KCTC 훈련체계 구축에 힘쓰고 있다. 여단급 육군본부는 2030년 중반까지 단계적으로 장병 훈련체계에 4차산업혁명 기술을 접목시켜 더욱더 생동감 넘치는 훈련을 제공하려는 노력이 엿보인다. 병사들은 VR안경과 햅틱 장비를 지급받아 데이터를 수신받을 수가 있어 실전과 유사한 환경을 묘사할 수가 있다. 아미타이거 4.0 체계가 전력화된 여단급 부대의 제병협동훈련이 가능하고 첨단 과학기술 발전과 연계되어 실전과 같은 훈련장 묘사 기능이 추가되어 진보적인 과학화 훈련이 가능하다. 또한 여단급에서 군단 및 사단급의 과학화전투훈련장도 추진하고 있다.
4-2 공중기동훈련
기존에 사용되던 공중전투기동훈련체계는 2002년에 도입되어 전자장비가 노후화되고 기동정보에 대한 신뢰성 문제와 무장과 관련된 모의 상황이 구현되기가 어려워 실전적인 숙달에 많은 어려움이 있었다. 이에 공군에서는 2022년에 공중전투기동훈련체계를 도입하였고 공중전의 과학적인 모의 전투는 항공기들의 위치, 고도, 속도, 자세를 측정하고 가상으로 발사하는 미사일등의 결과가 실시간으로 시현되고 그에 발생되는 결과가 저장되는 등 훈련 시에 생성되는 무수히 많은 정보들을 조합하여 가상의 공간에서 훈련 상황을 묘사할 수 있게 되었다. 전투기가 실시간으로 기동정보를 3차원으로 지상의 통제실에서 시현됨으로써 통제소에서는 훈련과 관련된 제반사항을 통제할 수 있게 됨은 물론 전투기에 탑재된 미사일과 같은 무장기능들을 발사 및 격추를 통해 시뮬레이션으로 구현함으로써 실전적인 훈련이 가능하게 되었다. 또한 최신의 4세대, 5세대 항공기와도 호환이 가능하여 미군과 연합군이 운용하는 전투기 기종도 적용할 수 있어 연합전 능력의 향상이 기대된다. 현재는 여러 민간업체에서 XR 기반의 공군 통합교육훈련 시스템을 개발하고 있다. 추가적으로 활주로 피해 복구 콘텐츠, 조종사 비행착각 훈련용 시뮬레이터 항공소방훈련, 폭발물처리 훈련 등과 같은 여러 상황을 묘사하여 조종사의 종합적인 환경 묘사에 초점을 두고 있다[15].
4-3 합성전장훈련체계
기본적인 과학화 훈련은 4가지(LVCG)로 분류된다. 우리 군은 이를 위해 과학화 훈련장에서 마일즈 장비를 활용하여 실기동훈련(Live)을 수행하고 있다. 가상훈련(Virtual)은 전차 및 헬기 등을 시뮬레이션으로 훈련하고 있고 실병력을 움직이지 않고 하는 워게임 모의훈련(Constructive)은 전투지휘훈련프로그램(BCTP : Battle Command Training Program)을 이용한다. 그리고 이들을 활용하여 게임(Game)을 시행한다. 1990년대 이전까지 미군도 LVCG 훈련들을 단독훈련체계로 활용하였다. 하지만 미 국방고등개발연구원(DARPA)에서 분산 네트워크하 여러 장비를 연결하여 프로젝트를 진행하였고 이는 성공적으로 훈련체계를 발전시켜왔다[16]. 민간사회에서는 게임 기술이 비약적으로 발전해왔고 여러가지 시뮬레이션과 워게임 그리고 증강현실 기술이 실기동 훈련체계, 3차원 가상지형등과도 연결한 합성훈련환경(STE : Synthetic Training Environment)개념이 생겼다. STE는 기존의 하드웨어 기반의 기술이 아닌 소프트웨어 중심의 클라우드 기반의 훈련체계를 의미한다. 사용자는 직접 필요한 지형을 구성할 수도 있고 임의의 지역에 지형을 촬영하여 세부 지형을 자동 생성하는 등 여러 가지 기술들을 구현할 수 있다. 축적된 훈련 데이터 등은 전문가에게 분석되어 개인 및 부대에 결과들을 피드백을 줄 수 있는 용도로 사용된다. 현재 육군은 방위사업청이 추진하고 있다. 2019년 방사청의 방위력 개선사업의 일환으로 기술에 대한 탐색 연구가 시작되었다. 2021년부터 5년 동안 445억원의 예산을 투입하여 연구 중에 있다. 2026년 전력화를 목표로 추진 중인 체계이다. 워게임 모델을 성능개량하여 KCTC와 ATCIS 등을 연동하여 사단급 LVC 통합훈련 체계를 가능하게 하는 기술이다.
Ⅴ. 차세대 메타버스 기반 국방 분야 활용 방안
미래 전장 환경의 변화에 능동적으로 대비하기 위한 메타버스와 실감미디어 기술 도입은 국방 분야에 획기적인 발전을 불러일으킬 것이다. 실전과 같은 환경은 장병들에게 입체적이고 몰입감 있는 환경을 제공해 줄 것이고 전장은 지상, 해상, 공중, 우주, 사이버 영역까지 확대되어 장소나 시간, 기후와 같은 가변적인 요소들에 의한 물리적인 제한을 극복할 수 있을 것이다. 실전과 같은 훈련은 즉각적인 임무 투입을 가능케 할 것이다. 메타버스와 실감미디어의 기술들의 활용방안으로는 증강현실을 이용하여 적 지역과 같은 현재 군에서 접근하지 못하는 지역을 묘사하여 체험할 수 있고 지휘소에서는 실제 전투원들이 겪는 일들을 지휘소에서 간접적으로 체험할 수 있다. 우리 군은 병역을 이행한 성인 남자들은 유사시 동원령에 의해 예비군에 편성된다. 하지만 평시에는 유사시 환경을 묘사할 수 없고 제한된 환경 속에서 훈련을 하기 어려운 실정이다. 그리고 군의 병영시설들은 대부분 도심지역에서 거리가 멀어 의료 지원 등에 제한이 많다. 이러한 문제들에 대해서 메타버스와 실감미디어 기술을 도입하여 군에서 활용되는 방안을 살펴보면 아래와 같다.
5-1 VR을 통한 적 지역 묘사
현재의 적지종심지역 작전은 상급부대에서 임의의 지형을 선정하여 투입되는 부대에게 적 지역으로 산정하여 투입하도록 지시하고 있다. 실제 적지종심지역에 투입되는 인간정보자산들은 적지에 투입되어 적 지역에서 지휘소 및 통신소 등의 좌표를 알아내어 상급부대에 보고함으로써 화력유도를 하고 타격된 지점에 대해서 전투피해보고 등을 해야 한다. 하지만 현재의 훈련 방법으로는 실질적인 훈련을 하기에 다소 어려움이 따른다. 결정적으로 임의의 지형을 적 지형으로 추정하기 어렵기 때문에 실제적인 데이터 형성에는 오류가 많이 생성될 수밖에 없다. 그러므로 VR 기술을 도입하여 적 지형 등을 객체로 생성하여 전투원에게 체험을 시키게 된다면 적지종심지역에 대한 신뢰성이 높아지고 정찰 감시 훈련 간 인근 지역 체험을 통해서 훈련의 효과가 증대될 것이다.
5-2 미래형 지휘통제체계
메타버스와 증강현실이 도입된 미래형 지휘통제체계는 유무인 전투체계가 도입된 전장 환경에서 발생할 수 있는 드론을 활용한 감시정찰 정보와 표적획득 정보, 화력자산을 이용하여 타격능력을 분석한 정보, 인공지능의 영상인식 기술을 활용한 지휘결심 정보제공, 근접교전에 발생되는 피해 정보 등 무수히 많은 데이터들을 지휘소의 데이터 분석 능력을 통하여 실시간으로 분석되고 불필요한 정보는 선별적으로 처리된다. 전장에서 유무인 복합체계와 다양한 센서들로부터 생성된 정보는 공통작전상황도로 작성되어 상급 지휘소에서도 공유되어 지휘관들에게 전장 가시화를 보장해준다. 적지종심 지역에서 획득된 데이터는 AI 참모와 연계되어 지휘관의 지휘결심에 도움을 주며 위협 평가와 상황평가 등에도 활용된다. 그리고 지휘소에서 가공된 자료는 전장에 위치한 전투원들에게 공유되어 지휘관과 각 전투원들의 공통의 상황인식을 통하여 작전을 수행시킴으로써 전술 제대의 임무 완수와 작전 효율성을 극대화시키는 데 큰 도움을 준다.
Command and control using AI and AR [17]
5-3 예비군 훈련
현재의 예비군 훈련은 신분과 연차를 구분하여 훈련유형을 정하고 부여된 임무에 의거하여 매년 진행하고 있다. 군은 예비전력 정예화를 위하여 전국 단위로 권역을 구분하고 예비군훈련대에 과학화 예비군훈련장을 창설하여 예비군 훈련장 또한 과학화 체계를 구축하여 지역 예비군 전력의 수준을 높이기 위해 노력하고 있다. 하지만 현재의 예비군 훈련은 소집교육을 기본적으로 하여 훈련과목 등을 이수하고 있는 실정이다. 코로나19와 같은 전염병이 발생하여 대면 훈련이 제한되는 경우와 예비군 소집을 위해 행정적인 많은 절차를 간소화하기 위해서는 메타버스를 도입하여 원격교육으로 대체하는 것이 훈련의 효율성을 높이는 방법 중의 하나이다. 그리고 사전 원격교육시간을 인정하게 된다면 소집교육시간은 단축시킬 수 있으며 이는 예비군을 수행하는 한국 젊은이들에게 큰 부담을 덜어줄 수가 있을 것이다. 현재 서초군에서 시범운영하고 있는 가상현실 영상모의사격장은 공간인식 방탄모와 전자감응 전투조끼를 착용하여 3면 멀티스크린을 가지고 모의 총기로 사격하는 훈련을 하고 있다. 가상의 훈련이기 때문에 영점사격과 기록사격, 그리고 적을 객체화하여 시나리오별 훈련이 가능하여 증강 현실 기술을 통하여 충분히 사격 능력을 극대화시킬 수 있다. 현재 KCTC에서 운영하고 훈련장과 같이 동원부대에 소규모 부대의 교전이 가능한 훈련장을 개설한다면 예비군들의 동원훈련시에 해야할 행동화 숙달에 집중하여 훈련성과 또한 극대화 시킬 수 있는 장점이 있다. 훈련한 모든 데이터는 메타버스 서버 등과 같은 곳에 빅데이터화하여 추후에 데이터 분석 등을 통하여 발전 사항 등을 도출할 수도 있다.
5-4 전후 심리치료
현대인의 고질적인 문제 중에 하나인 정신적 문제는 군 내부에서 실제 교전을 치른 장병들에게 극심하게 나타나고 있다. 외상 후 스트레스장애의 줄임말인 PTSD(Post Traumatic Stress Disease)는 일반 국민들도 많이 겪고 있다. 전쟁을 준비해야 하는 군인들의 심리적인 문제를 해결하지 못한다면 추후 전장에서 전장공포증을 극복하기는 매우 어려울 것이다. 현재 민간에서는 VR을 이용하여 교통사고를 겪은 화자에게 점차적으로 심리치료를 진행함으로써 환자들을 치료하고 있다. 현재까지도 많은 교전을 치루고 있는 미군 또한 PTSD를 극복하기 위해 다양한 시도를 하고 있고 VR 등도 활용하고 있다. 민간에서 적용하는 기술은 VRT(Virtual Reality Therapy) 기술이다. 일례로 많은 사람 앞에 서면 말을 더듬는 사람에게 가상으로 발표하는 상황을 묘사하여 심리적으로 조금씩 적응해나가게 하는 기술이다. 미국에서는 PTSD에 시달리는 베트남 퇴역 군인을 위한 VR 치료프로그램과 이라크 전쟁 참전 용사들에게 적용하고 있다. 실제가 아닌 상황을 묘사한 증강 현실세계에서 적응력을 통하여 현실에서 심리적인 불안감을 떨치게 하는 것이다. 우리 군 또한 VR 심리치료를 개발하여 장병들의 심리치료를 전문으로 하여 PTSD 환자들의 정신적인 질환을 친숙한 VR 환경 제공을 통해 극복해 나갈 수 있을 것이다.
Ⅵ. 결 론
코로나19로 주목되는 기술인 메타버스와 실감미디어 기술을 활용하여 가장 극적인 효과를 얻을 수 있는 분야는 국방분야이다. 군에서는 실질적인 훈련을 하기 위해 오래전부터 교육훈련의 중요성을 강조하여 왔다. 인간의 망각주기를 고려하여 주기적인 교육훈련을 필수였고 군인들의 능력 유지를 위하여 교육훈련은 지속적으로 실시하여왔다. 하지만 빠르게 진화하는 기술 적응에는 현재의 교육훈련에는 많은 문제점을 내포하고 있다. 전쟁을 실제 훈련과 같이 할 수 없는 것이 가장 큰 문제점이다. 전쟁을 모의로 진행한다 해도 그것을 구현하기 위한 금전적인 문제와 실제 몰입감을 주기 위해서는 환경적인 구성요소가 너무나도 많이 필요하다. 그렇기 때문에 메타버스와 실감미디어 기술을 이용한 교육훈련은 군에서 추구하는 교육훈련을 실현해 줄 수 있는 가장 좋은 방안이다.
미군은 일찍이 미래 전투 환경을 어떻게 묘사할지에 대해 고민해왔다. 그리고 그들이 결론 낸 방안은 증강현실에 있다. 그리고 네트워크화 된 전장에서 서로의 데이터 유통을 위해서는 정보를 공유하는 센서 기술들이 유기적으로 연결되어야 하는 것이 핵심이다. 원활한 정보 유통이 가능해야 만이 지휘소에서 적시적소에 올바른 판단을 줄 것이기 때문이다. 결론적으로 증강현실 기술은 네트워크화된 무기 체계들의 연결은 물론 각 전투원들이 필요에 따라 정보를 실시간으로 처리할 수 있고 지휘관이 보내는 정보를 신속하게 받을 수 있는 효과도 가져올 수가 있다. 그렇기에 한국군도 현재 진행하고 있는 국방혁신 4.0을 토대로 메타버스와 증강현실을 적극 도입한 실전과 같은 환경은 보다 입체적이고 몰입감 있는 환경을 제공해 줄 수 있다. 앞으로의 전장은 지상, 해상, 공중, 우주, 사이버 영역까지 확대되기에 증강현실 기술은 장소나 시간, 기후와 같은 가변적인 요소들에 의한 물리적인 제한을 극복할 수 있게 할 것이다. 또한 훈련을 통해 장병들은 즉각적인 임무 투입을 가능케 할 것이다. 실감미디어 기술들의 활용방안으로는 증강현실을 이용하여 접근하기 어려운 지역을 묘사하여 체험할 수 있고 지휘소에서는 실제 전투원들의 경험을 지휘소에서 간접적으로 체험할 수 있다. 병역을 이행한 성인 남자들은 동원 훈련간 전시와 같은 환경을 묘사하여 훈려을 할 수 있다. 그리고 군의 병영시설들은 대부분 도심지역에서 거리가 멀어 의료 지원 등에 제한이 많다.
Acknowledgments
본 연구는 2023년도 육군3사관학교 충성대연구소의 연구비 지원에 의하여 이루어진 연구입니다.
References
-
J. K. Lee and Y. C. Kim, “Deep Learning System for Immersion and Ease of Use of Educational Contents Based on Metaverse,” The e-Business Studies, Vol. 23, No. 4, pp. 29-42, August 2022.
[https://doi.org/10.20462/tebs.2022.8.23.4.29]
-
H. Han and S. Hong, “A Study on Analyzing Teachers’ Perception and Needs of Using Metaverse in Elementary Online Learning Environment,” Journal of Digital Contents Society, Vol. 23, No. 8, pp. 1383-1397, August 2022.
[https://doi.org/10.9728/dcs.2022.23.8.1383]
-
Y. Lee and T. Lee, “Applying the Metaverse Platform and Contents in Practical Engineering Education,” Journal of the Korea Computer Graphics Society, Vol. 28, No. 3, pp. 31-43, 2022.
[https://doi.org/10.15701/kcgs.2022.28.3.31]
-
K. Shin, W. Lee, and D. Kim, “Developing an Augmented Reality-based Integrated Command and Control Platform under 5G Technologies and Its Applications,” Journal of Digital Contents Society, Vol. 21, No. 5, pp. 855-864, May 2020.
[https://doi.org/10.9728/dcs.2020.21.5.855]
-
H. J. Yun, J. Lee, & H. Y. Yun, “A Preliminary Study on Concept and Types of Metaverse : Focusing on the Possible World Theory,” Humanities Contents, No. 62, pp. 57-81, September 2021.
[https://doi.org/10.18658/humancon.2021.09.57]
-
M. H. Bang, “Development of Authoring Guidelines for Immersive Contents for Metaverse-based Education,” Journal of Digital Contents Society, Vol. 24, No. 2, pp. 257-266, January 2023.
[https://doi.org/10.9728/dcs.2023.24.2.257]
-
K. Shin, H. J. Choi, and S. Park. “Developing a Digital Twin and Extended Reality Based Future Integrated Combat Training Platform Under 5G,” Journal of Digital Contents Society, Vol. 22, No. 4, pp. 727-735, April 2021.
[https://doi.org/10.9728/dcs.2021.22.4.727]
- United States Air Force. An Inside Look at F-35 Pilot Helmet Fittings [Internet]. Available: https://www.af.mil/News/Article-Display/Article/2719003/an-inside-look-at-f-35-pilot-helmet-fittings/
- Project Executive Office Soldier. Project Manager Integrated Visual Augmentation System [Internet]. Available: https://www.peosoldier.army.mil/Program-Offices/Project-Manager-Integrated-Visual-Augmentation-System/
- L. Martinez. ABC NEWS Army Awards Microsoft $22 Billion Contract for Futuristic Goggles [Internet]. Available: https://abcnews.go.com/Politics/army-awards-microsoft-22-billion-contract-futuristic-goggles/story?id=76798519
- US Defense Story. Integrated Visual Augmentation System (IVAS) [Internet]. Available: https://usdefensestory.com/integrated-visual-augmentation-system-ivas-2/
- Johns Hopkins. Mirracle on the Balaur Wall [Internet]. Available: https://camp.lcsr.jhu.edu/mirracle-on-the-balaur-wall/
- National Defense. Augmented Reality Emerges as Key Tool for Military Medical Training [Internet]. Available: https://www.nationaldefensemagazine.org/articles/2021/10/22/augmented-reality--emerges-as-key-tool-for-military-medical-training
-
J. Kim and S. Jeong. “A Study on the Combat Effect and Components of Intangible Combat Force: Focusing on Korea Combat Training Center (KCTC) Combat Training and Combat Simulation Data Analysis,” Journal of Advances in Military Studies, Vol. 5, No. 2, pp. 47-71, 2022.
[https://doi.org/10.37944/jams.v5i2.150]
- B. Jung, N. Lim, and J. Lee. “Derivation of the Utility Evaluation Indicators of the Air Force LVC Synthetic Battlefield Training System,” Journal of the Korean Society of Supply Chain Management, Vol. 22, No. 2, pp. 23-36, 2022.
- S. Y. Choi, “Study on the Architecture of Combat Training Center LVC-system,” Journal of the Korea Institute of Military Science and Technology, Vol. 11, No. 2, pp. 80-87, 2008.
-
D. Oh, “Utilization of Artificial Intelligence Technology in the Military and Suggestion of XAI Technology Application Direction,” Journal of Digital Contents Society, Vol. 23, No. 5, pp. 943-951, May 2022.
[https://doi.org/10.9728/dcs.2022.23.5.943]
저자소개
2015년 : 육군3사관학교 정보공학과(공학사)
2020년 : 아주대학교 NCW학과(공학석사)
2020년～2022년: 육군3사관학교 컴퓨터과학과 강사
2023년～현 재: 육군 과학화전투훈련단 전문대항군연대 통신중대장
※관심분야：사이버전, 정보보안, 전술통신, 네트워크, 이동통신
2004년 : 육군3사관학교 전산정보처리학과 (공학사)
2009년 : 고려대학교 컴퓨터과학과 (공학석사)
2018년 : Texas A&M University 컴퓨터과학과 (공학박사)
2018년～현 재: 육군3사관학교 컴퓨터과학과 조교수
※관심분야：디지털 이미지 프로세싱, 머신러닝