Journal Archive

확장현실(XR)은 컴퓨터 기술 및 하드웨어(hardware)에 의해 생성된 상호작용을 통해 인간(human)과 기계(machine)의 상호작용이 발생하는 모든 현실 및 가상 환경을 총칭하는 용어로서 가상현실(Virtual Reality, VR), 증강현실(Augmented Reality, AR), 혼합현실(Mixed Reality, MR) 등을 총 망라하는 초실감 기술 및 서비스를 지칭한다[10].

그림 1에서 보는 바와 같이 확장현실(XR)은 현실 환경과 가상 환경 사이를 묘사하는 기술이다. 이때 가상현실(VR)은 특정환경이나 상황을 컴퓨터 및 하드웨어를 활용하여 인공적으로 만들어진 가상의 세계만이 보이는 기술이다.

Fig. 1. 
Reality–Virtuality continuum[10]

이에 반해 증강현실(AR)은 실제 환경에 가상의 부가정보를 증강해서 보여주는 형태이다. 마지막으로 혼합현실(MR)은 현실 세계와 가상 세계를 합쳐 새로운 환경이나 정보를 만들어내는 것을 말한다. 이러한 확장현실(XR)은 제조분야, 교육분야, 의료분야, 유통분야, 문화분야로부터 국방분야에 이르기까지 광범위하게 활용되고 있다[11].

디지털 트윈(DT)은 최초 미 제너럴 일렉트릭(GE)사(社)에서 주창한 개념으로 사물인터넷(Internet of Things, IoT) 기술 등을 활용해 현실세계의 실제 사물(Physical Things, PT)을 가상화하여 가상 사물(Virtual Things, VT)로 변환시키고, 실제 사물과 가상 사물을 실시간으로 연동한 뒤, 현실에서 발생할 수 있는 상황을 가상 환경을 통해 컴퓨터로 시뮬레이션 하여 그 결과를 미리 예측할 수 있는 기술이다[12].

그림 2에서 보는 바와 같이 디지털 트윈(DT)을 활용하면 현실 공간의 실제 사물(PT)을 가상 세계의 가상 사물(VT)로 변환시키고, 실제 사물(PT)로부터 생성되는 각종 정보를 사물인터넷(IoT) 기술을 활용해 가상 사물(VT)로 투영시킴으로써 가상 세계에 일종의 쌍둥이를 만들어 낼 수 있다. 이때 투영의 대상이 되는 실제 사물은 자동차, 터널, 교량, 엔진, 공장 등 현실 세계의 거의 모든 사물이 해당될 수 있다. 이러한 디지털 트윈(DT) 기술은 제조업뿐 아니라 다양한 산업 및 사회 문제를 해결할 수 있는 기술로 주목 받고 있으며 최근에는 군사적으로도 그 활용이 점차 늘어가고 있는 추세이다[13, 14].

Fig. 2. 
The Concept of Digital Twin[12]

5G 네트워크의 가장 큰 3가지의 장점은 초고속(enhanced Mobile Broadband, eMBB), 초저지연(Ultra Reliable & Low Latency Communications, URLLC), 그리고 초연결(massive Machine-Type Communications, mMTC) 서비스의 제공이라 할 수 있다[3, 15]. 첫 번째로 5G 네트워크는 3.5GHz 주파수 대역과 28GHz 주파수 대역 등 폭넓은 주파수 대역폭 확보, 시분할 이중통신(Time Division Duplex, TDD) 방식을 통한 주파수 업로드 및 다운로드 대역의 효율적인 배분, 다중 경로 TCP 프로토콜(Multipath TCP, MPTCP)을 활용한 전송효율 향상, 그리고 빔포밍(Beam Forming) 기술을 활용한 주파수 대역 재활용 등을 통해 초고속(eMBB) 통신을 가능하게 한다. 두 번째로 5G 네트워크는 하나의 물리적인 5G 네트워크를 제공하려는 서비스 특성에 따라 여러 개의 독립적인 가상 네트워크로 만드는 네트워크 슬라이싱(Network Slicing) 기술과 네트워크 코어(Core)가 아닌 에지(Edge)에 클라우드(Cloud)를 설치함으로써 모바일 기기로부터 생성된 데이터의 처리를 위한 거리 및 시간을 획기적으로 줄일 수 있는 에지 클라우드(Edge Cloud) 기술을 활용해 초저지연(URLLC) 서비스를 구현한다. 마지막으로 5G 네트워크는 가변적 채널 대역폭 할당(Scalable Numerology) 기술을 활용해 1㎢ 범위에서 최대 1백 개 이상의 통신장비를 동시에 연결할 있는 초연결(mMTC) 특성을 제공한다[15].

표 1에서 보는 바와 같이 5G 네트워크의 초고속(eMBB), 초저지연(URLLC), 초연결(mMTC) 특성은 다양한 분야에서 활용될 수 있다. 즉, 5G 네트워크의 초고속(eMBB) 특성을 활용해 초고화질 영상, 실감형 콘텐츠, 그리고 FWA 서비스 등을 구현할 수 있고, 초저지연(URLLC) 특성을 활용해서 자율주행 자동차, 스마트 팩토리, 스마트 헬스케어 서비스 등을 구현할 수 있으며, 초연결(mMTC) 특성을 활용해서는 스마트 홈·오피스, 스마트 시티, 스마트 에너지 그리드 등을 구현할 수 있다[16]. 특히 국방부는 국방개혁 2.0 차원에서 상황·안전관리체계, 과학화훈련체계, 그리고 무인전투체계 등을 구축하려는 계획을 가지고 있는데 이러한 체계들이 효과적으로 구축되고 정착되기 위해서는 초고속(eMBB), 초저지연(URLLC), 초연결(mMTC) 특성을 갖는 5G 네트워크의 도입이 반드시 필요하다¹⁾.

현재 대한민국 육군이 추진하고 있는 국방개혁 2.0에 따르면 향후 대한민국 육군은 미래전장의 작전환경 변화에 대응하기 위해 현재 보병연대 편제를 보병여단 편제로 전환하고, 작전지역도 2배 이상 확대될 전망이다. 이러한 변화에 대응하기 위해 대한민국 육군은 기동화, 네트워크화, 지능화를 추진하고 있다[1, 2].

먼저 기동화와 관련하여 넓어진 작전지역은 모든 부대에 방탄기능을 갖추고 원격 사격통제 체계(RCWS)가 탑재된 차륜형 장갑차를 편제하여 기동력과 화력, 생존성을 향상시킬 전망이다. 다음으로 네트워크화를 통해 모든 전투플랫폼이 네트워크로 연결되어 실시간 전장가시화가 가능해지고, 개별 장비들이 네트워크를 통해 서로 연결됨으로써 전투 시너지(Synergy) 효과가 발생하게 될 것이다. 마지막으로 지능화와 관련해서는 인공지능(AI) 기술을 활용해 지휘통제체계 및 상황판단을 자동화하고, 무인 자율 전투체계를 활용해 위험한 업무를 대체할 것이며, 다양한 영역에서 자동화 및 자율화체계가 구축될 전망이다[17].

이와 같은 변화를 통해 향후 대한민국 육군의 임무수행 기본단위는 분대 단위 혹은 팀 단위까지 세분화될 것이며, 작전지역이 넓어진 만큼 넓게 분산된 작전현장에 전투원 개개인의 상황판단, 결심, 행동의 결과가 전체 작전의 국면을 좌우하는 양상으로 변화될 것이다. 따라서 예전과는 달리 이제는 지휘관(자) 혼자 모든 것을 결심하고 감독할 수 없으며 지휘관(자)와 각개 전투원이 공통의 상황인식(Situational Awareness, SA) 하에서 임무를 수행하여야하기 때문에 임무형 지휘가 보편화될 것이다[18]. 또한 작전반경의 확대와 병력의 감축에 따른 개별 전투원의 전투수행능력 향상이 매우 중요해졌으며 이를 보장하기 위해 대한민국 육군은 각개 전투원들의 전투효율성을 극대화하기 위해 워리어플랫폼(Warrior Platform) 사업을 추진하고 있다[17]. 따라서 향후 우리 군의 군사훈련중점도 변화된 작전환경 및 임무수행절차를 반영하여야 할 것이다.

앞서 3-1절에서 설명했듯이 향후 미래전장에서 넓어진 작전반경을 극복하기 위해서는 임무형 지휘가 활성화될 것이다. 이때 임무형 지휘를 위해서는 지휘관(자)와 각개 전투원이 공통의 상황인식(SA) 하에서 작전을 수행하는 것이 매우 중요한데 이를 보장하기 위해서는 효과적인 지휘통제체계(Command and Control System)가 필수적이다. 지휘관(자) 및 각개전투원은 지휘통제체계를 통해 작전현장과 지휘통제실 간 실시간으로 정보를 주고받음으로써 상황을 공유하고, 정확한 정보를 바탕으로 신속한 지휘결심 및 임무수행을 통해 효과적인 작전수행이 가능하여야 한다[3]. 이러한 지휘통제체계는 최초 명령하달, 작전지역으로 기동, 작전수행 등 임무수행 전반에 걸쳐 지속적으로 활용될 수 있도록 구성되어야 하며, 효과적인 체계 활용을 위해서 반복 및 숙달이 요구된다.

향후 대한민국 육군은 넓어진 작전지역에 효과적으로 대응하기 위해 대대단위의 모듈화 및 기동화를 통해 신속대응군으로 전환될 예정이다. 따라서 평소에는 주둔지에서 대기하다가 상황이 발생하면 분대단위로 할당되는 장갑차 혹은 소형전술차량을 이용해 작전지역까지 신속히 기동하여야 한다. 이를 위해 향후 서부(전방/예비 포함) 축선은 소형전술차량 및 차륜형장갑차, 중부축선은 소형전술차량과 K200장갑차, 동부축선은 소형전술차량이 분대당 1대씩 편성되어 운용될 예정이다[17]. 기존의 보병이 행군을 통해 작전자역으로 이동하였다면 미래 각개전투원들은 보병전투차량을 탑승하여 작전지역까지 이동하게 된다. 따라서 보병전투차량을 활용한 기동훈련이 새롭게 요구되며 이를 위한 훈련체계 개발도 병행되어야 한다.

한편 미래전장의 작전환경 변화와 상관없이 보병전투원이라면 기본적으로 숙달하여야 하는 소부대전투기술에 대한 훈련은 변함없이 실시되어야 한다. 즉, 미래에 비록 작전지역이 넓어지고 보병전투차량 등을 이용해 기동화가 이루어진다고 해도 보병전투원이 전투차량에서 하차한 이후의 임무나 작전수행 방식은 기존과 대등소이하기 때문에 보병전투원으로서 갖추어야 할 전투사격 및 근접전투(Close Quarters Battle, CQB) 기술 숙달은 기존과 동일하게 이루어져야 한다.

확장현실(XR) 지휘통제체계는 작전현장의 각개전투원들로부터 수집되는 영상정보 및 작전현장 정보를 바탕으로 공통작전상황도(Common Operational Picture, COP)를 작성하고, 작성된 공통작전상황도(COP)를 실시간으로 작전현장의 전투원에게 전파함으로써 지휘관(자)와 각개전투원이 공통의 상황인식(SA) 하에서 작전을 수행할 수 있도록 보장한다.

본 논문에서 구현하고자 하는 확장현실(XR) 지휘통제체계는 육사 주관의 콘소시움에서 旣 개발한 5G 기반 증강현실(AR) 통합 지휘통제플랫폼[5]을 기반으로 구현된다. 즉, 지휘통제실에서는 증강현실(AR) 기반의 3차원 지형 시각화 기술, 다중 사용자 인터페이스, 워게임 시뮬레이션 기능 등을 활용해 3차원 공통작전상황도(CoP)를 이용한 전투지휘훈련 및 워게임 훈련이 가능하고, 2차원 공통작전상황도(CoP)를 작성해 작전현장의 각개전투원들에게 실시간으로 공유함으로써 공통의 상황인식(SA)을 보장한다. 또한 확장현실(XR) 전투차량체계 및 확장현실(XR) 전투기술훈련체계와 5G 네트워크를 통해 실시간으로 연동함으로써 협업기반의 상황조치를 가능하다.

앞서 3.2장에서 살펴봤듯이 향후 넓어진 작전지역에 대해 효과적으로 대응하기 위해서는 보병전투차량을 이용한 신속대응이 필수적이다.

본 논문에서 제한하는 확장현실(XR) 전투차량체계는 각개전투원이 주둔지로부터 작전현장까지 보병전투차량으로 기동하는 것을 묘사하되 각개전투원들로 하여금 실제 보병전투차량을 탑승한 것과 동일한 승차감 및 피로도를 제공할 수 있어야 한다.

그림 4에서 보는바와 같이 확장현실(XR) 전투차량체계는 실 보병전투차량(Infantry Fighting Vehicle, IFV)의 특성을 그대로 묘사할 수 있도록 실차기반 4차원 기동훈련 챔버(chamber) 형태로 구성된다. 이를 위해서 실차량 기반 실시간 운동감 생성기술과 시각·청각·온도·습도·진동 효과를 표현할 수 있는 4차원 효과 제공 기술이 활용된다. 군용 차량훈련 시뮬레이션 체계와 관련해서는 ECG 社(https://www.ecagroup.com)의 차량 시뮬레이터와 같이 단독체계로 운용되는 시뮬레이터는 이미 많이 개발되어 활용되고 있다. 하지만 본 논문에서 제안하는 확장현실(XR) 전투차량체계는 5G 네트워크를 통해 확장현실(XR) 지휘통제체계 및 확장현실(XR) 전투기술훈련체계와 실시간으로 연동되어 다양한 시나리오 기반으로 협업기반의 기동훈련이 보장된다는 차이가 있다.

Fig. 4. 
The Concept of XR Infantry Fighting Vehicle(IFV) System

확장현실(XR) 전투기술훈련체계는 소부대 전투원들이 반드시 숙달해야 하는 사격훈련, 근접전투(CQB) 훈련, 그리고 각종 상황조치훈련을 위한 전투훈련체계이다. 확장현실(XR) 전투기술훈련체계는 지휘관(자)로부터 하달된 임무를 수행하기 위한 다양한 전술적 행동(앉아쏴, 쪼그려쏴, 엎드려쏴, 포복, 약진 등)이 가능하도록 하여 훈련자의 이동성에 제약이 있는 기존 가상훈련시스템의 한계점을 극복할 수 있는 개인 및 팀단위 전투기술 숙달을 목표로 하고 있다.

확장현실(XR) 전투기술훈련체계는 육사 주관의 콘소시움에서 旣 개발한 정밀사격시스템인 MARS 300[5]의 공간동기화 기술, 실시간 모션 및 총구 트래킹 기술, 훈련자 행동인식 기술, 개인화기 탄도 추적기술, 반응형 피탄조끼 제작기술 등의 핵심기술에 한국전자통신연구원(ETRI)에서 개발한 360도 전방향 기동 트레드밀 기반의 초실감 가상현실(VR) 훈련시스템²⁾의 훈련자 정밀자세 및 행동인식 기술, 그리고 3차원 전방향 이동 장치 및 정밀제어 기술을 접목하여 정밀성과 실전성을 강화한다. 확장현실(XR) 전투기술훈련체계는 독립(stand-alone) 형태로 운용되어 상호협업이 제한되는 기존의 가상 전투훈련플랫폼들의 단점을 보완히기 위해 5G 네트워크를 통해 다수의 확장현실(XR) 전투기술훈련체계를 연동함으로써 분대 혹은 팀단위 전투기술 숙달이 가능하도록 구성된다. 또한 5G 네트워크를 통해 확장현실(XR) 지휘통제체계 및 확장현실(XR) 전투차량체계와도 실시간으로 연동된다. 그림 5는 확장현실(XR) 전투기술훈련체계의 구현 개념도를 보여준다.

Fig. 5. 
The Concept of XR Combat Skill Training System

확장현실(XR) 초실감 가상전장체계는 실제 작전환경을 가상환경으로 모사(twinning)하고, 모사된 작전환경 및 훈련콘텐츠를 5G 네트워크를 활용해 확장현실(XR) 지휘통제체계, 확장현실(XR) 전투차량체계, 그리고 확장현실(XR) 전투기술훈련체계와 실시간으로 공유 및 동기화함으로써 전 훈련 단계에 있어 동일한 가상훈련환경을 조성하여 기상이나 환경 등의 물리적인 제한 없이 군사훈련이 가능하게 한다.

확장현실(XR) 초실감 가상전장체계는 육군사관학교 주관의 콘소시움이 증강현실(AR) 기반 지휘통제훈련(AR CPX) 시뮬레이터[3] 구현을 위해 개발한 3차원 작전지형도 구현기술을 바탕으로 구현된다. 이때 3차원 작전지형도 구현기술을 활용하며 국토지리정보원으로부터 획득된 지형정보를 바탕으로 한반도 전역의 3차원 작전지형도를 실시간으로 생성할 수 있다. 북한지역과 같이 지형정보를 획득할 수 없는 경우에는 한국전자통신연구원(ETRI)에서 개발한 3차원 합성전장 생성 및 가시화 기술³⁾을 활용할 수 있다. 3차원 합성전장 생성 및 가시화기술은 위성, 중고도 정찰기, 저고도 무인항공기 등 다양한 영상획득장치로부터 획득된 영상정보를 바탕으로 3차원 공간정보를 실시간으로 가시화한다. 또한 디지털 트윈을 위한 도시 단위의공간정보 구축방안[19]과 같은 다양한 공간 디지털 트윈 기술과 사물인터넷(IoT) 기술들을 접목하여 실제 작전환경과 가상의 작전환경을 서로 동기화한다면 보다 현실적이고 실질적인 훈련환경을 조성할 수 있을 것이다. 궁극적으로는 훈련자들로 하여금 실제 작전지역에서 훈련하는 것과 디지털 트윈(DT) 기술을 활용해 제작된 가상훈련환경에서 훈련하는 것을 구분할 수 없을 정도로 동기화시키는 것이다.

그림 6은 작전지역을 촬영해 3차원 공간을 생성하고, 3차원 모델링을 통해 훈련환경을 조성한 뒤, 다양한 훈련 상황 콘텐츠를 추가함으로써 가상전장 환경 및 훈련콘텐츠를 제작하는 과정을 보여준다.

Fig. 6. 
Building an Ultra-realistic Virtual Battlefield

미래형 통합전투훈련플랫폼을 활용한 훈련에서 각개전투원은 확장현실(XR) 지휘통제체계를 통해 임무를 부여 받고, 확장현실(XR) 전투차량체계에 탑승해 작전지역으로 기동하며, 작전지역에 도착해서는 보병전투차량에서 하차한 뒤 확장현실(XR) 전투기술훈련체계에 들어가 전투임무를 수행하게 된다. 이러한 일련의 훈련과정은 각개전투원이 실제로 임무를 수행하는 절차와 동일하게 진행되어야 한다. 따라서 확장현실(XR) 지휘통제체계, 확장현실(XR) 전투차량체계, 그리고 확장현실(XR) 전투기술훈련체계는 확장현실(XR) 초실감 가상전장체계를 중심으로 연동 및 동기화되어야 한다.

그림 7에서 보듯이 확장현실(XR) 초실감 가상전장체계에서 구현된 디지털 트윈(DT) 및 확장현실(XR) 기반 전장환경 및 훈련 시나리오, 그리고 초실감 훈련콘텐츠는 5G 네트워크를 통해 확장현실(XR) 지휘통제체계, 확장현실(XR) 전투차량체계, 그리고 확장현실(XR) 전투기술훈련체계와 실시간으로 공유된다. 따라서 개별전투원들은 어느 체계에서 어떤 훈련을 하든지 동일한 전장 환경에서 협조된 교육훈련이 가능하다. 이러한 미래형 통합전투훈련플랫폼은 향후 다양한 인원과 장비가 추가되면 대한민국 육군이 추구하고 있는 합성훈련환경(STE)으로 발전되어 갈 수 있다.

Fig. 7. 
The Future Integrated Combat Training Platform