Journal Archive

메타버스라는 기술은 초월을 뜻하는 메타 그리고 우주 혹은 세계를 뜻하는 유니버스가 합쳐진 합성어이다. 코로나19라는 바이러스가 현대 사회에서 비대면이라는 트렌드를 몰고오면서 각광받게 된 기술이다. 기존에도 온라인 세계와 같이 현실 세계가 아닌 가상 공간에서 이루어지는 방식은 많았다. 하지만 온라인 공간을 넘어서서 사람들이 다양한 방식으로 온라인 공간을 적극적으로 활용하고 창의적으로 이용함으로써 대면이 꼭 필요했던 학교, 회사, 콘서트, 공연 등과 같이 여러 사람들이 모여 활동했던 것과는 다르게 사람들 각자가 자신의 아바타를 생성하여 학교에서 입학식이나 졸업식 회사에서는 온라인 회의와 같이 활동을 하고 공연을 관람하는 등 가상 공간이 초현실과 같은 실제적인 효과를 내는 기술이다. 메타버스는 1992년 미국의 소설에서 가상 세계를 뜻하는 말로서 처음 언급되어 등장하였다. 최근에는 단순히 가상세계라는 말을 넘어서서 가상과 현실이 유기적으로 작용하여 사회 전반적으로 가치를 창출하는 세상을 의미하기도 한다. 아바타를 통하여 가상공산에서 여러 경험을 체험할 수 있으며 몰입형 인터페이스를 적용하여 몰입에 대한 경험을 강화시킬 수도 있다. 인간을 본 떠 만든 디지털 휴먼을 활용하여 상호 소통을 하거나 다양한 서비스를 제공받을 수 있다. 그리고 가상 현실, 증강 현실, 디지털 트윈 기술 등이 접목되어 메타버스는 미래에 다양한 형태로 변화하여 진화될 것이다[5].

2016년 포켓몬 고라고하는 모바일 게임은 증강현실을 보여주는 대표적인 게임이다. 현실 속에 모바일에서 구현되는 포켓몬과 위치기반 서비스인 GPS를 연동하여 만든 이 게임은 증강현실이 현실 속에서 가장 잘 구현된 사례라고 볼 수 있다. 이러한 게임 산업에 힘입어 가상현실 기술은 많은 곳에서 각광받게 되었다. 가장 먼저 가상현실(VR : Virtual Reality)은 우리가 현재 존재하고 있는 이 물리적인 공간이 아니라 컴퓨터로 구현한 가상의 환경을 의미한다[6]. 가상현실의 핵심 기술은 주변 환경을 차단하여 사용자가 새로운 세계에 있다는 착각을 불러일으킬만한 몰입감을 주는 것이 핵심이다. 이를 구현하기 위해서 머리에 디스플레이 디바이스인 HMD(Head Mounted Display)를 착용하여야 한다. VR 기술은 초기에 군사적으로 개발되었는데 1940년대 미 공군과 항공산업에서 개발한 항공 시뮬레이터를 시작으로 1960년대 유타 대학에서 HMD를 이용하여 가상현실을 개발하여 오늘날 계속적으로 발전되고 있다.

증강현실(AR : Augmented Reality)은 VR과 다르게 GPS 장치와 관성계를 이용하는 자이로스코프에 따라 위치정보 시스템을 기반으로 사용된다. 앞서 언급된 포켓몬 고와 같이 현실 세계에서 가상의 물체나 정보가 합성되는 것인데 실제 현실과 가상현실이 유기적으로 상호작용하여 나타나게 된다. 실제 사용자가 보고 있는 현실과 더불어서 3차원의 가상 영상을 중첩하여 현실과 가상의 구분이 모호해진다. 증강현실의 시초는 1990년대 보잉의 톰 코델이 항공기 조립을 위하여 가상 이미지를 실제 화면에서 중첩하여 이해하기 쉽게 사용된 것이 최초로 AR 기술이 적용된 사례이다.

확장현실(XR : eXtended Reality)은 현실과 가상세계의 결합과 더불어 인간과 기계 또한 상호 작용하는 현실을 의미한다. 앞서 설명된 가상현실과 증강현실의 모든 기술이 포괄적으로 혼합되고 확장된 기술을 XR이라고 한다. 확장 현실은 현실과 가상 세계간의 상호 작용을 통하여 현실 공간에 배치된 가상의 물체를 손으로 만질 수가 있으며 코로나 19와 같은 상황에서 XR 기술은 디지털 공간에 자료를 띄워 공유하거나 군사적으로 교육 훈련을 시뮬레이션으로 할 수 있다.

최근 실감형 콘텐츠 기술의 발전과 산업체의 관심도 증가로 인해 언급된 기술들을 확장시킨 기술을 혼합현실(MR : Mixed Reality)이라고 한다. MR은 VR이나 AR보다 한 단계 더 나아간 기술이라고 볼 수 있다. 두 기술의 장점만을 합친 기술로서 현실과 가상 공간에서 발생된 정보들을 융합하여 진화된 가상세계를 구현하는 기술로서 기존의 가상 현실 기술에서 인간의 후각과 청각 등에 정보를 추가하여 사용자가 더 많은 정보에 대해 상호 작용할 수 있는 기술이다. 기존의 기술들이 시각에 전적으로 의존하였다면 MR 기술은 시각 외에도 청각 촉각 등과 같은 인간의 오감을 접목시킨 기술로서 현실감을 더욱 구체화 시킨 기술이다.

디지털 트윈(Digital Twin) 개념은 최초 미국의 제너럴 일렉트릭사에서 자사의 엔진, 터빈 등 제품에 디지털 트윈을 적용하면서 알려졌다. 디지털 트윈 이전의 가상 세계를 표현하기 위해 등장한 기술은 CPS(Cyber Physical System) 기술이다. 실세계와 정보통신 기술을 결합한 기술로서 전통적인 임베디드 시스템과는 다르게 컴퓨팅을 활용하여 물리 세계와 상호작용을 하는 체계이다. 이러한 CPS는 지속적으로 변화하는 환경에서 능동적으로 적응하는 것에 초점을 맞추었다. 단순한 연결성을 넘어 높은 신뢰성과 실시간성에 집중하였다. 하지만 정보화 기술이 발전됨에 따라 각 물체에 대한 초연결성에 대한 개념이 대두됨에 따라 사물인터넷(Internet of Things, IoT) 기술을 기반으로 현실세계의 실제 사물, 시스템 환경 등을 가상화하여 가상의 공간에서 동일하게 모사하여 가공시키는 디지털 트윈 개념이 생겨났다. 만들어진 가상의 사물은 실제 사물과 실시간으로 연동되어야 한다. 그럼으로써 끊임없이 순환 적응하고 최적화를 하여 좋은 결과물을 이끌어낼 수 있다. 그리고 현실에서 발생하는 다양한 상황들이 가상 환경으로 컴퓨터 시뮬레이션 등을 통해 구현된 환경에서 모의로 실시하여 발생하는 결과를 가지고 현실 세계에서 예측하는 기술이다[12]. 즉 컴퓨터에 현실과 같은 쌍둥이를 만들어내는 것이다. 실물 객체와 시스템의 특성, 결과물 등이 모의할수 있고 모의 결과에 따라 실물 시스템에 적용할 수 있는 것이 가장 큰 장점이다.

Fig. 1. 
Digital twin technology using helicopters [7]

Fig. 2. 
F-35 third HMD(helmet-mounted display) [8]

디지털 트윈 기술을 활용하게 된다면 현실 공간의 사물들을 가상 세계에 옮겨 예측함으로써 가지고 있는 사물의 성능을 실시간으로 감독할 수 있고 잠재적인 문제점을 식별하여 그 정보 등을 바탕으로 유지 관리 및 수명 주기 등에 대한 결정을 내릴 수 있다. 이를 통해 시설의 성능 개선, 문제의 예측, 원격 모니터링, 프로덕션 시간 단축 등을 실시할 수 있다. 디지털 트윈 기술을 투영하여 건설, 제조, 에너지, 자동차, 의료 서비스, 국방 분야 등 현실 세계의 많은 것들을 적용하여 활용할 수 있는 기술이다.

KCTC(Korea Combat Training Center)는 과학화전투훈련체계로서 미군의 NTC(National Training Center) 훈련장을 본 뜬 체계로서 첨단 과학기술을 적용하여 실전과 같은 훈련을 실행하는 점에 착안하여 여단급 이상의 부대가 기동훈련을 할 수 있는 교육훈련체계를 말한다. 2002년에 창설된 KCTC는 시행 첫 해 중대급을 기동훈련을 시작으로 2년 뒤 대대급으로 규모를 확장시켰고 2018년에는 여단급 규모로 전투훈련을 시행할 수 있게끔 발전시켜나갔다. 여의도 면적의 41배에 달하며 세계 최대 규모로 평가되는 KCTC는 각개 병사들이 첨단 훈련 장비를 착용하고 지휘소와 통신소 같은 인프라를 설치하여 실전과 같은 교전이 가능하다. 최근 급속도로 정보화 기술이 발전됨에 따라 입체적이고 통합적인 현대전의 양상을 구현하기 위해 한국군 또한 미군처럼 가상현실 등과 같은 최신 기술을 활용하려는 움직임을 보이고 있다.

Fig. 7. 
KCTC training system [14]

2017년 전력화된 KCTC 훈련장의 수명주기와 아미타이거 4.0 체계의 여단급 부대 교육훈련 능력 확보를 위해서 미래 KCTC 훈련체계 구축에 힘쓰고 있다. 여단급 육군본부는 2030년 중반까지 단계적으로 장병 훈련체계에 4차산업혁명 기술을 접목시켜 더욱더 생동감 넘치는 훈련을 제공하려는 노력이 엿보인다. 병사들은 VR안경과 햅틱 장비를 지급받아 데이터를 수신받을 수가 있어 실전과 유사한 환경을 묘사할 수가 있다. 아미타이거 4.0 체계가 전력화된 여단급 부대의 제병협동훈련이 가능하고 첨단 과학기술 발전과 연계되어 실전과 같은 훈련장 묘사 기능이 추가되어 진보적인 과학화 훈련이 가능하다. 또한 여단급에서 군단 및 사단급의 과학화전투훈련장도 추진하고 있다.

기존에 사용되던 공중전투기동훈련체계는 2002년에 도입되어 전자장비가 노후화되고 기동정보에 대한 신뢰성 문제와 무장과 관련된 모의 상황이 구현되기가 어려워 실전적인 숙달에 많은 어려움이 있었다. 이에 공군에서는 2022년에 공중전투기동훈련체계를 도입하였고 공중전의 과학적인 모의 전투는 항공기들의 위치, 고도, 속도, 자세를 측정하고 가상으로 발사하는 미사일등의 결과가 실시간으로 시현되고 그에 발생되는 결과가 저장되는 등 훈련 시에 생성되는 무수히 많은 정보들을 조합하여 가상의 공간에서 훈련 상황을 묘사할 수 있게 되었다. 전투기가 실시간으로 기동정보를 3차원으로 지상의 통제실에서 시현됨으로써 통제소에서는 훈련과 관련된 제반사항을 통제할 수 있게 됨은 물론 전투기에 탑재된 미사일과 같은 무장기능들을 발사 및 격추를 통해 시뮬레이션으로 구현함으로써 실전적인 훈련이 가능하게 되었다. 또한 최신의 4세대, 5세대 항공기와도 호환이 가능하여 미군과 연합군이 운용하는 전투기 기종도 적용할 수 있어 연합전 능력의 향상이 기대된다. 현재는 여러 민간업체에서 XR 기반의 공군 통합교육훈련 시스템을 개발하고 있다. 추가적으로 활주로 피해 복구 콘텐츠, 조종사 비행착각 훈련용 시뮬레이터 항공소방훈련, 폭발물처리 훈련 등과 같은 여러 상황을 묘사하여 조종사의 종합적인 환경 묘사에 초점을 두고 있다[15].

기본적인 과학화 훈련은 4가지(LVCG)로 분류된다. 우리 군은 이를 위해 과학화 훈련장에서 마일즈 장비를 활용하여 실기동훈련(Live)을 수행하고 있다. 가상훈련(Virtual)은 전차 및 헬기 등을 시뮬레이션으로 훈련하고 있고 실병력을 움직이지 않고 하는 워게임 모의훈련(Constructive)은 전투지휘훈련프로그램(BCTP : Battle Command Training Program)을 이용한다. 그리고 이들을 활용하여 게임(Game)을 시행한다. 1990년대 이전까지 미군도 LVCG 훈련들을 단독훈련체계로 활용하였다. 하지만 미 국방고등개발연구원(DARPA)에서 분산 네트워크하 여러 장비를 연결하여 프로젝트를 진행하였고 이는 성공적으로 훈련체계를 발전시켜왔다[16]. 민간사회에서는 게임 기술이 비약적으로 발전해왔고 여러가지 시뮬레이션과 워게임 그리고 증강현실 기술이 실기동 훈련체계, 3차원 가상지형등과도 연결한 합성훈련환경(STE : Synthetic Training Environment)개념이 생겼다. STE는 기존의 하드웨어 기반의 기술이 아닌 소프트웨어 중심의 클라우드 기반의 훈련체계를 의미한다. 사용자는 직접 필요한 지형을 구성할 수도 있고 임의의 지역에 지형을 촬영하여 세부 지형을 자동 생성하는 등 여러 가지 기술들을 구현할 수 있다. 축적된 훈련 데이터 등은 전문가에게 분석되어 개인 및 부대에 결과들을 피드백을 줄 수 있는 용도로 사용된다. 현재 육군은 방위사업청이 추진하고 있다. 2019년 방사청의 방위력 개선사업의 일환으로 기술에 대한 탐색 연구가 시작되었다. 2021년부터 5년 동안 445억원의 예산을 투입하여 연구 중에 있다. 2026년 전력화를 목표로 추진 중인 체계이다. 워게임 모델을 성능개량하여 KCTC와 ATCIS 등을 연동하여 사단급 LVC 통합훈련 체계를 가능하게 하는 기술이다.

현재의 적지종심지역 작전은 상급부대에서 임의의 지형을 선정하여 투입되는 부대에게 적 지역으로 산정하여 투입하도록 지시하고 있다. 실제 적지종심지역에 투입되는 인간정보자산들은 적지에 투입되어 적 지역에서 지휘소 및 통신소 등의 좌표를 알아내어 상급부대에 보고함으로써 화력유도를 하고 타격된 지점에 대해서 전투피해보고 등을 해야 한다. 하지만 현재의 훈련 방법으로는 실질적인 훈련을 하기에 다소 어려움이 따른다. 결정적으로 임의의 지형을 적 지형으로 추정하기 어렵기 때문에 실제적인 데이터 형성에는 오류가 많이 생성될 수밖에 없다. 그러므로 VR 기술을 도입하여 적 지형 등을 객체로 생성하여 전투원에게 체험을 시키게 된다면 적지종심지역에 대한 신뢰성이 높아지고 정찰 감시 훈련 간 인근 지역 체험을 통해서 훈련의 효과가 증대될 것이다.

메타버스와 증강현실이 도입된 미래형 지휘통제체계는 유무인 전투체계가 도입된 전장 환경에서 발생할 수 있는 드론을 활용한 감시정찰 정보와 표적획득 정보, 화력자산을 이용하여 타격능력을 분석한 정보, 인공지능의 영상인식 기술을 활용한 지휘결심 정보제공, 근접교전에 발생되는 피해 정보 등 무수히 많은 데이터들을 지휘소의 데이터 분석 능력을 통하여 실시간으로 분석되고 불필요한 정보는 선별적으로 처리된다. 전장에서 유무인 복합체계와 다양한 센서들로부터 생성된 정보는 공통작전상황도로 작성되어 상급 지휘소에서도 공유되어 지휘관들에게 전장 가시화를 보장해준다. 적지종심 지역에서 획득된 데이터는 AI 참모와 연계되어 지휘관의 지휘결심에 도움을 주며 위협 평가와 상황평가 등에도 활용된다. 그리고 지휘소에서 가공된 자료는 전장에 위치한 전투원들에게 공유되어 지휘관과 각 전투원들의 공통의 상황인식을 통하여 작전을 수행시킴으로써 전술 제대의 임무 완수와 작전 효율성을 극대화시키는 데 큰 도움을 준다.

Fig. 8. 
Command and control using AI and AR [17]

현재의 예비군 훈련은 신분과 연차를 구분하여 훈련유형을 정하고 부여된 임무에 의거하여 매년 진행하고 있다. 군은 예비전력 정예화를 위하여 전국 단위로 권역을 구분하고 예비군훈련대에 과학화 예비군훈련장을 창설하여 예비군 훈련장 또한 과학화 체계를 구축하여 지역 예비군 전력의 수준을 높이기 위해 노력하고 있다. 하지만 현재의 예비군 훈련은 소집교육을 기본적으로 하여 훈련과목 등을 이수하고 있는 실정이다. 코로나19와 같은 전염병이 발생하여 대면 훈련이 제한되는 경우와 예비군 소집을 위해 행정적인 많은 절차를 간소화하기 위해서는 메타버스를 도입하여 원격교육으로 대체하는 것이 훈련의 효율성을 높이는 방법 중의 하나이다. 그리고 사전 원격교육시간을 인정하게 된다면 소집교육시간은 단축시킬 수 있으며 이는 예비군을 수행하는 한국 젊은이들에게 큰 부담을 덜어줄 수가 있을 것이다. 현재 서초군에서 시범운영하고 있는 가상현실 영상모의사격장은 공간인식 방탄모와 전자감응 전투조끼를 착용하여 3면 멀티스크린을 가지고 모의 총기로 사격하는 훈련을 하고 있다. 가상의 훈련이기 때문에 영점사격과 기록사격, 그리고 적을 객체화하여 시나리오별 훈련이 가능하여 증강 현실 기술을 통하여 충분히 사격 능력을 극대화시킬 수 있다. 현재 KCTC에서 운영하고 훈련장과 같이 동원부대에 소규모 부대의 교전이 가능한 훈련장을 개설한다면 예비군들의 동원훈련시에 해야할 행동화 숙달에 집중하여 훈련성과 또한 극대화 시킬 수 있는 장점이 있다. 훈련한 모든 데이터는 메타버스 서버 등과 같은 곳에 빅데이터화하여 추후에 데이터 분석 등을 통하여 발전 사항 등을 도출할 수도 있다.

현대인의 고질적인 문제 중에 하나인 정신적 문제는 군 내부에서 실제 교전을 치른 장병들에게 극심하게 나타나고 있다. 외상 후 스트레스장애의 줄임말인 PTSD(Post Traumatic Stress Disease)는 일반 국민들도 많이 겪고 있다. 전쟁을 준비해야 하는 군인들의 심리적인 문제를 해결하지 못한다면 추후 전장에서 전장공포증을 극복하기는 매우 어려울 것이다. 현재 민간에서는 VR을 이용하여 교통사고를 겪은 화자에게 점차적으로 심리치료를 진행함으로써 환자들을 치료하고 있다. 현재까지도 많은 교전을 치루고 있는 미군 또한 PTSD를 극복하기 위해 다양한 시도를 하고 있고 VR 등도 활용하고 있다. 민간에서 적용하는 기술은 VRT(Virtual Reality Therapy) 기술이다. 일례로 많은 사람 앞에 서면 말을 더듬는 사람에게 가상으로 발표하는 상황을 묘사하여 심리적으로 조금씩 적응해나가게 하는 기술이다. 미국에서는 PTSD에 시달리는 베트남 퇴역 군인을 위한 VR 치료프로그램과 이라크 전쟁 참전 용사들에게 적용하고 있다. 실제가 아닌 상황을 묘사한 증강 현실세계에서 적응력을 통하여 현실에서 심리적인 불안감을 떨치게 하는 것이다. 우리 군 또한 VR 심리치료를 개발하여 장병들의 심리치료를 전문으로 하여 PTSD 환자들의 정신적인 질환을 친숙한 VR 환경 제공을 통해 극복해 나갈 수 있을 것이다.