Korea Digital Contents Society
[ Article ]
Journal of Digital Contents Society - Vol. 25, No. 9, pp.2401-2409
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 30 Sep 2024
Received 07 Jun 2024 Revised 18 Jul 2024 Accepted 23 Aug 2024
DOI: https://doi.org/10.9728/dcs.2024.25.9.2401

4-DOF 모션 플랫폼 기반 VR 지하공동구 체험 교육 플랫폼

강남규1, 2 ; 서상우3, * ; 정우석4 ; 이용태4, 5
1과학기술연합대학원대학교(UST) 정보통신공학전공 박사과정
2한국전자통신연구원 국방안전융합연구본부 연구원
3한국전자통신연구원 국방안전융합연구본부 선임연구원
4한국전자통신연구원 국방안전융합연구본부 책임연구원
5과학기술연합대학원대학교(UST) 정보통신공학전공 교수
Underground Utility Tunnel Experience Training Based on a 4-DOF Motion Platform in Virtual Reality
Namkyoo Kang1, 2 ; Sang-Woo Seo3, * ; Woo-Sug Jung4 ; Yong-Tae Lee4, 5
1PhD Candidate, Information Security Engineering, University of Science and Technology (UST), Daejeon 34113, Korea
2Researcher, Defense & Safety Convergence Research Division, ETRI, Daejeon 34129, Korea
3Senior Researcher, Defense & Safety Convergence Research Division, ETRI, Daejeon 34129, Korea
4Principal Researcher, Defense & Safety Convergence Research Division, ETRI, Daejeon 34129, Korea
5Professor, Information Security Engineering, University of Science and Technology (UST), Daejeon 34113, Korea

Correspondence to: *Sang-Woo Seo E-mail: swseo@etri.re.kr

Copyright ⓒ 2024 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

본 논문에서는 가상현실 환경에서 사실감 있는 지하공동구 체험 교육을 제공하기 위해 4 자유도 모션 플랫폼 기반의 지하공동구 플랫폼를 제안한다. 실제 지하공동구 환경을 모방하기 위해 제안된 시스템은 체험자에게 정확하게 동기화된 시각 및 모션 피드백을 제공한다. 모션 피드백은 4 자유도 모터 기반 액츄에이터와 공압 기반의 복동 실린더를 사용하여 실제 공동구에서 발생할 수 있는 추락과 미세 흔들림과 같은 운동량을 모사할 뿐만 아니라, 시각 및 운동역학적 가속도 조절 기법을 활용하여 체험자가 제한된 모션 플랫폼 내에서 추락하지 않으면서 이질감과 어지러움을 느끼지 않도록 설계되었다. 또한 실제 지하공동구를 라이다를 활용해 VR 환경에서 실감나게 시각화할 수 있도록 모델링한 후, 관로 내 설비 설치, 점검, 보수 등 다양한 시나리오를 기반으로 콘텐츠를 제작해 단순 체험을 넘어선 지하공동구 체험 교육 프로그램을 제공한다.

Abstract

In this paper, a 4-degree-of-freedom (4-DoF) motion platform is proposed for an underground utility tunnel (UUT), to provide realistic UUT experience training in an immersive virtual reality (VR) environment. To mimic a real UUT environment, the proposed system provides precisely synchronized visual and motion feedback to the user, employing a 4-DoF motor-based actuator and pneumatic double-acting cylinders to not only simulate momentum such as falls and micro-tremors that can occur in an actual UUT but also provide motion feedback by employing visual and kinematic acceleration control techniques. This is designed to prevent falling within the motion platform and avoid feeling foreign or dizzy. In addition, the actual UUT using LiDAR is modeled to enable realistic visualization in a VR environment, generating content based on various scenarios such as facility installation, inspection, and repair within the utility conduit, providing a UUT experiential education program that goes beyond simple experience.

Keywords:

Virtual Reality, Underground Utility Tunnel, Motion Simulator, Motion Feedback, Motion Perception

키워드:

가상현실, 지하공동구, 모션 시뮬레이터, 모션 햅틱 피드백, 운동지각

Ⅰ. 서 론

오늘날 도시의 크기와 기능이 복잡해짐에 따라 도시 인프라의 대부분은 도로 아래에 지하공동구(地下共同溝)라는 시설에 매설되어 있다. 지하공동구는 도시 내 여러 종류의 시설물(전기, 통신, 상하수도, 가스 등)을 하나의 지하 통로에 집합하여 관리하는 시설을 의미하며 이는 전기, 가스, 상하수도, 통신 등 각종 시설물을 개별적으로 지하에 매설하는 대신, 하나의 통로를 공동으로 사용함으로써 설치 및 유지 관리의 효율성을 높이고, 도시 미관을 개선하며, 지반 침하나 교통 혼잡을 줄일 수 있는 이점이 있어, 지하공동구는 특히 도시화가 진전된 지역이나 대규모 개발이 이루어지는 지역에서 중요한 인프라로 간주되며, 지속 가능한 도시 개발을 위한 필수 요소로 여겨지고 있다. 우리나라의 경우 1970년대 도시화와 산업화로 인해 대도시에서 인구와 차량이 급증함에 따라 1977년 서울 여의도를 시작으로 2024년 현재 지하공동구의 총길이는 약 500km에 달한다.

하지만, 노후화된 공동구는 환기 및 습도관리 미흡으로 인한 결로와 내부 시설 부식에 의한 내구성 악화와 이에 따른 화재를 유발하고, 통신망과 전력케이블 소실 등으로 인해 도시 전체의 마비와 경제에 큰 혼란을 일으킬 수 있다. 이를 예방하고자 우리나라 국토교통부에서는 지하공동구의 설계 기준과 정기적인 관리지침을 법제화하여 관리 감독하고 있다[1].

그러나, 표 1과 같이 1990년 이후 지하공동구 및 인프라 시설은 결로 및 부식으로 인한 화재는 빈번히 발생하였으며[2],[3], 이로 인한 상당한 경제적 손실과 주민들의 불편함이 있었다. 이러한 지하공동구 내 재난을 최소화하고자 고속 화재 예측, 검출 및 대응에 관한 연구들이 진행됐으나[4],[5], 공동구 내 높은 습도나 낙후된 환기시설 등의 열악한 환경으로 인하여, 공동구 내 장비들의 잦은 고장 발생으로[6]-[8], 공동구의 규모와 길에 따라 일반적으로 주 1회 이상 사람이 지하공동구에 들어가서 직접 순찰 및 장비 수리하고 있다. 그러나 좁은 통로에서의 작업환경은 순찰자에게 심리적 압박을 줄 수 있을 뿐만 아니라, 공동구 내에 설치된 특고압 전력케이블의 높은 전자기장은 수면 부족, 스트레스, 우울증뿐만 아니라 각종 암을 유발할 수 있으며[9]-[11], 이는 미숙한 작업자의 경우 장시간 공동구의 환경 노출로 인체에 치명적인 해를 입을 수 있다. 이러한 공동구 내 장시간 노출을 피하기 위하여 실제를 모방한 디지털 트윈 기반의 지하공동구 가상훈련 플랫폼의 개발이 필요하다.

Disaster damage to national infrastructure

최근 연구에서는 건설과 같은 위험한 현장에서 안전 관리 개선을 위해 즉각적인 피드백과 함께 가이드된 위험에 대한 의식을 경험할 수 있는 기회를 제공하는 몰입형 가상훈련 경험을 제공하였다[12]. 건설 현장의 복잡하고 위험 요소 최대한 재현하기 위하여 360도 파노라마 이미지와 비디오를 사용하여 훈련 시스템을 구축하였으나, 다양한 건설 현장을 360도 파노라마 이미지와 비디오로만 제공하기에는 몰입감 있게 현장감을 재현하지 못할 뿐만 아니라, 결국 VAC(vergence-accommodation conflict)를 일으켜 가상멀미를 유발할 우려가 있다.

가상현실에서 시각과 전정 감각간의 불일치에 따라 나타나는 가상 멀미를 줄이기 위해 3 자유도의 모션 플랫폼과 HMD를 이용한 시각적-물리적 움직임을 동기화하였으나[13], 체험자 물리적인 움직임을 반영한 것이 아니라, HMD를 통해서 신호를 추적한 방법으로 인간 행동에 대해 복잡하고 정확도 높은 시스템 개발이 필요하다.

또한, 트레드밀을 사용하여 가상현실의 지형을 GAN의 변형 모델을 통해 새로운 최적화 기법으로 몰입감 있는 가상현실 체험 시스템을 개발한 사례도 있다[14]. 하지만, 사용자의 위치 및 포즈를 추적하여 시스템에 반영한 것은 아니기 때문에, 저속으로 이동할 때만 의미 있는 학습 효과를 나타내었다. 따라서, 모션 플랫폼을 활용한 가상 훈련 플랫폼은 사용자의 위치 추적과 모션 플랫폼의 포즈를 모두 고려하였을 때 가상환경과 감각 충돌로 발생하는 가상 멀미의 유발을 방지할 수 있다.

모션 시뮬레이션의 성능은 사실적인 VR 교육훈련 플랫폼을 개발하는 데 있어 핵심적인 요소이다. 현재까지 대부분의 모션 플랫폼은 6 자유도를 쉽게 구사할 수 있는 헥사포드 모션 시스템을 채택하고 있다[15],[16]. 그러나 이 시스템은 구조물 공간 내에서 제한된 이동 범위 내에서만 구동될 뿐만 아니라 걷기, 달리기 또는 다른 형태의 움직임을 시뮬레이션할 수 없으므로 신체 재활, 스포츠 훈련 등과 같은 VR 애플리케이션에서 사용할 때 몰입감과 현실감이 크게 떨어진다.

본 논문에서는 몰입감 증대를 위하여 4 자유도 모션 플랫폼을 적용하여 체험자가 사실감 있는 지하공동구의 경험을 할 수 있고 화재 대응 및 시설 정비를 신속히 할 수 있도록 디지털 트윈 기반의 지하공동구 가상훈련 콘텐츠를 개발하였다. 또한 Azure Kinect DK 모션 캡쳐 센서를 사용하여 체험자의 걸음 방향과 속도를 추적하고 모션 플랫폼 내에 자연스럽게 중앙에 위치하도록 트레드밀의 속도 및 방향을 정밀 제어함으로써 체험자가 멀미를 유발하지 않고 편안하게 체험할 수 있는 지하공동구 체험 교육 플랫폼을 제안한다.

본 논문의 나머지 부분은 다음과 같이 구성된다. 섹션 2에서는 지하공동구 체험 교육 플랫폼의 전체적인 구조를 도식화하였으며, 전체 시스템의 아키텍처 및 해당 부분 주요 구성 요소들을 제시하여 지하공동구 체험 교육의 개괄적인 시스템을 나타내었다. 또한 수직 낙하 장치와 모션 플랫폼의 상세한 구조들과, 해당 장치의 동작 프로세스에 대해 설명하고, 모션 플랫폼의 트레드밀 속도 제어를 위한 모션 캡쳐 센서 기반의 모션 인식 기술에 대해 설명한다. 섹션 3에서는 시스템 구현 및 결과에 대해 설명한다. 마지막으로 결론과 향후 연구에 대한 제안을 섹션 4에 요약한다.


Ⅱ. 지하공동구 체험교육 플랫폼

지하공동구 체험 교육 플랫폼은 그림 1과 같이, 제어용 PC, 4 자유도 모션 플랫폼, 수직낙하 장치, 모션인식기, HMD 등으로 구성되어 있다. 체험 교육을 위한 지하공동구의 가상현실 콘텐츠는 실제 공동구를 고정밀 라이다를 사용하여 모델링하고 이를 체험 교육의 목적에 부합하기 위하여 통신선, 전력선, 상수도(일반수도, 공업용수도) 등 다양한 공동구 내 시설을 체험 할 수 있도록, 실제와 유사하게 설계되었다. 시스템이 부팅되면, PC에 설치된 가상현실 콘텐츠가 HMD로 가시화되고, 모션 인식기는 실시간으로 체험자의 3차원 자세 및 위치를 인식한다.

Fig. 1.

Overall structure of the underground utility tunnel experiential education simulator

모션 인식기는 모델 기반 특징점 방법으로, TOF 기반의 모션 인식 센서인 Azure Kinect DK를 사용하여 체험자의 관절 위치 정보를 모션 데이터로 획득하였다. 사람의 신체에서 25개의 관절로 구성된 골격을 실시간으로 추적하여 사람의 관절 위치 좌표 정보를 획득하였다. 추적된 관절 골격 척추 기저부를 중심으로 보행하는 동안의 모션을 실시간으로 인식해 지하공동구 가상훈련 콘텐츠에 적용하였다. 척추 기저부를 기준으로 체험자의 전향 방향 및 속도에 따라 모션 베이스의 Surge 방향과 속도가 결정되고 체험자가 모션 플랫폼 밖으로 떨어지지 않고, 항상 중앙에 위치하도록 제어한다.

모션 베이스와 PC는 UDP, 추락 장치와는 USB 통신으로 유선 연결되어 있으며, 그림 2와 같이 구성된 VR 지하공동구 내의 지형(직선 통로, x, y 축에 대한 경사각, 추락 등) 에 따라 4 자유도 모션 플랫폼은 정밀하게 동기화되어 시뮬레이션 됨으로써 제한된 공간 내에서 체험자는 사실감 있는 지하공동구 체험 교육을 받을 수 있다.

Fig. 2.

VR UUT content model: a. downhill passage, b. uphill passage, c. external model of a VR UUT

2-1 모션 플랫폼

모션 플랫폼은 수직 추락 장치와 모션 베이스로 구성되며, 이 두 장치의 컨트롤러는 각각 독립적으로 동작한다.

1) 수직 추락 장치

수직 추락 장치는 실제 추락과 같은 경험을 사용자에게 제공하기 위하여 그림 3와 같이 4개의 공압 실린더를 활용하여 Heave를 수행한다. 각 실린더는 개별 5/2 솔레노이드 밸브에 연결되어 있으며, 밸브는 컨트롤러로부터 전기 신호와 압축기의 공기를 입력받아 공기의 흐름을 제어하여 플레이트가 상승 또는 하강하게 되며 이때 실린더의 동작 속도는 약 1.5 m/s이며, 실험에 사용된 실린더의 스트로그 길이는 30cm이므로, 정지상태의 사람이 자유낙하를 할 때의 속도(약 0.25초)와 거의 비슷하다.

Fig. 3.

Vertical falling device

2) 모션 베이스

모션 베이스는 총 4의 자유도(Roll, Pitch, Heave, Surge)를 가지며, 상단과 하단 구동부로 나뉘어 동작한다. 하단 구동 장치의 구조는 그림 4과 같이 묘사될 수 있으며, 3개의 구동 장치(A, B, C)를 동작시켜, Roll, Pitch, Heave, 3의 회전 및 이동 자유도를 갖는다. 각 구동 장치는 모터, 샤프트, 승강링크, 그리고 부품을 고정하는 장치들로 구성되어 있다.

Fig. 4.

Structure of the proposed motion platform

A와 B 구동 장치에 설치된 링크는 방향이 같으며, C 구동 장치에 설치된 링크는 반대 방향이며, 이 3개의 링크는 상단 구동부와 연결되어 있다. 이때, C 구동 장치의 승강링크와 상단 구동부 사이의 축 결합 방향은 A와 B 구동 장치의 승강링크와 상단 구동부 사이의 축 결합 방향에 대하여 수직인 방향으로 이루어진다. 즉, C 구동 장치의 승강링크와 상단 구동부 사이에 결합된 축은 샤프트와 평행한 방향이다. 이와 같은 구동 장치의 구성을 통해, 하단 구동부는 Pitch, Roll, Heave를 수행한다.

상단 구동부는 그림 5와 같이 트레드밀 구조로써 모터, 고무벨트, 워킹 패드로 구성되어 모션 베이스의 Surge를 수행한다. 체험자에게 부드러운 모션 생성하기 위하여 2개의 고무벨트와 1개의 워킹 패드가 적용되었으며, 이는 체험자에게 VR 공간에서 사실적이고 부드럽게 걸을 수 있는 경험을 제공한다.

Fig. 5.

Upper driving unit(treadmill) structure

모션 베이스에 사용된 모든 모터는 Delta 사의 ECMA-C10807ES이며, PCI 인터페이스의 모션카드(PCI-DMC-F02)에 의해 제어되며, 모션 플랫폼의 상세 스팩은 표 2와 같다. 모션 베이스의 동작 속도는 모터의 사양과 샤프트의 나사산의 개수에 따라 결정된다. 구현에 사용된 모터의 회전 속도는 5,000r/min이고 나사산은 20이므로, 상승링크가 동작하는데 걸리는 시간은 0.24초로 Pitch의 이상적인 동작 속도는 ±41.7°/s이나, 체험자 및 상단구동부(트레드밀)의 무게 증가로 모터의 속도 및 가속도가 하락하여, 최종 각 속도는 ±35°/s로 측정 되었다. 각 속도는 모션카드의 SDK를 통해 획득된 모터의 속도를 활용하여 추정하였다. 추락 장치의 동작 범위는 실린더의 스트로크 길이에 따라 300mm이며, 모션 베이스의 Heave 동작 범위는 그림 4에 묘사된 상승링크의 높이에 따라 200mm이다. 또한 구동장치 AB와 C의 고정 축간 거리가 1,150mm이고, 구동장치 A와 B 사이의 거리는 800mm이므로, Roll과 Pitch의 구동 범위는 각각 ±14°와 ±10°이다.

Detailed specifications of motion platform

2-2 모션 인식 기술

모션 인식 시스템은 그림1과 같이 4 자유도 모션 플랫폼, 수직 추락 장치, Azure Kinect DK, 그리고 제어 PC로 구성되어 있다. 모든 통제는 제어 PC에서 통합 관리한다. HMD를 착용하여 지하공동구 가상현실 콘텐츠를 체험하게 되며 지하공동구는 직진 방향의 터널로 된 시설물이다. 이를 가상현실로 체험자가 직진 방향으로 보행하게 되는데, 4 자유도 모션 플랫폼 위에서 보행하며 체험한다. 4 자유도 모션 플랫폼은 Azure Kinect DK의 취득한 모션 데이터로 체험자가 모션 베이스 중앙 위치에 놓이도록 제어 속도에 피드백을 제공한다.

거리 보행으로 상호작용하는 몰입감 있는 가상현실 체험을 위해 모션 플랫폼의 트레드밀이 그 기능을 제공해 준다. 모션 베이스의 한정적인 공간 내에서 체험자가 자유롭게 보행하는데 안정성 제약이 있다. 본 연구에서 제안하는 시스템에서는 모션 캡처 센서를 통해 획득한 모션 데이터로 체험자가 모션 베이스에서 이탈되지 않도록 보장된 최대 활동 가능 범위를 파악한다. 모션 데이터 취득은 Azure Kinect DK로 wide field of view 모드 기준 120°×120°으로 체험자의 골격 25개 관절 위치 좌표에서, pelvis 척추 기저부 좌표를 실시간 캡처하여 체험자의 보행 속도를 추정한다. 체험자의 보행 속도를 Azure Kinect로 획득한 모션 데이터에 따른 위치 변화 값으로 추정하여 체험자가 항상 중앙 위치에 위치하도록 모션 베이스의 구동 속도를 제어하여 체험자 상호작용 안전성을 확보해준다.

다만, HMD 기반의 가상현실 환경에서 체험자는 그림 6와 같이 감각 충돌에 의한 불편감, 메스꺼움, 창백해짐, 구토, 두통 등과 같은 사이버 멀미 현상을 유발할 수 있다. 실제 공간에서는 몸의 움직임이 시각적 자극과 함께 수반되어 나타나기 때문에 관성력과 물리적 힘 간의 합력으로 체험자는 느끼지만, 가상현실에서는 실제 몸의 움직임이나 물리적 자극은 없고 오로지 시각적 자극만 있으므로, 같은 시각적 자극이라도 실제 공간에서 느껴지는 합력과 가상현실에서 느껴지는 합력은 분명한 괴리가 있는 전이성 착각(vection illusion)으로 사이버 멀미가 유발되는 것이다[17].

Fig. 6.

How cybersickness occurs in virtual reality

본 연구에서 이러한 사이버 멀미를 감소시키는 널리 알려진 시각 및 운동 감각의 가속도의 조절기법을 적용하였다[18]. 제안된 시스템에서는 보행 속도를 한정하는 것과 관련하여 성별 및 연령층에 따른 보행 평균속도를 기준으로 하여 모션 인식 기반의 시뮬레이터 가동 기준치를 평균 1.4m/s로 설정하였다.

그림 7은 상단 구동부 트레드밀의 속도 제어를 위한, 보행 안전 범위를 설정하기 위해 위치별 변수들을 나타낸 것이다. 모션 플랫폼의 트레드밀 최장 길이를 L, 구동 속도를 V 라고 할 때, 체험자의 실제 보행 속도를 Vp, 보폭 주기를 Tp, 모션 베이스 양 끝단에서 보행 위험 구간을 D, 모션 플랫폼의 트레드밀 중앙 위치로부터 안전 범위 R로 정의할 수 있다.

Fig. 7.

Treadmill speed control variables for the motion plate

본 연구에서는 트레드밀 위에서 보행하는 체험자가 시스템 중앙에 위치하도록 제어하기 위한 수식을 표3과 같이 정의 및 풀이하였다. X축으로 전후 이동하는 트레드밀에서 체험자의 안정성 확보하는 보행 범위를 파악하기 위해 트레드밀의 양 끝단에서 보행 위험 구간을 D에 대한 식 (1)과 같이 나타낼 수 있다. 양의 부호는 체험자 기준 전면 방향을 의미한다.

Equations for the speed of the treadmill and gaits

식 (1)에서 보행 위험 구간을 D는 체험자의 보행 속도 Vp와, 단일 보폭 주기 T만큼 이동한 거리보다 짧다고 정의 할 수 있다. 식 (2)에서 D0는 보행 위험 구간 임계 길이를 나타낸다. 식 (3)의 거리 r는 Azure Kinect DK로부터 구한 거리로, 모션 베이스 중앙 위치에 서 있는 체험자의 Pelvis 좌표 기준에서의 측정한 거리가 S0이고, 한 보폭 T만큼 이동하여 측정한 거리를 Sp로 정의된다. r를 기준으로 모션 베이스가 구동 시작하는 임계 거리이다. 식 (4)는 모션 플랫폼의 트레드밀이 구동하는 가장 최소단위의 임계 거리 r이 속도 VpTp 보폭 주기만큼 이동했을 때, 모션 베이스가 Vp만큼 속도로 가동한다.

구동 시작하는 임계 거리 r 조건에 해당하지 않으면 모션 베이스는 속도 0으로 가동을 멈춘다. 식 (5)는 오직 체험자의 위치 좌표만을 기준으로 모션 베이스를 가동할 때 일정한 평균속도를 적용할 수 있다. 모션 베이스의 제어 속도 Vfixed 를 나타낸다. 20대~50대 남녀 평균 속도 Vavg는 1.4m/s 속도로 고정하여 안전범위를 지정할 수 있다. 식 (6)은 구동 보행 안전 제어 거리 R로 다음과 같이 정의 할 수 있다. 보행 위험 구간 임계 길이 D0와 모션 베이스 중앙에서부터 하단 길이로부터 빼면, 체험자의 보행 안전 범위 R을 다음과 같이 구할 수 있다. 식 (7)은, 일정한 평균속도를 적용할 때 특수한 경우 체험자의 보행 안전 범위 Rfixed 이다.

제안하는 모션 베이스 속도 제어 알고리즘은 그림 8과 같이, Azure Kinect로 획득한 좌표 모션 플랫폼의 트레드밀의 중앙 위치로부터 체험자의 거리를 모션 베이스 구동 시작하는 임계 거리 r로 반영하여 모션 플랫폼의 트레드밀의 구동 속도를 V를 제어한다.

Fig. 8.

Speed control block diagram for motion plate treadmill

그러나 더 일반적인 방법으로는 다음 식 (8)과 같이 보완하여 체험자의 보행 속도 Vp를 시간 t에 대하여 상정할 수 있다. 한 보폭 당 사인함수의 1/2주기에 근사하여 따른다[19]. 이때, Vmax는 한 보폭으로 움직일 때, 걸음걸이 중 swing phase에서 최대 속도를 나타낸다. 식 (8)Tp 보폭 주기만큼 이동한 거리는 VavgTavg와 같다고 볼 수 있다. 이때, TPTavg 간의 차이가 근소하다면 보행하는 체험자의 swing phase에서 최대 속도를 수식 구할 수 있다. 다음 표 4에서는 모션 플랫폼의 트레드밀이 구동하기 시작하는 임계 거리 r과 t에 대한 속도 V(r, t)와, 체험자의 보행 안전 제어 거리 r에 대한 R(r)이다.

Speed of the motion base and control distance of the user’s walking safety

표 4의 속도와 보행 안전 제어 거리를 미루어 볼 때, 모션 센서와 가까울수록 보행 안전거리를 줄어들지만, 걸음걸이에 swing phase를 반영하여 평균속도로 적용한 시스템보다 모션 베이스의 구동에 가속도를 반영하여 가상 멀미를 경감시키는 효과를 얻을 수 있었다.


Ⅲ. 시스템 구현 및 결과

구현된 전체 지하공동구 체험 교육 시뮬레이터는 그림 9과 같다. 그림 9a와 같이 체험자는 모션 플레이트 상단부의 트레드밀 정중앙에서 체험을 시작한다. 모션 플레이트 하단부인 3 자유도 모션 베이스(그림 9b)는 가시화되고 있는 지하공동구 체험 교육 콘텐츠의 객체 움직임에 따라 PC와 동기화되어 Pitch, Roll, Heave 방향으로 움직인다. 또한 모션 플레이트 상단부인 트레드밀(그림 9c)은 체험자의 걷는 위치에 따라 워킹 패드 위 중앙에 위치시키도록 제안된 시각 및 운동 가속도 조절기법 기반으로 정밀하게 모터를 제어한다.

Fig. 9.

The implemented experience training simulator of the underground utility tunnel: a. 4-DOF motion platform. 3-DOF motion base, c. treadmill, d. user's posture captured by ToF-based motion recognition device.

Azure Kinect DK로 캡처된 인체의 전체 자세 정보는 그림 9d와 같이 모션 데이터로 활용된다. 또한 체험자의 관절 기저부의 3차원 위치 정보를 획득하여 보행자의 보행 속도를 실시간으로 추정하였고, 체험자가 워킹 패드 중앙에 항시 위치하도록 워킹 패드 모터를 구동할 수 있게 하였다. 그림 10는 체험자의 실제 동작속도와 모션인식 기술에 의해 제어된 모션 플랫폼의 트레드밀의 속도를 보여준다. 체험자가 움직이기 시작하면 트레드밀이 0.5초 이내 반응하여 보행자의 보행 속도에 맞춰서 트레드밀의 속도가 유지됨을 확인할 수 있다. 그래프에서 트레드밀의 속도는 비교를 위하여 실제와 반대 방향으로 표현하였다.

Fig. 10.

Treadmill operation speed according to the walking speed of the user

체험자의 동작 속도는 Kinect 센서에서 획득된 동작 데이터를 기반으로 보행 속도를 추정하였으며, 모션 플랫폼의 트레드밀은 모션 카드에서 제공된 SDK를 통해 획득된 모터의 실제 속도와 모션 플랫폼의 트레드밀을 지지하는 롤러의 지름을 활용하여 트레드밀의 진행 속도를 추정하였다.


Ⅳ. 결 론

본 연구는 4 자유도 모션 플랫폼을 이용하여 가상환경에 시각 및 물리적 객체 움직임을 정교하게 제어하여 체험자로부터 멀미를 적게 유발하고 실감 나는 지하공동구 체험 교육 시스템을 제공하는 것을 목표로 하였다.

제안된 시스템은 실제 지하공동구 환경을 면밀히 조사하고 라이다를 활용하여 모형화함으로써 사실감 있는 시각 피드백을 제공하고, 충격, 추락, 진동과 같은 운동 감각 피드백을 제공한다. 그뿐만 아니라 모션 플랫폼 위에서 가상현실 콘텐츠를 경험하는 체험자에게 멀미를 최소화하기 위하여 시각 및 운동 감각의 가속도 조절기법을 적용하여 체험자에게 편안한 체험 교육을 제공하였다.

향후, 대규모 체험자를 대상으로 지하공동구 체험 교육 프로그램을 제공함으로써 교육적 효과를 검증하고 사용자의 멀미 유발 정도를 설문 조사하여 분석할 예정이다.

Acknowledgments

이 논문은 행정안전부 생활안전 예방서비스 기술개발사업의 연구비 지원(RS-2019-ND618031)과 2024년도 정부(과학기술정보통신부, 행정안전부, 국토교통부, 산업통상자원부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임(No. 2020-0-00061, 디지털트윈 기반의 지하공동구 화재·재난 지원 통합플랫폼 기술개발).

References

  • MOLIT (Ministry of Land, Infrastructure and Transport), Guidelines for the Installation and Management of Communal Spaces, MOLIT Instruction No. 1460, December 2021.
  • C. Tai, G. Tian, W. Lei, and J. Wang, “A Field Measurement of Temperature and Humidity in a Utility Tunnel and a Brief Analysis of the Exhaust Heat Recovery System,” Indoor and Built Environment, Vol. 30, No. 4, pp. 487-501, April 2021. [https://doi.org/10.1177/1420326X19897097]
  • J. Ko, “Study on the Fire Risk Prediction Assessment due to Deterioration Contact of Combustible Cables in Underground Common Utility Tunnels,” Journal of Korea Society of Disaster Information, Vol. 11, No. 1, pp. 135-147, March 2015. [https://doi.org/10.15683/kosdi.2015.11.1.135]
  • B.-J. Lee, M.-S. Lee, and W.-S. Jung, “Acoustic Based Fire Event Detection System in Underground Utility Tunnels,” Fire, Vol. 6, No. 5, 211, May 2023. [https://doi.org/10.3390/fire6050211]
  • J. Ahn and H. Yoon, “A Hybrid Deep Learning Model for Real-Time Forecasting Fire Temperature in Underground Utility Tunnel Based on Residual CNN-LSTM,” Journal of KIISE, Vol. 51, No. 2, pp. 131-140, February 2024. [https://doi.org/10.5626/JOK.2024.51.2.131]
  • D. K. Kang and J. H. Park, “The Measurement of Electromagnetic Wave in Power Cable Tunnel of Underground Utility Tunnel,” Journal of the Korean Society of Safety, Vol. 34, No. 1, pp. 1-7, February 2019. [https://doi.org/10.14346/JKOSOS.2019.34.1.1]
  • H. Kim and W.-S. Jung, “Survey and Analysis of the Wireless Environment of the Underground Utility Tunnel for the Network of the Digital Twin-Based Fire Disaster Support Platform,” in Proceedings of 2021 Annual Conference of the Korean Society of Disaster Information, Seoul, pp. 53-54, November 2021.
  • M. Seong, D. H. Kim, and S. C. Kim, “Analysis of Electric and Magnetic Fields Distribution and Safe Work Zone of 154 kV Power Line in Underground Power Cable Tunnel,” Safety Science, Vol. 133, 105020, January 2021, [https://doi.org/10.1016/j.ssci.2020.105020]
  • Y. Zhang, J. Lai, G. Ruan, C. Chen, and D. W. Wang, “Meta-Analysis of Extremely Low Frequency Electromagnetic Fields and Cancer Risk: A Pooled Analysis of Epidemiologic Studies,” Environment International, Vol. 88, pp. 36-43, March 2016. [https://doi.org/10.1016/j.envint.2015.12.012]
  • M. B. Hosseinabadi, N. Khanjani, M. H. Ebrahimi, B. Haji, and M. Abdolahfard, “The Effect of Chronic Exposure to Extremely Low-Frequency Electromagnetic Fields on Sleep Quality, Stress, Depression and Anxiety,” Electromagnetic Biology and Medicine, Vol. 38, No. 1, pp. 96-101, 2019. [https://doi.org/10.1080/15368378.2018.1545665]
  • N. Wertheimer and E. Leeper, “Electrical Wiring Configurations and Childhood Cancer,” American Journal of Epidemiology, Vol. 109, No. 3, pp. 273-284, March 1979. [https://doi.org/10.1093/oxfordjournals.aje.a112681]
  • I. Jeelani, K. Han, and A. Albert, “Development of Immersive Personalized Training Environment for Construction Workers,” in Proceedings of ASCE International Workshop on Computing in Civil Engineering 2017, Seattle: WA, pp. 407-415, June 2017. [https://doi.org/10.1061/9780784480830.050]
  • A. K. T. Ng, L. K. Y. Chan, and H. Y. K. Lau, “A Study of Cybersickness and Sensory Conflict Theory Using a Motion-Coupled Virtual Reality System,” in Proceedings of 2018 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), Tuebingen/Reutlingen, Germany, pp. 643-644, March 2018. [https://doi.org/10.1109/VR.2018.8446269]
  • W. Li, “Terrain Synthesis for Treadmill Exergaming in Virtual Reality,” in Proceedings of 2023 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW), Shanghai, China, pp. 263-269, March 2023. [https://doi.org/10.1109/VRW58643.2023.00064]
  • Moog. Flight Simulation [Internet]. Available: https://www.moog.com/markets/simulation/flight-simulation.html, .
  • Y. R. Khusro, Y. Zheng, M. Grottoli, and B. Shyrokau, “MPC-Based Motion-Cueing Algorithm for a 6-DOF Driving Simulator with Actuator Constraints,” Vehicles, Vol. 2, No. 4, pp. 625-647, December 2020. [https://doi.org/10.3390/vehicles2040036]
  • A. Kemeny, J.-R. Chardonnet, and F. Colombet, Getting Rid of Cybersickness: In Virtual Reality, Augmented Reality, and Simulators, Cham, Switzerland: Springer, 2020. [https://doi.org/10.1007/978-3-030-59342-1]
  • E. Chang, D. Seo, H. T. Kim, and B. Yoo, “An Integrated Model of Cybersickness: Understanding User’s Discomfort in Virtual Reality,” Journal of KIISE, Vol. 45, No. 3, pp. 251-279, March 2018. [https://doi.org/10.5626/JOK.2018.45.3.251]
  • S. Park, J.-S. Lee, D. H. Kang, E. Jeong, H. J. Jeon, and S. Park, “A Review of Walking Speed and Stride Length according to Age,” in Proceedings of 2007 Fall Conference of the Ergonomics Society of Korea, Busan, pp. 430-434, November 2007.

저자소개

강남규(Namkyoo Kang)

2014년:한국기술교육대학교 (공학학사-디자인공학과)

2019년:성균관대학교 대학원 (공학석사-인터랙션사이언스학과)

2021년~현 재: 과학기술연합대학원대학교 대학원(UST) 정보통신공학전공 박사과정

※관심분야:메타버스, 인공지능, 디지털 트윈, 가상 햅틱 랜더링

서상우(Sang-Woo Seo)

2009년:부경대학교 (공학학사-컴퓨터멀티미디어공학과)

2011년:고려대학교 대학원 (공학석사-전자정보공학과)

2013년~현 재: 한국전자통신연구원 재난안전지능화융합센터 선임연구원

※관심분야:디지털 신호처리, 인공지능, 디지털 트윈

정우석(Woo-Sug Jung)

1992년:명지대학교 (공학학사-전자공학과)

1994년:명지대학교 대학원 (공학석사-전자공학과)

2010년:충남대학교 대학원 (공학박사-컴퓨터공학과)

1994년~현 재: 한국전자통신연구원 재난안전지능화융합센터 센터장

※관심분야:PS-LTE, IoT, 디지털 트윈, 메타버스, 재난 안전 응용서비스

이용태(Yong-Tae Lee)

1993년:한국항공대학교 (공학학사-항공전자공학과)

1995년:한국항공대학교 대학원 (공학석사-항공전자공학과)

2007년:연세대학교 대학원 (공학박사-전기전자공학과)

1995년~현 재: 한국전자통신연구원 국방안전융합연구본부 책임연구원

2011년~현 재: 과학기술연합대학원대학교(UST) 정보통신공학전공 교수

※관심분야:RF 신호처리, 디지털 신호처리, DTV 전송시스템

Fig. 1.

Fig. 1.
Overall structure of the underground utility tunnel experiential education simulator

Fig. 2.

Fig. 2.
VR UUT content model: a. downhill passage, b. uphill passage, c. external model of a VR UUT

Fig. 3.

Fig. 3.
Vertical falling device

Fig. 4.

Fig. 4.
Structure of the proposed motion platform

Fig. 5.

Fig. 5.
Upper driving unit(treadmill) structure

Fig. 6.

Fig. 6.
How cybersickness occurs in virtual reality

Fig. 7.

Fig. 7.
Treadmill speed control variables for the motion plate

Fig. 8.

Fig. 8.
Speed control block diagram for motion plate treadmill

Fig. 9.

Fig. 9.
The implemented experience training simulator of the underground utility tunnel: a. 4-DOF motion platform. 3-DOF motion base, c. treadmill, d. user's posture captured by ToF-based motion recognition device.

Fig. 10.

Fig. 10.
Treadmill operation speed according to the walking speed of the user

Table 1.

Disaster damage to national infrastructure

Type Place Cause Date Scale of damage
Public under-ground tunnel Yeouido UUT Power cables connection overload 2000.
11.20.
33,000 lost communication lines
Over 2,300 homes without power
Yeouido UUT Flooding due to overheated aging water pipes 2000.
11.20.
Flooded power, telecommunications, water, and energy lines
Mokdong UUT Stomwater runoff from heavy rains 2001.
07.15.
Flooded power, telecommunications, water, and energy lines
Three power boards, three control boards, and three drainage pumps are inoperable.
Yeosu UUT Flooding from stoms and high tides 2003.
05.14.
Fully flooded UUT
Power tunnel Busan Noksan Industrial Complex Overheating junction points 2014.
04.17.
2,809 apartments out of power
442 tenants lost power
Guri Overheating junction points 2006.
12.29.
120 meters of power cable burned out
60 meters of communication cable burned down
Communication tunnel Seoul Ahyeon dong Telecommunication office Short circuit 2018.
11.24.
Communication failure in Seodaemun, Mapo, Yongsan, Jung-gu, Eunpyeong-gu, Seoul, and Ilsan, Goyang-si, Gyeonggi-do, Korea
Yongsan Han river Electrical overload 1999.
10.08.
23,000 households without phone service
Jongro 5ga Electrical overload 1994.
03.10.
321,186 unavailable phone lines
Namdaegu Telephone office Electrical junction 1994.
11.21.
44,684 unavailable lines
Private under-ground tunnel Gwangyang Steel works Electrical factors 2013.
08.21.
102 meter Power cable loss
Oympic village Welding sparks 1997.
08.23.
3,692 households out of service
Electricity 3,320 households disconnected
Pyeongchon Gwanak Town Welding sparks 1994.
12.19.
No electricity,
No communication

Table 2.

Detailed specifications of motion platform

Operating range Roll ±14°
Pitch ±10°
Heave
(Vertical fall device)
300mm
Heave
(Motion base)
200mm
Surge 1500mm
Operating speed Roll ±40°/s
Pitch ±35°/s
Heave
(Vertical fall device)
1.5m/s
Heave
(Motion base)
0.5m/s
Surge 5.5m/s
Payload (Motion base) 400kg

Table 3.

Equations for the speed of the treadmill and gaits

D<0TbVtpdt
(1)
D0t=0TpVtpdt
(2)
r=Sp-S0
(3)
V=VprVpTp, L2-D00
(4)
Vfixcd =Vavg rVavg Tavg, L2-D00
(5)
R=L2-r-D0
(6)
Rfixcd =L2-Vfixcd Tavg -D0
(7)
Vpt=VmaxsinπtTp
(8)
0TpVmaxVptdt=VavgTavg            2πVmaxTp=VavgTavgTp=TavgVmax=π2Vavg
(9)

Table 4.

Speed of the motion base and control distance of the user’s walking safety

V(r, t) π2VavgsinπtTrVpTp, L2-D0
R(r) L2-2TπVavg -r