UAV 사진 측량시 음영지역 검출을 위한 시뮬레이터 개발

Ⅰ. 서 론

UAV(무인비행체, Unmanned Aerial Vehicle)은 사람이 탑승하지 않으며, 원격 조종, 자동 비행, 반자동 비행, 자율비행을 하는 비행체를 의미한다[1]. UAV는 기존 공간정보 취득 방법인 유인기를 이용한 항공사진측량에 비해 시간과 비용 면에서 공간정보 취득 효율이 높다[2]. 이에, UAV를 이용한 공간정보 취득에 대한 연구·개발이 지속적으로 수행되고 있다. 2017년에는 UAV를 이용한 교량 상판의 텍스쳐 매핑 연구가 진행되었으며[3], 2018년에는 UAV의 사진촬영 이전에 UAV의 촬영 경로를 편집하고 사전에 비행 환경을 테스트 할 수 있는 시뮬레이터가 개발되었다[4]. 그러나 이 시뮬레이터들은 UAV 경로에 따른 지형·지물의 음영지역에 대한 정보를 제공하지 않아 실감형 공간정보를 구축하는데 있어 산출물의 품질 정보를 파악하기 어렵다는 단점이 있다. 이러한 단점을 보완하기 위해서는 실제 지형·지물 데이터를 이용하여 사전에 음영지역을 표출하는 시뮬레이터가 필요하다. 조경분야에서는 가시화[5] 및 지형 최적화[6] 등에 시뮬레이터가 사용되고 있지만, 음영지역 가시화 기능이 시뮬레이터에 적용된 사례는 없다. 따라서 본 연구에서는 종래의 UAV 시뮬레이터의 요소기술과 음영지역 검출 알고리즘을 활용하여 UAV를 이용한 항공사진측량 시 발생하는 음영지역을 최소화하기 위한 시뮬레이터를 개발하였다.

Ⅱ. 시뮬레이터 요소 기술 분석

본 연구에서 개발하고자 하는 시뮬레이터는 종래의 시뮬레이터에 음영지역을 탐지하고 최적경로를 산출하는 알고리즘을 탑재한 시뮬레이터이다. 따라서 기존의 시뮬레이터에 적용된 요소기술인 SITL과 무인비행 통신기술을 본 연구 산출물에도 적용하여 소프트웨어 개발에 필요한 시간을 단축하였다.

2-1 SITL(Software In The Loop)

시뮬레이터는 GCS(지상관제시스템, Ground Control System)와 달리 실재하지 않는 가상의 UAV를 사용한다. 가상의 UAV를 소프트웨어상에 구현하기 위한 기술이 SITL이다. SITL은 실제 UAV 비행 전에 명령어 및 비행경로를 검토할 수 있도록 가상 UAV를 생성하고 조종하는 기술을 의미한다. 본 연구에서 개발하고자 하는 시뮬레이터는 실제 UAV 비행 전, 촬영계획단계에서 가상의 UAV를 사용하여 비행 시의 음영지역을 검출하는 소프트웨어이기 때문에 시뮬레이터는 SITL 기술을 적용하여 개발되었다.

그림 1은 ArduPilot에 적용된 SITL의 구조를 나타낸 것이다[7]. SITL은 ArduPilot 오픈소프트웨어 컴포넌트이다. 실행파일 형식으로 되어 있으며, 인자를 입력하여 실행하면 위치나 풍속에 대한 역학을 고려한 동체의 움직임을 얻을 수 있다.

Fig. 1.

SITL Architecture

Ⅲ. 음영지역 검출 알고리즘

본 연구에서 핵심이 되는 기술인 음영지역 검출 알고리즘은 가시권 분석 기술을 바탕으로 한다. 가시권 분석은 특정 지점에서 영상취득장치가 취득할 수 있는 범위와 취득할 수 없는 범위를 파악하는 기술이다. UAV의 모든 사진촬영 지점에서 가시권 분석을 진행한 후, 모든 사진촬영 지점에서 공간정보 획득이 불가능한 영역을 추출한다.

3-1 가시권 분석

가시권 분석 기술의 기본 원리는 그림 2와 같다. UAV 카메라의 초점에서 화각의 범위 내에 가상의 직선을 주사한다. 해당 직선이 DEM, DSM, DTM과 같은 3차원의 공간정보와 만나는 지점은 영상취득장치를 통해 공간정보를 취득할 수 있는 것으로 생각할 수 있다. 반대로 영상취득장치의 초점으로부터 시작하는 화각 범위 이내의 직선이 특정 영역에 도달하지 못한다면 해당 지역은 공간정보를 취득할 수 없는 음영지역으로 간주할 수 있다.

Fig. 2.

Viewshed Analysis Concept

3-2 두 점 이상에서의 가시권 분석

그러나 UAV를 이용한 사진촬영은 하나의 고정된 지점에서 공간정보를 취득하지 않고 경로를 따라 이동하면서 공간정보를 취득한다. 따라서 그림 3과 같이 어느 한 지점에서 공간정보를 취득할 수 없었던 음영지역이 다른 한 지점에서는 공간정보 획득 가능한 지역이 될 수 있다. 따라서 본 연구에서는 두 점 이상에서의 가시권 분석을 시뮬레이터에 적용하기 위한 알고리즘을 개발하였다.

Fig. 3.

Viewshed Analysis at Multiple Points

UAV 사진촬영을 위한 하나의 미션에서 영상정보를 획득하는 촬영 지점인 미션 포인트는 수십 개에서 수백 개에 달한다. 종래의 방법으로 그 모든 점에 대해 가시권 분석을 진행할 경우 속도저하가 발생하여 실시간 처리가 불가능하다. 따라서 본 연구에서는 복셀 좌표계 설정, 가시권 분석의 과정을 세분화 하여 실시간 처리 시에 발생하는 속도저하를 극복하고자 한다.

1) 관심 지역의 복셀 좌표계 설정

복셀 좌표계라 함은 2차원 좌표계가 아닌 3차원의 가상 좌표계를 의미한다. 사진촬영을 진행할 범위를 포함하는 가상의 복셀 좌표계를 설정한다. 복셀 좌표계 외부는 존재하지 않는다고 가정하고 카메라가 복셀 좌표계 외부를 촬영할 경우 해당 영역은 무시한다. 복셀 좌표계 하단은 촬영대상지역의 최저점보다 낮게 설정한다. 또한 해당 복셀 좌표계의 각 축은 지구타원체상의 탄젠트 평면 좌표축인 N, E, U를 나타내도록 설정한다[10]. 복셀좌표계와 실세계 좌표 사이의 변환 공식은 식(1)과 같다. V는 복셀 좌표계를, Mvx는 복셀 매트릭스를 나타내며 W는 실세계의 좌표계를 나타낸다.

$\[ V\left(x,y,z\right)=Mvx*W\left(x,y,z\right) \]$

(1)

2) Z 버퍼링을 통한 단일 지점에서의 가시권 분석

Z 버퍼는 깊이 버퍼라고도 하며 영상취득장치의 방향을 Z벡터로 하여 3차원 그래픽의 이미지 심도 좌표를 관리하는 방식이다[11]. 가상공간에서 공간 객체 간의 위치를 비교하여 빠르게 가시권을 분석하기 위해서는 Z 버퍼링 기술이 필요하기 때문에[12], 본 연구에서 개발하고자 하는 시뮬레이터는 Z 버퍼링을 통하여 단일 지점에서 가시권 분석을 수행하도록 한다. 가시권 분석을 통해 단일 지점의 영상취득장치로 공간정보 취득이 가능한 범위와 공간정보 취득이 불가능한 범위를 파악할 수 있다.

3) 3D 포인트 클라우드 생성 및 확인

모든 촬영지점에서의 가시권 분석 이후, 취득된 영역 데이터를 수집하여 3D 포인트 클라우드를 생성한다. 포인트 클라우드는 복셀만을 이용하여 생성할 수 있다. 3D 상에 포인트 클라우드가 표시되면 기존 지형과 비교하여 음영 지역을 확인할 수 있다.

Ⅳ. 시뮬레이터 개발

시뮬레이터 개발을 위하여 시뮬레이터에 필요한 상세 기능들을 정의하고, 시스템 아키텍쳐를 설계하였다. 각 데이터간의 엔티티 관계모형을 작성하고 그 기반으로 데이터베이스를 설계함으로 기능을 구현하였다.

4-1 요구기능 정의

시뮬레이터 개발을 위한 기능을 표 1과 같이 정의하였다. 시뮬레이터상에 공간정보를 표현하는 맵 뷰어 기능, UAV의 경로를 관리할 수 있는 경로 생성 기능, 음영지역을 확인할 수 있는 시뮬레이션 및 음영지역 가시화 기능으로 크게 나눌 수 있다.

Table 1.

Feature of Shadowing Detection Simulator

1) 맵 뷰어 기능

맵 뷰어 기능은 시뮬레이션을 수행하기 이전에 촬영 대상 지역을 확인할 수 있도록 한다. 이를 위해 공간정보 포맷인 SHP, DXF 파일 뿐만 아니라, 항공영상, 포털영상, DEM, XDO 등의 파일을 임포트 하는 기능이 시뮬레이터에 필요하다. 또한 서로 다른 공간정보 좌표계간의 호환을 위하여 맵 좌표설정 및 좌표변환 기능을 구현하고자 하였으며, UAV의 이동경로 안내를 위한 2D 및 3D 네비게이션 기능을 구현하고자 하였다. 맵 뷰어 기능은 단순히 공간정보를 표현하는 기능 외에도 촬영 대상지역을 설정하는 기능을 포함한다.

2) UAV 경로 생성 기능

UAV 경로 생성 기능에는 UAV의 촬영 패턴을 이용한 패턴 경로 설정 기능과 해당 경로를 입출력하기 위한 데이터베이스 경로 저장 및 경로 내보내기 기능을 포함한다.

3) 시뮬레이션 및 음영지역 가시화 기능

시뮬레이션을 및 음영지역 가시화를 위한 기능으로는 SITL/MAVLink 연계 기능, 설정된 경로에 따른 모의비행 실행 기능, 모의비행에 따른 음영지역 가시화 기능, UAV 프로파일 설정 및 저장 기능, 실제 비행 시의 로그 확인 기능이 있다. SITL/MAVLink 연계 기능은 SITL을 통하여 시뮬레이터가 가상의 UAV에 명령을 내리는 기능을 의미한다. 설정된 경로에 따른 모의비행 실행 기능은 설정된 경로에 따라 가상의 UAV를 이동시키는 기능을 의미한다. 모의비행에 따른 음영지역 가시화 기능은 가상의 UAV가 경로에 따라 이동, 촬영하면서 음영지역을 판단하고, 그 영역을 가시화 하는 기능이다. UAV 프로파일 설정 및 저장기능은 다양한 종류의 UAV의 특성을 설정하고 그 값을 저장하는 기능을 의미한다. 마지막은 실제 비행 시의 로그 확인 기능이며, 이 기능은 시뮬레이터 외의 GCS를 통해 취득된 비행 로그를 확인하는 기능이며, 실제의 경로 및 촬영 정보와의 비교를 위한 기능이다.

4-2 아키텍쳐 구성

시스템 아키텍쳐를 그림 4와 같이 설계하였다. 포탈의 지도 서비스를 이용하기 위한 부분, 기타 공간정보에 대한 정보를 저장하고 있는 데이터베이스, 실제 UAV 하드웨어 혹은 SITL, 그리고 시뮬레이터로 구성되어 있다.

Fig. 4.

Architecture of Simulator

포탈 맵 서비스 모듈은 V-world, 네이버, 다음에서 타일맵 형식으로 제공하는 지도 서비스를 의미한다. 해당 맵 서비스는 시뮬레이터의 Portal Map Connector를 통하여 불러온다.

데이터베이스는 포탈 서비스에서 제공하지 않는 공간정보를 저장한다. 2차원의 GIS 데이터, 래스터 데이터, 3D 모델 데이터 및 이들을 관리하기 위한 메타데이터를 포함한다.

시뮬레이터는 실제 UAV에 적용하여 사용될 수도 있고, 가상의 UAV를 이용하여 사용될 수 있다. 실제 UAV에 적용하여 사용하는 경우, 시뮬레이터는 MAVLink 프로토콜을 사용하여 UAV에 경로 정보를 전송한다. UAV는 경로정보를 따라 이동, 촬영 진행 후 실제 촬영 진행을 기록한 로그를 시뮬레이터에 전송한다. SITL을 통하여 가상의 UAV를 사용할 경우도 마찬가지로 MAVLink 프로토콜로 경로를 전달하고 촬영 로그를 전송받으나, 실제가 아닌 가상의 UAV를 통해 진행되기 때문에, MAVLink 인터페이스 대신에 MAVLink 컨버터가 사용된다.

시뮬레이터는 포탈로부터 공간정보를 불러오기 위해 Portal Map Connector를 이용하고, V-world XDO 파일을 변환하기 위해 XDO Converter를 이용한다. 포탈로부터 불러온 GIS 데이터와 데이터베이스로부터 불러온 GIS 데이터는 2D Map Viewer, 3D Map Viewer를 통해 2차원 및 3차원의 형태로 화면에 출력된다. 비행 시뮬레이션을 진행하기 전에 GIS Data Management를 통해 관심 비행지역을 설정하고, UAV Profile Manager를 통하여 사용하고자 하는 UAV의 프로파일을 적용한다. 실제 UAV 비행은 Way Point Manager를 통해 이루어지며, UAV 시뮬레이션은 SITL Connector와 GCS-S Executer를 통해 이루어진다. 시뮬레이터는 GCS-S Analysis를 통해 음영지역을 판단한다.

4-3 엔티티 관계모형 기술 및 데이터베이스 구성

시뮬레이터에 필요한 데이터 간의 관계를 정의하고 데이터베이스를 설계하였다. 테이블은 총 8개로 이루어져 있다. mt_lyr_desc, mt_bjd_cd 테이블은 공간정보를 관리하기 위한 테이블이다. mt_profile 테이블은 UAV의 개략적인 프로파일 정보를 저장하며, mt_profile_detail 테이블은 UAV의 상세한 정보를 저장한다. mt_mission 테이블은 개개의 미션을 저장하며, mt_mission_Detail 테이블은 각 미션에서의 경로 정보를 저장한다. UAV 경로에서 사용되는 명령의 정보는 mt_comm_cd 테이블과 mc_comm_cd_detail 테이블에 저장된다. 그림 5는 엔티티 간의 관계모형을 기술한 것이다.

Fig. 5.

Entity-Relation Model of Simulator

Ⅴ. 구현 결과

시뮬레이터에 SHP, DXF, 항공영상, 포털영상 등의 파일을 임포트하여 지형·지물을 생성하고, 가상의 무인기를 통해 경로설정, 모의비행, 음영지역 가시화 등의 기능 작동여부를 확인하였다.

5-1 맵 뷰어 기능 구현

UAV 항공촬영에 필요한 지형공간정보를 입력하고 화면에 표출하는 기능을 구현하였다. SHP, DXF, DEM, XDO 등의 파일을 임포트하고, 좌표계를 설정·변환하여 시뮬레이터상에 2차원·3차원으로 표현한다. 그림 6은 시뮬레이터를 통하여 입력된 공간정보를 표출한 화면이다.

Fig. 6.

Map View Display of Simulator

5-2 UAV 경로 생성 기능 구현

무인항공기의 실제 촬영 환경에 따라 자동으로 경로를 설정하는 기능을 구현하였다. 촬영 중복도, 건물 높이, 화각 등을 종합적으로 고려하여 지형·지물을 측량하기 위한 UAV의 경로를 자동으로 설정한다. 생성된 경로는 데이터베이스에 저장하거나 다른 형식으로 출력할 수 있다. 그림 7은 패턴 경로를 설정하고, 경로를 편집하는 화면을 나타낸 것이다.

Fig. 7.

Path Generation & Editing

5-3 시뮬레이션 및 음영지역 가시화 기능 구현

UAV가 시뮬레이터 내에서 설정된 경로를 따라 모의 비행 하는 기능을 구현하였다. 촬영장치의 화각, 중복도, 초점거리 등을 고려하여 촬영 범위를 계산하고 그 범위를 경로에 따라 가시화 하는 기능을 그림 8과 같이 구현하였다.

Fig. 8.

Simulation & Shading Area Visualization

가상의 UAV는 지정된 경로를 따라 모의 비행하며 Z 버퍼를 이용하여 촬영이 가능한 지역을 계산한다. 촬영 대상 객체의 3D 모델 면적으로부터 촬영 가능한 지역을 제외하면 음영지역을 계산할 수 있다. 이 음영지역은 3D 뷰어 상에 표출된다. 이렇게 계산된 공간객체의 노출된 면적 대비 음영지역의 표면적의 비율을 최소화 하여 최적의 경로를 산출한다.

Ⅵ. 결론

본 연구는 UAV를 이용한 사진촬영 시 기존의 시뮬레이터가 갖는 한계를 극복하고자 연구가 진행되었다. 3차원의 지형공간정보와 UAV 촬영 환경을 바탕으로 자동으로 촬영 경로를 설정하고, 음영지역을 탐지하는 기능을 추가한 시뮬레이터를 개발하였다. 이를 통하여 공간객체의 3차원 모델링 작업을 위하여 UAV 항공촬영 시 음영지역을 최소화하여 모델의 품질이 향상되는 효과를 얻을 수 있으며, 최적의 경로 설정을 사전에 진행함으로써 촬영에 소요되는 시간과 비용을 절감할 수 있는 효과를 얻을 수 있을 것으로 기대한다.

Acknowledgments

본 연구는 국토교통부 실감형 3D 도시모델 저작 및 제공 기술 개발사업의 연구비지원 (19DRMS-B147287-02)에 의해 수행되었습니다.

참고문헌

• J. H. Park, UAV market opening prospection due to removal the embargo of drone in 2015, National IT Industry Promotion Agency, 2015.
• S. B. Lim, C. W. Seo, H. C. Yun, “Digital Map Updates with UAV Photogrammetric Methods,” Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, Vol. 33, No. 5, pp. 397-405, Oct 2015. [https://doi.org/10.7848/ksgpc.2015.33.5.397]
• N. T. Linh, D. Y. Han, “Texture Mapping of a Bridge Deck Using UAV Images,” Journal of Digital Contents Society, Vol. 18, No. 6, pp. 1041-1047, Oct 2017.
• H. I. Moud, “A Flight Simulator for Unmanned Aerial Vehicle Flights Over Construction Job Sites,” in Proceedings of the 35th CIB W78 2018 Conterence: IT in Design, Construction, and Management, Chicago, pp. 609-616, 2018. [https://doi.org/10.1007/978-3-030-00220-6_73]
• A. Petrasova, B. Harmon, V. Petrasand H. Mitasova, Tangible Modeling with Open Source GIS, Switzerland: Springer, pp.77-82, 2015. [https://doi.org/10.1007/978-3-319-25775-4_6]
• Y. H. Kim, S. Rana, S. Wise, “Exploring Multiple Viewshed Analysis using Terrain Features and Optimization Techniques,” Computers & Geosciences, Vol. 30, pp 1019-1032, 2004. [https://doi.org/10.1016/j.cageo.2004.07.008]
• ArduPiot Dev Team. SITL Simulator (Software in the Loop) [Internet]. Available: http://ardupilot.org/dev/docs/sitl-simulator-software-in-the-loop.html, .
• International Civil Aviation Organization, Unmanned Aircraft Systems (UAS), International Civil Aviation Organization: Canada, ICAO Cir 328, 2011.
• Korea Aerospace Industries Association, A study of Domestic and Overseas UAV industry and Demand Based Development Plan, Ministry of Trade, Industry and Energy, 2016.
• D. Jevans and B. Wyvill, “Adaptive Voxel Subdivision for Ray Tracing, ” in Proceedings of the Graphics Interface, Ontario, Canada, pp. 164-172, 1989.
• N. Greene and M. Kass, G. Miller, “Hierarchial Z-buffer Visibility, ” in Proceedings of the 20th Annual Conference on Computer Graphics and Interactive Techniques, Anaheim, CA: ACM., pp. 231-238, 1993. [https://doi.org/10.1145/166117.166147]
• S. M. Rubin and T. Whitted, “A 3-Dimensional Representation for Fast Rendering of Complex Scenes, ” in Proceedings of the 7th Annual Conference on Computer Graphics and InteractiveTechniques, Seattle, WA: ACM., pp.110-116, 1980. [https://doi.org/10.1145/965105.807479]