ORB-SLAM의 재지역화 성능 개선을 위한 전문적인 시각적 어휘 활용

Ⅰ. 서 론

동시적 위치 추정 및 지도 작성(simultaneous localization and mapping, SLAM)은 로봇이 임의의 공간을 이동하면서 현재 위치를 추정하는 동시에 주변의 지도를 작성하는 기술을 말한다. SLAM은 컴퓨터비전과 관련 센서 장비의 발전에 힘입어 그 어느 때보다 활발히 연구되고 있다. 특히, 카메라를 주요 센서로 사용하는 시각적 SLAM(visual SLAM)의 대표 알고리즘인 ORB-SLAM[1,2]은 고속으로 추출 및 매칭이 가능한 ORB[3]라는 이진 특징(binary features)을 사용하여 증강현실과 같이 실시간 SLAM을 필요로 하는 응용에 주로 활용되고 있다.

ORB-SLAM은 추적 단계에서 카메라의 포즈를 적절히 예측하지 못하여 추적에 실패한 경우 기존에 습득한 정보를 바탕으로 현재의 대략적인 위치를 다시 추정하는 재지역화(relocalization) 단계를 거친다. 재지역화를 위해 입력 이미지와 가장 유사한 키프레임을 검색하여야 하는데 이때 시각적 어휘(visual vocabulary) 기반의 이미지 인식(image recognition)이 수행된다. 어떤 시각적 어휘를 사용하느냐에 따라 ORB-SLAM의 재지역화 성능이 달라지며, 재지역화 단계에서 수반되는 오류는 ORB-SLAM이 잘못된 지도를 만드는 결과로 이어질 수 있다.

시각적 어휘는 ORB-SLAM이 실행되기 전에 미리 준비되어야 하기 때문에 일반적인 이미지들에서 추출된 지역 특징들을 이용해 미리 학습을 시켜놓는 것이 보통이다. 하지만 이렇게 학습된 시각적 어휘는 ORB-SLAM이 수행되는 환경을 고려하여 제작된 시각적 어휘가 아니다. ORB-SLAM이 수행되는 환경을 미리 알 수 있다면 해당 환경에 가장 알맞은 시각적 어휘를 사용하는 것이 가장 좋은 재지역화 성능으로 이어질 것이다. ORB-SLAM의 수행 환경을 미리 아는 방법은 특정 응용이 사용되는 환경이 고정되어 있거나 ORB-SLAM을 수행하기 전 조도에 따른 실내/실외 인식, 조도에 따른 밤/낮 인식, GPS를 이용한 실내/실외 인식, 기타 외부 센서를 이용한 장소 정보 인식 등을 예로 들 수 있다.

본 논문은 일반화(generalization)와 전문화(specification)의의 정도에 따라 일반적인 시각적 어휘, 실내(indoor)/실외(outdoor) 시각적 어휘, 현장(onsite) 시각적 어휘 등의 3단계의 시각적 어휘를 제안하고, 실험을 통해 환경에 전문화된 시각적 어휘를 사용하는 것이 ORB-SLAM의 재지역화 성능을 개선할 수 있음을 보인다.

본 논문은 다음과 같이 구성된다. 2장에서는 ORB-SLAM에서의 시각적 어휘에 대해 살펴보고, 3장에서는 전문적인 시각적 어휘를 활용하는 방안에 대해 기술한다. 4장에서는 전문적인 시각적 어휘의 효과를 실험을 통해 분석한다. 마지막으로 5장에서 결론을 맺고 향후 연구 방향을 모색한다.

Ⅱ. ORB-SLAM과 시각적 어휘

Ⅲ. 전문적인 시각적 어휘 활용

ORB-SLAM에 탑재되는 시각적 어휘는 ORB-SLAM의 지역화 및 지도 작성의 전체 성능에 영향을 미치며 특히 재지역화 성능에 지대한 영향을 미친다. ORB-SLAM을 이용한 응용 어플리케이션을 개발할 때 대부분의 경우에는 의심할 여지없이 DBoW와 같이 누군가 미리 학습하여 배포해 놓은 시각적 어휘를 탑재하여 사용한다. 이러한 시각적 어휘는 이미지 인식이나 장소 인식 태스크를 통해 검증 과정을 거친 것이 대부분이긴 하지만 특정 응용 어플리케이션이 구동되는 환경에 따른 재지역화 성능을 고려하여 제작한 시각적 어휘가 아니다. 특정 응용 어플리케이션이 수행되는 환경에 대한 정보를 미리 알 수 있다면 해당 환경에 가장 알맞은 시각적 어휘를 학습하여 사용하는 것이 가장 좋은 ORB-SALM의 재지역화 성능으로 이어질 것이다.

일반적인 시각적 어휘를 사용한다면 모든 경우에 준수한 성능을 보이지만 전문적인 시각적 어휘를 사용한다면 특수한 경우에 더 좋은 성능을 발휘할 수 있을 것이다. 가장 쉬운 예로 실내와 실외를 구분하거나 낮과 밤을 구분하여 시각적 어휘를 학습할 수 있다. 그림 1은 이러한 일반화와 전문화에 따라 선택할 수 있는 시각적 어휘의 범위를 보여준다. 가장 오른쪽은 DBoW와 같이 환경의 구분 없이 수집된 이미지를 이용해 학습된 시각적 어휘를 선택한 경우이다. 특별히 특정 응용 어플리케이션의 환경을 제약하지 않거나 재지역화의 성능을 크게 신경 쓰지 않거나 새롭게 시각적 어휘를 학습할 수 없는 경우에 선택한다. 가운데 위치한 시각적 어휘는 실내/실외 혹은 밤/낮 등으로 구분하여 특정 어플리케이션이 수행되는 환경에 따라 다르게 선택한 경우이다. 특정 응용 어플리케이션이 실내에서만 수행된다는 보장이 있다면 실내에서만 촬영된 이미지들을 수집하여 전문적인 시각적 어휘를 학습할 수 있다. 가장 왼쪽은 가장 전문적인 시각적 어휘이며 특정 응용 어플리케이션이 특정 환경에서만 수행된다는 보장이 있다면 해당 환경에서만 촬영된 이미지들을 수집하여 가장 전문적인 시각적 어휘를 학습할 수 있다.

Fig. 1.

Various trained visual vocabularies according to the degree of generalization and specialization

Ⅳ. 실험 및 분석

4-1 평가 데이터베이스 제작

특정 시각적 어휘의 사용에 따른 ORB-SLAM의 재지역화 성능을 평가하기 위해서는 일부러 추적에 실패하는 상황을 연출해야한다. ORB-SLAM은 추적에 실패했을 때 재지역화를 시도하기 때문이다. 이를 위해 카메라를 천천히 움직이다가 갑자기 빠르게 화면을 전환하여 추적을 놓친 상황을 만들고, 천천히 제자리로 돌아가는 방식으로 영상을 촬영하였다. 시각적 어휘의 일반화와 전문화 정도에 따른 재지역화 성능을 평가할 수 있도록 실내와 실외를 구분하여 촬영하였다. 그림 2는 이렇게 제작된 데이터베이스의 샘플 이미지를 보여준다.

Fig. 2.

Sample images in the database

4-3 시각적 어휘 준비

실험을 위해 시각적 어휘의 일반화와 전문화 단계를 3단계로 구성하였다. ORB-SLAM의 원 저자가 사용하고 있는 공개된 시각적 어휘인 DBoW를 일반적인 시각적 어휘로 정의하였다. 표 1은 DBoW 학습에 쓰인 이미지 데이터를 보여준다.

Table 1.

Image database used for training DBoW

전문적인 시각적 어휘를 학습하기 위해 표 1의 이미지들 중에서 실내와 실외에 속한 이미지들을 따로 구분하여 새로운 시각적 어휘를 학습하고, 각각 실내 시각적 어휘, 실외 시각적 어휘로 정의하였다. 학습 도중 메모리가 부족한 경우가 발생해 가상 메모리를 디스크에서 크게 할당해 해결하였다.

가장 전문적인 시각적 어휘는 ORB-SLAM이 구동되는 현장에서 수집된 이미지들을 이용해 학습된 시각적 어휘이다. 4-1절에서 제작한 평가 데이터베이스의 영상들만을 이용해 시각적 어휘를 학습하였다. 즉, 각 영상마다 하나의 시각적 어휘를 학습하고, 현장 시각적 어휘로 정의하였다.

4-4 결과 및 분석

실험 결과를 표2에 정리하였다. 모든 영상에서 빠르게 화면을 전환하여 다른 곳을 바라보는 상황, 즉 추적에 실패한 상황에 대한 프레임은 2~3초 정도로 짧게 제작되었기 때문에 일반적인 시각적 어휘에서도 높은 추적 성공률을 보이고 있다.

Table 2.

Tracking success rate according to visual vocabulary

실내 시각적 어휘는 일반적인 시각적 어휘에 비해 실내 영상에 대해서는 4.2% 정도 높은 성능을 보이지만 실외 영상에 대해서는 오히려 5.2% 정도 낮은 성능을 보이고 있다. 비슷하게 실외 시각적 어휘는 일반적인 시각적 어휘에 비해 실외 영상에 대해서는 7.7% 정도 높은 성능을 보이지만 실내 영상에 대해서는 오히려 7% 정도 낮은 성능을 보이고 있다. 실내 영상에 대해 실내 시각적 어휘를 사용하고, 실외 영상에 대해 실외 시각적 어휘를 사용한다면 일반적인 시각적 어휘에 비해 5.9%의 성능 향상을 얻을 수 있다.

현장 시각적 어휘는 일반적인 시각적 어휘보다 8.9% 높은 성능으로 모든 영상에 대해 가장 좋은 성능을 보이고 있다. 이는 실내 영상에 대해 실내 시각적 어휘를 사용하고 실외 영상에 대해 실외 시각적 어휘를 사용한 경우보다도 3% 정도 높은 성능이다. 현장 시각적 어휘가 가장 좋은 성능을 보이는 것은 학습 데이터와 테스트 데이터가 같기 때문이다. 이는 일종의 모델의 과적합(overfitting)으로 볼 수 있다. 일반적으로는 일반화를 높이기 위해 모델의 과적합을 피해야하는데 본 논문은 ORB-SLAM이 수행되는 환경이 고정되어 있거나 미리 알 수 있다는 가정 하에 모델의 과적합을 이용하였다. 표 3은 이러한 현장 시각적 어휘의 과적합을 보여준다. 학습 데이터와 테스트 데이터가 같을 때는 가장 좋은 성능을 보이지만 다를 때는 오히려 일반적인 시각적 어휘보다 좋지 않은 성능을 보이고 있다. 실내에 속하는 현장 시각적 어휘를 실외 영상에 적용하거나 실외에 속하는 현장 시각적 어휘를 실내 영상에 적용한 경우가 가장 좋지 않은 성능을 보이고 있다.

Table 3.

Overfitted onsite visual vocabulary

그림 3은 시각적 어휘에 따른 실내 영상에 대한 ORB-SLAM의 추적 상태 변화를 보여준다. 모든 시각적 어휘에서 동일하게 약 20번째 프레임에서 초기화를 끝낸 뒤 추적성공 상태를 유지하다가 약 350번째 프레임에서 추적실패 상태로 변환된다. 이때 카메라가 빠르게 전환되어 추적을 실패한 것이다. 이후 매 프레임에 대해 재지역화를 시도하게 되며, 재지역화를 성공한 경우 다시 추적성공 상태로 전환된다. 그림에서 보듯이 현장 시각적 어휘, 실내 시각적 어휘, 일반적인 시각적 어휘 순으로 재지역화를 성공하였다.

Fig. 3.

Tracking status change for an indoor video according to visual vocabulary

본 논문에서 사용한 영상들은 ORB-SLAM이 추적에 실패하는 상황을 연출했다가 잠시 후 다시 재지역화를 성공하도록 제작되었지만 일반적인 영상에서는 ORB-SLAM이 한번 추적을 놓친 이후에는 재지역화 성능에 따라서 이후 프레임들에서는 재지역화에 진입하지 못하는 상황도 발생한다. 또한 실시간 시스템에서는 ORB-SLAM의 재지역화의 성능 차이로 장기간으로 생성한 지도를 신뢰할 수 없게 되거나 증강현실과 같은 응용에서는 사용자의 몰입감을 해치는 요소로 작용한다.

Ⅴ. 결 론

본 논문에서는 ORB-SLAM의 재지역화 성능을 개선하기 위한 방법으로 전문적인 시각적 어휘 사용을 제안하였다. 일반화와 전문화의 정도에 따라 일반적인 시각적 어휘, 실내/실외 시각적 어휘, 현장 시각적 어휘 등의 3단계의 시각적 어휘를 학습하였다. 시각적 어휘의 전문화 정도에 따른 ORB-SLAM의 재지역화 성능을 비교하기 위해 평가 데이터베이스를 제작하고 평가 기준을 마련하였다. 실험 결과 ORB-SLAM의 재지역화 성능은 현장 시각적 어휘, 실내/실외 시각적 어휘, 일반적인 시각적 어휘 순으로 나타났으며, 이를 통해 환경에 전문화된 시각적 어휘를 사용하는 것이 ORB-SLAM의 재지역화 성능을 개선할 수 있다는 결론을 내릴 수 있었다.

Acknowledgments

본 연구 논문은 한국전자통신연구원 및 정보통신기획평가원의 출연금으로 수행하고 있는 한국전자통신연구원 실·가상 환경 해석 기반 적응형 인터랙션 기술 개발(2011-2021-0-00230) 위탁연구과제의 연구결과입니다.

References

• R. Mur-Artal, J. M. M. Montiel, and J. D. Tardós, “ORB-SLAM: a versatile and accurate monocular SLAM system,” IEEE Transactions on Robotics, Vol. 31, No. 5, pp. 1147-1163, Oct 2015. [https://doi.org/10.1109/TRO.2015.2463671]
• R. Mur-Artal and J. D. Tardós, “Orb-slam2: An open-source slam system for monocular, stereo, and rgb-d cameras,” IEEE Transactions on Robotics, Vol. 33, No. 5, pp. 1255-1262, Oct 2017. [https://doi.org/10.1109/TRO.2017.2705103]
• E. Rublee, V. Rabaud, K. Konolige, and G. Bradski, “ORB: An efficient alternative to SIFT or SURF,” in Proceeding of the International Conference on Computer Vision, Barcelona, Spain, pp. 2564-2571, 2011. [https://doi.org/10.1109/ICCV.2011.6126544]
• B. Triggs, P. F. McLauchlan, R. I. Hartley, and A. W. Fitzgibbon, “Bundle adjustment a modern synthesis,” in Proceeding of the International Workshop on Vision Algorithms, Corfu, Greece, pp. 298-372, 1999. [https://doi.org/10.1007/3-540-44480-7_21]
• R.Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, 2nd ed. Cambridge, U.K.: Cambridge Univ. Press, 2004. [https://doi.org/10.1017/CBO9780511811685]
• E. Rosten and T. Drummond, “Machine Learning for High-Speed Corner Detection,” in Proceeding of European Conference on Computer Vision, Graz, Austria, pp. 430-443, 2006. [https://doi.org/10.1007/11744023_34]
• M. Calonder, V. Lepetit, C. Strecha, and P. Fua, “BRIEF: Binary Robust Independent Elementary Features,” in Proceeding of European Conference on Computer Vision, Crete, Greece, pp. 778-792, 2010. [https://doi.org/10.1007/978-3-642-15561-1_56]
• J. Sivic and A. Zisserman, “Video Google: A text retrieval approach to object matching in videos,” in Proceeding of European Conference on Computer Vision, Nice, France, pp. 1470-1470, 2003. [https://doi.org/10.1109/ICCV.2003.1238663]
• S. Lee, “Binary Visual Word Generation Techniques for A Fast Image Search,” Journal of KIISE, Vol. 44, No. 12, pp. 1313-1318, Dec 2017. [https://doi.org/10.5626/JOK.2017.44.12.1313]
• D. Nister and H. Stewenius, “Scalable Recognition with a Vocabulary Tree,” in Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, New York, NY, pp. 2161-2168, 2006.
• J. Philbin, J, O. Chum, M. Isard, J. Sivic, and A. Zisserman, “Object retrieval with large vocabularies and fast spatial matching,” in Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Minneapolis, Minn, pp. 1-8, 2007. [https://doi.org/10.1109/CVPR.2007.383172]
• D. Gálvez-López, D and J. D. Tardós, “Bags of binary words for fast place recognition in image sequences,” IEEE Transactions on Robotics, Vol. 28, No. 5, pp. 1188-1197, May 2012. [https://doi.org/10.1109/TRO.2012.2197158]
• M. Smith, I. Baldwin, W. Churchill, R. Paul, and P. Newman, “The new college vision and laser data set,” The International Journal of Robotics Research, Vol. 28, No. 5, pp. 595–599, May 2009. [https://doi.org/10.1177/0278364909103911]
• A. Bonarini, W. Burgard, G. Fontana, M. Matteucci, D. G. Sorrenti, and J. D. Tardos, “Rawseeds: Robotics advancement through web-publishing of sensorial and elaborated extensive data sets,” in Proceeding of International Conference on Intelligent Robots and Systems, Beijing, China, 2006.
• G. Pandey, J. R. McBride, and R. M. Eustice, “Ford campus vision and lidar data set,” The International Journal of Robotics Research, Vol. 30, No. 13, pp. 1543–1552, Nov 2011. [https://doi.org/10.1177/0278364911400640]
• J.-L. Blanco, F.-A. Moreno, and J. Gonzalez, “A collection of outdoor robotic datasets with centimeter-accuracy ground truth,” Autonomous Robots, Vol. 27, No. 4, pp. 327–351, Nov 2009. [https://doi.org/10.1007/s10514-009-9138-7]
• M. Cummins and P. Newman, “FAB-MAP: Probabilistic localization and mapping in the space of appearance,” The International Journal of Robotics Research, Vol. 27, No. 6, pp. 647–665, June 2008. [https://doi.org/10.1177/0278364908090961]