Journal Archive

ORB(Oriented FAST and Rotated BRIEF) SLAM은 Raul Mur-Artal 외 2명이 제안한 기술로써 ORB SLAM2의 기반이 되는 시스템이며 단안 카메라를 사용한다[9]. 반면 ORB SLAM2는 단안 카메라뿐만 아니라 스테레오, RGB-D 카메라를 사용 실시간으로 사물을 인식하고 정밀한 지도를 생성하는 자율 주행 기술에 사용되고 있는 알고리즘이다[10]. ORB SLAM은 그림 1과 같이 3개의 쓰레드가 병렬로 구성되어 있으며 각 쓰레드는 Tracking, Local mapping, Loop closing으로 나뉜다[11].

Fig. 1. 
Overall structure of ORB SLAM

ORB 알고리즘은 FAST 검출기와 BRIEF 기술자를 사용하여 특징점을 찾는 알고리즘이다[12]. FAST는 그림 2와 같이 중심 픽셀 p가 코너인지 확인하기 위하여 픽셀 p를 중심으로 반지름 3인 원의 가장자리에 있는 16개 픽셀과 중심 픽셀 p의 값을 비교한다. p보다 일정값(Ⅰp+t) 이상 밝은 픽셀이 n개 이상 연속되거나 일정값 (Ⅰp-t) 이하 어두운 픽셀들이 n개 이상 연속되어 있으면 p를 코너점으로 판단하여 특징점으로 사용하게 된다. 또한 빠른 특징점 추출을 위하여 1, 5, 9, 13번 픽셀의 값이 식(1)의 조건을 만족하는지 검사하여 최소 3개의 픽셀이 해당되면 나머지 12개 픽셀에 대해서도 수행한다. 하지만 입력된 영상이 흔들림이 심하거나 단조로운 영상의 경우 중심 p 픽셀과 가장자리의 차이가 없게 되어 특징점으로 추출하는데 어려움이 발생한다.

   Ⅰp : p의 회색값, t : 임계값

Fig. 2. 
FAST corner detector

선명화 필터는 영상을 선명하게 하거나 에지를 검출하는데 사용하는 방법으로 마스크 계수에 따라 결과값이 달라진다. 선명화 필터는 그림 3의 라플라시안 마스크를 기본으로 하고 있으며 대표적인 2차 미분 연산자로 모든 방향의 에지를 강조한다. 마스크 배열 요소의 전체 합은 0이 되며 마스크를 영상에 적용하였을 때 픽셀 값이 일정한 곳에서는 결과 값이 0, 픽셀 값의 차가 큰 곳이라면 결과 값이 커지게 된다[13]. 그림 4는 라플라시안 마스크를 적용하여 에지를 출력한 결과 영상이다. 하지만 전체의 요소의 합이 0이 될 경우 해당 픽셀의 정보를 표현 할 수 없으므로 영상을 더욱 선명하게 만들기 위해서는 해당 영역의 픽셀값이 보존되어야 한다[14]. 그림 5는 선명화 마스크를 의미하며 선명화 마스크의 배열 요소의 합이 1이 되도록 라플라시안 마스크 중앙값에 1을 더하여 사용한다. 그림 5는 선명화 마스크를 적용한 결과 영상으로 원본 영상(a)보다 선명한 영상(b)을 결과 값으로 얻는다.

Fig. 3. 
Laplacian mask

Fig. 4. 
Example applying Laplacian mask

Fig. 5. 
Sharpening mask

Fig. 6. 
Example applying sharpening filtering

다음과 같이 실시간으로 입력되는 영상의 정보가 두드러져 많은 특징점을 추출할 수 있도록 ORB SLAM2에 전처리 모듈을 추가한다.

if key points of current image
     < 0.9 * maximum key points then
         Execute the preprocessing to sharpen the image
end

현재 프레임에서 추출된 특징점의 개수가 한 영상에서 최대 특징점 추출 개수의 90% 이하가 될 때 전처리 모듈을 실행하여 특징점의 개수를 늘리도록 한다. 마스크를 입력 영상의 픽셀에 위치하여 각 입력 픽셀 값과 대응되는 마스크 요소 값을 곱하여 그 결과 값을 모두 더한다. 마스크가 적용된 중앙 픽셀이 결과값을 가지며 모든 픽셀에 대하여 반복 수행한다. 3x3의 경우 결과값의 차이가 없어 5x5 크기의 마스크를 사용한다. 마스크의 중심은 양의 큰 값을 가지며 주변의 요소는 음의 작은 값을 지닌다. 해당 마스크로 컨볼루션 연산을 수행하는 경우 중심 픽셀과 주변 이웃픽셀 값이 차이가 커지게 되므로 입력 영상의 경계선은 더 날카로워져 선명한 영상이 된다.

Fig. 8. 
5X5 sharpening mask

Fig. 9. 
Example before and after applying sharpening masking

하나의 키 프레임 생성 이후 새로운 키프레임을 생성하기 위해서는 4가지 조건을 만족해야 한다. 그 중 가장 엄격한 조건은 현재 프레임이 마지막 키프레임으로부터 일정 간격만큼 떨어져 있을 때 새로운 키프레임의 삽입 여부를 판단하는 것이다. 카메라가 이동하거나 회전할 때 환경변화가 클 경우 키프레임의 수가 늘어난다. 하지만 이동 및 회전속도가 너무 빨라 새로운 키프레임 생성 조건인 20프레임을 만족하지 못할 경우 새로운 키 프레임이 생성되지 않아 추적 실패가 발생하게 된다. 다음은 추적 실패를 줄이기 위해 새로운 키프레임 삽입 조건을 다소 완화시켜 사용하는 알고리즘이다.

if key points of current image
     < 0.90 X reference key points then
          Maximum number of frames is 1
end

새로운 키 프레임을 생성하기 위해서 현재 프레임에서 참고하고 있는 키프레임의 특징점은 최대 90% 이내여야 한다는 조건이 있다. 특징점의 개수가 90% 이하로 떨어질 경우 20개의 프레임 이후에 새로운 키 프레임을 생성되는 조건을 1개의 프레임 이후로 변경하여 사용한다.

다음은 추적 실패가 발생하지 않기 위해 제안한 추적 알고리즘이며, 입력 영상의 전처리와 새로운 키프레임의 삽입 조건도 포함된다. 그림 10은 간략화한 흐름도이다.

Fig. 10. 
Flowchart of the proposed method

(1) 입력장치로부터 영상이 입력된다.

(2) ORB를 이용하여 특징점을 추출하고 특징점이 풍부한 프레임을 키프레임으로 선정하는 작업을 반복한다.

(3) 입력된 현재 프레임과 이전에 생성된 키프레임 사이에 공유되는 특징점의 개수가 30개 미만인지 판단한다.

(4) 이때 정합된 특징점의 개수가 30개 미만일 경우 선명화 마스크를 이용하여 현재 프레임을 전처리한다.

(5) 정합된 특징점의 개수가 30개 이상일 때 정합 작업을 계속하게 된다.

(6) 새로운 키프레임이 생성되기 위해서는 20개의 연속된 프레임이 필요하다. 하지만 연속된 프레임 중에 추출되는 특징점의 개수가 이전 키프레임 특징점의 90%만 참고하고 있다면 추적 실패의 가능성이 있기에 새로운 키프레임 생성 조건인 20개의 연속된 프레임 개수를 1개의 프레임으로 변경하여 새로운 키프레임을 생성한다.

(7) 새로운 키프레임이 생성되면 (1)부터 다시 반복하여 수행한다.

제안한 방법의 실험을 위하여 학교 내부의 환경 변화의 차이가 큰 복도 부분을 빠르게 회전하여 추적 실패가 발생하는 영상을 제작하고 실험하였으며 기존의 방법과 제안하는 방법으로 실험하여 얻어진 결과값을 비교 및 평가하였다. 영상에서 추출하는 특징점의 최대 개수는 500개로 제한하였으며 빈도수를 통한 결과값을 얻기 위하여 영상을 40번 반복하여 수행하였다. 본 실험은 Ubuntu 16.04 운영체제, 8기가 메모리, Intel RealSense Depth Camera D435i를 사용하였다.

실험은 정합된 특징점 개수의 최소값 분포를 추적 성공률의 평가지표로 정하고 기존의 방법과 제안한 방법에 전처리 모듈만 적용한 경우, 새로운 키프레임 생성 조건을 변경하는 방법만 적용한 경우, 두 가지 방법을 모두 적용하여 영상이 입력될 경우, 무조건 전처리 후에 조건에 따라 새로운 키프레임을 생성하는 조건을 변경하는 경우, 두 방법 모두 조건에 따라 수행하는 경우를 각각 나누어 실험하여 도출된 결과값을 비교하였다. 표 1에는 기존의 방법으로 수행한 정합 개수의 평균값은 33.4이고, 제안한 방법으로 수행하였을 때의 정합 개수의 평균값은 47.83으로 43% 성능이 향상된 것을 알 수 있다.

그림 11은 입력된 영상을 전처리를 했을 때 발생하는 수행시간으로 하나의 영상을 처리하는데 걸리는 시간은 평균 2.593ms이고 중간값은 2.192ms이다. 하나의 프레임을 처리하는데 걸리는 시간은 얼마 되지 않지만 모든 영상에 대해 전처리할 경우 처리량의 증가로 일부 영상에 대해서 추적을 하지 못하는 경우가 발생한다.

Fig. 11. 
Time for preprocessing

그림 12는 입력된 영상이 전처리 모듈을 거쳐 선명화를 했을 때 정합된 특징점 수의 최소값을 나타낸 것이며 평균은 37.65이다. 기존의 ORB SLAM2에 비해 평균값은 증가하였지만 기존보다 넓은 분포를 가지기 때문에 여전히 추적 실패가 발생한다. 하지만 추적 실패의 발생 빈도는 다소 줄어든 것을 확인할 수가 있다.

Fig. 12. 
Histogram of minimum numbers of matched key points with sharpening

그림 13은 영상에 대한 전처리 없이 특징점이 희소해지는 경우를 판별하여 새로운 키프레임을 삽입할 수 있도록 조건을 완화시킨 후 정합된 특징점 개수의 최소값의 분포를 나타낸다. 평균값은 39.83으로 선명화만 적용하였을 때보다 다소 높아진 것을 확인할 수가 있으며 추적 실패 발생 기준에서도 약간 벗어남을 알 수가 있다. 하지만 여전히 발생 가능성이 존재한다.

Fig. 13. 
Histogram of minimum numbers of matched key points with changing condition

그림 14는 입력된 모든 영상에 전처리를 수행한 후 추출되는 특징점의 개수에 따라 조건부 새로운 키프레임 생성 조건을 적용하였다. 평균값은 41.05이고 기존의 방법보다는 특징점 추출 개수의 최소값이 높아졌지만 평균값 중심으로 넓게 분포하고 있어 여전히 추적 실패의 가능성이 남아있다. 또한 조건에 따른 새 키프레임 삽입 때보다 추적 실패의 빈도가 더 많은 것을 알 수 있다.

Fig. 14. 
Histogram of minimum numbers of matched key points with preprocessing and changing condition

그림 15는 추가한 전처리 모듈에 입력된 영상에 대해 정합의 개수가 부족해질 경우 선명화하고 더불어 특징점의 개수가 떨어질 때 새로운 키 프레임 삽입 조건을 완화하고 적용한 결과값을 나타낸다. 평균값은 47.83으로 다른 방법들에 비해 평균값이 가장 높아 추적 실패 발생 기준에서도 멀리 떨어진 것을 확인할 수가 있다. 선명화를 적용하여 분포가 넓게 퍼져 있지만 평균값과의 차이가 커서 추적 실패가 발생하지 않았다. 조건부에 따른 전처리 모듈과 새 키프레임 삽입 방식 모두 전체 구간에서 정합된 특징점의 개수가 비슷하게 나타났으며 ORB SLAM2의 성능을 떨어트리는 일 없이 특징이 희소한 환경에서도 추적 실패를 발생시키지 않고 수행하였다.

Fig. 15. 
Histogram of minimum numbers of matched key points with preprocessing according to condition and changing condition

그림 16은 기존의 방법을 기준으로 하여 전처리 모듈을 적용하였을 때, 새 키프레임 생성 조건을 변경하였을 때, 모든 입력영상 전처리 후 조건 변경하였을 때, 조건부 전처리 후 조건 변경하였을 때, 새로운 키프레임 증가율을 나타낸다. 모든 입력 영상을 전처리한 경우에서 키프레임이 증가한 이유는 기존의 정합되지 않았던 특징점이 선명해짐에 따라 새로운 키프레임 수가 증가하였으며 그 외 3가지 방법의 경우는 정합을 위한 충분한 특징점의 추출을 위해 새로운 키프레임 수가 증가하였다.

Fig. 16. 
Increase rate of new key frame insertion according to each experimental method