차량블랙박스 영상을 이용한 지능형 운전습관 분석서비스

2-1 관련 연구

본 연구에서 제안하는 서비스와 관련된 선행 연구는 다음과 같다. GPS를 활용하여 운전자의 운전습관을 점수화하는 기술에 대한 연구 [6]가 이뤄지고 있다. 단, 해당 연구는 GPS를 기반으로 운전점수를 측정하기 때문에 터널이나 교량 밑, 지하주차장 등을 지날 경우에 데이터 측정이 어려워 점수가 의도치 않게 감점될 수 있다. 이러한 문제점을 개선하기 위해 가속도 센서와 GPS를 함께 활용한 연구 [7]가 진행되었다. 해당 연구는 GPS에 의한 차량의 회전 상태를 구분하고, 그 상황에서의 횡 가속도를 반영하여 정숙 운전 점수 산정으로 개선하였다. 그러나 해당 선행 연구에서도 GPS의 정보 수신이 어려운 터널이나 도심의 고가도로 아래에서의 문제를 완벽하게 해결하지는 못하였다. 또한 GPS에 의존하여 운전 점수를 측정하기 때문에 운전 점수 측정시 속도와 관련된 급가속, 급감속, 속도위반 등만 측정하는 한계가 있다.

본 연구에서 제안하는 운전습관 분석 서비스는 GPS기술 기반이 아닌 영상분석 기술 기반으로 2차원 동영상에서 운전습관과 관련된 정보를 추출 및 분석 한다. 사용자는 차량에 탑재된 블랙박스 영상을 활용 할 수 있으며 영상 정보를 분석하기 때문에 주행 차량 주변의 상황을 복합적으로 인식이 가능하다. 예를 들면 도로 위의 장애물, 차량, 신호등, 차선 등 여러 가지 주변 요소들을 인지한다. 해당 정보를 바탕으로 신호위반(정지선 정차), 차간거리 유지, 서행여부, 차선 이탈 등 다양한 시나리오에 대한 운전 습관 분석이 가능하다.

3-1 객체 인식 및 주행 차로 인식

운전 습관 분석 기술을 구현하기 위해, 입력 영상에 등장하는 차량, 신호등, 표지만, 보행자 등의 다양한 객체들의 정보가 필요하다. 이를 위해 본 연구에서는 객체 검출 속도가 빠르고 준수한 정확도를 가지는 객체 검출기 YOLOv5[8]를 사용하였다. 검출기 학습을 위해 AIHub의 자율주행 데이터 셋[9]을 사용하였으며 장애물, 빈주차공간, 차량 4종류, 보행자, 신호등, 교통 표지판 및 도로 로드마크 검출 결과는 그림 4.(좌)와 같다. 운전 습관 분석을 위해 필요한 주요 객체들이 실시간으로 높은 정확도로 검출되는 것을 확인하였다.

Fig. 4.

(Left) Example of object detection (Middle) Example of free space estimation (Right) Example of relative distances and speed between other objects

운전 습관 분석 중에 차선 침범, 주행 차선 확인 등을 위해 차선 정보를 알아내는 것이 중요하다. 차선 인식을 위한 고전적인 방식으로 캐니 엣지 [10] 인식 및 허프 변환을 시도 할 수 있으나 해당 방법은 최적화 되지 않은 단순 이미지 처리를 통해 차선 인식을 진행하기 때문에 속도와 정확도측면에서 좋은 성능을 보이지 않는다. 따라서 본 연구에서는 사전 학습된 딥러닝 모델[11]을 활용하여 실시간으로 차량의 자유공간을 예측한다. 자유공간이란 현재 주행하는 차량이 주행가능한 도로 영역이며 그림 4.(중)에서 초록색으로 표시된 영역이다. 영역의 경계는 주행차로의 차선으로 간주 할 수 있으며 안쪽 영역이 주행가능 도로이다. 본 연구에서 활용한 모델은 다섯 프레임에 대해 차선을 예측한 뒤 평균을 내어 자유 공간을 안정적으로 예측 및 시각화 한다. 도로는 세계적으로 모두 유사하게 규격화 되어있으므로 해당 모델은 한국 도로 주행 영상에서도 높은 성능을 보인다.

3-2 거리 인식 및 상대 속도 추정

급정거 및 차간 안전거리 유지와 같은 운전 습관 분석을 위해서는 차간 거리와 상대 속도를 계산해야 한다. 특히 운전자가 탑승한 차량과 동일한 차선에 있는 앞 차량간의 거리정보 및 상대 속도는 매우 중요 하다. 이를 위해 본 연구에서는 차선 및 도로의 규격 정보를 활용한다. 한국도로교통공단에 명시된 도로교통법 시행규칙의 차선 종류 및 규격에서는 중앙선을 제외한 실선 및 점선 차선의 폭은 10cm에서 15cm이다. 따라서 본 연구에서는 차선의 두께를 평균값 12.5cm으로 정했다. 점선 차선의 경우 차선의 길이는 3m이고 차로의 간격은 5m이다. 이는 그림 5(우)에서 확인 가능하다.

Fig. 5.

(Left) Extract points (p1,p2,p3,p4) on lanes(Right) Result of perspective transformation and distance Ds prediction

먼저 앞 차량과 주행 차량간의 거리를 구하기 위해서는 영상에서 검출된 앞차량의 밑부분을 활용한다. 그림 5(좌)와 같이 주행 차로에 있는 앞 차량의 밑 부분과 수평이 되는 선을 긋고 주행 차로의 양 차선과의 교점 두개 p₁,p₂를 구한다. 그리고 적당한 위치에 선분 $$ \overline{p_1{p}_2}$$과 수평한 직선을 그어 해당 직선과 차선과의 교점 p₃,p₄를 구한다. 본 연구에서는 차량용 블랙박스 시야가 닿는 한 선분 $$ \overline{p_1{p}_2}$$과 최대한의 거리를 두고 선분 $$ \overline{p_3{p}_4}$$를 그렸다. 이렇게 구해진 차선 위의 점 p₁,p₂,p₃,p₄은 사다리꼴을 구성하는데 이는 실제로 직사각형인 차로가 카메라의 위치 및 각도에 따른 원근 왜곡 (perspective distortion)에 의해 사다리꼴 형태로 영상에 보이게 된다.

앞서 언급하였듯이 대한민국의 도로 규격에 대한 정보를 사전에 알고 있으므로 차선의 길이와 간격 정보를 활용하여 그림 5(좌)의 사다리꼴에 해당하는 영역을 그림 5(우)와 같이 직사각형 p'₁,p'_2',p_3',p'₄ 으로 원근 변환이 가능하다.

이러한 원근 변환을 통해 주행도로를 마치 하늘에서 본 것처럼 왜곡을 제거할 수 있으며 단 한 장의 영상만으로도 실제 스케일을 유추 할 수 있는 큰 장점이 있다. 단 높은 정확도를 위해서는 도로가 평평해야 하는 조건이 필요하다. 본 연구에서는 이를 위해 관련 연구 [12]를 참조하였으며 한국 도로의 기준에 맞도록 모델을 변경 하였다. 이와 같은 과정을 거치면 앞차와 그리고 블랙박스가 촬영 가능한 부분까지의 직선거리 D_s 를 계산 가능하다 (그림 5(우): 약 11.6m). 그러나 이것은 시야에서 보이는 부분에 대한 앞 차량간의 거리일 뿐 실제 탑승차량과의 거리는 아니다. 따라서 블랙박스의 시야와 도로간의 사각지대를 고려해야 하며 이는 차종별로 다르기 때문에 표 1.과 같이 도로안전교통공단이 조사한 차량별 전방 사각지대 정보를 이용한다. 그러나 해당 사각지대 정보는 운전자를 기준으로 조사된 자료이므로 영상 분석에 활용하기 적절하지 않다.. 블랙박스의 설치 위치 및 각도 그리고 화각에 따라 차이는 있을 수 있으나 통상적으로 알려진 사실에 의하면 블랙박스는 운전자보다 높은 위치에 설치 되어있으므로 전방 사각지대의 거리가 운전자 보다 약 20% 정도 단축 된다고 한다. 이에 따라 승용차의 경우 사각지대 거리 D_b 를 4.3m에서 20% 줄인 3.44m로 결정 하였다. 마찬가지로 탑승한 차량이 SUV 차량이라면 사각지대 거리를 4m로 결정 할 수 있다.

Table 1.

Distances of forward blind spots according to vehicles

최종적으로 시야에서 확인가능한 앞 차량간의 거리와 추정 사각지대 거리를 더해 주행 차량과 앞차와의 거리를 다음과 같이 추정 한다.

추정된 앞차와의 거리는 앞차와의 안전거리를 잘 유지했는지 하지 않았는지를 평가하는데 활용이 가능하다. 뿐만 아니라 프레임별 거리의 변화량을 이용하면 앞 차량과의 상대속도 또한 다음과 같이 손쉽게 계산이 가능하다.

여기서 t는 프레임 인덱스이고, FPS는 초당 프레임수 이다. 상대속도가 음수인 경우 앞 차량과 가까워 지고 있는것이며, 양수일 경우 앞차량과 멀어지고 있는 상태이다. 계산된 상대 속도는 주행차량의 급정거 판별에 활용 할 수 있으며 본 연구에서는 앞차량뿐만 아니라 정지되어있는 객체들 (가로등, 신호등, 차선 등)을 이용하여 주행 차량의 주행속도 또한 유사한 방식으로 계산하였고 이를 운전자의 운전습관을 평가하는데 다양한 측면으로 활용하였다.

3-3 운전 습관 분석 및 평가 알고리즘

객체 인식, 차선 인식, 거리 인식 그리고 상대 인식의 정보들을 사용하여 각각의 시나리오에 대해 감점 요소를 적용한 뒤 운전 습관 점수를 산정한다. 교통법규에 의거하여 표 2. 과 같은 시나리오에 따른 점수 감점율을 결정하였다. 시나리오로는 신호등, 로드마크, 차간 거리 유지, 차량 급감속, 보행자 발견 시 서행, 차선 이탈 그리고 정지선 이전에 정차 유무로 총 7종류가 있다. 운전습관 중요도에 따라 감점율에 차등을 두어 점수 최종 점수 산정이 될 수 있도록 하였다.

Table 2.

Scenarios for driving habit score measurement

교통 신호위반과 관련해서는 다음과 같은 정책을 따른다. 신호등이 빨간불일 때, 정차해야 한다. 정지선이 검출되지 않았거나 검출된 정지선을 지나치지 않았고 빨간불이 검출되었을 때, 일정 프레임 안에 정지하지 않는다면 감점한다.

또한 신호등이 황색불일 때, 교차로에 진입한 차량은 교차로를 빠져나가야 하며, 진입하기 전이라면 정지해야 한다. 검출된 정지선을 지나치지 않았고 황색불이 검출되었을 때, 일정 프레임 안에 정지하지 않는다면 감점한다. 빨간색 좌회전 신호등일 때, 정차해야 한다. 그러나 현재 주행 중인 차선에 좌회전 또는 좌회전과 직진 화살표 로드마크가 검출 되었고, 정지선이 검출되지 않았거나 검출된 정지선을 지나치지 않았고 빨간불이 검출 되었는데 일정 프레임 안에 정지하지 않는다면 감점한다. 황색 좌회전 신호등이 켜지면 교차로에 진입한 차량은 교차로를 빠져나가야 하며 진입하기 전이라면 정지해야한다. 만약 현재 주행 중인 차선에 좌회전 또는 좌회전과 직진 화살표 로드마크가 검출 되었고, 검출된 정지선을 지나치지 않았고 황색 좌회전 신호등이 검출되었을 때, 일정 프레임 안에 정지하지 않는다면 감점한다

운전자는 보행자의 안전을 확보해야하므로 횡단보도 근방에서 보행자가 도로를 건널 수 있으므로 서행해야하는 의무가 있다. 횡단보도는 정지된 객체이므로 상대속도가 곧 차량의 속도이다. 따라서 횡단보도가 검출되었을 때, 속도가 지나치게 높으면 감점한다. 뿐만 아니라 운전자는 주행의 안전을 위해 앞차와의 차간 거리를 충분히 두어야 한다. 현재 주행 중인 차선을 기준으로 앞 차량과의 거리가 일정 수준 밑으로 줄어든다면 감점한다. 마지막으로 급감속/급가속 또한 안전운전을 위해서는 지양해야하는 습관이다. 현재 주행 중인 차선을 기준으로 앞 차량의 상대속도가 음수이며, 그 값이 지나치게 높으면 급감속으로 판단하여 감점한다. 반대의 경우에는 급가속으로 간주하여 감점한다.

마지막으로 운전자는 횡단보도가 아니더라도 보행자가 있다면 행해야 한다. 보도를 제외한 일정 픽셀 범위 내에서 보행자가 발견되었을 때, 보행자의 상대속도가 음수이며, 그 값이 지나치게 높으면 감점한다. 여섯 번째로 차선 이탈이다. 검출된 차선 정보를 바탕으로 차선 중점에서 일정 픽셀 이상 멀어진다면 감점한다. 단, 차선 이동의 경우에는 이전 프레임의 감점 내용 취소한다. 마지막으로 정지선 이전에 정차 유무이다. 정지선이 검출되었고 신호등이 빨간불일 때, 신호등이 초록불로 바뀌기 전까지 정지선이 계속 검출되지 않으면 감점한다. 본 연구에서 제안하는 평가 시나리오는 언제든지 개발자에 의해 추가 보완 될 수 있다.

3-4 웹 서비스 구현

본 연구에서 제시하는 서비스는 사용자의 접근성이 편리한 웹을 사용한다. 웹을 이용하여 서비스를 구현할 경우 PC 및 모바일 기기에 상관없이 서비스 이용이 가능한 장점이 있다. 웹 페이지는 HTML과 CSS를 이용하였고, 프레임워크로는 파이썬 기반의 Flask를 사용하였다. 사용자 인터페이스는 그림 6과 같다. 사용자는 메인 화면에서 서비스 이용을 바로 시작할 수 있다. 또한 소개 화면에서도 서비스를 시작할 수 있으며, 서비스에 대한 내용을 확인할 수 있다. 서비스를 시작하게 되면 사용자는 업로드 화면으로 넘어간다. 사용자는 자신의 블랙박스 영상 또는 해당 영상의 URL을 업로드 함으로써 해당 영상의 운전 습관 분석 서비스를 진행할 수 있다. 로딩 화면에서 서버는 업로드된 영상의 객체, 차선, 거리 그리고 거리와 속도 인식을 진행하고 지정된 시나리오 기반의 사용자의 운전 습관을 종합적으로 분석한다. 분석이 완료된 후 사용자는 점수 화면을 통해 자신의 운전 습관 점수를 확인할 수 있다. 그리고 결과 페이지에서 어떤 부분에서 감점이 되었는지 타임 테이블과 함께 분석 완료된 영상을 확인할 수 있다.

Fig. 6.

Process of proposal service and user interfac

4-1 객체 검출기 학습

주행 영상에서 주요 물체들을 검출하기 위해 본 연구에서는 객체 검출 속도가 빠르고 준수한 정확도를 가지는 객체 검출기 YOLOv5[8]를 사용하였다. 검출기 학습을 위해 AIHub의 자율주행 데이터 셋 [9]을 사용하였으며 장애물, 빈주차공간, 차량 4종류, 보행자, 신호등, 교통 표지판 및 도로 로드마크 등을 검출 가능하게 학습 하였다. 해당 데이터 셋의 전처리를 통해 약 17만여 장의 이미지와 31개의 클래스를 사용한다.

사용 클래스로는 장애물 3종, 빈 주차 공간 2종, 이륜차 포함 차량 4종, 보행자 2종, 좌회전 신호 포함 신호등 7종, 교통 표지판 2종, 정지선 포함 로드마크 11종을 사용한다. 학습 환경으론 학습용 데이터 셋 167,621장 그리고 검증용 데이터 셋 10,371장을 사용했으며, 입력 이미지 크기는 가로 세로 모두 1280 픽셀 크기를 사용하였다. 학습 배치 수는 6 으로 설정하였고 사전학습된 가중치이며 가장 정확도가 높은 YOLOv5x6 [8]을 최종 객체 검출기로 활용했다. 학습은 RTX3090을 통해 24 epoch 동안 진행했다.

최종 객체 검출기의 평균 정확도 성능은 mAP (mean average precision) 약 69%로 확인되었다. 운전 상황에서 검출 가능한 전체 객체에 대한 평균 성능은 69%이지만, 주요 검출 객체 운송수단들 (자동차 98.3%, 버스: 94.1%)과 보행자 75.4%는 높은 성능으로 검출했다. 신호등은 빨간 불과 파란불은 각각 84.1%, 82.4%로 높은 성능으로 검출했으나 노란불은 51.2%로 상대적으로 낮은 검출 성능을 보였다. 이러한 성능 평가는 각 프레임별로 객체 검출 하나하나에 대한 성능이므로, 동영상과 같은 연속적 프레임에서는 다중 프레임에서의 검출 결과를 종합하여 객체 검출 성능을 보정 가능하다.

4-2 주행 시나리오 테스트

실제 주행 시나리오 테스트를 위해서 온라인에 공개된 한국 도로 주행 영상들을 [13] 활용하였다. 그림 7의 왼쪽에 있는 영상들은 차간 거리 미확보 및 차선 이탈로 인해 운전 습관 점수를 감점 받은 영상 예시이다. 안건거리 미확보의 경우 추정된 차간 거리가 일정 거리 이하일 경우에도 감점이 되지만 그림 (좌)의 첫 번째 영상과 같이 전방 차량의 검출 경계박스의 밑변이 전체 영상의 세로 최대 값과 같은 경우 거리측정자체가 어렵다. 단, 이경우에도 안전 거리가 기준치 이하로 떨어지게 되므로 감점사유로 간주하였다. 그림 7 (좌)의 두 번째 영상의 경우, 검출 차선의 중심과 전체 영상의 중심 간의 거리가 멀고 일정 프레임 이상 지속적으로 해당 위치에서 주행하였으므로 차선 이탈로 감점이 되었다. 그러나 차선 이탈의 경우 변수가 많고 방향지시등의 활용 유무등은 영상만으로는 확인이 어려우므로 제안하는 서비스에서 큰 감점은 하지 않는다. 그림 7의 오른쪽 영상들은 올바른 주행을 수행하고 있는 영상들로 주행 중 점수 감점이 없는 영상들이다.

Fig. 7.

(Left) Points deducted due to non-maintenance of inter-vehicle distance and lane departure (Right) The score is not deducted

운전 습관에 대한 평가는 약 30초 길이의 도로 주행 영상[12] 15개에 대해 진행하였으며 정상 주행 영상 10개, 감점 사항이 있는 영상 5개로 구성되어 있다. 대부분의 운전 습관 평가는 표 2.에서 제시한 시나리오대로 정상 평가가 가능했다. 그러나 차선 이탈의 경우 앞서 언급한대로 평가기준을 정하기 애매하고 영상만으로는 (방향지시등 사용 유무) 판단이 어려운경우가 많아 알고리즘이나 기준의 보완이 필요하다.