자동차용 블랙박스를 이용한 실시간 차량위치추적 시스템의 구현

먼저 영상데이터를 취득하고 영상처리와 통신을 담당하는 SBC는 그림 3과 같이 구성한다. 오드로이드 보드는 Hard kernel사의 ODROID-XU4 모델에 OS로는 ubuntu 16.04 mate를 설치하여 이용하였다.

Fig. 3.

Block diagram of SBC

ODROID-XU4에 부가적으로 연결되는 장치로는 영상정보를 만드는 USB 카메라인 oCam과 저장공간으로 사용할 Micro SD 카드, 이용자의 스마트폰으로 데이터를 전송하기 위한 Bluetooth Dongle이 있다. oCam을 이용하여 영상정보를 받아오고, C++ 기반의 프로그램에서 영상정보를 저장하고, 번호판을 추출하여 연결된 Bluetooth Dongle을 통해 스마트폰으로 전송하게 된다.

(1) 전체 알고리즘

카메라로 촬영된 영상을 C++를 기반으로 한 OPEN CV를 이용해 영상처리 기술을 적용하여 번호판의 문자열을 추출한다. 전체 번호판 인식 알고리즘은 크게 번호판 영역추출 부분과 문자인식 부분으로 분류된다. 그림 4의 번호판 영역 추출 알고리즘에서는 전체 영상에서 번호판이 가진 특성만을 찾아내어 번호판의 영역을 추가적인 이미지로 만드는 것을 목표로 한다.

Fig. 4.

Number plate area extraction algorithm

(2) 번호판 영역추출

① 문자획 강조

1차 미분 필터의 경우는 연산자가 에지가 존재하는 영역을 지나면 민감하게 반응을 하게 된다. 따라서 이를 완화하기 위한 목적으로 2차 미분연산자인 LoG (Laplacian of Gaussian) 필터가 쓰이게 되었다. 또한, 수평, 수직, 대각선 방향에 놓인 에지에 너무 민감하게 반응하는 1차 미분 필터와는 다르게 2차 미분은 해당 부분을 둔감 시킴과 동시에 에지를 더욱 강조하는 효과를 보여준다.

LoG는 식 (1)에 따라서 그림 5와 같은 계수들의 합이 0이 되는 임의 크기의 마스크를 만들 수 있다. 만들어진 마스크와 영상을 컨볼루션을 하면 영상은 2차 미분 값을 가지게 되고 값 중에 영점을 교차하는 점을 찾아내어 에지의 위치로 결정한다. LoG는 1차 미분 필터와는 다르게 에지 추출에 대해서는 더 큰 장점이 있지만 연산을 진행할 때 많은 자원이 필요하다는 단점이 있다.

Fig. 5.

LoG mask

이 점을 개선하기 위해 Marr와 Hildreth은 LoG 필터를 연산속도가 빠른 DoG(Difference of Gaussian)로 근사화 시키는 것이 가능함을 알아내었다.[1]

식 (2)에서 σ₁ > σ₂이다. 여기서 DoG가 LoG와 근사한 에지를 가지기 위해서는 적당한 σ 값의 조절이 필요하다. DoG에서 보통 두 개의 σ값이 1:1.75나 1:1.6의 비를 가지면 LoG와 근사한 값을 낸다. 위 식의 각 항은 영상을 Gaussian blur한 것을 의미하며 결과적으로 DoG는 σ₁, σ₂값에 따른 두 개의 Gaussian blur 영상의 차이 값이 된다. 이렇게 2차 미분 값을 가지게 되면 밝기에 따라 이미지의 배열 값이 0에서 교차(Zero Crossing)하는 현상이 일어나게 된다.

Fig. 6.

Gaussian blur (a) original (b) σ = 1.75 (c) σ = 1.0

이런 현상을 이용하여 하얀색 번호판과 같은 경우 밝은 부분에서 문자 획을 지나가며 어두운 부분을 가지게 되는데, 이 때 DoG 필터를 거치면서 그림 7과 같이 문자 획이 시작하는 부분은 음수에서 양수로 0을 교차하고 문자 획이 끝나는 부분은 양수에서 음수로 0을 교차하게 된다. 바로 이 교차점을 이용하여 그림 8과 같이 문자 획을 강조한 이미지를 얻을 수 있다.

Fig. 7.

Process of Zero Crossing

Fig. 8.

Process of highlighting character strokes

문자 획이 강조된 문자들 중 모든 번호판 형식에 포함된 마지막의 숫자열 4개(그림 9)는 번호판 영역을 추출하는 중심이 된다.[2] 문자 획이 강조된 이미지는 블롭 알고리즘에 의해 이미지 내의 연결 화소들이 구분이 되게 된다.

Fig. 9.

a numerical array on license plates

② 블롭 감지 알고리즘

블롭 감지 알고리즘이란 이진화된 영상의 연결화소끼리 같은 번호를 부여하여 각각의 연결화소를 효과적으로 이용하기 위한 방법이다. 블롭 감지 알고리즘에는 여러 종류의 마스크들이 사용된다.

그림 10은 연결되어 있는 화소의 범위를 정해주는 마스크이다. 연결화소를 검색할 때에는 기준화소를 기점으로 주변에 어떤 범위까지 연결화소로 인정하는 지에 대한 기준을 정한다. 본 연구에서는 중앙의 십자 마스크를 선택하였다.

Fig. 10.

mask

마스크가 정해졌다면 픽셀단위로 그림 11과 같이 왼쪽 위부터 오른쪽으로 가면서 한 줄씩 마스크를 씌워 주변의 연결 화소가 있는지 감지한다. 행렬형식의 이차원 배열 형태로 이미지를 인식하여 반복문을 이용해 제어하는 화소를 정해준다. 이동 중 검은 화소가 감지되었을 경우 번호를 매기는데 왼쪽 위를 기준으로 1부터 번호를 매기게 되고 다음 연결 화소가 나타날 때 다음 번호를 매긴다. 마스크 내에 연결화소가 있게 되면 해당하는 연결화소의 블롭 번호를 받아와 같은 번호를 부여 받게 된다. 이때에 여러 가지 변수들이 나타나게 되는데 다른 블롭으로 인식 되었다가 추후의 마스크를 씌운 화소에서 같은 블롭인 것이 밝혀지게 되면 이전의 배열 값으로 돌아가 작업을 다시 시작하게 된다.

Fig. 11.

Connection pixel detection

완성된 블롭은 그림 12와 같은 형태가 된다. 같이 붙어있는 검은 화소끼리는 동일 번호를 매긴 것을 확인할 수 있다.

Fig. 12.

Blob numbering

이렇게 번호를 부여받은 블롭들은 각각 분석되어 고유한 숫자 값을 가지게 된다. 우선 블롭이 정해지면 블롭의 Height, Width, Top, Bottom, Left, Right 등의 속성 값을 가지게 된다.

번호판에서 가장 특징적이고 번호판의 종류에 영향을 받지 않는 특징은 연속된 4개의 숫자가 존재한다는 점이다. 오래된 번호판이나 특정 목적차량의 번호판의 경우 앞의 숫자가 위로 올라가거나 지역번호가 적힌 경우가 존재하기도 하지만 연속된 숫자가 4개 이어져 사용된다는 것은 모든 번호판이 동일하다. 검색 방법은 한 개의 블롭을 기준으로 하여 그림 13-(a)와 같은 4가지 조건을 만족하게 되면 그 블롭들의 모임을 번호판으로 인식하고 실패하면 다음 블롭으로 기준 블롭을 옮겨서 검색을 새로 시작하게 된다. 이러한 방식으로 4개의 숫자를 찾게 되면 그림 13-(b)와 같이 숫자영역을 기준으로 비율을 정하여 번호판의 영역을 자르게 되는데 이때, 기준이 되는 숫자영역 블롭의 Height 속성 값을 기준으로 잡아 여러 사이즈의 번호판에도 비율적으로 접근해 원하는 번호판의 크기를 얻을 수 있었다.

Fig. 13.

Blob analysis method

문자인식 알고리즘은 그림 14와 같이 요약된다.

Fig. 14.

Character recognition algorithm

(1) 블롭 감지

번호판 영역이 추출되면 다시 이진화와 블롭을 분석하는 과정을 거쳐 문자들의 블롭들을 추출한다. 이는 새로 잘라낸 번호판의 영역을 새로운 영상정보로 받아들이고 사용하기 위함인데 이때 위의 블롭 추출까지의 알고리즘을 반복한다.

(2) 문자 정규화

이후 추출된 문자영역에 대한 블롭들은 그림 15-(b)과 같이 정규화 과정을 거친다. 정규화란 숫자영역을 잘라내어 원하는 규격의 영상으로 잘라 사용할 수 있도록 어떠한 영상이라도 같은 크기로 재구성 될 수 있도록 하는 기술이며 뒤의 템플릿 매칭 방식을 사용하기 위해 필요한 작업이다.

Fig. 15.

Process of Blob normalization

(3) 템플릿 매칭

템플릿 매칭은 템플릿을 기반으로 받은 정규화된 영상의 데이터를 비교한다. 이 비교하는 과정은 모든 화소를 비교하는 방식이며 그렇기 때문에 비교하는 두 영상의 크기가 같을 필요성이 있으며 정규화가 필요한 것이다.

데이터를 비교하면 그림 16과 같이 템플릿과 XOR 연산을 실행하고 그 결과의 흰색 영역(비교자와 피비교자가 같았던 영역)이 전체에서 어느 정도 비율을 차지하는지 계산한다.

Fig. 16.

Template Matching

(1) 어플리케이션 개요

본 시스템에서 사용하는 어플리케이션은 Android 6.0.1과 API 23 환경에서 제작하였다. 그림 17은 어플리케이션의 실행 화면으로 기본 화면과 백그라운드 실행 화면을 보여준다. 이 어플리케이션은 스마트폰에서 블루투스 통신을 이용하여 싱글보드 컴퓨터 오드로이드에서 번호판 문자열을 전송받고 위치정보를 취합하여 HTTP 통신으로 서버에 전송하는 역할을 한다. 서버로 데이터를 전송하는 기능은 Service 기능에서 동작한다. Service에 의해 Activity가 종료되더라도 백그라운드에서 프로그램이 지속적으로 실행되며 3초마다 취합된 데이터를 알림으로 알려주고 데이터가 전송이 되면 자동으로 서버로 데이터를 전송한다.

Fig. 17.

Application

(2) 블루투스 연동

그림 18은 블루투스 연동을 위한 순서도를 설명한다. 블루투스 연결을 하기 전에 가장 먼저 블루투스를 지원하는지 확인한다. 해당 장치가 블루투스를 지원할 경우 블루투스의 On/Off 상태를 판단하고 켜져 있지 않다면 블루투스를 켠다. 그리고 장치 검색을 실행한다. 장치를 검색하고 페어링이 되어있는지 확인하고 페어링이 되어있지 않는다면 페어링을 하고 연결을 시작한다.[3]

Fig. 18.

Flow chart of Bluetooth Interlink

그림 19는 블루투스를 사용하기 위해 선언한 권한을 나타낸다. 블루투스를 사용하기 위해서는 Manifests에서 별도의 권한 선언이 필요하다. 가장 먼저 BLUETOOTH 권한은 커넥션 요구 수락, 데이터 전송 등의 블루투스 통신을 하는 데 필요한 권한이다. 그리고 BLUETOOTH_ADMIN 권한은 장치를 검색하거나 블루투스 설정을 조작하는 데 필요하다. 단 이 권한을 사용하기 위해서는 BLUETOOTH 권한이 반드시 선언되어있어야 한다.

Fig. 19.

Bluetooth privileges

(3) 안드로이드 서비스

그림 21은 네트워크를 사용하는데 필요한 권한을 설명한다.

Fig. 20.

Flow chart of service

Fig. 21.

Permission of network

ACCESS_NETWORK_STATE는 네트워크의 상태를 확인하기 위한 권한이고 INTERNET는 인터넷 사용을 위한 권한이다.[4] 서비스는 Activity처럼 사용자와 상호작용하는 Component가 아니고 Background에서 동작하는 Component이다. 이 기능은 Activity가 종료되더라고 지속적으로 프로그램을 실행시키기 위해 사용하였다.[5]

버튼 ‘서비스 시작’이 눌리게 되면 Service로 실행되는 프로그램의 순서도인 그림 20과 같은 과정을 실행한다. 가장 먼저 스마트폰이 제공하는 위치정보제공자 중 GPS를 이용하여 위치정보(위도, 경도)를 얻는다.

위치정보는 실시간으로 갱신되며 데이터가 수신될 경우 위치정보와 전달받은 번호판 문자열을 취합하여 HTTP 통신을 통해 서버에 데이터를 전송한다. 버튼 ‘서비스 종료’가 눌리면 Service 기능을 종료한다.

(4) 안드로이드 GPS 연동

그림 23은 위치정보제공자를 사용하는데 필요한 권한을 나타내는데, 위치정보제공자를 이용하기 위해서는 위와 같은 권한은 설정해줄 필요가 있다.

Fig. 22.

Flow chart of GPS service

Fig. 23.

Permission of network

ACCESS_COARSE_LOCATION은 WIFI를 이용한 위치정보를 얻을 때 사용하는 권한이고 ACCESS_FINE_LOCA TION은 GPS를 이용하여 위치정보를 확인하기 위한 권한이다.

그림 22는 위치를 갱신하는 순서도이다. 가장 먼저 GPS를 지원하는지 확인한 후, GPS 수신기 on/off 상태를 확인하고, 꺼져 있으면 켜준다. 최초로 위치를 갱신할 때는 조건 없이 위치를 갱신하지만, 그 다음부터는 기존의 위치가 현재의 위치와 최소 5M 또는 30초의 차이가 나면 위치를 갱신한다.[6]

(1) 서버 구축

본 연구에서는 각 블랙박스에서 수집한 정보를 저장하고 운용하기 위해서 웹 서버를 구축하여 사용하였다.

각 모듈에서 전송되어진 정보는 안드로이드 통신을 통해 서버로 전송이 되고 서버에서는 그 정보를 데이터베이스에 저장하여 이후 위치추적 시스템에 사용하였다. 서버는 Apache Tomcat8.0 웹 어플리케이션 서버를 사용 하였다.[7] 이는 JSP언어를 기반으로 페이지를 만들어 전송받을 정보를 데이터베이스에 저장하는 방식의 서버를 만들었다. 데이터베이스는 MySQL 데이터베이스를 사용하였다. 그림 24는 웹 서버의 페이지를 나타낸 블록도 이다. 서버 페이지는 크게 안드로이드의 정보를 수신하는 데이터 수신 페이지, 데이터베이스의 정보를 받아오는 데이터 테이블 페이지, 원하는 차량의 이동경로를 추적하는 페이지로 나뉜다.

Fig. 24.

Block diagram of the web server

(2) 데이터 수신 페이지

데이터 수신 페이지에서는 안드로이드 어플리케이션에서 전송받은 정보를 데이터베이스로 넘기는 역할을 한다. HTTP 통신을 통하여 안드로이드에서 넘겨받은 차량번호, 위도, 경도, 현재 시간 값의 파라미터를 메모리로 전송받아 데이터베이스에 저장한다. 안드로이드 어플리케이션에서 정보를 전송할 때마다 반복하여 실행되며 데이터의 저장 성공 여부를 표기한다.

(3) 데이터 테이블 페이지

데이터 테이블 페이지에서는 데이터베이스의 테이블에 저장된 차량의 번호, GPS 데이터, 정보를 전송받은 시간을 수신하여 웹 페이지에 표의 형태로 받은 정보를 표시하도록 하였다. 이는 가장 최근의 데이터를 순서대로 보여주는 역할을 한다.

(4) 이동경로 추적 페이지

이동경로 추적 페이지에서는 추적을 원하는 차량의 번호를 입력하면 해당하는 차량의 정보를 데이터베이스에서 검색, 지도상에 매핑하는 작업을 하게 된다. 지도는 구글맵 API를 연동하여 사용하였으며 검색한 차량의 데이터 정보를 JSP코드에서 자바스크립트 코드로 넘겨주어 처리한다. 넘겨받은 데이터는 자바스크립트 상에서 연동한 구글맵 API를 이용하여 GPS데이터를 지도상에서 운용되게 된다. 구글맵의 마커 시스템을 이용하여 검색한 차량의 번호를 시간대별로 정렬하고 이후 순서에 맞추어 맵에 표시를 하도록 하였으며. 이후 구글맵의 항공경로 표시 API를 사용하여 이동경로를 지도상에 매핑하여 시각적으로 두드러지게 확인할 수 있도록 하였다.