라즈베리 파이를 이용한 차량 추적 시스템에 관한 연구

라즈베리 파이와 서버 간 통신은 중간에 스마트폰 핫 스폿을 통하여 이루어지고, 둘 사이의 연결은 HTTP 프로토콜을 사용하였다. 실시간으로 연결되어 있을 필요가 없고 필요할 때 잠깐 접속해서 데이터를 전송받거나 전송하기 때문에 웹프로그램으로 서버를 구축하여 사용하는 것이 좋다.

안정적으로 인터넷에 연결되어 있어야 하므로 직접 서버를 운영하는 대신 웹 호스팅 업체에서 1개의 호스트를 운영하여 구축하였다. 서버의 운영환경은 Linux 64bit 운영체제를 사용하고, 사용 프로그램으로는 웹서버로는 Apache 2를, 언어는 UTF-8, 데이터베이스는 MariaDB 10.X 버전이 설치되어있다.

본 논문에서 필요한 서버 프로그램은 3개의 역할에 필요한 부분만 개발하였다. 첫 번째는 수배 차량 정보를 관리하는 프로그램, 두 번째로는 라즈베리 파이가 접속하면 현재 등록되어있는 수배 차량 목록을 라즈베리 파이에 전송해주는 프로그램, 마지막으로는 라즈베리 파이에서 수배 차량을 찾았을 때 차량에 대한 정보와 영상을 전송받아서 처리하는 프로그램을 만들었다.

서버에 있는 데이터베이스인 MariaDB에는 수배 차량 정보를 저장할 wanted_vehicle이란 이름의 테이블을 만들었다. 이 테이블의 구성은 표 2에 나타냈다. 실제로는 더 많은 필드가 있으나 최소 필요한 것들만 표현한 것이다.

Table 2.

wanted_vehicle table

라즈베리 파이가 실행되면 가장 먼저 웹을 통하여 Vehicle Inquire Server의 GetWantedList.php에 접속한다. 이 프로그램은 wanted_vehicle 테이블에 저장된 수배 차량 번호 목록을 보내주도록 하였다. 이때 데이터는 JSON 포맷으로 변환하여 전송한다. 라즈베리 파이는 이 번호 목록을 등록하여 차량을 찾게 된다.

라즈베리 파이는 찾은 차량에 대한 정보를 서버의 SendTrackedLocation.php에 접속하여 전송하고 전송받은 서버는 DB의 found_vehicle 테이블에 저장하도록 프로그램을 만들었다. 라즈베리 파이에서도 데이터는 JSON 포맷으로 변환하여 전송한다. found_vehicle 테이블의 구성은 표 3에 나타냈다.

Table 3.

found_vehicle table

라즈베리 파이에서는 차량 정보와 차량 영상을 전송하는데 차량 영상은 별도의 디렉터리에 저장하고, 이 영상의 저장된 파일명을 img_name 필드에 저장한다.

라즈베리 파이에서 촬영된 영상은 RGB 색상으로 표현된다. 번호판 추출하기 위해서는 RGB 색상보다는 회색 음영(gray scale color) 또는 HSV 색상이 더 효율적이기 때문에 본 논문에서는 HSV 색상으로 변환해서 사용한다. HSV는 색상을 나타내는 H(hue)와 채도를 나타내는 S(saturation)와 밝기를 나타내는 V(value)로 구성되어 있고, 이중 V는 회색 음영으로 사용할 수 있다[7]. H는 0~360도의 각도로 표현되는데 1바이트에 값 360을 저장할 수 없어 일반적으로 0~180 사이의 정수로 표현하고, S와 V는 0~255 사이의 정수로 표현한다. 색상의 변환은 직접 계산하지 않고 OpenCV의 함수 cvtColor()를 사용하면 쉽게 변환되고, 이를 split() 함수를 사용하면 H와 S, V값을 각각의 영상으로 나누어준다. 그림 5에 RGB 영상과 HSV로 변환한 영상을 나타냈다.

Fig. 5.

RGB color to HSV color

영상에서 에지는 어떤 객체의 가장 바깥의 둘레를 의미하며 객체의 테두리로 볼 수 있다. 에지는 영상의 객체들을 구분하는 지점이며 픽셀의 밝기가 작은 값에서 큰 값으로 또는 큰 값에서 작은 값으로 변하는 지점을 말한다. 즉 픽셀의 밝기 변화율이 높은 지점이다. 에지를 찾기 위해서는 미분과 기울기 연산을 수행하며 픽셀의 밝기 변화율이 높은 경계선을 찾는다. 에지 검출은 주로 1차 미분이나 2차 미분을 이용해서 구하는데, 잡음(noise)에 대한 영향이 커서 흐림 효과(blurring)를 진행하여 잡음의 영향을 줄인 후 검출한다. 대표적인 방법으로는 소벨 미분(Sobel derivative), 샤로 필터(Scharr filter), 라플라시안(Laplacian), 캐니 에지(Canny edge) 등이 있다.

캐니 에지는 라플라스 필터 방식을 캐니(J. Canny)가 개선한 방식으로 x 와 y에 대해 1차 미분을 한 다음, 네 방향으로 미분하는 것이다. 네 방향으로 미분한 결과로 극댓값을 갖는 지점들이 에지가 되고, 이 알고리즘은 다른 에지 검출기보다 성능이 월등히 좋으며 잡음에 민감하지 않아 강한 에지를 검출할 수 있다. 캐니 에지 알고리즘의 동작은 다음 네 가지 순서로 진행된다.

• ① 잡음 제거를 위해 가우스 필터링하여 흐림 효과
• ② 기울기 값이 큰 지점을 검출
• ③ 최댓값이 아닌 픽셀을 0으로 변경하여 명백한 에지가 아닌 값 제거
• ④ 히스테리시스 임곗값(Hysteresis threshold)을 적용해 윤곽 생성

HSV로 변환된 영상에서 밝기 정보인 value의 영상을 사용하여 가우스 필터링하여 영상에 있는 잡음을 줄인다. 그림 6에 원본 value 영상과 가우스 필터링한 영상을 보인다.

Fig. 6.

Before and after Gaussian filtering

가우스 필터링을 통과한 영상에 대해 기울기가 큰 값을 검출한다. 검출된 값이 매우 많아 전체를 에지로 판단하는 대신, 그중 히스테리시스 임곗값을 적용해 일부만 추출한다. 히스테리시스 임곗값은 상위 임곗값과 하위 임곗값 2가지로 구성된다. 상위 임곗값보다 낮으면서 하위 임곗값보다 높은 경우 에만 상위 임곗값에 연결된 에지로 판단한다.

일반적으로 이진화는 하나의 임곗값(threshold)을 영상 전체에 적용하여 임곗값보다 크면 흰색, 작으면 검은색으로 바뀌는 것이다. 이는 영상의 밝고 어두움을 임곗값을 기준으로 나누게 되는 결과가 될 뿐이다. 캐니 에지 알고리즘은 영상에서 에지로 판단되는 부분을 흰색으로 그렇지 않은 부분은 검은색으로 이진화한다. 그림 7에 HSV 색상의 밝기(value) 영상을 단순 이진화한 것과 캐니 에지를 적용한 결과를 보인다.

Fig. 7.

Threshold vs. Canny edge

앞에서 구한 결과는 전체 영상에서 각각의 에지들을 구한 것이지 이 에지들의 관계를 확인할 수 없다. 하나의 객체를 둘러싼 에지들을 모아 세그먼트로 구성하고 구성된 세그먼트들 중에서 번호판의 에지들로 구성된 것이 있으면 그 세그먼트의 영역을 번호판으로 판단할 수 있다. 윤곽선 검출 알고리즘은 캐니 에지의 결과 영상에서 에지로 검출된 픽셀을 대상으로 세그멘테이션(segmentation) 작업을 진행하는 것이다. 검출된 윤곽선은 형상의 분석과 물체 감지 및 인식에 가장 효과적인 방법 가운데 하나다.

본 논문에서는 윤곽선에 해당하는 에지들을 수평과 수직, 그리고 대각선 부분을 압축해서 각 끝점만 반환하는 방법을 사용하였다.

번호판 추출은 2단계로 작업을 한다. 1단계에서는 전체 윤곽선 중 문자일 가능성이 있는 윤곽선만 남기고, 2단계에서는 남은 윤곽선 중 번호판 모양의 윤곽선만 찾는다.

먼저 1단계는 추출된 윤곽선에 대하여 각각의 윤곽선이 문자일 가능성이 있는 윤곽선만 선택하고 나머지는 모두 제거한다. 문자일 가능성을 판단하는 기준은 윤곽선을 둘러싼 바운딩 박스(bounding box)를 가지고 기준을 잡고, 그 기준은 다음과 같다.

• ① 바운딩 박스의 넓이가 기준값(예:100) 이상
• ② 바운딩 박스의 너비가 기준값(예:5) 이상
• ③ 바운딩 박스의 높이가 기준값(예:5) 이상
• ④ 바운딩 박스의 너비 높이 비율이 기준값(예:1.0) 이하

캐니 에지를 구한 결과에 윤곽선 검출한 결과를 그림 8에 나타냈다. 결과를 보면 매우 많았던 윤곽선에서 문자 후보가 되는 윤곽선만 남기고 나머지는 사라졌음을 알 수 있다.

Fig. 8.

Before and after step 1

다음으로 2단계에서는 남아있는 윤곽선들, 즉 문자라고 할 수 있는 윤곽선들을 서로 조합하여 번호판처럼 여러 개의 문자의 조합인 문자열이 생성되는 문자열 후보를 추출하는 것이다. 이때 여러 개의 문자를 하나의 문자열로 묶을 수 있다고 판단하는 기준은 다음과 같다.

• ① 바운딩 박스의 넓이 차이가 기준값 이하
• ② 바운딩 박스의 높이 차이가 기준값 이하
• ③ 바운딩 박스의 너비 차이가 기준값 이하
• ④ 바운딩 박스 사이의 각의 차이가 기준값 이하
• ⑤ 바운딩 박스 사이의 거리 차이가 기준값 이하

문자 후보 윤곽선 중 번호판 문자열의 후보가 되는 윤곽선만을 남기고 모두 제거한 결과를 그림 9에 나타냈다. 결과를 보면 전체 윤곽선 중 한 곳에만 모여있는 윤곽선만 선택되어 1개의 번호판 후보가 나타났음을 알 수 있다

Fig. 9.

Before and after step 2

추출된 번호판은 직사각형 모양일 경우도 있지만, 대부분 차량의 위치와 방향에 따라 왜곡된 모양으로 나타난다. 왜곡된 번호판 영상을 아핀변환을 사용하여 직사각형으로 변환한다. 아핀변환은 영상을 확대/축소(scaling), 평행이동(translation), 회전(rotation), 대칭(reflection), 밀림(shearing) 등을 의미하고,번호판 영상에는 회전과 밀림을 주로 사용한다. 아핀변환의 대표적인 변환 3개를 행렬식으로 표현하면 그림 10과 같다.

Fig. 10.

Affine transformation

번호판 후보 영상들의 회전각과 중심좌표를 구하여 영상을 중심좌표로 이동 후 회전각만큼 회전한 뒤 원래 위치로 이동하면 정면에서 바라보는 번호판 영상이 생성된다. 그 후 워핑 변환을 통해 직사각형 모양의 번호판 영상을 찾게 된다. 그림 11에 차량 번호판의 영상과 아핀변환 후의 영상을 나타냈다. 개인정보보호를 위해 숫자 1자는 논문에 추가하면서 가린 것이다.

Fig. 11.

Before and after affine transformation