망분리 환경에서 라즈베리파이를 이용한 보안성이 강화된 단 방향 차량번호 인식 시스템에 관한 연구

2-1 스트리밍 중계 방식

스트리밍 중계는 망 중계시 데이터가 네트워크 단위로서 물리적으로 분리된 네트워크에서 발생하는 요청 및 응답을 실시간으로 중계가 필요한 경우에 사용된다. 그림2는 스트리밍 중계시 DATA Flow이다

Fig. 2.

Streaming relaying data flow2)

스트리밍 중계는 첫째 요청 발생 영역과 응답 발생영역을 지정하고 응답 영역에서 요청이 외부로 발생시에 불법적 요청이 타 영역으로 전달되는 것을 차단 한다. 둘째 단수 IP기반의 중계 데이터 수집에 의한 중계는 기존 네트워크 연결 방식과 동일한 취약점이 발생하므로, 중계 프로토콜 분석 기능으로 중계가 승인 되지 않은 IP를 이용한 불법적 데이터 중계 시도를 차단 한다. 셋째 중계 승인 요청과 응답 데이터를 content 단위로 분석하여 비 허가된 요청 및 응답 차단 기능을 수행 한다. 넷째 3-way hand shake는 TCP/IP 프로토콜 응용프로그램이 데이터를 전송하기 전 먼저 정확한 전송을 확인하기 위해 전송 요청한 컴퓨터와 미리 세션을 확인 프로세스로서, 연결 값의 직접 중계는 syn flooding, network scan 등과 같은 기본 네트워크 공격에도 취약점을 갖게 됨으로, 승인된 요청의 집계 시점을 기준으로 하여 개별 영역에서 연결 설정을 별도로 수행 한다 ²⁾. 스트리밍 중계 유형은 다음 2가지 중계정책으로 운영 된다. ① 비 보안 영역 접근 허용 정책은 반드시 비 보안 영역에서 우선적으로 접근요청이 발생하여야 하고 보안영역에서는 접근요청을 차단하는 방식이다. ② 보안영역 접근 허용 정책은 반드시 보안영역에서 승인 요청이 발생되어야 하고 비 보안 영역에서는 승인요청을 차단하는 방식이다 ²⁾.우선적인 요청발생은 다음으로 TCP서비스 중계의 경우 접근 허용된 영역에서 SYN요청이 발생하는 것을 허용한다. 그리고 UDP서비스 중계의 접근 허용된 영역에서 사용자 요청이 발생하는 것만 허용한다. 다음 그림3은 비보안 영역 접근 허용 정책에 의한 웹서버와 DB서버간의 스트리밍 중계이다.

Fig. 3.

Streaming relay by non-security zone access allowed policy

비보안 영역 접근 허용 정책에 의한 스트리밍 중계 절차는 다음과 같다.²⁾

• ① 비보안영역의 웹서버는 스트리밍 외부 중계서버에게 DB연결 요청 및 질의 전송
• ② 스트리밍 내부 중계서버는 외부중계 서버에 수집한 요청을 가져와 보안 검사 실행
• ③ 허용된 요청을 내부 네트워크 패킷 형태로 변경하여 DB서버로 전송
• ④ DB서버는 수신된 요청에 의한 응답 전송
• ⑤ 내부망 스트리밍 서버는 DB서버의 응답을 수집하여 외부망 중계 서버에게 전송
• ⑥ 외부망 중계 서버는 웹서버에게 응답을 전송

2-2 파일중계 방식

파일중계는 중계 데이터가 파일 단위로서 물리적으로 분리된 네트워크상의 사용자가 다른 영역으로 자료를 중계 요청하고, 중계 완료된 자료를 다시 받아 영역 간에 발생하는 파일 데이터의 교환의 경우 이다³⁾. 보안규격에 의하여 서로 다른 영역간의 사용자 PC를 통하여 전송되는 파일 중계 유형은 CC인증 제품에 따라 시스템 구성에 있어 차이가 있다. 본 연구에서는 박항규⁴⁾의 EAL4 등급의 CC인증을 보유한 ㈜시큐에버의 연구 보고서⁵⁾를 참조하여 그림과 같은 내부망에서 외부망 PC로의 파일 중계 방식을 도식화 하였다.

그림4의 내부망에서 외부망 사용자에게 파일을 전송하는 절차는 다음과 같다.⁶⁾

• ① 내부망 사용자가 자료 전송중계서버 내부망 장치를 통하여 중계 스토리지의 내부 영역에 파일 전송
• ② 자료 전송 중계 (내부망) 시스템이 보안 검사를 수행
• ③ 보안관리자(내부망)에게 보안 검사 수행 완료 자료에 대한 외부 전송 승인 요청 및 보안 관리자의 승인
• ④ 자료전송 중계서버에 의하여 중계스토리지를 통하여 외부망 사용자 PC로 전송

Fig. 4.

Relay files from internal network to external network

외부망 PC에서 내부망으로 파일 전송 절차는 다음과 같다.

• ① 외부망 사용자가 자료전송 중계서버 외부망 장치를 통하여 파일 전송 요청
• ② 자료전송 중계 내부망 장치가 외부망에 수집된 전송요청을 수집하여 중계 영역의 외부망 전송영역에 저장
• ③ 자료전송 중계 내부망 시스템이 보안 검사 수행
• ④ 보안 관리자에게 보안 검사 수행 완료 자료에 대한 외부 전송 승인 요청 및 보안 관리자의 승인
• ⑤ 자료전송 중계서버에 의하여 내부망 사용자PC로 전송

Fig. 5.

Relaying internal network files from external networks 6)

2-3 중계 방식의 취약점

스트리밍 중계와 파일 중계에 따라 데이터가 중계되며, 이에 따른 취약점도 다르게 나타난다. 파일중계의 경우 악성코드에 감염된 데이터 파일을 내부 중계 시 발생될 수 있으며, 악의적 권한으로 실행하는 파일의 중계 위험도 존재 한다. IP/PORT 식별에 의한 중계를 실행하는 경우 네트워크 공격에 대한 취약점이 모두 노출되는 위험이 발생 된다.

스트리밍 중계방식은 중계 매체의 특성 또는 중계매체와 중계 시스템간의 연계 특성에 따라 취약점이 발생 된다. 스트리밍 중계 방식은 두 가지의 중계유형의 취약점을 갖게 된다. 첫째 보안영역 접근 승인 정책에서 내부 스트리밍 중계 시스템을 이용한 DMZ영역의 데이터를 일 방향 전송하는 경우 연계 서버 운용 오류에 의해 비 인가된 데이터 접근으로 취약점 이 생길 수 있다.

Fig. 6.

Vulnerability of the Allow security zone access policy

둘째, 비보안영역 접근 승인정책은 DMZ의 인터넷 서버가 내부 서버팜에 있는 DB의 정보를 연결 하는 경우 위험수준의 보안을 갖는 영역의 시스템이 높은 수준의 보안을 갖는 내부 서버로 요청을 전송하는 경로가 발생하여 어플리케이션 취약점에 노출 될 수 있다.

Fig. 7.

Vulnerability of Non-Security Area Access Policy 6)

보안영역 접근 허용정책에 의하여 내부의 정보를 외부로 일방향 전송하고 위험수준 영역으로 부터 접속을 차단하는 방식의 스트리밍 중계 운영은 데이터 유출의 위협에 노출된다. 또한 비 보안 영역승인 허용 정책으로 위험 수준 보안 영역에서 스트리밍 중계 서버를 통한 높은 수준 보안영역에 위치한 연결을 허용하는 경우 다수의 DMZ에서 어플리케이션 서비스 제공에서 나타나는 취약점이 노출되게 된다⁶⁾.

3-1 OCRS 설계

단방향 근거리 차량번호 인식 시스템 OCRS는 보안영역 접근을 위해 물리적 연결 없이 폐쇄망으로 보안영역을 운영하면서 비 보안 영역의 영상 DATA를 연계할 수 있는 방식을 제안한다. 일방향으로 비 보안 영역의 촬영된 영상정보를 보안영역 내의 번호인식 알고리즘을 적용한 라즈베리파이 카메라로 촬영 인식한다. 이 경우 보안영역은 내·외부 중계서버 없이 폐쇄망 으로 운영되고 완벽에 가까운 보안을 유지 할 수 있으며 보안 취약점을 해결 할 수 있게 된다. 비 보안 영역의 범위는 불법주정차 단속카메라 촬영 영상, 공영주차장 입·출차 영상 정보, 방범용 CCTV 차량 촬영 영상, 도로정보수집용 차량 촬영 영상 등 다양한 공공성의 카메라 차량 정보를 비 보안영역 통합 서버에 취합하여 data를 보안 영역내 라즈베리 파이 카메라로 인식시키고 data를 활용하는 방식이다. 기본 개념은 그림8과 같다.

Fig. 8.

OCRS basic conceptual map

3-2 번호판 추출 모듈의 구성

차량 번호판 인식 모듈은 라즈베리파이 기반의 Linux계열의 Raspbian OS에서 동작하게 했다. 각종 영상처리에는 OpenCV 2.4에서 제공되는 라이브러리 함수를 활용하였다.⁷⁾

3-3 Linux 계열의 Raspbian OS설치

라즈베리 파이에서 사용가능한 운영체제는 여러 가지가 있지만 본 논문 에서는 Raspbian OS를 설치하였다.

Fig. 9.

raspberry pie and camera

하드웨어 제원으로 cpu(1.2Ghz Quard-Core ARM Cortes-A53),802.11 b/g/n Wireless LAN, Bluetooth 4.1(Bluetooth Classic & LE)를 지원하며 Pie camera 는 5메가 픽셀, 사진,동영상 촬영과 2592×1944해상도를 지원한다. 케이블 길이는 약 14.5cm 무게는 3g의 특징을 가지고 있다. 이러한 제원 기본 값으로 GCC 컴파일러를 포함하고 있으므로 별도의 통합환경이 필요 없다. PC에서 SDcard로 다운 받은 Rapbian OS이미지를 설치하고 SD card로 다운받은 Rapbian OS 이미지를 설치 사용한다. SD card를 라즈베리파이에 삽입하고 모니터, 키보드, 마우스를 각각 연결한 후, 부팅 한 후 초기설정 화면이 나타난다. 라즈베리파이의 기존아이디는 pi이며, 패스워드는 raspberry 기본값으로 설정 한다. 초기설정을 완료하고 난 후 “startx" 명령어를 입력하면 Raspbian OS의 GUI화면으로 이동한다.

3-4 OpenCV 설치

번호판영역 추출 모듈에서 수행되는 각종 영상처리를 OpenCV2.4 라이브러리 함수를 사용하여 구현하였다. Raspbian에 OpenCV를 설치하기 위해서는 여러 가지 단계를 거쳐야 하고 명령을 실행해서 OpenCV에서 제공되는 각종 라이브러리들을 사용해서 각 단계에서 요구되는 영상처리 작업을 수행한다⁸⁾. 최종 OpenCV 설치파일을 다운로드 받아 대상 폴더에 압축을 풀고 “cmake"명령어로 실행파일을 만든 후 설치 한다.

3-5 번호판 추출 모듈의 구성

차량번호판 추출을 위해 라즈베리파이 카메라가 설치된 ②보안 영역과 ①비 보안 영역의 차량번호 출력 모니터를 설치한다. 이때 보안영역 과 비 보안 영역 거리를 20cm 거리를 두며 비보안 영역의 출력 사진은 영상서버를 통해 전송되는 것으로 가정하여 5초 단위로 사진이 바뀌도록 설정하였다. 보안 영역의 라즈베리 파이 카메라는 0.1초로 사진을 찍으며 ocr라이브러리를 이용하여 번호 인식하고 그림 10와 같이 구현하여 망간 물리적 연계 없이도 구현 가능하다는 것을 실험하였다.

Fig. 10.

OCR library number recognition

번호판 추출 모듈은 라즈베리파이 기반의 Linux계열의 Raspbian OS에서 동작되게 했다. Python에 설치한 OpneCV를 활용하여 자동차가 찍힌 사진의 번호판 영역을 추출하고 ocr teeseract⁹⁾ [9]를 통해 번호판 문자열을 뽑아내는 것이다. 여기에서는 4.0.0버전을 이용하여 LSTM algorithm (Deep learning)을 이용하여 인식률을 높이기 위해 사진의 회전 및 기울기를 설정하였고 높이를 최소 20픽셀로 맞춰서 실험하였다. KNN(K-Nearest Neighbors) algorithm은 분류나 회귀에 사용되는 비모수 방식으로 경계결정, 데이터 축소, 특징 추출, 차원 축소 등에 쓰이는 것으로 영문자를 학습시킨 후 이 데이터를 영상 안에서 번호판 안의 숫자 및 영문자를 추출하는 과정이다. 이를 위해 가상환경 안에 다음의 모듈을 설치하였으며 visual studio 2017 프로그램 안에서 실행하였다.

Table 2.

KNN module type used in algorithm

윤곽에 의한 자동차 번호판 영역을 추출하고 자동차 번호판은 차량종류에 따라 번호판 색깔도 다르며 햇빛과 저녁, 밤에 따라 빛의 영향으로 색깔의 변화가 생겨 색상에 의한 번호판 검출률이 낮아진다¹⁰⁾ [10]. 이 문제를 해결하기 위해 빨강,초록,파랑으로 구성된 RGB레벨 이미지를 Gray레벨로 단순 처리하고, OpenCV 영상처리 라이브러리의 cvtColor()함수에 그레이 레벨로 바꾸고 싶은 이미지를 'CV_RGR2GRAY'를 인자로 주어 회색 레벨로 바꾸는 알고리즘 그림11을 적용하여 그림12, 그림13 이미지 변환 원본 컬러 이미지를 회색레벨로 변환시킨 후 알고리즘의 정확도를 높이기 위해 이진화된 그림 14, 그림 15와 같이 변환하여 처리한다.

Fig. 11.

Python car license plate extraction and recognition algorithm

Fig. 12.

original photo of Python's license plate

Fig. 13.

a black and white photo of a Python license plate

Fig. 14.

a black and white photo of a Python license plate

Fig. 15.

Python's Extraction of Binary Cars

이미지 변환 시킨 후 python으로 작성된 소스 중 tesseract-ocr 부분을 발췌한 것으로 pytesseract 라이브러리를 이용하였고 Image.open()메소드를 이용해 이미지 파일을 선택한 뒤 pytesseract.image_to_string()메소드로 번호판을 추출하였다.

· 그림12¹¹⁾원본사진에서 흑백사진을 추출

· 그림13 흑백사진에서 이진화 사진을 추출

이진화 사진으로 부터 그림16의 경계 설정 알고리즘으로 처리 단위를 나누고 각각의 경계 내부가 번호판이 될 수 있는 경우에만 이 객체를 저장하고 이미지에 그림 17과 같이 직사각형을 생성하여 판단한다.

Fig. 16.

Python license plate boundary determination

Fig. 17.

rectangular generation

잘려진 이진화 사진에서 문자추출을 위해 각도를 변경하고 가능한 문자들인지 확인한다. 번호판이 될 수 있는 문자들의 개수나 크기 등의 조건을 확인 하고 개수를 정하여 정확도가 높은 문자를 그림 18처럼 선택 후 그림 19와 같이 추출한다.

Fig. 18.

Extraction of Objects Generated by Python License Plate

Fig. 19.

extract character

실험의 결과 1024×720 해상도의 다양한 차량번호판 영상 50개를 사용하여 실시하였고 자음19개와 모음21개로 이루어진 기본 언어 데이터, 국내에 등록된 차량번호판인 두자리 숫자와 한글 한자리, 숫자 네 개를 추출된 번호판의 데이터 51%의 인식률을 보이고 있다. 인식률 낮은 원인으로는 외부적인 요인의 촬영된 조도와 명도로 번호판영역의 가로 및 세로 길이, 회전, 기울기 등의 수치 오류등을 들 수 있고, 내부적으로는 기존 알고리즘에서 문자영역 추출 인식 부분에 더 적합한 알고리즘, 수치 등을 개선할 필요가 있다. 최종 그림 21과 같이 추출된 번호판을 확인할 수 있었고 이는 서로 다른 망 자료를 완벽하게 분리된 상태에서 물리적 연계 없이 단 방향으로 차량번호를 인식 처리 할 수 있는 실험을 제안 구현 하였다.

Fig. 20.

extracted character comparison

Fig. 21.

extracted vehicle number