영상처리를 통한 도로균열 탐지 과정에서의 노이즈 제거를 위한 Morphology 연산 활용방법 연구

Ⅰ. 서 론

도로균열과 같은 도로포장의 파손부들은 도로미관 및 도로안전을 해치고 차량사고 등의 원인이 된다. 따라서 도로 파손부에 대한 정확하고 신속한 검출기술은 연구가 지속적으로 필요하다.

최근 도로포장에 발생한 파손부 등을 자동적으로 검출하려는 다양한 방법이 제안되었다. 대표적으로 진동을 활용한 포트홀 탐지[1], 라이다 등을 활용한 3차원 복원 방법[2], 영상처리[3] 등을 기반으로 한 검출방법들이 있다.

진동을 이용한 검출방법은 노면의 직접적인 접촉과 도로의 연결 부위 등의 잘못된 검출 등으로 인하여 신뢰할 수 있는 접근 방법이 될 수 없다. 3차원 복원 방법은 고비용의 레이저 스캐너를 이용하기 때문에 경제적이지 못하다. 영상처리 기반의 검출방법은 영상을 획득하고 분석해서 도로포장 파손부를 검출한다. 하지만 이러한 단일의 파손부 검출방법은 다양한 이미지상의 노이즈 등으로 인해 왜곡된 신호에 따라 정확한 검출을 기대하기 어렵다.

따라서 본 논문에서는 영상처리를 기반으로 도로균열을 검출하는 과정에서 노이즈를 제거하는 방법을 제안한다. 이를 통해 기존 영상처리 기반의 도로포장 관리기술의 한계점을 보완할 수 있다.

제안하는 알고리즘은 모폴로지 변환, 이미지 이진화, 균열 검출 단계로 나뉜다. 대표적으로 Grey-scale로 변환한 도로 이미지에 대해 모폴로지 연산 필터를 활용해 검출을 희망하는 균열만을 보존하는 이미지로 변환할 수 있다. 이진화 단계에서 변환된 이미지는 균열영역과 비균열 영역이 흑색 영역, 백색 영역으로 명확하게 분류된다. 해당 이미지는 균열의 방향과 길이에 대한 보다 정확한 정보를 가지고 있으며 이와 관련 없는 노이즈가 제거되어 있어 분석이 쉽다는 장점이 있다.

Ⅱ. 영상처리 기반 도로균열 검출

기존의 연구에서는 도로포장의 파손부를 검출하기 위해 대표적으로 Yolo(You Only Look Once) 또는 R-CNN 등 인공신경망을 이용한 기술을 활용하였다.[4][5]. 인공신경망 기술들을 활용할 때에는 학습 과정이 필수적이다. 이러한 학습 과정에 있어서 적절한 학습데이터가 요구되는데 학습데이터를 만들어내는 라벨링 과정에서 사람이 주관적으로 객체를 판단하게 된다. 이 과정에서 데이터의 품질이 균일하지 않게 되고 결과적으로 신경망의 성능이 저하된다[6].

특히나 도로균열을 검출하는 경우 균열과 도로표면 간의 명도와 채도의 차이가 적다. 또한 신경망의 학습 및 처리속도를 높이기 위해 Grey-Scale의 이미지를 주로 활용하는데 이는 사람이 직접 육안으로 라벨링하는 과정에서 균열을 판별하기 더욱 어렵게 만든다.

Ⅲ. 제안 방법

3-1 제안방법 개요

본 논문에서 제안하는 방법의 흐름도는 그림1과 같으며 균열을 탐색하기 위한 세부 기술내용은 3-2 세부 방법을 통해 기술한다.

Fig. 1.

Erosion, Dilation Operation (a) Original Image (b) Erosion Example (c) Dilation Example

Fig. 2.

Opening, Closing Operation[9]

3-2 세부 방법

1) 모폴로지 (Morphology)

모폴로지는 SE(Structuring Element)를 이용해 노이즈나 필요치 않은 특성을 제거한다[7]. SE는 이미지 위를 슬라이딩하며 변환을 진행한다. 이때 본 논문에서 SE는 0과 1로만 구성된 행렬, 즉, Flat SE를 활용할 것이다. 이때 해당 SE는 0°, 45°, 90°, 135°을 회전하는 선모양 행렬을 이용한다[8].

결과적으로 본 논문은 모폴로지 과정을 통해 도로이미지에서 50픽셀 이하의 균열만을 남기는 것을 목표로 한다. 그 구체적인 연산 방법들은 다음과 같다. f(x,y)는 원본 이미지, b(x,y)는 (x,y)를 중심점으로 하는 SE를 의미한다.)

(1) 침식, 팽창 (Erosion and Dilation)

침식연산을 적용시켰을 경우 수치 영역의 면적을 축소하는 효과가 있다. 침식연산은 f⊖b로 표현하며 다음과 같이 정의된다.

$\[ \left[f\ominus b\right]\left(x,y\right)=\min \left(f\left(x+s,y+t\left|\left(s,t\right)\right.\in b\right)\right) \]$

(1)

팽창 연산을 적용시켰을 경우 수치 영역의 면적을 확대하는 효과가 있다. 팽창 연산은 f⊕b로 표현하며 다음과 같이 정의된다.

$\[ \left[f⨁b\right]\left(x,y\right)=\max \left(f\left(x-s,y-t\left|\left(s,t\right)\right.\in b\right)\right) \]$

(2)

(2) 오프닝, 클로징 (Opening, Closing)

침식과 팽창을 활용해 오프닝과 클로징 연산을 만들 수 있다. 각각 f∘b, f∙b로 표현하며 정의는 다음과 같다.

$\[ f\circ b=\left(f\ominus b\right)⨁b \]$

(3)

$\[ f\cdot b=\left(f⨁b\right)\ominus b \]$

(4)

이미지를 1차원 히스토그램으로 표현하였을 때 오프닝과 클로징 연산이 가지는 의미는 그림3와 같다.

Fig. 3.

Binary Image Quality Improvement Using Morphology Operation (a) Original Image (b) Otsu’s Threshold Method (c) Apply Threshold Method after Morphology Transform

오프닝은 함수의 아래에서부터 SE를 밀어올렸을 때 SE를 포함할 수 없는 영역을 평탄화하고, 반대로 Closing은 함수의 위에서부터 SE를 밀어내렸을 때 SE를 포함할 수 없는 영역을 평탄화한 것이다.

(3) 전경 확보 (SureFG)

전경이란 검출하고자 하는 객체의 영역을 뜻한다. 즉 균열영역을 분류하는 것으로 명백한 검출영역은 확실한 전경(SureFG)으로 분류 한다. 확실한 전경 영역을 구하기 위해 모폴로지 필터를 통과한 결과 이미지에서 픽셀값이 1인 영역을 전경(FG)으로 설정한다. 이후, 전경 영역 내에 거리변환함수를 적용하여 뼈대 이미지를 얻을 수 있다. 이때 거리는 전경 내 픽셀과 SureBG 간의 유클리드 거리를 의미한다. 마지막으로 SureFG에서 얻은 전경 이미지에 Euclid Distance 거리 변환함수를 적용하여 SureBG와의 거리가 멀수록 픽셀값은 255에 가까워지며 픽셀값은 0에 가까워지게 된다. 그 결과로 회색조의 Skeleton Image를 얻게 된다.

(4) 탑-햇, 바덤-햇 (Top-hat, Bottom-hat) 변환

오프닝과 클로징 연산을 활용해 탑-햇, 바덤-햇 변환을 구현할 수 있다. 정의는 각각 다음과 같다.

$\[ T_{hat}\left(f\right)=f-\left(f\circ b\right) \]$

(5)

$\[ B_{hat}\left(f\right)=\left(f\cdot b\right)-f \]$

(6)

두 변환은 모두 SE보다 작은 원소만을 남겨 배경이나 필요이상으로 큰 물체에 대한 정보를 제거할 수 있다. 탑-햇 변환은 밝은 원소만을, 바텀-햇 변환은 어두운 원소만을 남긴다. 본 논문은 도로이미지에서 도로노면보다 색이 어두운 균열만을 검출할 것이므로 바텀-햇 변환을 활용한다. 해당 과정에서 검출되는 균열의 굵기가 50픽셀 이하가 되도록 SE의 크기를 조절한다.

2) 이미지 이진화 (Threshold)

이미지를 이진화하는 과정에서는 Otsu 알고리즘을 활용하였다[10]. Otsu 알고리즘은 히스토그램을 활용한 Classification 방법의 일종이다. Grey-scale 이미지의 세기에 대한 히스토그램을 그려 픽셀값을 0과 1로 분류할 기준을 찾는다. 픽셀값이 0이 되는 픽셀을 class1, 1이 되는 픽셀을 class2로 분류한다고 할 때 각 class에 속한 픽셀 세기 값의 평균을 구하고 두 값의 차가 최대가 되는 분류기준을 찾는다.

단순히 Otsu 알고리즘만을 활용한 경우 배경의 음영 또는 검출을 희망하지 않는 노이즈들로 인해서 원하는 결과를 얻기 힘들다. 그러나 본 논문의 경우 이미지 이진화를 진행하기 전 모폴로지 연산을 통해 배경과 노이즈를 제거하여 그림4에서 볼 수 있듯 보다 품질이 좋은 균열 바이너리 이미지를 얻을 수 있다.

Fig. 4.

SegNet Model Architecture

3) 활용 및 평가

균열의 검출 성능을 평가하기 위해 기존 균열 검출 과정에서 대표적으로 사용되는 Mask R-CNN 모델과의 성능 비교를 진행하였다. 실험 과정에서는 가로 세로 기준 3,400 * 10,000 픽셀 사이즈의 도로이미지를 사용하였다.

(1) Mask R-CNN 방법[5]

Mask R-CNN모델의 경우 도로이미지 3,000장을 데이터로 활용하였다. 전체 데이터의 80%를 훈련 데이터(2,400장)로 선정하고 전체 데이터의 20%를 검증 데이터(600장)로 구분하였다. 훈련 데이터는 사람이 직접 육안으로 균열의 경계를 판단하여 라벨링하였다. 이후 총 2,400장의 훈련 데이터를 기준으로 epoch는 30으로 설정하여 학습을 진행하였다. 학습된 Mask R-CNN 알고리즘을 활용해 도로이미지를 분석할 경우 균열로 추정되는 영역에 대해 마스킹 된 이미지가 출력된다. 결과적으로 균열의 대략적인 형태와 전체 면적을 판단할 수 있게 되었다. 따라서 결과 데이터를 통해 제안 방법과 비교하였다.

(2) SegNet

SegNet은 VGG16 신경망 중 Fully Connected Layer을 제외한 13개의 Convolution Layer으로 이어진 신경만 구조를 채택하여 높은 정확도와 상대적으로 빠른 속도를 유지하는 모델이며, 주로 큰 크기의 객체를 탐지하는데 우수한 성능을 보이는 것이 특징이다. 각각의 기술 성능비교를 위해 Mask R-CNN의 학습데이터와 같은 데이터 셋을 기준으로 SegNet 모델을 학습하였다.

(3) FCN-32s

FCN(Fully Convolutional Networks) 기술이란 모델의 채널 분류를 위한 네트워크 마지막에 FCL(Fully Conneted Layer)을 사용하는 대신 컨볼루션 레이어를 사용하는 기술을 말한다.

(4) 제안 방법

제안 방법과 각 인공지능 모델의 성능비교를 위해 Mask R-CNN의 학습데이터와 같은 데이터 셋을 기준으로 FCN-32s 모델과 SegNet 모델을 학습하였으며 Mask R-CNN 모델과 같은 조건으로 비교하였다.

Ⅳ. 결 과

Grey-Scale 이미지를 활용해 학습시킨 Mask R-CNN 모델의 경우 그림5와 같이 균열 영역에 대해 마스킹 된 이미지가 출력된다. 그러나 해당 이미지의 경우 균열이 아닌 부분에 대한 여러 노이즈가 발생하며 차선의 경계 등 명암이 크게 변하는 구간 또한 균열로 판단하는 경우가 많다는 것을 확인할 수 있다.

Fig. 5.

FCN Model Architecture

반면 모폴로지 연산을 활용해 바이너리 이미지를 만들어 분석하는 경우 차선과 도로 이미지 배경의 명암 등과 관계없이 균열 영역만을 보존한 이미지가 출력된다. 또한 해당 결과물을 얻는 과정에 있어 알고리즘을 학습시키거나 학습 데이터를 제작하는 과정이 필요치 않다.

검출된 영역을 기반으로 비교한 결과는 표 1과 같다.

Table 1.

Performance Comparison by experimental method

Average Precision(AP)는 재현율 값들에 대응하는 정확성 값들의 평균을 의미한다. 이 때 재현율은 검출해야 할 객체 중 실제 검출된 객체의 비율, 정확성은 전체 검출결과 중 옳게 검출한 비율을 의미한다. 또한, mAP는 각 테스트이미지 별 AP값의 평균값을 의미한다.

모델별 평가 결과 방사형으로 엉켜져 있는 도로 이미지 패턴에서 각 모델별로 큰 차이를 보였다. 각 도로에서 방사형으로 균열이 엉켜있는 특정 부위를 확대하여 비교한 결과 표 2와 같은 결과를 보였다. 특히 검출된 영역의 패턴을 관찰하였을 때 거북등(이하 방사형) 모양의 패턴들에서 다른 모델과의 차별점을 보였다.

Fig. 6.

evaluation of radial-shape-crack image by experimental method (a) Original Image (b) results using Mask RCNN model (c) results using SegNet model (d) results using FCN model (e) results using the proposed model

Table 2.

Performance Comparison by experimental method of radial-shape-crack image

마지막으로 본 제안방법은 다른 인공지능 모델에 비해 거북등 모양에 대한 균열검출 성능이 가장 우수하였다. 또한 각 도로에서 미세균열로 이루어진 특정 부위를 확대하여 비교한 결과 본 제안방법을 제외한 각 인공지능 모델들은 대부분의 미세균열을 검출하지 못하는 결과를 보였다. 이는 확대하여 분석하였을 때 국내 도로균열의 분포 특성 상 거북등균열과 미세균열로 이루어진 도로는 본 제안방법을 통해 균열을 검출하는 것이 가장 적합하다는 결론을 내릴 수 있다.

Fig. 7.

Original Image

Fig. 8.

results using Mask RCNN model

Fig. 9.

results using SegNet model

Fig. 10.

results using FCN model

Fig. 11.

results using the proposed model

Ⅴ. 결 론

본 연구는 모폴로지 연산을 기반으로 도로 이미지의 노이즈 영역을 제거하고 균열을 검출하는 방법을 제안하였다. 제안한 방법을 활용할 경우 기존 영상처리 기반 균열검출과정에서 가장 문제가 되는 도로 이미지 노이즈 문제를 해결할 수 있다. 또한 불규칙한 배경을 제거하는 동시에 미세균열을 검출할 수 있기 때문에 향후 도로 뿐만 아니라 교량, 터널, 철도 등 다양한 인프라 시설에서 미세균열 탐지를 위한 전처리 모델로 사용하기에 적합하다.

마지막으로 본 연구결과 제안 방법을 통해 그 자체로 균열에 대한 일정 데이터를 획득할 수 있으므로 균열 탐지를 위한 인공지능 모델에 본 제안방법의 모폴로지 연산을 접목한다면 더욱 포괄적인 균열 탐지 모델을 구성할 수 있을 것으로 판단된다.

Acknowledgments

본 연구는 국토교통부의 연구비지원(과제명 : 2020년 도로포장관리시스템(PMS) 운영업무대행))에 의해 수행되었습니다. 이에 감사드립니다.

References

• J. Eriksson, L. Girod, B. Hull, R. Newton, S. Madden, H. Balakrishna, “The pothole patrol: using a mobile sensor network for road surface monitoring,” Proceeding of the 6th international conference on Mobile systems, applications, and services, pp. 29-39, 2008. [https://doi.org/10.1145/1378600.1378605]
• H. Guan, J. Li, Y. Yu, M. Chapman, and C. Wang, “Automated road information extraction from mobile laser scanning data,” IEEE Trans. Intell. Transp. Syst., vol. 16, no. 1, pp. 194–205, Feb. 2015. [https://doi.org/10.1109/TITS.2014.2328589]
• C. Koch and I. Brilakis, “Pothole detection in asphalt pavement image,” Advanced Engineering Informatics, vol. 25, no. 3, pp. 507-515, 2011. [https://doi.org/10.1016/j.aei.2011.01.002]
• V. Mandal, L. Uong and Y. Adu-Gyamfi, "Automated Road Crack Detection Using Deep Convolutional Neural Networks," 2018 IEEE International Conference on Big Data (Big Data), Seattle, WA, USA, pp. 5212-5215, 2018. [https://doi.org/10.1109/BigData.2018.8622327]
• L. Attard, C. J. Debono, G. Valentino, M. Di Castro, A. Masi and L. Scibile, "Automatic Crack Detection using Mask R-CNN," 2019 11th International Symposium on Image and Signal Processing and Analysis (ISPA), Dubrovnik, Croatia, pp. 152-157, 2019. [https://doi.org/10.1109/ISPA.2019.8868619]
• B. D Klein and D. F Rossin, "Data quality in neural network models: effect of error rate and magnitude of error on predictive accuracy," Omega Volume 27, Issue 5, October, pp. 569-582, 1999. [https://doi.org/10.1016/S0305-0483(99)00019-5]
• Yan, M., Bo, S., Xu, K., and He, Y. “Pavement crack detection and analysis for high-grade highway.” 8th Int. Conf. on Electronic Measurement and Instruments, IEEE, Piscataway, NJ, 548–552, 2007.
• Nguyen, T. S., Begot, S., Duculty, F., and Avila, M. “Free-form anisotropy: A new method for crack detection on pavement surface images.” 18th IEEE Int. Conf. on Image Processing, IEEE, Piscataway, NJ, 1093–1096, 2011. [https://doi.org/10.1109/ICIP.2011.6115610]
• Morphological Image Processing: Gray‐scale morphology. Spring 2010 ELEN 4304/5365 DIP 1 by Gleb V. Tcheslavski
• Otsu, N., “A threshold selection method from gray-level histograms.” IEEE Trans. Syst. Man Cybern., 9(1), 62–66, 1979. [https://doi.org/10.1109/TSMC.1979.4310076]