인공신경망을 활용한 도로표면 객체정보 검출 과정에서의 성능 향상을 위한 Superpixel 기반 데이터 전처리 기술 적용 연구

Ⅰ. 서 론

최근 머신러닝, 딥러닝 등 인공신경망에 대한 기술이 발달함에 따라 다양한 분야에 인공신경망이 적용되고 있다. 특히 영상처리 기술의 활용이 두드러지고 있다. 영상처리 기술은 이미지 내에서 검출을 희망하는 객체가 존재하는 경우에 보다 빠르고 정확한 검출이 가능해 쉽게 적용된다.

도로인프라 분야 또한 인공신경망과 영상처리 기술을 활용해 도로표면상에 발생한 파손부 등을 파악하고 관리하는 기술이 활발히 개발되고 있다[1]-[3]. 2019년 말 기준 전국 도로연장은 111,314km[4]이다. 그러나 전체 인프라를 관리할 인력 및 비용이 부족하기 때문에 원활한 유지보수가 진행되지 않고 있다. 따라서 도로표면상 발생한 파손부 등을 빠르게 찾기 위한 방법으로 자동화 소프트웨어를 통한 검출기술이 개발되고 있다.

인공신경망을 활용하였을 때 인공신경망의 성능은 학습 데이터의 품질에 따라 성능이 좌우된다[5]. 도로포장의 하자를 탐지하는 인공신경망을 학습시킬 때의 데이터 셋은 주로 사람이 직접 데이터 셋을 라벨링해서 인공신경망의 데이터 셋을 구축한다. 그러나 도로이미지에서 발생하는 균열을 사람이 직접 라벨링 하는 작업은 매우 많은 노동력과 시간이 소요된다. 또한 균열영역과 정상영역 간의 경계가 모호해 육안으로 판별할 경우 그 기준이 불분명해지고 결과적으로 데이터 셋의 품질이 떨어지게 된다. 따라서 인공신경망의 데이터 셋을 구축할 때 데이터 셋의 라벨링 과정에서 시간효율을 높이며, 동시에 라벨링 기준을 균일하게 유지할 수 있는 방법에 대한 개발이 필요하다.

일반적인 경우, 이미지에 대한 라벨링을 진행할 때 각각의 픽셀을 경계로 분할이 진행된다. 본 논문에서는 이미지 데이터에 대한 라벨링 과정에서 ‘Superpixel’을 활용하여 기존 라벨링 방법의 한계를 보완하고자 한다.

본 논문은 도로노면 이미지를 Superpixel 단위로 분리하는 알고리즘과 이를 활용해 실제로 도로노면 상에 발생한 균열 및 맨홀 등을 찾는 방법의 예를 제시한다. 또한, 본 논문에서 제안하지 않은 다양한 인공신경망 모델에 대한 Superpixel 알고리즘의 적용을 통한 확장 등의 발전 가능성을 제시한다.

Ⅱ. 관련 연구

2-2 Superpixel

1) Superpixel의 정의

Superpixel이란 이미지 전 처리 작업에서 많이 사용하는 기법 중에 하나로 각각의 픽셀들을 색 등 낮은 단계의 정보를 바탕으로 비슷한 것끼리 묶어서 '커다란 픽셀'을 만드는 작업이다[6]. 이 '커다란 픽셀'들을 Superpixel이라 하며 논문 후반부, 이미지 처리 과정에서 마치 하나의 픽셀처럼 다루어지게 된다.

2) Superpixel의 특징

전형적인 도로 이미지가 4,000*4,000픽셀로 이루어졌음을 감안하였을 때 이는 1.6*107개의 픽셀로 이루어졌음을 알 수 있다. 즉, 해당 픽셀 수 만큼 데이터에 대한 라벨링 작업이 이루어져야 한다. 그러나 해당 데이터를 Superpixel 단위로 결합시킬 경우 각각의 픽셀들은 유사한 특성을 지닌 픽셀끼리 결합된다. 그리고 결합된 이후 각각의 Superpixel에 대한 라벨링만을 진행하면 된다. 따라서 해당 이미지를 1,000개의 Superpixel로 분리할 경우 라벨링 작업량 또한 그만큼 줄어들 수 있다.

그러나 이러한 장점에도 Superpixel로 결합할 경우 요소들 간의 기하학적인 관계가 매우 복잡하게 된다는 치명적인 단점이 있다. 기존 이미지에서 통상적으로 모든 픽셀은 4개의 픽셀을 이웃 픽셀로 가진다. 그에 반해 Superpixel들 간의 이웃 관계는 매우 복잡하고 연산 전에 예측할 수 없다.

3) Superpixel의 조건

Superpixel은 표 1의 조건을 만족시키는 것을 목표로 한다.

Table 1.

Condition of Superpixel

4) Superpixel 알고리즘

Superpixel 알고리즘은 크게 Graph 기반 알고리즘과 Gradient-descent 기반 알고리즘으로 나뉜다.

Graph 기반 알고리즘은 각 픽셀을 그래프의 한 꼭짓점으로, 꼭짓점 간 경계는 픽셀 간 유사도에 비례하게 설정하여 그래프를 구성한다. 또한 그래프의 노드(이하 복잡성)을 최소화하는 상태를 계산하여 Superpixel을 생성한다.

Gradient-descent 기반 알고리즘은 미리 대충 나눠진 픽셀에서 시작하여 반복적으로 클러스터링(픽셀을 유사한 그룹으로 묶는 방법)을 갱신하면서 결과가 어느 기준에 도달할 때까지 계산을 하는 방법이다.

본 연구는 Graph 기반 알고리즘을 활용해 Superpixel을 생성하였다.

Ⅲ. 제안 방법

3-2 방법 및 구조

제안 방법의 흐름도(flow chart)는 그림1과 같다. 전처리 대상 데이터에 대한 Superpixel 생성, 픽셀 특성 추출, Superpixel 분류, 조건부 랜덤필드를 활용한 추론적 Superpixel 라벨링, 해당 결과를 활용한 Mean-Shift 클러스터링 과정을 거치게 된다. 최종적으로 이미지 데이터는 적은 수의 클러스터링 조각으로 분류되고 이는 사람이 쉽게 라벨링 할 수 있게 된다.

Fig. 1.

Flow Chart of Proposed Method

Fig. 2.

Example of Road Image Superpixel Generation

3-3 세부방법

1) Superpixel 생성

[6]에 따라 하나의 이미지를 사전정보 없는 그래프로 고려하였다. G=(V,E), V는 노드 세트이고(픽셀) E는 픽셀사이의 가장자리를 나타낸다. 사전정보 없는 그래프는 G로써 이미지를 모델링 하여, 우리의 목표는 정확히 K개의 가장자리를 가지는 sub-graph S를 찾는 것이다. 이웃한 꼭짓점 간 색의 유사성을 이용해 무작위 진행 방식에서의 전이확률을 계산하며 이웃한 픽셀의 색의 유사성을 이용하여 평가되고 Gaussian kernel을 사용하여 계산했다. 또한 작은 클러스터를 만들기 위해 이웃한 꼭짓점 간의 색의 유사성을 이용해 무작위 진행 방식에서 일정 엔트로피 비율이 사용되었다. 결과적으로 Sub-graph S의 엔트로피 비율은 다음과 같이 정의된다.

$\[ \mathrm{H}\left(\mathbf{\text{A}}\right)=-\mathrm{\Sigma }{\text{P}}_M\left(i\right)\log \left({\text{P}}_M\left(i\right)\right)-N_S \]$

(1)

Ns는 sub-graph S내에서 연결된 컴포넌트의 개수이며 M 클러스터 멤버들의 분포를 나타낸다. 위의 방정식에서 첫 번째 항목은 유사한 크기의 클러스터 수를 많게 하고 두 번째 항목은 클러스터의 수가 적은 것을 선호한다. 마지막 목표는 함수와 B를 합하는 것이고 유사한 모양, 촘촘함과 개수가 적은 클러스터를 선호한다.

$\[ {\mathrm{m}\mathrm{a}\mathrm{x}}_{\text{A}}\mathrm{H}\left(\mathbf{\text{A}}\right)+\gamma \mathrm{B}\left(\mathbf{\text{A}}\right){\mathrm{m}\mathrm{a}\mathrm{x}}_{\mathbf{\text{A}}}\mathrm{H}\left(\mathbf{\text{A}}\right)+\gamma \mathrm{B}\left(\mathbf{\text{A}}\right) \]$

(2)

위의 대상물 함수를 최대화하기 위한 방법으로 Greedy optimization 방식을 사용하였다. Greedy optimization 방식은 근사 알고리즘의 일종으로 빠르게 해를 찾아갈 때 사용하기 적합한 방법이다.

2) 픽셀 특성 추출

각 픽셀이 대상물인지 비대상물인지를 판단하기 위해 다음의 4가지 특성을 이용하여 추출하였다.

(1) Histogram of Gradients (HOG)

HOG는 원래 이미지내의 사람을 탐지하기 위해 사용되었다[7]. 분석하고자 하는 구역을 작은 셀(픽셀 8*8 size)로 나눈다. 각 셀들은 일종의 변화도를 포함하는 편미분 계수로 구성된 방향 정보를 가진 9개의 구간의 히스토그램을 생성한다. 각 구간은 0~180도 까지 동등하게 분산된다. 한 셀에 있는 각 픽셀들은 방향과 관련된 구간을 차지하고 그것은 상기 언급한 변화도를 포함하는 히스토그램의 크기에 근거하여 계산한다. 또한, 모든 셀들을 연결하기 위해 그룹단위로 그룹화 하였다. 이러한 히스토그램은 정규화 된 셀 히스토그램을 연결함으로써 얻어진다. 마지막으로 각 superpixel마다 하나의 긴 특성 벡터를 생성하기 위해 정규화 된 셀 히스토그램을 모든 그룹으로부터 연결한다. Superpixel은 임의의 모양을 가지기 때문에 패치(superpixel의 평균 사이즈)를 중앙화 하였으며 그것으로부터 HOG를 추출했다.

(2) Co-Occurrence Matrix (COOC):

Co-Occurrence Matrix는 잘 알려진 질감 특성이다. 이를 통해 대상의 공간적 분포를 볼 수 있다. 구체적으로는 픽셀 쌍의 특정 값과 서로간의 특정 공간적 분포 발생의 빈도를 측정한다. HOG와 유사하게, 우리는 각 300*300 픽셀의 조각으로부터의 Co-Occurrence Matrix를 계산했다.

(3) Intensity Histogram (IH)

세 번째 특성은 Superpixel 내에서의 그레이 스케일의 히스토그램이다. 이 히스토그램의 분석을 위하여 256차원의 히스토그램을 생성하고 각 세기 값의 픽셀의 수를 더했다.

(4) Mean Intensity (MI)

네 번째 특성은 하나의 Superpixel 내의 모든 픽셀의 평균 세기 값이다.

상기 언급한 두 개의 특성 (HOG 와 COOC)은 질감과 모양 특성을 추출한다. 그리고 마지막 두 가지 특성(IH와 MI)는 각superpixel의 세기 값의 변동을 나타낸다. 결과적으로 위의 특성을 각 superpixel로 부터 계산하고 정규화 된 세 가지 특성을 더했다.

3) Superpixel 분류

Superpixel을 분류하여 해당 Superpixel이 해당 객체일 확률을 계산한다. 이 과정에서 Support Vector Machine (SVM) 분류기를 활용했다[8],[9]. 본 연구에서는 객체별로 각각의 SVM을 사용하여 Superpixel을 분류하였다.

SVM을 적용하기 위해서는 이를 위한 학습 데이터가 필요하다. 훈련 데이터로 각각의 Superpixel을 활용하고 이들 중 대상물을 보유한 픽셀과 그렇지 않은 픽셀을 각각 Positive Superpixel과 Negative Superpixel이라 분류하였다.

픽셀 특성 추출에서 추출해낸 4가지 특성을 활용해 객체별로 학습을 진행한 결과는 그림 3과 같다. 각 점수는 픽셀이 객체일 확률을 나타낸다. 즉, 점수가 높을수록 픽셀이 대상물을 포함할 확률이 높다는 것을 말한다. 해당 결과를 통해 대상물 별로 대상물을 탐지하는 데에 기여하는 특성이 다르다는 것을 알 수 있다.

Fig. 3.

Object recognition probability score of Superpixel

4) 조건부 랜덤 필드(CRF)를 활용한 추론적 Superpixel 라벨링

일반적인 분류기는 인접한 샘플을 고려하지 않고 단일 샘플에 대한 레이블만을 예측하는 문제가 있다. 조건부 랜덤 필드(CRF; Conditional Random Field)는 그림 4와 같이 인접 픽셀들을 연결하여 일반적인 분류기의 단점을 보완하고 정확한 예측을 할 수 있도록 하는 통계적인 모델링 방법이다. 따라서 CRF는 각 픽셀의 관계를 파악할 수 있어 정확한 분류가 가능하다[10],[11].

Fig. 4.

Context Inference in CRF Utilization

본 연구는 이 과정에서 각 히스토그램의 교집합 거리와 평균 세기의 절대적 차이를 활용하였다.

따라서 CRF 최적화 이후, 관심지역과 백그라운드를 나타내는 이진화된 라벨링 조각을 얻을 수 있었다.

5) Mean-Shift 클러스터링

앞선 과정을 통해 분류된 Superpixel의 특성, 대상물일 확률을 얻었다. 이들을 활용할 경우 결과적으로 유사한 Superpixel끼리의 클러스터링이 가능해진다.

클러스터링 과정에서는 Mean-shift 클러스터링 알고리즘을 활용하였다[12]. 클러스터의 개수를 K개로 결정한 K-means 클러스터링과 비교하였을 때 Mean-shift 클러스터링은 계산 속도는 상대적으로 느리지만 적절한 클러스터의 개수를 자동으로 발견하고, 여러 번 실험을 반복하였을 때 계속해서 유사한 결과를 도출해낼 수 있었다.

Mean-shift 클러스터링 알고리즘은 Sliding-window의 네트워크 통신을 기반으로 데이터 포인트들의 밀도가 가장 많이 모여 있는 지점을 찾는 방식으로 진행된다. 일정 반경 내에 더 이상 밀도가 높아지지 않을 때까지 이를 반복수행하여 해당 반경 내에 속한 그룹으로 클러스터를 형성한다.

각각의 Superpixel을 추출한 히스토그램을 기반으로 분포하여 점으로 표현한 뒤 Mean-shift 클러스터링을 통해 결과적으로 동일한 객체를 표현하는 Superpixel의 클러스터를 만들었다. 그림 5와 같이 경계선은 보존하며 유사한 픽셀들을 모두 클러스터링 할 수 있게 된다. 최종적으로 데이터 셋 라벨링을 진행할 때에는 각 픽셀별 라벨링이 아닌 클러스터 각각에 대한 라벨링 만을 진행하면 된다. 따라서 사람의 라벨링 작업량이 극히 줄어들게 되었다.

Fig. 5.

Cluster Progress Stage(a) Sample Image, (b) Superpixel, (c) mean-shift Clustering, (d) Human Annotated Result

Ⅳ. 실험 및 결과

본 연구에서는 조각 분류의 정확도를 측정하기 위해 standard dice-similarity co-efficient, 즉, QS를 사용했다[13].

D와 G는 탐지된 조각과 실측된 조각을 나타낸다. 이것으로 탐지 결과를 얻을 수 있다. 예를 들어 QS를 경계화하여 네 가지 값 true positive, true negative, false positive와 false negative를 구한다. 이들을 각각 TP, TN, FP와 FN이라 하며QS ≥ 80%면 TP라고 고려했다.

QS를 통해 판단한 TP, TN, FP와 FN은 다음의 수식을 통해 그 정확도를 정량적으로 판단한다.

이를 통해 평가한 결과는 표 2와 같으며, 분류한 결과 이미지는 그림 6과 같다.

Table 2.

Accuracy evaluation result

Fig. 6.

Example of classification accuracy measurement results

Ⅴ. 결 론

일반적으로 인공신경망을 기반으로 한 도로정보 분석 과정은 정밀 촬영한 도로 이미지에 사람이 직접 라벨링을 한다. 따라서 인공신경망 모델 학습을 위한 데이터셋 구축에 많은 시간과 인력이 소요된다. 또한 학습 데이터셋의 품질에 따라 신경망 모델의 성능이 크게 좌우되는데, 전체 이미지에서 사람이 직접 수작업으로 데이터 셋을 라벨링한 경우 객체 간 경계가 일정하지 않아 데이터셋이 균일하지 않으며 품질이 낮아질 수 있다는 한계가 있다.

본 연구에서는 다중객체의 영역을 검출하는 것을 목적으로 하는 인공신경망 모델 학습을 위한 이미지 데이터의 전처리 과정에서 발생하는 데이터셋 라벨링 작업의 어려움을 줄이기 위해 Superpixel을 활용하는 방법을 제안하였다. 먼저 Graph 기반의 생성 알고리즘을 통해 1차적으로 Superpixel을 생성하고 이들의 특성을 추출한 뒤 CRF 기술을 적용했다. 다음으로 Mean-Shift 클러스터링을 진행하여 최종적으로 이미지 데이터 내 라벨링 해야 할 픽셀의 수를 획기적으로 줄였다. 본 연구에서 제안하는 방법은 실제 도로이미지에서 충분히 활용 가능한 정확도를 얻을 수 있음을 모의실험을 통해 확인하였다.

본 연구에서는 도로이미지 데이터의 전처리 과정에서 Superpixel을 적용한 방법을 제안하였다. Superpixel은 픽셀 단위로 라벨링을 진행한 이미지 데이터와 비교하였을 때 이미지의 차원을 수십 또는 수백만 분의 일 픽셀 단위로 줄일 수 있다.

본 연구에서 제안한 방법을 활용할 경우 인공신경망 모델 학습 데이터셋을 구축하는 데에 있어 시간적, 경제적으로 효율적이다. 기존 데이터셋을 라벨링하는 과정은 사람이 직접 이미지 데이터에서 객체별로 각각의 경계를 직접 찾고, 이를 따라 그리는 과정이 필요하다. 그러나 본 연구에서 제안하는 방법을 활용할 경우 그림5에서 볼 수 있듯이 자동으로 경계영역이 분류된 5~6개 영역에 대해 라벨링하는 것으로 전체 과정을 대체할 수 있다.

또한 기존 라벨링 방식은 사람이 직접 객체의 경계를 찾는 과정에서 라벨링한 객체의 경계가 균일하지 못하고, 라벨링한 사람마다 결과가 달라 객관성이 떨어진다는 한계를 가지고 있었다. 하지만 본 연구에서 제안하는 방법은 경계를 검출하는 과정이 자동화되기 때문에 객체영역의 경계기준이 동일한 객관적인 데이터셋을 만들 수 있다. 본 연구에서 제안하는 방법을 활용할 경우 앞으로 인공신경망 모델의 학습 및 연산속도 단축 및 성능 향상에 기여할 수 있을 것으로 기대된다.

Acknowledgments

본 연구는 국토교통부의 연구비지원(과제명 : 2020년 도로포장관리시스템(PMS) 운영업무대행))에 의해 수행되었습니다. 이에 감사드립니다.

References

• G. Flintsch and J. Bryant, “Asset management data collection for supporting decision process,” U.S. Dept. Transp., Washington, DC, USA, Tech. Rep., 2006.
• V. Mandal, L. Uong and Y. Adu-Gyamfi, "Automated Road Crack Detection Using Deep Convolutional Neural Networks," 2018 IEEE International Conference on Big Data (Big Data), Seattle, WA, USA, pp. 5212-5215, 2018. [https://doi.org/10.1109/BigData.2018.8622327]
• L. Attard, C. J. Debono, G. Valentino, M. Di Castro, A. Masi and L. Scibile, "Automatic Crack Detection using Mask R-CNN," 2019 11th International Symposium on Image and Signal Processing and Analysis (ISPA), Dubrovnik, Croatia, pp. 152-157, 2019. [https://doi.org/10.1109/ISPA.2019.8868619]
• Ministry of Land, Infrastructure and Transport “Yearbook of Road Statistics”, pp. 7-8, 2002.
• B. D Klein and D. F Rossin, "Data quality in neural network models: effect of error rate and magnitude of error on predictive accuracy," Omega Volume 27, Issue 5, pp. 569-582, Oct. 1999. [https://doi.org/10.1016/S0305-0483(99)00019-5]
• M.-Y. Liu, O. Tuzel, S. Ramalingam, and R. Chellappa, “Entropy rate superpixel segmentation,” in Proc. CVPR, pp. 2097–2104, Jun. 2011.
• N. Dalal and B. Triggs, “Histograms of oriented gradients for human detection,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), pp. 886–893, Jun. 2005.
• J. Lin and Y. Liu, “Potholes detection based on SVM in the pavement distress image,” in Proc. 9th Int. Symp. Distrib. Comput. Appl. Bus. Eng. Sci. (DCABES), pp. 544–547, 2010. [https://doi.org/10.1109/DCABES.2010.115]
• C.-C. Chang and C.-J. Lin, “LIBSVM: A library for support vector machines,” ACM Trans. Intell. Syst. Technol., vol. 2, no. 3, p. 27, 2011. [https://doi.org/10.1145/1961189.1961199]
• J. D. Lafferty, A. McCallum, and F. C. N. Pereira, “Conditional random fields: Probabilistic models for segmenting and labeling sequence data,” in Proc. 18th Int. Conf. Mach. Learn., pp. 282–289, 2001.
• B. Fulkerson, A. Vedaldi, and S. Soatto, “Class segmentation and object localization with superpixel neighborhoods,” in Proc. IEEE 12th Int. Conf. Comput. Vis., pp. 670–677, Sep. 2009. [https://doi.org/10.1109/ICCV.2009.5459175]
• D. Comaniciu and P. Meer, “Mean shift: A robust approach toward feature space analysis,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 24, no. 5, pp. 603–619, May 2002. [https://doi.org/10.1109/34.1000236]
• R. Nock and F. Nielsen, “Statistical region merging,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 26, no. 11, pp. 1452–1458, Nov. 2004. [https://doi.org/10.1109/TPAMI.2004.110]