Journal Archive

에지 탐지는 그림 1처럼 이미지 내에서 중요한 정보를 포함하는 경계 부분을 추출하는 것을 말한다. 이미지 내 불필요한 정보를 최소화함으로써 영역 분할, 원격탐사, 의료 영상 등 다양한 컴퓨터 비전 분야에 성능을 향상시키는 보조적인 용도로 활용된다. 따라서, 최근에도 에지 탐지 관련 연구가 활발히 진행 중이다.

Fig. 1. 
Examples of edge in images

기존 에지 탐지 기법들은 Sobel, Laplacian 등과 같이 연산자를 이용하여 밝기값, 질감 등에서의 불연속성을 통해 에지를 추출한다[1], [2]. 더 나아가, Pb와 같이 수동 설계된 특징들을 이용하여 이미지 내 에지를 탐지한다[3]. 그러나 기존 에지 탐지 기법들은 낮은 수준 특징들을 이용하므로, 이미지에서 의미적으로 중요한 경계 부분만을 탐지하는 것은 어렵다.

이에 높은 수준 표현자를 학습할 수 있는, RCF (richer convolutional features), HED (holistically-nested edge detection), DeepEdge, ContourGAN[4]-[7] 등과 같이 딥러닝을 활용한 여러 에지 탐지 연구들이 활발히 진행되고 있으며[15], 에지 탐지 성능 또한 급격히 향상되었다. 기존 딥러닝 기반 에지 탐지 기법은 주로 인코더와 디코더를 결합한 형태의 구조로 구성된다. 이미지 내 객체들은 다양한 크기로 존재하므로, 에지 탐지를 위해서는 객체에 대한 다양한 크기에 대한 표현자를 학습하는 것이 중요하다. 이를 위해 기존 딥러닝 기반 에지 탐지 기법들은 그림 2(a)와 같이 인코더와 디코더를 밀접 연결한 구조를 통해 계층적 표현자를 학습하여, 다양한 크기의 객체의 에지를 추출한다. 그러나, 인코더와 디코더 결합 구조인 경우 인코더 과정에서 이미지 정보 손실이 발생하는 문제점이 존재한다[8].

Fig. 2. 
The Comparison of conceptual diagrams between the traditional and the proposed edge detections

본 논문에서는 이를 보완하기 위해 GLOW (generative flow) 기반 에지 탐지 기법을 제안한다. 제안 기법은 딥러닝 기반 생성 모델 중 하나인 NF (neural flow)를 기반으로 구성된다[9], [10]. 그림. 2(b)는 제안 기법의 개념도를 보여준다. 이 기법은 역변환이 가능하여 순방향과 역방향 추론을 하나의 네트워크에서 수행한다. 이를 통해 이미지를 재구성할 때 정보 손실을 최소화한다[8]. 순방향을 통해서는 이미지에서 특징을 추출하고, 역방향을 통해 추출된 특징을 이미지로 재구성한다. 이 기법의 네트워크는 기본적으로 additive coupling, invertible 1⨯1 convolution, actnorm으로 구성된다. 본 연구에서는 BSDS500 (berkeley segmentation dataset 500) 데이터셋과 BIPED (barcelona images for perceptual edge detection) 데이터셋을 이용하여 제안 기법을 학습 및 평가하였다.

2절에서는 에지 탐지 관련 연구에 대해 서술하며, 3절에서는 제안 기법에 대해 상세히 설명하고, 4절에서는 제안 기법을 통한 실험 결과에 대한 분석을 논의하고자 한다. 마지막 절에서는 결과와 향후 연구 방향에 대해 기술한다.

에지 탐지는 크게 전통적 기법, 규칙 기반 기법, 딥러닝 기반 기법으로 나눠진다.

전통적 기법은 연산자를 이용하여 이미지에서 밝기값, 색, 텍스쳐 등의 불연속성을 탐지하여 에지를 추출한다. 대표적인 기법으로는 Sobel, Laplacian 연산자가 존재한다[1], [2]. 규칙 기반 기법은 수동으로 설계한 특징을 이용하여 에지를 추출하거나, 에지를 추출하기 위한 논리적 단계를 통해 에지를 추출한다. 대표적인 기법으로는 Canny 에지 탐지 기법과 Pb 기법 등이 존재한다[3], [11]. 전통적 기법과 규칙 기반 기법들은 낮은 수준 표현자를 이용하여 에지를 탐지하므로, 이미지에서 의미적으로 중요한 경계 부분만을 추출하는 데 한계가 존재한다.

딥러닝 성능이 향상되면서 높은 수준 표현자를 추출하는 것이 가능하다. 이에 따라, 딥러닝을 기반으로 한 에지 탐지 연구들이 활발히 진행되고 있다. 에지 탐지는 픽셀 단위의 에지 여부를 판단하여야 하고, 이미지에서 유의미한 에지를 추출하는 것이 중요하다. 또한, 이미지 내에서 객체가 다양한 크기로 존재하기 때문에 다중 계층 구조에 대한 표현자를 학습하는 것이 에지 탐지에 유용하다. 따라서, 기존 딥러닝 기반 기법들은 그림 3과 같이 계층적 표현자를 학습하기 위해 인코더와 디코더를 밀접 연결하거나 각 계층에 손실을 역전파하는 기법으로 학습한다[4]-[7], [12]-[14], [16].

Fig. 3. 
The structure of the traditional deep learning-based edge detections

딥러닝 기반 에지 탐지 기법들은 주로 인코더와 디코더를 결합한 구조로 구성된다. 인코더의 풀링 연산 과정에서 공간 정보 손실로 인해 이미지 정보가 손실되어, 세밀한 에지를 추출하는데 문제가 발생한다[8].

Kingma et al.[10]은 딥러닝 생성 모델 중 하나인 GLOW를 제안하여 현실적인 외양의 얼굴 이미지를 합성하는데 성공하였다. An et al.[8]은 GLOW를 이용한 이미지 스타일 변환 기법을 제안하였다.

본 논문에서는 GLOW를 활용하여 이미지에서 의미 있는 에지를 세밀하게 탐지하는 기법을 제안한다. 그림 4는 하나의 네트워크를 통해 순방향과 역방향 추론을 수행하는 제안 기법의 구조를 보여준다. 순방향 추론을 통해 이미지의 특징을 추출하고, 역방향 추론을 통해 추출된 특징을 이미지로 재구성한다. 제안 기법은 크게 m개의 block으로 구성되며, 각 block 당 n개의 NF를 가진다. NF는 additive coupling, invertible 1x1 convolution, actnorm 순으로 이루어진 가역변환 함수들의 그룹이다.

Fig. 4. 
The structure of the GLOW-based edge detection method

Additive coupling은 어파인 결합 계층 (affine coupling layers)으로, 수식은 다음과 같다.

여기서, x는 입력값을 의미하고, split()은 x의 차원을 절반으로 나눠주는 역할을 한다. NN()은 입력과 출력 크기를 동일하게 출력하는 어파인 변환을 수행하는 네트워크이다. concat()은 두 개의 입력값을 연결시켜주는 역할을 한다. 식 (1)의 역계산은 다음과 같다.

Invertible 1×1 convolution은 입력값의 채널 순서를 조합시켜준다.

여기서, i, j는 공간 위치를 의미하며, W는 c×c크기의 가중 행렬을 나타낸다. c는 x와 y의 채널 차원 수를 의미한다. 역함수는 x_i,j = W^-1y_i,j이다.

Actnorm은 배치 정규화를 대체하기 위한 활성화 정규화 (activation normalization) 층이다[10]. 다음과 같은 식 (4)를 통해 각 채널을 어파인 변환을 한다.

여기서, w와 b는 어파인 변환의 크기와 편향 변수를 의미한다. 역함수는 x_{i, j} = (y_{i, j} - b)/w이다.

Squeeze 연산자는 특징맵의 공간 크기를 줄이기 위한 역할을 수행한다. 구체적으로는 특징맵을 작은 패치로 나눈 후 채널 차원으로 연결한다. Pointwise 컨볼루션은 에지 탐지에서 색상 영향을 최소화시키기 위해 출력 채널을 하나의 채널로 통합한다. 또한, 본 논문에서는 이진 크로스 엔트로피 (binary cross entropy) 손실함수를 사용한다.

본 논문에서는 대상 이미지에서 보다 유의미한 에지를 탐지하기 위한 GLOW 기반 에지 탐지 기법을 제한하였다. 제안 기법은 역변환 가능한 네트워크로 구성되며, 하나의 네트워크를 통해 이미지의 특징을 추출하고 추출된 특징들을 이미지로 재구성한다. 제안 기법을 학습 및 평가하기 위해 BSDS500 데이터셋과 BIPED 데이터셋을 활용하였다. 이를 통해 제안 기법이 일상 이미지에서 에지를 유의미하게 탐지함을 확인하였다. 또한, 제안 기법과 기존 기법을 회화 작품에 적용하여, 제안 기법이 기존 기법에 비해 에지를 세밀하게 탐지함을 확인하였다.

추후 정량적인 분석을 통해 제안 기법의 네트워크를 최적화할 예정이며, 회화 이미지와 같이 작품에서 작가가 의도한 유의미한 에지를 추출함으로써 회화 작품의 밑그림을 추출하는 방법 등 다양한 도메인에 적용할 수 있도록 발전시킬 예정이다.