Journal Archive

R-CNN은 객체 검출 과정 초기에 사용되었던 모델로 CNN에 region proposal을 추가하여 객체가 존재할만한 영역을 제안하고 제안된 영역에서 객체를 검출할 수 있도록 2014년도에 소개되었다[7]. 배경과 객체들로 이루어진 복잡한 상황의 이미지에서 R-CNN 알고리즘을 이용하면 아래의 그림 1과 같이 객체를 검출하고 분류할 수 있게 된다. 그림 1은 하나의 이미지에서 주요 객체들을 bounding box로 표현하고 더불어 bounding box의 객체가 무엇을 의미하는 것인지를 출력하는 모습을 R-CNN으로 구현한 것을 나타낸다.

Fig. 1. 
Example of objects detected using R-CNN

R-CNN의 신경망 모델 구조는 이미지 입력, 객체가 존재할만한 후보 영역 추출, CNN 특징 계산, bounding box 기반의 영역 분류를 통해 객체를 검출할 수 있도록 구현된다. 즉, 영역별로 탐색 부분을 나누어 배경은 제외하고 객체가 존재할 영역을 대상으로 CNN을 실행시키는 방식을 의미하며 그림 2는 R-CNN 신경망 모델의 개략적인 흐름을 보여준다.

Fig. 2. 
Model structure of R-CNN

본 연구에서 활용하고자 하는 Mask R-CNN의 초기 모델인 R-CNN 알고리즘은 다음과 같이 3단계로 처리한 후 마지막으로 bounding box 선형 회귀(linear regression)를 통해 앞에서 보여준 그림 1과 같이 출력되었다.

1단계는 이미지 중에서 객체로 인식될 수 있는 region proposal 즉, 영역 제안을 선택적 탐색(selective search)[10] 이라는 규칙 기반 알고리즘(rule-based algorithm)을 적용하여 약 2,000개의 region proposal을 생성하는 작업을 수행한다. 선택적 탐색 알고리즘은 질감, 색상, 강도 등을 기준으로 주변 픽셀과의 유사도를 측정하여 영역을 나누고 이를 기준으로 객체가 존재할 가능성이 높은 위치를 추론하는 방식이다. 그림 3은 픽셀 유사도 정보를 기반으로 선택적 탐색을 수행하여 여러 가지 다양한 윈도우(window)를 생성하고 있음을 나타낸다[10]. 생성된 다양한 윈도우는 R-CNN의 region proposal에 해당하며 서로 독립적이지 않고 중복된 영역이 존재하고 있다.

Fig. 3. 
Examples of selective search

2단계는 region proposal 영역을 대상으로 와핑(wraping) 처리를 수행한다. 이는 객체가 될 수 있는 후보 영역 즉, 윈도우로 생성된 region proposal은 각각 크기가 다르기 때문에 고정된 픽셀 사이즈 227 x 227로 와핑을 수행하여 CNN 모델의 입력으로 사용하기 위함이다. R-CNN에서는 AlexNet을 개량한 CNN 모델을 파인 튜닝(fine tuning)하여 4,096차원의 특징 벡터를 추출하였다. 파인 튜닝에서는 그림 4에서 제시한 것처럼 ground truth에 해당하는 이미지들을 가져와 학습하도록 하였다[11].

Fig. 4. 
Examples of ground truth

3단계는 CNN을 통과하여 나온 4,096차원의 특징 벡터를 활용하여 각각의 레이블을 기준으로 학습시켜 놓은 서포트 벡터 머신(SVM; support vector machine)[12]을 통과시켜 분류하는 작업을 수행한다.

서포트 벡터 머신은 분류의 결정 경계(decision boundary)를 위해 기준이 되는 선을 정의하는 머신러닝 모델이다. R-CNN[7]에서는 서포트 벡터 머신을 통과하여 어떤 객체에 해당하는지에 대한 확률값을 의미하는 score를 가지게 된다. 이 경우, 객체 영역에 여러 개의 윈도우가 겹쳐있다면 가장 score가 높은 것으로 분류하게 된다.

이처럼 3단계의 처리로 객체를 검출하고 마지막으로 검출된 객체를 그림 1에서 보여준 것과 같이 bounding box로 출력한다. 이때 검출된 객체의 bounding box를 원본 이미지에서 정확한 위치에 정확한 크기로 표현하기 위해서 bounding box 선형 회귀를 이용한다. bounding box 선형 회귀를 위해서 검출된 bounding box와 ground truth에 해당하는 중심점 위치 x, y 그리고 너비(width), 높이(height)를 기반으로 검출된 객체의 bounding box가 최대한 ground truth와 일치하도록 이동시키는 학습을 수행한다. 학습을 수행하면서 손실이 최소가 되는 가중치(weight)를 곱해서 검출된 bounding box를 조정하는 방식이다.

R-CNN[7]은 객체 검출을 위해 잘 작동하지만 2,000개의 region proposal로 제안된 영역마다 CNN을 수행하므로 속도가 저하되고, multi-stage pipelines의 모델로 한 번에 학습시키지 못하는 문제점이 있다. 이러한 문제점을 해결하기 위해서 R-CNN[7]을 발전시킨 Fast R-CNN[8] , Faster R-CNN[9] 등이 소개되었다.

1) Fast R-CNN

Fast R-CNN은 초기의 R-CNN의 문제점을 해결하기 위해서 제안된 방식으로 그림 5와 같이 프로세스가 구성된다.

Fig. 5. 
Model structure of Fast R-CNN

1단계는 R-CNN과 달리 맨 처음 전체 이미지를 딱 한 번 CNN에 통과시켜 feature map을 추출하는 작업을 수행한다. 그리고 R-CNN에서와 마찬가지로 선택적 탐색을 통해 region proposal에 해당하는 RoI(Region of Interest)를 찾는다.

2단계는 선택적 탐색으로 찾았었던 RoI를 와핑 없이 feature map 크기에 맞춰서 투사시킨다.

3단계는 투사시킨 RoI에 대해 RoI Pooling을 진행하여 고정된 크기의 feature vector를 얻는다.

즉, 앞 단계에서 이미지를 CNN에 통과시켜 feature map을 추출한 후 공간 피라미드 풀링(SPP; Spatial Pyramid Pooling)[13]으로 고정된 크기 vector를 만들고 이를 FC layer의 input으로 입력한다. 따라서 CNN을 통과한 feature map에서 2,000개의 region proposal을 만들고 region proposal마다 공간 피라미드 풀링 신경망에 넣어 고정된 크기의 feature vector를 얻어낸다. 이 작업을 통해 R-CNN에서 2,000개의 region proposal마다 수행했던 2,000번의 CNN 연산이 1번으로 줄어들어 속도를 개선할 수 있게 된다.

4단계는 feature vector가 FC layer를 통과한 뒤 2개의 프로세스로 나뉘도록 설계하여 첫 번째 프로세스는 softmax를 통과하여 RoI에 대해 object classification을 수행하도록 하고, 두 번째 프로세스는 bounding box 회귀를 통해 selective search로 찾은 bounding box의 위치를 조정하도록 한다. 이처럼 bounding box regression layer를 softmax layer에 평행하게 두어 bounding box 좌표들이 출력될 수 있도록 처리된다.

R-CNN 초기 모델은 image feature를 생성하는 CNN, class를 예측하는 SVM 그리고 regression model이 bounding box를 찾아내는 것을 각각 나누었지만, Fast R-CNN[8]은 3개의 모델을 하나의 네트워크로 구현되도록 하였다.

2) Faster R-CNN

Fast R-CNN의 성과에도 불구하고 region proposal 부분에 병목 지점이 존재하고 있다. 객체의 위치를 찾는 과정 중 첫 번째 과정은 바로 객체가 있을 만한 후보 영역의 다양한 bounding box를 생성하는 것이다. Fast R-CNN에서는 region proposal을 찾기 위해서 selective search라는 과정을 통과하는데 이 과정에서 병목 현상이 발생하였다. 이러한 병목 현상을 해결하기 위해서 Faster R-CNN[9]이 제안되었다.

Faster R-CNN은 각 이미지에서 분류의 첫 단계인 CNN을 통과하여 얻어진 feature map을 기반으로 영역을 제안하는 방식이다. 즉, CNN 결과를 selective search 알고리즘 대신 region proposal에 바로 이용하는 기법이다. 그림 6은 어떻게 CNN이 region proposal과 classification을 동시에 해냈는지를 보여준다. 단지 하나의 CNN만 학습시키면 region proposal이 생성되고 convolutional feature map이 Fast R-CNN처럼 region proposal에 이용될 수 있도록 하는 특징을 나타내고 있다.

Fig. 6. 
Model structure of Faster R-CNN

표 1은 R-CNN, Fast R-CNN, Faster R-CNN을 수행하기 위한 input과 output 상태를 표현하고 있다. R-CNN의 input은 이미지에서 객체에 해당하는 윈도우가 사용되고, output으로 윈도우 안의 객체에 대한 새로운 bounding box의 좌표들이 출력된다. 빨라진 속도와 단순해진 Fast R-CNN은 input으로 region proposal이 생성된 이미지들이 사용되고, output으로 각 region에 있는 객체의 class와 꼭 맞는 bounding box들이 출력된다. 이어서 더욱 속도를 높인 영역 제안 방법인 Faster R-CNN은 input으로 region proposal이 필요 없는 원본 이미지를 사용하였고, output으로 분류 및 이미지 내부 객체들의 bounding box 좌표를 출력하였음을 나타낸다.

Table 1. 
Input and output comparison of R-CNN, Fast R-CNN, and Faster R-CNN

	input	outputs
R-CNN	windows of the image corresponding to objects	bounding boxes + labels for each object in the image + New bounding box coordinates for the object in the window
Fast R-CNN	images with region proposals	Object classifications of each region along with tighter bounding boxes
Faster R-CNN	images	Classifications and bounding box coordinates of objects in the images

패션과 컴퓨터 비전 사이에서 패션 산업 분야의 인공지능 서비스를 추진하기 위해서 웹 크롤링을 활용한 iMaterialist Fashion Attribute Dataset[4]가 구성되었다. 본 연구에서는 iMaterialist Fashion Attribute Dataset[4]의 복잡한 구조와 모호함을 표준화하기 위해서 27개의 주요 의류 항목 및 19개의 의류 부품을 포함하여 총 46개로 정의된 의류 개체와 294개의 세분화된 의류 속성이 포함될 수 있도록 구성한 데이터 세트[14]를 활용하여 이미지에서 패션 요소를 분류하여 검출하는 딥러닝을 수행한다.

표 2는 준비된 패션 이미지 데이터 세트를 기반으로 46개로 정의한 의류 개체(주요 의류 항목 27개 + 의류 부품 19개)를 나타낸다. 46개로 정의된 의류 개체의 super category는 상체(upperbody), 하체(lowerbody), 전신(wholebody), 머리(head), 목(neck), 팔과 손(arms and hands), 허리(waist), 다리와 발(legs and feet), 기타(others), 의류 부품(garment parts), 여밈(closures), 장식(decorations)으로 구성된다.

표 3은 294개로 세분화된 의류 속성을 나타낸다. 294개의 세분화된 의류 속성의 super category는 닉네임(nickname), 실루엣(silhouette), 허리 라인(waistline), 길이(length), 목 라인 타입(neckline type), 오프닝 타입(opening type), 비섬유 소재형 타입(non-textile material type), 가죽(leather), 섬유 마감 및 제조 기술(textile finishing and manufacturing techniques), 섬유 패턴(textile pattern), 동물(animal)로 구성된다.

본 연구에서는 Faster R-CNN을 기반으로 생성된 bounding box를 픽셀 수준의 검출까지 가능할 수 있도록 아래와 같이 9단계의 Mask R-CNN[5] 알고리즘을 사용하여 패션 요소를 검출할 수 있도록 구현하였다.

1단계 : 선형 보간법(bilinear interpolation)을 사용해서 이미지를 resize 한다.

2단계 : 패딩(padding)을 사용해서 Backbone network의 input을 위해서 1024 x 1024의 input size로 조정한다.

3단계 : ResNet-101을 통해 각 레이어에서 feature map(C1, C2, C3, C4, C5)을 생성한다.

4단계 : FPN을 통해 이전에 생성된 feature map에서 P2, P3, P4, P5, P6 feature map을 생성한다.

5단계 : 최종 생성된 feature map에 각각 RPN을 적용하여 분류하고 bounding box regression 출력 값을 도출한다.

6단계 : 출력으로 얻은 bounding box 회귀 값을 원래 이미지로 projection 시켜서 anchor box를 생성한다.

7단계 : Non-max-suppression을 통해 생성된 anchor box 중 score가 가장 높은 anchor box를 제외하고 모두 삭제한다.

8단계 : 각각 크기가 서로 다른 anchor box들을 RoI 정렬을 통해 size를 맞춘다.

9단계 : Fast R-CNN에서의 분류, bounding box regression branch와 더불어 mask branch에 anchor box 값을 통과시킨다.

그림 7은 표 2에서 46개로 정의된 의류 개체에 대해 Mask R-CNN을 적용하여 추출된 의류 개체의 일부를 보여주고 있다. 그림 7에서 (a)는 표 2의 id 10에 해당하는 dress, (b)는 표 2의 id 0에 해당하는 shirt와 id 6에 해당하는 pants, (c)는 표 2의 id 11에 해당하는 jumpsuit를 보여준다.

Fig. 7. 
Fashion elements separated using Mask R-CNN

그림 8은 Mask R-CNN의 마지막 단계에서 bounding box regression branch와 더불어 mask branch에 anchor box 값을 통과시킨 결과를 보여준다. 27개의 주요 의류 항목 및 19개의 의류 부품을 포함하여 46개로 정의된 의류 개체 클래스로 지도 학습된 결과에 따라 테스트 이미지를 대상으로 픽셀 단위까지 검출된 패션 요소를 출력하고 있으며 top, neckline, sleeve, applique, pocket, watch로 인식된 패션 요소를 확인할 수 있다.

Fig. 8. 
Fashion items detected by Mask R-CNN

그림 9에서 (a)는 46개로 정의된 의류 개체 레이블을 기준으로 shirt, pants, sleeve, shoe, collar로 분리되었고, (b)는 dress, sleeve, shoe, neckline으로, (c)는 jacket, pants, sleeve, shoe, pocket으로 분리되었음을 보여준다.

Fig. 9. 
Super category detection of 46 defined clothing objects