Journal Archive

얼굴 랜드마크들은 눈과 눈썹, 코와 입, 턱선 등 얼굴에서 다른 부분과 구별될 수 있는 특징점이라고 할 수 있다. 이러한 얼굴 랜드마크들은 검출하여 다양한 응용에 사용할 수 있는데, 전처리 과정에서는 주로 수행하는 얼굴 정렬, 얼굴이 어디를 지향하고 있는지 알아내는 머리 방향 추정, 그리고 본 논문에서와 같이 얼굴 교환 등에도 응용할 수 있는 유용한 기술이다. 얼굴 랜드마크 검출은 얼굴 영상의 관심 영역에서 형태 예측 방법을 통해서 이러한 특징점들을 검출하는 것이다. 따라서 첫 번째 단계는 영상에서 얼굴 영역을 찾아내야 한다. 그리고 두 번째 단계에서는 찾아진 얼굴 영역에서 랜드마크들을 검출하는 과정을 거친다.

논문[9]에서는 시각적 개체 감지를 위한 기계 학습 접근 방식으로 얼굴을 검출하게 된다. 빠른 계산을 위해 적분영상을 도입하고, AdaBoost를 기반으로 한 알고리즘으로 더 큰 세트에서 소수의 중요한 시각적 기능을 선택하는 매우 효율적인 분류기를 사용하여 계단식(cascade)으로 결합하는 방법을 사용하였다. 2005년도에 발표된 논문[10]에서는 HOG(histogram of oriented gradients) 방법을 사용하는데, 얼굴영상에서 각각 16×16 픽셀의 작은 정사각형으로 분해한 후, 분해된 정사각형에 대해 그래디언트 방향을 구한 다음, 가장 강한 화살표 방향으로 표시하여 얼굴의 기본 구조가 잘 표현될 수 있는 것으로 변환하게 된다. 이렇게 구해진 HOG 이미지에서 얼굴을 찾기 위해서 많은 훈련 얼굴 이미지로부터 추출된 잘 알려진 HOG 패턴과 가장 유사한 부분을 이미지에서 얼굴로 검출하게 되는데, 어떠한 이미지에서도 얼굴을 쉽게 찾을 수 있는 효율적인 방법이다. OpenCV에서는 논문[9]를 구현한 CascadeClassifier 클래스를 지원하여 Haar 특징을 이용한 계단식 분류기를 제공하고 있으며, 또한 논문[10]을 구현한 HOG 기술자 및 검출기를 제공하고 있다[11].

찾아진 얼굴 영역에 대해서 랜드마크들을 구하기 위한 방법으로는 논문[12]에서 제안한 방법을 구현한 Dlib 라이브러리를 사용하여 얼굴 랜드마크들을 구할 수 있는데, 훈련 데이터들을 회귀나무 앙상블을 학습하여 실시간으로 랜드마크들을 구할 수 있다[13].

논문[14]에서는 AAM (active appearance model)을 사용하여 랜드마크들을 검출하는 방법을 제시하였다. 이 방법은 얼굴 등과 같은 객체의 인스턴스를 생성할 수 있는 모양 및 형태의 통계 모델이라고 할 수 있다. 즉, 모양과 형태를 제어할 수 있는 파라미터를 통하여 최소 제곱의 의미로 반복적인 과정을 통해 이미지에 대해 랜드마크 등을 감지하도록 하는 방법을 사용하였다.

또한, 논문[15]에서는 LBF (local binary features)을 사용하여 얼굴 정렬을 위한 효율적이고 정확한 회귀 접근법을 제시하였다. 이 방법에서는 지역이진특징 집합과 이러한 지역이진특징들을 선형회귀 방법을 통해 학습시킴으로써 빠르고 효율적으로 얼굴 랜드마크들을 찾는 방법을 제시하였다. [16]에서와 같이 사용자가 직접 데이터셋을 다운로드하여 학습 모델을 만들 수 있으나, 본 논문에서는 미리 학습된 모델을 사용하였으며, 파일 용량의 크기가 LBF 모델이 AAM 모델보다 파일용량이 작아 LBF 모델을 사용하여 얼굴 랜드마크를 구하였다.

그림 1(a)는 얼굴 영역에서 검출될 68개의 랜드마크들을 보여주고 있으며, 그림1(b)는 Haar 특징을 이용한 분류기를 이용하여 hillary clinton 영상에서 얼굴검출과 검출된 얼굴에서 LBF 모델을 이용하여 랜드마크들을 찾은 예이다.

Fig. 1. 
(a) Example of 68 face landmarks, (b) detected face and face landmarks in hillary clinton image

들로네 삼각망은 평면위에서 공간을 분할하는 알고리즘으로 평면위의 정점들을 삼각형으로 연결하여 연결된 삼각형들의 내각의 최솟값이 최대가 되는 분할을 말한다.

이렇게 만들어진 삼각형의 외접원은 삼각형을 이루는 세 꼭지점을 제외하고는 다른 어떠한 정점도 포함하지 않는다는 특징이 있다[17].

그림2는 들로네 삼각망에 대한 설명을 보여주고 있는데, 그림 2(a)에서와 같이 평면위에 임의의 점들이 있다고 가정할 때, 이러한 점들을 이용하여 삼각형을 만드는 방법들은 여러 가지 경우가 있다. 그림 2(b)의 예는 들로네 삼각망의 옳은 예를 보여 주는데, 삼각형을 이루는 세 점 A, B, C의 외접원에 평면위에 다른 어떠한 점도 포함하지 않는다. 이러한 분할은 최대한 정삼각형에 가까운 방법으로 분할이 이루어지게 함으로써 가능하다. 그림 2(c)의 예는 들로네 삼각망의 잘못된 예인데, 세 점 A’, B’, C’의 외접원을 그리면 D점이 외접원에 포함되는 것을 볼 수 있다. 이러한 분할은 주로 길쭉하고 홀쭉한 삼각형이 그려지는 분할이다.

Fig. 2. 
(a) Vertex on the plane, (b) right example of Delaunay triangle, (c) wrong example of Delaunay triangle

그리고 볼록껍질 (convex hull)은 임의의 점들 집합 S에 대해서 S를 포함하는 가장 작은 볼록 집합을 말한다. 예를 들어 그림 2(a)의 평면위의 정점들의 집합에 대한 블록껍질을 구하면 그림 3(a)에서와 같다. 이는 평면위의 임의의 점들에 대해서 이들을 모두 포함하는 가장 작은 볼록껍질의 예라고 할 수 있다. 그림 3(b)에서는 볼록껍질의 잘못된 예를 보여주고 있는데, 구해진 껍질 내부의 A와 B와 같은 임의의 점들을 연결한 직선이 껍질의 바깥을 지나게 되어 잘못된 볼록껍질이라고 할 수 있다. 본 논문에서는 68개의 얼굴 랜드마크 정점에서 블록껍질을 구하게 되는데, 이는 바뀔 얼굴 부분이라고 할 수 있다. 그리고 구해진 볼록껍질의 바깥 부분의 정점들에 대해서만 삼각분할을 수행하였으며, OpenCV의 subdiv2D 클래스를 사용하여 들로네 삼각망을 구하였다[18].

Fig. 3. 
(a) Right example of convex hull, (b) wrong example of convex hull

어파인 변환은 변환 전에 선에 있는 모든 점은 변환 후에도 여전히 선 위에 있고, 변환 전 선분의 중간점도 변환 후에 중간점으로 유지되고 공선점을 보존하는 변환이다[19].

어파인 변한은 선의 비율을 유지하지만, 반드시 각도나 길이를 유지하지는 않는다. 모든 삼각형은 어파인 변환에 의해 다른 삼각형으로 변환될 수 있으므로 모든 삼각형은 어파인 변환이며, 이러한 의미에서 어파인 변환은 도형의 합동을 일반화한 형태라고 할 수 있다.

어파인 변환을 나타내는 2 × 3 행렬은 아래 수식(1)과 같이 나타낼 수 있다.

식 (1)에서 A는 회전을 의미하며, B는 영상 내 이동 변환을 나타낸다. 따라서 M은 영상 내 이동 후 회전을 수행하는 복합변환을 뜻한다. 식 (2)는 X(x,y)에 대해 A(회전) 및 B(이동변환)을 수행할 때의 수식이다.

어파인 변환은 기본적으로 두 이미지 간의 관계라고 할 수 있고, 어파인 변환을 구하는 방법은 크게 두 가지 방법으로 접근할 수 있다. 먼저 X와 T를 모두 알고 있고 서로 연관이 되어 있을 때, M을 찾는 것이고, 다른 하나는 우리가 M과 X를 알고 있고, T를 얻으려면 T = M•X를 적용하여 얻을 수 있다.

OpenCV에서는 어파인 변환에 대한 다양한 함수 등을 제공하는데, warpAffine() 함수는 2 × 3 크기의 변환 행렬인 M을 통하여 입력영상을 어파인 변화한 출력영상을 얻을 수 있다. 또한, 어파인 변환인 M을 구하는 함수로는 getAffineTransform()과 getRotationMatrix2D() 함수가 있는데, getAffineTransform() 함수는 입력 영상의 세 점과 출력 영상의 세 점의 좌표를 매개변수로 하여 2 × 3 크기의 변환 행렬인 M을 구할 수 있으며, getRotationMatrix2D() 함수는 중심점과 회전 각도, 스케일을 매개변수로 사용하여 변환 행렬 M을 구할 수 있다.

그림4는 어파인 변환을 설명하는 그림이다. 변환 행렬 M을 미리 알고 있다면 입력영상에 warpAffine() 함수를 적용하여 출력 영상을 구할 수 있으며, 또한 입력영상의 3개의 점 X₁, X₂, X₃와 출력영상의 X1', X2', X3'의 좌표를 이용해 변환행렬 M을 구할 수도 있다.

Fig. 4. 
Affine Transform

어파인 변환을 수행하게 되면 삼각형 내부의 나머지 좌표들도 모두 변환 행렬에 따라 같이 변환하게 된다.

Seamless 블랜딩은 합성하고자 하는 두 이미지의 초기 설정이 주어지면 자동으로 자연스럽게 합성해 주는 기술로 부자연스러운 경계면을 자연스럽게 만들어주는 Poisson Image Editing 알고리즘이다[8].

그림 5에서는 심리스 블랜딩 방법을 설명하고 있다. 그림 5(a)의 목표 영상에 그림 5(b)의 참조영상을 합성하고자 하면, 우선 그림 5(b)의 원하는 특정 부분을 마스킹 연산하여 필요한 영역을 선택해야 하는데 그림 5(c)는 합성하기 원하는 부분을 마스킹을 통하여 구한 그림이다. 그리고 마스킹된 영역을 목표 영상의 원하는 부분에 배치하게 되면 그림 5(d)와 같이 된다. 참조 영상과 목표 영상을 보면 색상과 명도가 다르기 때문에 경계면이 부자연스러울 뿐만 아니라, 참조 영상의 배경 부분이 그대로 나타나 결과 영상의 품질이 떨어지게 된다. 이러한 문제를 해결하기 위해 심리스 블랜딩 알고리즘에서는 경계조건에 따른 이미지 그래디언트 매칭(gradient matching)과 이산 솔루션(discrete solution)의 두 단계를 거치면서 그림 5(f)와 같은 자연스러운 블랜딩을 구할 수 있다.

Fig. 5. 
Seamless blending (a) target image, (b) reference image, (c) mask of reference image, and (d) initial alignment image, (e) (c)’s gradient image, and (f) blending result image

기본적인 아이디어는 참조 영상에서 선택된 새의 영역의 특성을 유지하면서 목표 영상의 색상을 참조 영상의 내부로 자연스럽게 혼합하는 것이다. 즉 참조 영상에서 선택된 새의 영역은 단순히 특정 색상 값이 아니라, 주변과의 색상차이 즉 그래디언트를 구하고, 구해진 그래디언트를 유지하면서 경계면으로부터 목표 영상의 내부방향으로 혼합하면 된다.

H를 목표 영상에 맞게 개선된 참조 영상이라고 하면 H는 식 (4)와 같이 표현할 수 있으며, T 는 목표 영상, R은 참조 영상을 뜻한다.

두 번째 단계인 이산 솔루션에서는 식 (4)를 이산적인 방법으로 해결할 수 있다. 영상은 픽셀들로 이루어져 있으며, 이러한 픽셀들의 위치는 수평방향과 수직방향의 정수 위치로 표현되기 때문이다. 따라서 식 (4)의 H의 그래디언트 값은 식 (5)로 나타낼 수 있다.

그림 5(e)는 참조 영상의 합성할 영역을 수식 (5)로 그래디언트를 구한 영상이다. 이러한 그래디언트 정보를 이용하여 참조 영상이 목표 영상에 자연스럽게 블랜딩 되도록 한다.

우선 참조 영상의 마크스에 해당하는 합성할 영역을 목표 영상에 배치하고, 참조 영상의 합성될 영역의 경계값 픽셀을 고정한 후 내부를 수식 (5)를 적용하여 채워나간다. 즉, 채우고자 하는 픽셀 위치에서의 색상은 경계면 색상으로 시작하여 이미지 그래디언트를 유지하는 방향으로 채워줌으로써 블랜딩을 수행한다.

본 논문에서는 얼굴 랜드마크로 구해진 참조 영상의 얼굴 영역은 목표 영상의 얼굴부분으로 합성할 때 심리스 블랜딩 알고리즘을 사용하였다.

그림 6의 블록도에서 참조 영상은 바꿀 얼굴이 있는 영상을 말하며, 목표 영상은 바뀔 얼굴이 있는 영상을 말한다. 우선 두 영상을 입력하고 나서 추후 심리스 블랜딩을 위해 목표 영상의 복제본을 생성한 후, 참조 영상과 목표 영상의 얼굴 및 랜드마크 검출을 실시한다. 그림 7에서는 hillary_clinton 영상을 참조 영상으로 사용하고, barack_obama 영상을 목표 영상으로 하여 Haar 특징을 이용한 계단식 분류기를 이용하여 얼굴영역을 검출하고, LBF 모델을 사용하여 68개의 얼굴 랜드마크들을 검출한 결과이다.

Fig. 7. 
Detection of face and landmarks (a) reference image (hillary clinton image), (b) target image (barack obama image)

그림 7에서와 같이 참조 영상과 목표 영상에서 얼굴을 검출하고 검출된 얼굴에서 68개의 랜드마크들을 찾은 다음, 검출된 얼굴 랜드마크들을 이용해서 바뀔 얼굴 영역을 구하는데 볼록 껍질을 사용하여 바뀔 얼굴 영역을 구하게 된다. 이 과정이 없이 참조 영상과 목표 영상의 얼굴 랜드마크들로 들로네 삼각망을 각각 구하고 서로 대응되는 들로네 삼각망끼리의 어파인 변환을 이용하여 얼굴 교체를 구현할 수 있으나, 본 논문에서와 제안한 바와 같이 볼록 껍질을 이용하면 실험결과 화질의 저하 없이 어파인 변환을 할 삼각망의 개수가 줄어들어 빠르게 얼굴 교체를 할 수 있다. 그림 8(a)와 그림 8(b)는 각각 참조 영상과 목표 영상에서 얼굴 랜드마크 점들로부터 볼록 껍질을 구한 그림이다.

Fig. 8. 
(a) Convex hull of (a) reference image (hillary clinton image), (b) target image (barack obama image)

볼록껍질에 사용된 랜드마크 점들을 녹색으로 표시하였고 볼록껍질 내부를 밝게 표현하였다. 이 부분이 서로 교체될 얼굴 영역이라고 할 수 있다. 다음 단계로는 볼록껍질에 사용된 점들을 이용하여 들로네 삼각망을 구하게 되는데, 먼저 목표 영상의 볼록껍질을 이용하여 들로네 삼각망을 구한 다음, 참조 영상에서는 목표 영상에서 구해진 들로네 삼각망에 대한 인덱스를 참고해서 대응 삼각형 매쉬를 구성해야 한다. 그림 9(a)는 68개의 얼굴 랜드마크들을 이용하여 들로네 삼각망을 구성한 그림이다.

Fig. 9. 
Delaunay triangle generated by (a) face landmarks, (b) convex hull, and (c) Delaunay triangles of target image and its corresponding triangle mesh of reference image

목표 영상과 참조 영상의 크기와 영상에서 얼굴의 크기가 각각 다르기 때문에 구해진 랜드마크를 이용하여 들로네 삼각망을 구할 경우 위치가 서로 다르기 때문에 대응되는 삼각망을 구할 수 없다. 같은 이유로 그림 9(b)에서와 같이 볼록껍질을 이루는 점들을 이용하여 들로네 삼각망을 구해도 같은 위치의 들로네 삼각형이 생길 수 없다. 따라서 그림 9(c)에서와 같이 목표 영상의 들로네 삼각망에 대해서 참조 영상의 볼록껍질의 인덱스를 참조하여 같은 위치의 대응되는 삼각형 매쉬를 구할 수 있다. 다음 단계로는 모든 대응되는 목표 영상의 삼각망과 참조 영상의 삼각형끼리 어파인 변환을 수행해야 한다.

그림 10(a)는 목표 영상의 임의의 한 삼각망과 참조 영상의 삼각형 매쉬와의 어파인 변환 과정을 보여주고 있다.

Fig. 10. 
(a) Example of affine transform, (b) bounding box and mask, and (c) affine transform procedure of Delaunay triangle

여기에서 어파인 변환은 2.3의 어파인 변환에서 설명한 바와 같이 목표 영상의 삼각망의 세 개의 점과 대응되는 참조 영상의 삼각형 매쉬의 세 개의 점을 이용하여 어파인 변환행렬을 구하게 되는데, OpenCV의 getAffineTransform() 함수를 이용하여 구할 수 있다. 구해진 변환 행렬과 OpenCV의 warpAffine() 함수를 이용하여 참조 영상의 삼각형 매쉬를 어파인 변환하게 된다. 그리고 그림 10(b)는 목표 영상에서 하나의 삼각망에 대한 바운딩 박스를 구하고, 바운딩 박스의 좌상단에서의 오프셋의 크기에 따라 마스크를 생성하게 된다. 생성된 마스크는 그림 10(c)에서와 같이 어파인 변환된 영상과 곱셈 연산을 수행하여 얻은 결과를 목표 영상의 삼각망에 매핑하게 된다. 이러한 과정을 목표 영상의 모든 삼각망에 대해서 처리하면 전체 얼굴을 교체할 수 있게 된다.

어파인 변환이 완료되면 목표 영상의 볼록 껍질 내부가 참조 영상의 얼굴로 채워지게 된다. 따라서 목표 영상의 볼록껍질 바깥 부분과 어파인 변환 결과를 자연스럽게 합성해주는 심리스 블랜딩을 수행하게 되는데, 그림 11(a)는 심리스 블랜딩 과정을 보여주고 있다. 좌측의 영상은 어파인 변환이 완료된 영상을 뜻하고, 가운데 영상은 목표 영상의 얼굴 랜드마크로부터 구해진 볼록껍질, 즉 바뀔 얼굴 부분을 나타낸다. 오른쪽 그림은 심리스 블랜딩을 수행한 결과를 보여주고 있다. 그림 11(b)는 심리스 블랜딩을 수행할 때 어파인 변환된 영상을 목표 영상의 어느 부분에 위치시키는 하는 문제이다.

Fig. 11. 
(a) Example of seamless blending, (b) bounding box and center point of target image

본 논문에서는 목표 영상의 얼굴 랜드마크에서 볼록껍질을 이루는 점들의 바운딩 박스를 구한 다음, 구해진 바운딩 박스의 좌상단의 좌표와 우하단의 좌표의 가운데 좌표를 중심점으로 정하고 합성을 수행하였다.