Journal Archive

얼굴 랜드마크는 얼굴에서 특징이 되는 주로 돌출된 부분들을 말하며, 눈, 눈썹, 코, 입, 턱선 등 특징점이라고 할 수 있다. 이러한 얼굴 랜드마크들은 얼굴을 바로 세우는 정렬과 시점 방향 추정, 두 얼굴 영상에서 얼굴을 서로 교환하는 등 많은 부분에 응용할 수 있다[10]. 얼굴 랜드마크들을 검출하는 방법은 형태 예측을 해결하는 문제이다. 즉, 형태 예측기는 영상의 관심 영역에서 형태 예측 방법을 사용하여 얼굴의 중요한 특징점들을 검출하는 것을 말한다. 얼굴 랜드마크를 추출하는 단계는 먼저, 영상에서 얼굴 영역을 찾아내고, 찾아진 얼굴 영역에서 특징점들을 검출하는 단계를 거친다. 얼굴 영역을 찾는 방법은 HOG와 선형 SVM 오브젝트 검출기를 사용할 수도 있으며, 본 논문에서 사용한 Dlib 라이브러리의 정면 얼굴 검출기를 사용할 수도 있다. 본 논문에서 사용한 방법은 Kazemi 등[10]이 제안한 방법을 구현한 Dlib 라이브러리인 얼굴 랜드마크 검출방법을 사용한다. 이 방법은 얼굴 랜드마크 위치를 검출하기 위해 주어진 훈련 데이터에 회귀나무 앙상블을 학습하여 정확한 얼굴 랜드마크 위치를 실시간으로 구할 수 있다[11]. 그림 1은 68개의 얼굴 랜드마크를 구한 결과를 보여주고 있다. 그림 1(a)는 얼굴에서 찾을 68개의 랜드마크 위치를 보여주고 있고, 그림1(b)는 hillary 영상에서 랜드마크를 찾은 영상이다. 이 그림에서 보듯이 그림 1(a)의 찾을 위치와 같은 위치에 해당 랜드마크 특징점들이 잘 검출되는 것을 볼 수 있다. 그림 1(c)에서는 세 사람이 있는 영상에서 얼굴 랜드마크가 검출하였는데, 영상에서 하나의 얼굴뿐만 아니라 다수의 얼굴들도 잘 검출함을 알 수 있다.

Fig. 1. 
(a) Exmaple of 68 Facial Landmark, Detected landmarks in (b) hillary clinton image, (c) 3 person image

그림1의 (b), (c)에서 검출된 랜드마크는 붉은 점으로 표시하고, 그림 1(a)에서 매겨진 랜드마크 번호들을 해당 정점 옆에 파란색으로 표시하였다.

특징 기반 영상 모핑 기법은 Beier 등[6]이 제안한 알고리즘을 기반으로 한다. 이는 제어선을 이용하여 원본 영상과 목적 영상의 대응관계를 기술하고, 모핑 과정의 높은 수준의 제어를 통하여 모핑을 수행하게 된다. 즉, 제어선들은 원본 영상과 목적 영상 사이에서 특징들을 서로 연결하는 역할을 하며, 그림 2에서와 같이 화소와 제어선 사이의 수직 교차점을 구하고 화소와 수직 교차점 사이의 변위 정보와 제어선 내에서 수직 교차점의 위치 정보 두 가지를 활용하여 와핑 과정에서 목적 영상의 픽셀에 해당되는 원본 영상의 픽셀을 찾아가는 역방향 사상 방법을 사용한다. 그림 2에서는 목적 영상에서 제어선 PQ가 원본 영상에서 제어선 P^′Q^′에 대응되고, 목적 영상의 픽셀 X가 원본 영상의 픽셀 X^′로부터 복사된다. 그림 2에서의 파라미터인 u, v, X^′을 구하는 수식은 다음과 같다.

Fig. 2. 
Example of single pair of control line

수식 (1)의 u는 제어선을 따라서 위치하며, P에서 Q 방향으로 0과 1사이의 값을 가진다. 만약 제어선 바깥에 존재할 때에는 0보다 작거나 1보다 큰 값을 가진다. 그리고 수식(2)의 v는 제어선에서의 수직 거리를 나타내며 그림 2의 알고리즘은 1개의 제어선쌍인 경우를 보여주고 있다. 하지만, 일반적인 모핑에서는 여러 개의 제어선쌍이 지정되고 연속적으로 적용되어 모핑이 이루어지게 된다.

제어선이 여러 개일 때 각 제어선은 영상의 모든 픽셀에 영향을 미치게 된다. 그림 3에서 목적영상의 X에 대한 원본 영상의 X^′은 두 개의 제어선에 의해 계산된 X1'과 X2'의 두 픽셀 위치의 가중 평균치를 나타낸다. 또한, 픽셀이 여러 개의 제어선으로부터 영향 받는 것을 효율적으로 조정하기 위한 방법으로 식(4)와 같이 가중치를 사용할 수 있다.

Fig. 3. 
Example of multiple pair of control line

식(4)에서 length는 제어선의 길이를 뜻하며 제어선의 길이가 길수록 가중치가 커지며, dist는 제어선과 픽셀간의 거리를 의미하며, 픽셀과 제어선 사이의 거리가 가까울수록 가중치가 커짐을 알 수 있다. a, b, p는 제어선들의 영향을 제어하는 파라미터들인데, a값은 0으로 나누어지는 것을 방지하기 위해 사용되는 값으로 매우 작은 값을 가진다. p값은 제어선의 길이가 가중치에 영향을 주는 정도를 결정하는 값이며 0에서 1의 값을 가진다. b는 제어선의 길이와 거리의 변화에 따라 가중치의 변화 정도를 조절하는 값으로 일반적으로 0.5에서 2.0 사이의 값을 사용하며, 이 값이 커질수록 픽셀들은 먼 거리에 있는 제어선들의 영향을 적게 받게 조정할 수 있다. 즉, b값이 0이 되면, 픽셀은 모든 제어선들로부터 같은 영향을 받게 되며, b값이 커질수록 픽셀은 가까이에 있는 제어선의 영향만 받게 될 것이다. 다음은 원본 영상과 목적 영상을 원본으로 사용하여 모핑된 결과 영상을 구하는 과정이다.

단계1: 원본영상(I0)와 목적영상(I1)에서 제어선들을 선택한다.

단계2: 원본영상(I0)와 목적영상(I1)의 제어선을 보간하여 새로운 제어선을 가진 중간 프레임에 생성한다.

단계3: 원본영상(I0)에 대해서 각 제어선들을 이용하여 와핑된 중간 프레임(W0)을 구한다 .

단계4: 목적영상(I1)에 대해서 각 제어선들을 이용하여 와핑된 중간 프레임(W1)을 구한다.

단계5: 단계3과 단계4에서 구해진 와핑된 두 중간 프레임을 크로스 디졸브한다.

단계3과 단계4에서 사용된 다수 제어선 알고리즘은 그림 4와 같은 의사 코드로 계산할 수 있다.

Fig. 4. 
Multiple control line algorithm

본 논문에서는 모핑에 사용할 제어선을 Dlib 얼굴 랜드마크 검출기로 만들어진 얼굴의 주요부위에 대한 정점들을 서로 연결하여 제어선으로 사용하였다. 제어선을 사용하여 모핑을 수행할 때 가장 불편한 점은 제어선을 자동으로 만들 수 없기 때문에 제어선을 설정하는데 많은 시간과 노력이 든다는 점이다. 또한 원본 영상과 목적 영상사이의 대응되는 위치에 제어선들이 정확하게 존재해야 하는 어려운 점이 있다. 제어선들의 위치가 부정확한 경우 중간 프레임에 원하지 않는 잡음과 왜곡이 나타날 수 있다[5],[6]. Bhatt 등[5]은 제어선으로 6개의 특징선을 사용하였는데 두 눈, 코선, 입선, 눈썹을 사용하였다. 따라서 본 논문에서는 정확하고 효율적인 제어선을 구성하기 위해 그림1에서와 같은 방법으로 검출된 랜드마크 정점들을 서로 연결하는 방법을 사용하여 제어선을 손쉽게 생성하였다.

그림 6은 생성된 제어선들을 나타낸 것이다. 눈썹 제어선의 경우를 예를 들면, 왼쪽 눈썹은 그림 1의 18, 22 번째의 정점, 오른쪽 눈썹은 그림1의 23, 27번째 정점을 서로 연결하여 제어선을 구하였다.

Fig. 6. 
Control lines (original image), (b) contorl lines (target image)

이와 같은 방법으로 제어선을 구하면 제어선을 그리기 위한 노력을 들이지 않아도 될 뿐만 아니라 얼굴 랜드마크의 특징점들을 추출하여 정점들을 구하였기 때문에 제어선들의 위치가 얼굴의 주요 부위를 나타내기 때문에 모핑의 효율을 높일 수가 있다.

그림 6에서 생성된 제어선들을 보면 원본 영상과 목적 영상의 제어선들이 서로 대응되어 생성된 것을 볼 수 있다. 하지만 두 영상이 서로 다른 영상이기 때문에 제어선의 위치가 다소 상이하다. 따라서 중간 프레임을 만들 때 중간 프레임에서 생성된 제어선들은 원본 영상과 목적 영상의 제어선들을 서로 보간하여 만들어야 한다.

본 논문에서 사용된 방법은 그림 7에서와 같다. 원본 영상의 제어선과 목적 영상의 제어선의 좌표를 보간하여 중간 프레임의 제어선을 생성한다.

Fig. 7. 
Coordinate of Control line

중간 프레임의 개수는 사용자가 정할 수 있으며, 중간 프레임의 개수가 많을수록 계산시간은 많아지지만 자연스럽게 변화하는 모핑을 구현할 수 있다. 전체 프레임의 수를 N이라하고, k번째 중간 프레임의 제어선 양 끝점 좌표가 (x_p, y_p), (x_q, y_q), 원본 영상의 제어선 좌표는 (x₁, y₁), (x₂, y₂), 목적 영상의 제어선 좌표가 (x₃, y₃), (x₄, y₄)라고 가정할 때 중간 프레임의 끝점 좌표를 구하는 방법은 다음 수식과 같다.

수식 (5)의 u는 전체 프레임 개수에 대한 생성하고자 하는 중간 프레임의 위치에 따른 비율을 나타낸다. 크로스 디졸브에도 사용되며 원본 영상을 I₀, 목표 영상을 I₁, 모핑된 결과 영상을 M으로 나타낼 때, 수식 (8)의 방법으로 구해진다.

u의 값은 0에서 1사이의 값을 가지며, 0인 경우에는 원본 영상을 나타내며, 1인 경우에는 목적 영상이 된다. 그림 8은 본 논문에서 제안한 와핑 및 크로스 디졸브의 과정을 보여주는 그림이다.

Fig. 8. 
Warping and cross dissolve procedure