얼굴 랜드마크를 제어선으로 이용한 모핑 기법

Ⅰ. 서 론

두 영상 혹은 그 이상의 영상 사이를 점진적으로 바뀌게 하는 디지털 영상 처리기술인 모핑 기법은 교육 분야, 광고, 게임 분야 등에서 자주 사용되는 기술이다. 기본적으로 모핑은 영상의 보간을 통해 원본 영상과 목적 영상의 와핑을 수행하여 중간 프레임을 구하고, 구해진 중간 프레임간의 크로스 디졸브를 통해 원본 영상을 목적영상으로 점차적으로 변형해 가면서 모핑이 이뤄지는 것이다[1].

이러한 모핑을 수행하기 위해서는 원본 영상과 목적 영상 사이의 대응적인 특징이 있어야 한다. 이들 특징은 원본 영상과 목적 영상간의 특징점, 선분, 커브선, 메쉬 노드들의 대응쌍을 이용한다. 이러한 대응쌍들은 영상의 특징점이나 랜드마크와 같이 영상의 특성을 잘 나타내야 효율적인 모핑이 수행될 수 있다. 얼굴 모핑을 수행할 때, 제어선의 경우 사용자가 직접 모핑을 수행할 영상에 제어선을 그리거나 이 과정을 반자동으로 구현하여 모핑을 수행하는 방법들이 연구되고 있다[2]-[6]. 모핑을 수행함에 있어 자동화하기 어려운 점은 특징점을 찾아 서로 다른 영상들 사이에서 공통되는 대응 특징점들을 추출하기 어렵다는 점이 모핑의 자동화를 어렵게 한다고 볼 수 있다[6].

모핑 방법은 크게 제어선을 이용한 특징기반 모핑 방법[2]-[6]과 메쉬를 이용한 방법[7]-[9]이 있다. Park[9]은 얼굴 랜드마크의 특징점으로 들로네 삼각망을 이용하여 자동으로 메쉬를 생성하여 모핑하는 방법을 제안하였는데, 이 방법에서는 모핑을 수행할 때 얼굴 랜드마크를 사용하여 정확한 특징점들을 추출하고 사용자의 개입 없이도 자동적으로 모핑이 수행될 수 있도록 하였다.

본 논문에서는 Park[9]이 사용한 영상처리 유틸리티 중의 하나인 Dlib 라이브러리의 얼굴 랜드마크 검출 방법을 이용하여 원본과 목적 영상에서 68개의 특징점을 검출하여 모핑할 영상들 사이의 대응점으로 사용하였고, 이 대응점들 중 얼굴의 주요 부위를 나타내는 정점들을 서로 연결하여 제어선 쌍으로 제어선을 생성하였다. 이는 사용자가 제어선을 수동으로 설정하는 것이 아니라 정해진 특징점을 자동으로 연결하여 사용하기 때문에 모핑을 효율적으로 수행할 수 있게 된다. 또한, 랜드 마크를 추출할 때 얼굴의 주요부위에 대한 68개의 랜드마크를 추출하여 사용하기 때문에 원본 영상과 목적영상의 영상 간 특징점들에 대해 중간 프레임을 생성할 때 더욱 자연스러운 프레임을 만들게 된다. 즉, 와핑 과정의 중간 프레임들의 제어선들의 좌표를 선형 보간 등의 방법으로 정확하게 계산함으로써 모핑을 더욱 자연스럽게 할 수 있다.

본 논문은 2장에 관련 연구들에 대해 설명하고, 3장에서 본 논문에서 제안한 모핑 기법의 알고리즘에 대해 자세하게 설명하고자 한다. 그리고 4장에서는 시뮬레이션 결과와 고찰을 다루고, 마지막으로 5장에서는 결론과 향후 연구에 대해서 기술하였다.

Ⅱ. 관련 연구

본 논문에서 사용한 얼굴 랜드마크 검출과 특징 기반 이미지 모핑 방법에 대해 설명하고자 한다.

2-1 Facial Landmark

얼굴 랜드마크는 얼굴에서 특징이 되는 주로 돌출된 부분들을 말하며, 눈, 눈썹, 코, 입, 턱선 등 특징점이라고 할 수 있다. 이러한 얼굴 랜드마크들은 얼굴을 바로 세우는 정렬과 시점 방향 추정, 두 얼굴 영상에서 얼굴을 서로 교환하는 등 많은 부분에 응용할 수 있다[10]. 얼굴 랜드마크들을 검출하는 방법은 형태 예측을 해결하는 문제이다. 즉, 형태 예측기는 영상의 관심 영역에서 형태 예측 방법을 사용하여 얼굴의 중요한 특징점들을 검출하는 것을 말한다. 얼굴 랜드마크를 추출하는 단계는 먼저, 영상에서 얼굴 영역을 찾아내고, 찾아진 얼굴 영역에서 특징점들을 검출하는 단계를 거친다. 얼굴 영역을 찾는 방법은 HOG와 선형 SVM 오브젝트 검출기를 사용할 수도 있으며, 본 논문에서 사용한 Dlib 라이브러리의 정면 얼굴 검출기를 사용할 수도 있다. 본 논문에서 사용한 방법은 Kazemi 등[10]이 제안한 방법을 구현한 Dlib 라이브러리인 얼굴 랜드마크 검출방법을 사용한다. 이 방법은 얼굴 랜드마크 위치를 검출하기 위해 주어진 훈련 데이터에 회귀나무 앙상블을 학습하여 정확한 얼굴 랜드마크 위치를 실시간으로 구할 수 있다[11]. 그림 1은 68개의 얼굴 랜드마크를 구한 결과를 보여주고 있다. 그림 1(a)는 얼굴에서 찾을 68개의 랜드마크 위치를 보여주고 있고, 그림1(b)는 hillary 영상에서 랜드마크를 찾은 영상이다. 이 그림에서 보듯이 그림 1(a)의 찾을 위치와 같은 위치에 해당 랜드마크 특징점들이 잘 검출되는 것을 볼 수 있다. 그림 1(c)에서는 세 사람이 있는 영상에서 얼굴 랜드마크가 검출하였는데, 영상에서 하나의 얼굴뿐만 아니라 다수의 얼굴들도 잘 검출함을 알 수 있다.

Fig. 1.

(a) Exmaple of 68 Facial Landmark, Detected landmarks in (b) hillary clinton image, (c) 3 person image

그림1의 (b), (c)에서 검출된 랜드마크는 붉은 점으로 표시하고, 그림 1(a)에서 매겨진 랜드마크 번호들을 해당 정점 옆에 파란색으로 표시하였다.

2-2 특징 기반 영상 모핑 기법

특징 기반 영상 모핑 기법은 Beier 등[6]이 제안한 알고리즘을 기반으로 한다. 이는 제어선을 이용하여 원본 영상과 목적 영상의 대응관계를 기술하고, 모핑 과정의 높은 수준의 제어를 통하여 모핑을 수행하게 된다. 즉, 제어선들은 원본 영상과 목적 영상 사이에서 특징들을 서로 연결하는 역할을 하며, 그림 2에서와 같이 화소와 제어선 사이의 수직 교차점을 구하고 화소와 수직 교차점 사이의 변위 정보와 제어선 내에서 수직 교차점의 위치 정보 두 가지를 활용하여 와핑 과정에서 목적 영상의 픽셀에 해당되는 원본 영상의 픽셀을 찾아가는 역방향 사상 방법을 사용한다. 그림 2에서는 목적 영상에서 제어선 PQ가 원본 영상에서 제어선 P^′Q^′에 대응되고, 목적 영상의 픽셀 X가 원본 영상의 픽셀 X^′로부터 복사된다. 그림 2에서의 파라미터인 u, v, X^′을 구하는 수식은 다음과 같다.

$\[ u=\frac{\left(X-P\right)\cdot \left(Q-P\right)}{{‖Q-P‖}^2} \]$

(1)

$\[ v=\frac{\left(X-P\right)\cdot Perpendicular\left(Q-P\right)}{‖Q-P‖} \]$

(2)

$\[ X^{\text{'}}=P^{\text{'}}+u\cdot \left(Q^{\text{'}}-P^{\text{'}}\right)+\frac{v\cdot Perpendicular\left(Q^{\text{'}}-P^{\text{'}}\right)}{‖Q^{\text{'}}-P^{\text{'}}‖} \]$

(3)

Fig. 2.

Example of single pair of control line

수식 (1)의 u는 제어선을 따라서 위치하며, P에서 Q 방향으로 0과 1사이의 값을 가진다. 만약 제어선 바깥에 존재할 때에는 0보다 작거나 1보다 큰 값을 가진다. 그리고 수식(2)의 v는 제어선에서의 수직 거리를 나타내며 그림 2의 알고리즘은 1개의 제어선쌍인 경우를 보여주고 있다. 하지만, 일반적인 모핑에서는 여러 개의 제어선쌍이 지정되고 연속적으로 적용되어 모핑이 이루어지게 된다.

제어선이 여러 개일 때 각 제어선은 영상의 모든 픽셀에 영향을 미치게 된다. 그림 3에서 목적영상의 X에 대한 원본 영상의 X^′은 두 개의 제어선에 의해 계산된 $$ X_1^{\text{'}}$$과 $$ X_2^{\text{'}}$$의 두 픽셀 위치의 가중 평균치를 나타낸다. 또한, 픽셀이 여러 개의 제어선으로부터 영향 받는 것을 효율적으로 조정하기 위한 방법으로 식(4)와 같이 가중치를 사용할 수 있다.

Fig. 3.

Example of multiple pair of control line

$\[ weight={\left(\frac{lengh{t}^p}{\left(a+dist\right)}\right)}^b \]$

(4)

식(4)에서 length는 제어선의 길이를 뜻하며 제어선의 길이가 길수록 가중치가 커지며, dist는 제어선과 픽셀간의 거리를 의미하며, 픽셀과 제어선 사이의 거리가 가까울수록 가중치가 커짐을 알 수 있다. a, b, p는 제어선들의 영향을 제어하는 파라미터들인데, a값은 0으로 나누어지는 것을 방지하기 위해 사용되는 값으로 매우 작은 값을 가진다. p값은 제어선의 길이가 가중치에 영향을 주는 정도를 결정하는 값이며 0에서 1의 값을 가진다. b는 제어선의 길이와 거리의 변화에 따라 가중치의 변화 정도를 조절하는 값으로 일반적으로 0.5에서 2.0 사이의 값을 사용하며, 이 값이 커질수록 픽셀들은 먼 거리에 있는 제어선들의 영향을 적게 받게 조정할 수 있다. 즉, b값이 0이 되면, 픽셀은 모든 제어선들로부터 같은 영향을 받게 되며, b값이 커질수록 픽셀은 가까이에 있는 제어선의 영향만 받게 될 것이다. 다음은 원본 영상과 목적 영상을 원본으로 사용하여 모핑된 결과 영상을 구하는 과정이다.

단계1: 원본영상(I0)와 목적영상(I1)에서 제어선들을 선택한다.

단계2: 원본영상(I0)와 목적영상(I1)의 제어선을 보간하여 새로운 제어선을 가진 중간 프레임에 생성한다.

단계3: 원본영상(I0)에 대해서 각 제어선들을 이용하여 와핑된 중간 프레임(W0)을 구한다 .

단계4: 목적영상(I1)에 대해서 각 제어선들을 이용하여 와핑된 중간 프레임(W1)을 구한다.

단계5: 단계3과 단계4에서 구해진 와핑된 두 중간 프레임을 크로스 디졸브한다.

단계3과 단계4에서 사용된 다수 제어선 알고리즘은 그림 4와 같은 의사 코드로 계산할 수 있다.

Fig. 4.

Multiple control line algorithm

Ⅲ. 제안한 모핑 기법

본 논문에서 제안한 모핑 방법은 원본 영상과 목표 영상이 주어졌을 때, 얼굴 랜드마크를 찾아 얼굴의 주요부위에 해당하는 눈, 코, 입 등의 랜드마크의 정점을 연결한 제어선들을 자동으로 만든 다음, 그림 4에서 사용한 알고리즘을 사용하여 중간 프레임들을 만듦으로써 모핑을 수행하게 된다. 전체적인 블록 다이어그램은 그림5와 같다.

Fig. 5.

Block Diagram of Morphing Procedure

3-1 랜드마크를 이용한 제어선 생성

본 논문에서는 모핑에 사용할 제어선을 Dlib 얼굴 랜드마크 검출기로 만들어진 얼굴의 주요부위에 대한 정점들을 서로 연결하여 제어선으로 사용하였다. 제어선을 사용하여 모핑을 수행할 때 가장 불편한 점은 제어선을 자동으로 만들 수 없기 때문에 제어선을 설정하는데 많은 시간과 노력이 든다는 점이다. 또한 원본 영상과 목적 영상사이의 대응되는 위치에 제어선들이 정확하게 존재해야 하는 어려운 점이 있다. 제어선들의 위치가 부정확한 경우 중간 프레임에 원하지 않는 잡음과 왜곡이 나타날 수 있다[5],[6]. Bhatt 등[5]은 제어선으로 6개의 특징선을 사용하였는데 두 눈, 코선, 입선, 눈썹을 사용하였다. 따라서 본 논문에서는 정확하고 효율적인 제어선을 구성하기 위해 그림1에서와 같은 방법으로 검출된 랜드마크 정점들을 서로 연결하는 방법을 사용하여 제어선을 손쉽게 생성하였다.

그림 6은 생성된 제어선들을 나타낸 것이다. 눈썹 제어선의 경우를 예를 들면, 왼쪽 눈썹은 그림 1의 18, 22 번째의 정점, 오른쪽 눈썹은 그림1의 23, 27번째 정점을 서로 연결하여 제어선을 구하였다.

Fig. 6.

Control lines (original image), (b) contorl lines (target image)

이와 같은 방법으로 제어선을 구하면 제어선을 그리기 위한 노력을 들이지 않아도 될 뿐만 아니라 얼굴 랜드마크의 특징점들을 추출하여 정점들을 구하였기 때문에 제어선들의 위치가 얼굴의 주요 부위를 나타내기 때문에 모핑의 효율을 높일 수가 있다.

3-2 와핑 및 크로스 디졸브

그림 6에서 생성된 제어선들을 보면 원본 영상과 목적 영상의 제어선들이 서로 대응되어 생성된 것을 볼 수 있다. 하지만 두 영상이 서로 다른 영상이기 때문에 제어선의 위치가 다소 상이하다. 따라서 중간 프레임을 만들 때 중간 프레임에서 생성된 제어선들은 원본 영상과 목적 영상의 제어선들을 서로 보간하여 만들어야 한다.

본 논문에서 사용된 방법은 그림 7에서와 같다. 원본 영상의 제어선과 목적 영상의 제어선의 좌표를 보간하여 중간 프레임의 제어선을 생성한다.

Fig. 7.

Coordinate of Control line

중간 프레임의 개수는 사용자가 정할 수 있으며, 중간 프레임의 개수가 많을수록 계산시간은 많아지지만 자연스럽게 변화하는 모핑을 구현할 수 있다. 전체 프레임의 수를 N이라하고, k번째 중간 프레임의 제어선 양 끝점 좌표가 (x_p, y_p), (x_q, y_q), 원본 영상의 제어선 좌표는 (x₁, y₁), (x₂, y₂), 목적 영상의 제어선 좌표가 (x₃, y₃), (x₄, y₄)라고 가정할 때 중간 프레임의 끝점 좌표를 구하는 방법은 다음 수식과 같다.

$\[ u=k/N \]$

(5)

$\[ \begin{array}{cc}{x}_p=x_1+u\left(x_3-x_1\right),\hfill & y_p=y_1+u\left(y_3-y_1\right)\hfill \end{array} \]$

(6)

$\[ \begin{array}{cc}{x}_q=x_2+u\left(x_4-x_2\right),\hfill & y_q=y_2+u\left(y_4-y_2\right)\hfill \end{array} \]$

(7)

수식 (5)의 u는 전체 프레임 개수에 대한 생성하고자 하는 중간 프레임의 위치에 따른 비율을 나타낸다. 크로스 디졸브에도 사용되며 원본 영상을 I₀, 목표 영상을 I₁, 모핑된 결과 영상을 M으로 나타낼 때, 수식 (8)의 방법으로 구해진다.

$\[ M\left(x,y\right)=\left(1-u\right)I_0\left(x,y\right)+u{I}_1\left(x,y\right) \]$

(8)

u의 값은 0에서 1사이의 값을 가지며, 0인 경우에는 원본 영상을 나타내며, 1인 경우에는 목적 영상이 된다. 그림 8은 본 논문에서 제안한 와핑 및 크로스 디졸브의 과정을 보여주는 그림이다.

Fig. 8.

Warping and cross dissolve procedure

Ⅳ. 시뮬레이션 결과 및 고찰

본 논문의 모핑 알고리즘을 구현하기 위해 사용된 실험 영상은 그림 9과 같이 300 × 340 크기의 boy 영상과 lady 영상을 사용하였으며, CPU는 인텔 Xeon(R) E3-1270 v3. 3.5GHz, OpenCV 3.4.3 버전으로 비쥬얼 스튜디오 환경에서 실험을 수행하였다.

Fig. 9.

Test Image (a) boy, (b) lady

생성한 제어선은 그림 6에서와 같이 15개를 사용하였으며 가중치를 나타내는 수식(4)에서 a=0.001, b=2.0, p=0.75를 사용하였다.

본 논문에서 사용한 제어선들은 얼굴 랜드마크의 정점들 중 주요 부위를 설정했고, Dlib 라이브러리의 정면 얼굴 검출기를 사용하여 정점들을 찾았기 때문에 이를 연결한 제어선들은 원본 영상과 목적 영상 간에 대응쌍을 잘 이룰 수 있다는 장점이 있다.

제어선들을 사용자가 수동으로 그릴 수도 있지만 정확하지 않은 제어선들을 추가하게 되면 중간 프레임의 영상의 왜곡이 발생하게 되어 모핑 결과가 나빠지게 된다. 그림 10은 제어선을 잘못 설정한 예를 보여주고 있는데, 얼굴 오른쪽 부분의 빨간색으로 표시한 제어선이 원본 영상(좌)과 목적 영상(우)이 서로 대응되지 못하고 방향과 위치가 얼굴의 특성을 잘 나타내지 못한 경우를 나타낸 것이다.

Fig. 10.

Example of wrong control lines

이와 같이 제어선이 잘못 설정된 경우에는 모핑 결과에 왜곡이 발생하게 되는데, 그림 11은 잘못된 제어선 설정의 결과를 보여주고 있으며, 15개 제어선들을 사용하고 6개의 중간 프레임을 생성한 모핑 결과이다. 목적 영상에 가까워질수록 그림 10에 잘못된 제어선 설정으로 인해 오른쪽 귀부분에 왜곡이 발생함을 알 수 있다. 하지만 본 논문에서는 제어선 쌍의 불일치가 발생하지 않도록 랜드마크 정점들을 연결하여 사용하기 때문에 이러한 문제의 발생을 피할 수 있다.

Fig. 11.

Morphing Result of using control lines of Fig. 10 (6 intermediate frame, 15 control lines)

그림 12는 모핑 결과를 보여주는 그림이다. 그림 12(a)는 제어선 15개, 중간 프레임을 6개를 생성하면서 모핑이 이뤄지도록 구현한 결과이고, 그림 12(b)는 그림 6의 제어선에서 콧날과 가운데 턱선의 제어선을 제거한 13개의 제어선을 사용하였고, 중간 프레임을 3개 생성한 결과 영상이다.

Fig. 12.

Morphing Result using (a) 6 intermediate frame, 15 control lines, (b) 3 intermediate frame, 13 control lines

실험에서 더 많은 제어선을 추가하거나 혹은 제어선들을 일부 제거할 수 있도록 구현하였으며, 미리 정해진 정점을 연결하여 제어선을 생성하는 방법과 얼굴 랜드마크 정점을 마우스로 선택하여 선택된 정점을 서로 연결하여 제어선들을 쉽게 추가할 수 있도록 구현하였다.

Ⅴ. 결 론

본 논문은 얼굴 모핑의 방법 중 정점들을 이용하여 모핑을 위한 제어선들을 생성한 다음 원본 영상에서 목표영상으로의 와핑과 크로스 디졸브를 통해 모핑을 구현하였다.

정점은 얼굴의 주요 부위 특징점을 잘 검출하는 Dlib 얼굴 랜드마크 검출기를 이용하여 생성하였으며, 생성된 정점을 서로 연결하여 모핑에 필요한 제어선들을 원본 영상과 목표 영상에 대응되게 생성하였다. 이는 사용자가 부가적으로 제어선을 수동으로 그려주는 것이 아니라, 얼굴 모핑에서 얼굴의 주요한 부분을 특징점으로 하는 랜드마크들을 이용함으로써 무엇보다도 자동으로 생성한다는 점이 장점이라고 할 수 있다. 물론 수동으로 정점을 추가할 수도 있어 더욱 정교한 모핑 결과를 얻을 수 있을 수 있다는 것을 확인하였다.

추후 연구과제로는 특징점을 추출하는 알고리즘과 원본 영상과 목표 영상의 특징점의 매핑과 정교한 매핑을 위해 영상을 격자로 나누어서 특징점을 선택하여 제어선들을 생성하고 제어선의 우선순위를 두어 사용자가 제어선 개수를 선택할 수 있는 연구도 진행하고자 한다.

Acknowledgments

본 연구는 2018년도 나사렛대학교 학술연구비 지원 및 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초 연구 사업임 (No. R1D1A1B06034648).

참고문헌

• G. Wolberg, “Image morphing: a Survey”, The Visual Computer, 14(8-9), p360-372, Dec), (1998. [https://doi.org/10.1007/s003710050148]
• H. J. Lee, and N. Y. Kwak, “A Field-based Morphing with Semi-automatic Control Lines Matching Using Image Segmentation”, The Journal of Digital Contents Society, 5(4), p269-274, Dec), (2004.
• E. J. Kim, S. H. Yoon, and J. Lee, “Acceleration of Feature-Based Image Morphing Using GPU”, Journal of the Korea Computer Graphics Society, 20(2), p13-24, May), (2014. [https://doi.org/10.15701/kcgs.2014.20.2.13]
• H. J. Lee, H. M. Kim, and N. Y. Kwak, “Automatic Generation of the Control Line Using Polygon based Vertex Search for Field-based Morphing”, in Proceeding of the Korea Contents Society(2004), 2(1), p377-384, (2004).
• B. G. Bhatt, and H. M. Joshi, “Feature based Image Morphing”, International Journal of Computer Science and Technology, 2(3), p46-48, Sep), (2011.
• T. Beier, and S. Neely, “Feature-Based Image Metamorphosis”, Proceeding of SIGGRAPH’92 on Computer Graphics, 26(2), p35-42, (1992). [https://doi.org/10.1145/133994.134003]
• Y. K. Kim, and B. R. Lee, “Field and Mesh-Based Automatic Morphing of Face Images Using Feature Points Extraction”, Journal of KIISE, 38(5), p240-247, May), (2011.
• K. T. Hwang, “Morphing and Warping using Delaunay Triangulation in Android Platform”, Journal of Korea Game Society, 10(6), p137-146, Dec), (2010.
• K. N. Park, “A Facial Morphing Method Using Delaunay Triangle of Facial Landmarks”, The Journal of Digital Contents Society, 19(1), p213-220, Jan), (2018.
• V. Kazemi, and J. Sullivan, “One Millisecond Face Alignment with an Ensemble of Regression Trees”, in ECCV, p679-692, (2014).
• Dlib C++ Library site: http://dlib.net
• S. T. Jung, Practical Image Processing using Visual C++, 3rd ed., Life & Power Press, (2014).