보로노이 다이어그램과 들로네 삼각분할 기반 포유류 얼굴 패턴 모델 연구

Ⅰ. 서 론

AI를 비롯한 다양한 기술의 발전과 보편화는 미디어 콘텐츠의 생산을 급격하게 증가시키고 있다. 이러한 현상을 배경으로 다양한 미디어 콘텐츠가 개발되고 있다. 특히 콘텐츠의 차별화를 위하여 독특한 캐릭터를 개발 하여 활용하고 있으며 캐릭터의 중요도는 점점 높아지고 있다. 또한 상황에 따라 반응하는 스마트 미디어의 형태가 확산되고 있으며 이로 인하여 미디어 콘텐츠의 개발에 있어서 자동화를 비롯한 AI시스템의 지원이 중요해지고 있다[1].

캐릭터 산업은 많은 가능성을 가진 산업분야이며 캐릭터의 속성에 대한 다양한 분석 연구가 진행되고 있다[2]. 특히 카카오 프랜즈의 라이언, EBS 자이언트 펭TV의 펭수 등 동물을 의인화하여 개발된 캐릭터가 캐릭터 산업의 높은 수익성과 가능성을 보여주고 있다. 표준 국어 대사전에 따르면 캐릭터란 "소설이나 연극 따위에 등장하는 인물. 또는 작품 내용 속에서 드러나는 인물의 개성과 이미지", "소설, 만화, 극 따위에 등장하는 독특한 인물이나 동물의 모습을 디자인에 도입한 것" 이라고 정의하고 있는데, 개인이 가진 독특한 개성과 특징을 강조하고 있다[3]. 이처럼 개인의 특징과 개성을 표현하기 위하여 캐릭터의 개발은 동물을 중심으로 한 다양한 개체를 의인화 하는 경우가 많다. 캐릭터의 의인화는 표현하고자 하는 사람의 개성과 특성을 분석하여 동물 또는 사람이 아닌 사물에 대한 보편화된 특성을 기반으로 그 이미지를 사람처럼 표현한 것이다. 따라서 특정개인을 위한 캐릭터의 개발에 적용하기 위한 동물의 종류를 선정하는데 있어서 규칙성을 찾을 수 있다면 캐릭터 개발에서 많은 부분을 자동화하거나 효율적인 작업이 가능해질 것이다.

이에 본 논문에서는 동물의 얼굴을 기반으로 하는 캐릭터를 개발하고자 할 때, 동물의 종류를 선택하는 기준이 될 수 있는 규칙성을 확인하고자 한다. 이를 위하여 눈, 코, 입, 귀와 같은 얼굴을 구성하는 요소에 대한 보로노이 다이어그램을 기반으로 동물 중에서도 포유류의 기본적인 형태를 분석하였다. 그리고 얼굴의 각 구성 요소를 중심점으로 하는 보로노이 다각형의 면적 사이의 구성 비율을 조사함으로써 포유류의 각 종에 따른 얼굴 구성 요소의 연관성을 분석, 제시하고자 한다. 사람을 포함한 동물의 얼굴은 눈, 코, 입, 귀의 동일한 구성요소를 가지며 각 동물의 종에 따라 특정적 면적 비율을 가지고 있다. 따라서 각 동물의 특징적인 비율을 기반으로 구성요소의 특징 값을 비교한다면 캐릭터의 개발을 위한 동물의 종류를 선택하는데 의미가 있는 기준을 확인할 수 있을 것으로 기대한다.

본 논문은 다음과 같이 구성된다. 먼저 2장에서는 기존의 연구 내용과 관련된 배경지식을 소개한다. 3장에서는 본 연구에 적용된 연구 방법을 소개하며 실험에 사용된 데이터의 구성과 활용을 소개한다. 4장에서는 실험의 결과와 분석에 대한 고찰을 다루고 마지막으로 5장에서 결론을 맺는다.

Ⅱ. 기존 연구 및 배경 지식

Ⅲ. 연구 방법

3-1 연구 절차

본 연구는 먼저 ① 데이터 수집, ② 데이터 전처리의 과정을 통해 필요한 데이터를 확보하였고 ③ 데이터의 평균 값 계산과 보로노이 다이어그램 생성, ④ 보로노이 다이어그램의 셀 별 영역 및 면적 비율 계산의 과정을 거쳐 수행되었다. 또한 기존에 연구되었던 각 얼굴 구성 요소 간의 거리의 비율도 각 포유류의 종별로 비교, 분석하였다.

1) 데이터 수집

실험에 필요한 동물의 얼굴 이미지는 저작권 문제가 없는 픽사베이(pixabay.com)[10]로부터 60종의 동물의 얼굴 이미지를 확보하였다. 비교 실험에 사용된 60종의 동물의 선택 기준은 1753년 린네의 생물학적 분류체계에 따라 목(Order), 과(Family), 종(Species)을 기준으로 하였다. 본 연구의 목적은 포유류의 얼굴의 기본적이고 특징적인 형태를 분석, 제안함으로써 캐릭터 개발 등의 자동화 시스템 등 산업분야에 대한 활용을 목적으로 하므로 동물의 선택은 1940년부터 2009년까지의 애니메이션에서 활용된 동물 캐릭터 중 같은 종으로 분류된 분류 결과 중에서 추출된 동물의 종을 이용하였다[11]. 이 중에서 캐릭터가 아닌 실제 사진을 이용하여 딥러닝을 통하여 분류하였을 때, 명확히 구분되지 않는 종은 그 상위에 속하는 분류로 통합시키는 방법을 통하여 다시 20종의 동물을 선택하였다. 이러한 방법으로 선택된 20종의 동물에 대하여 실제 얼굴 사진을 확보하여 실험에 사용하였다. 표 1은 실험에서 사용한 동물의 분류와 데이터로 사용된 동물의 얼굴 사진의 수이다.

Table 1.

Category of animals and number of images per animal used in the experiment

2) 데이터 전처리

본 연구에서는 확보한 동물의 얼굴 이미지에서 각 동물별로 공통된 특징을 추출하고 일반화 된 얼굴의 구성 요소의 데이터를 기반으로 연관성을 발견하고자 한다. 따라서 모든 동물의 이미지에서 공통된 특징 점의 좌표를 추출하는 데이터 전처리 과정을 거친다. 공통된 특징 점으로는 얼굴의 중심점, 왼쪽 눈의 중심점, 오른쪽 눈의 중심점, 코의 중심점, 입의 중심점, 왼쪽 귀의 중심점, 오른쪽 귀의 중심점의 7개의 좌표를 추출하였으며 추출 방법으로는 딥러닝 모델 중 YOLO 모델을 이용하여 각 구성 요소를 검출하는 방법을 사용하였다. YOLO 모델을 이용한 검출 결과로는 각 구성요소에 대하여 중심점의 좌표 (x, y)와 각 구성요소의 폭(width)과 높이(height)를 얻을 수 있다. 표 2는 동물의 얼굴에서 구성 요소의 좌표 및 데이터를 추출하는 예시를 보여준다. 각 구성 요소에 대하여 구성 요소의 왼쪽 끝, 오른쪽 끝, 위쪽 끝, 아래쪽 끝의 좌표를 사용하였다.[12]

Table 2.

Example of extracting component coordinates from animal face

각 구성 요소에 대하여 구성 요소의 왼쪽 끝, 오른쪽 끝, 위쪽 끝, 아래쪽 끝의 좌표는 YOLO 모델에서 검출한 각 구성요소의 중심점의 좌표(x, y)와 구성 요소의 폭과 높이를 이용하여 계산하였다. 검출된 데이터 중에서 얼굴의 중심점은 얼굴의 구성 요소가 아니며 보로노이 다이어그램의 생성 시 코 , 입의 중심점의 좌표와 영역이 겹쳐져 다각형의 생성에 잘못된 영향을 미치므로 실험의 대상에서 제외하였다. 반면 얼굴의 중심점을 기반으로 계산된 얼굴 전체의 폭과 높이는 이후의 단계에서 계산할 보로노이 다각형의 면적에 영향을 미치므로 얼굴의 중심점에서 계산한 얼굴의 왼쪽 끝, 오른쪽 끝, 위쪽 끝, 아래쪽 끝의 좌표는 유지하였다. 얼굴의 구성요소인 눈, 코, 귀, 입 외에 얼굴 자체에 대한 폭과 높이를 사용하는 이유는 동물별로 얼굴의 높이와 폭이 상이하므로 각 구성요소 사이의 위치, 배치비율, 차지하는 면적이 서로 달라지기 때문이다. 따라서 총 7개의 구성요소 당 5개씩의 좌표로 구성된 35개의 특징 점 중에서 얼굴의 중심점 좌표를 제외한 34개의 특징 점을 실험에 사용하였다.

3) 데이터 평균 값 계산과 보로노이 다이어그램 생성

동물의 얼굴 이미지는 각 동물 별로 모두 다른 얼굴을 하고 있으며 얼굴의 각도와 얼굴의 크기도 서로 다르다. 또한 각 동물 별로 실험에 사용한 이미지의 수도 서로 다르다. 따라서 본 연구에서는 동일한 종의 동물의 모든 이미지에 대하여 각 구성요소별로 평균값을 계산하여 사용하였다. 보로노이 다이어그램의 생성은 파이썬의 Scipy 라이브러리의 1.5.4 버전을 이용하여 생성하였다.

4) 보로노이 다이어그램의 셀 별 영역 및 면적 비율 계산

보로노이 다이어그램을 생성한 후, 각 정점을 기준으로 그려진 보로노이 다각형의 영역(보로노이 셀)의 면적을 계산한다.

보로노이 셀의 면적 계산에는 신발끈 공식을 적용하였다. 신발끈 공식은 직교 좌표계가 적용된 평면의 위에 존재하는 다수의 점으로 구성된 다각형의 면적을 계산하는 알고리즘이다. 보로노이 셀의 각 정점을 연결하는 직선과 보로노이 셀 내부의 중심점을 기준으로 각각의 삼각형으로 만들고, 그 면적을 행렬을 이용하여 계산한다. 행렬의 각 값을 양방향으로 교차하여 교차영역을 차감하고 2로 나누면 원하는 다각형의 면적을 구할 수 있다. 신발끈 공식의 수식은 (1)과 같다. 수식 (1)에서 A는 다각형의 영역을 나타내며 n은 다각형의 측면의 개수, (x_i,y_i) i=1,2, ...,n은 다각형의 정점을 나타낸다. 그림 1은 동물의 얼굴의 각 구성요소의 중심점을 기반으로 하는 보로노이 다이어그램에서 각 정점에 따른 영역의 배치 형태를 보여준다.

$\[ A=\frac{1}{2}\left|\sum _{i=1}^{n-1}{x}_i{y}_{i+1}+x_n{y}_1-\sum _{i=1}^{n-1}{x}_{i+1}{y}_i-x_1{y}_n\right| \]$

(1)

Fig. 1.

Arrangement of regions according to each vertex in Voronoi diagram

표 3은 각 보로노이 셀이 가리키는 동물의 얼굴의 구성 요소를 나타낸다. 표 4는 각 실험 대상 동물을 생물 분류 체계의 목, 과, 종에 따라 구분하고 그 분류에 따른 특징을 살펴보기 위한 실험 대상 동물들의 분류 결과를 보여준다. 표 5는 실험에 반영된 동물 중, 늑대의 전체 데이터의 평균값에 대한 보로노이 다이어그램과 한 마리에 대한 보로노이 다이어그램의 예를 보여준다.

Table 3.

Components of the animal face pointed to by the Voronoi cell

Table 4.

Classification results according to the biological classification system for the animals to be tested

Table 5.

Voronoi diagram for the mean value of all wolves data and Voronoi diagram for one wolf

Ⅳ. 실험 결과 분석

실험 대상 동물 20종에 대하여 보로노이 다이어그램을 구성하는 각 다각형의 면적을 비교하였다. 실험에 사용된 각 동물들의 이미지에서 얼굴이 차지하는 비율이 이미지마다 서로 다르므로 실제 면적이 아닌 전체 얼굴에서 해당영역이 차지하는 비율을 계산하여 비교하였다. 총 34개의 항목 중에서 얼굴 왼쪽, 오른쪽, 아래쪽 영역과 왼쪽 눈의 왼쪽 영역, 오른쪽 눈의 오른쪽 영역, 입의 왼쪽 영역과 오른쪽 영역, 왼쪽 귀의 왼쪽, 위쪽, 아래쪽, 영역, 오른쪽 귀의 오른쪽, 위쪽, 아래쪽 영역의 13개 항목은 외부의 면과 접하기 때문에 왜곡된 면적이 계산되어 나오므로 비교 대상에서 제외하였다. 데이터 수집 및 전처리 과정에서 얼굴의 왼쪽, 오른쪽, 위쪽, 아래쪽을 포함한 것도 이와 같이 왜곡된 면적이 얼굴 내부의 구성요소에 미치는 영향을 최소화하기 위한 것이다. 외부 면과 접하는 항목을 제외한 나머지 21개 항목을 대상으로 면적 비율을 다시 얼굴 위쪽(이마) 영역, 눈 주변 영역, 코 주변 영역, 입 주변 영역, 귀 주변 영역의 5개 영역으로 분류하여 면적 비율을 비교하였다. 5개의 영역으로 분류한 이유는 왼쪽 눈과 오른쪽 눈의 주변, 왼쪽 귀와 오른쪽 귀의 주변은 대부분 대칭에 가까운 형태이므로 함께 묶어서 처리하였다. 비교결과 우제목/경우제목의 소과에 속하는 동물들은 이마에 해당하는 머리 위쪽의 영역이 0.5473~0.8535에 달하는 넓은 영역을 차지하고 있음을 알 수 있었다. 그 외의 우제목/경우제목에 해당하는 동물은 0.1008~0.1442의 면적을 차지하였다.

말의 경우는 머리 위쪽의 영역이 매우 좁은 0.049를 표시하고 있는데, 얼굴의 길이는 길지만 눈의 위치가 위쪽으로 배치되어 있어 실제 머리 위쪽의 면적은 좁게 나타나는 것으로 확인되었다. 반면 코의 영역은 0.3882에 해당하는 넓은 영역을 차지하고 있었다. 식육목의 고양잇과의 경우 머리 위쪽의 면적과 눈, 코, 입 주변 영역의 비율이 약 1:3:2:1에 가까운 비율을 보여주고 있는데, 개량이 많이 이루어진 개와 고양이의 경우는 동일한 분류의 다른 동물들과 다소 다른 비율을 보여주고 있다. 식육목의 개과에 해당하는 여우와 늑대의 경우는 머리 위쪽과 입 주변의 영역이 고양잇과에 비하여 좁은 면적을 차지하고 있었다. 이와 같은 결과를 통해 각 동물들은 소속된 분류에 따라 구성 요소의 면적 비율이 유사함을 확인할 수 있었다. 표 6은 동물 얼굴 구성요소 별 면적 비율을 보여준다. 표 7은 동물 분류에 따른 얼굴 구성요소의 면적 비율의 예시를 방사형 차트로 보여준다. 표 7에서 고양잇과에 속하는 사자와 호랑이, 개과에 속하는 여우와 늑대가 서로 비슷한 형태를 가지고 있음을 확인할 수 있다.

Table 6.

Area ratio by animal face component

Table 7.

Examples of Radar chart of face component area ratio by classification

다음으로 실험대상 동물 20종에 대하여 두 눈 사이의 거리를 측정, 비교하였다. 실험에 사용된 각 동물들의 이미지에서 얼굴이 차지하는 비율이 이미지마다 서로 다르므로 실제 거리가 아니라 얼굴의 폭을 기준으로 하여 눈 사이의 거리가 얼굴에서 차지하는 비율을 계산하여 비교하였다. 비교 결과 우제목/경우제목의 소과에 속하는 동물들은 눈 사이의 거리가 0.6730~ 0.7257의 범위에 속해 있으며 우제목/경우제목에 속하는 다른 동물들은 눈 사이의 거리가 0.5227~0.5644의 범위에 속해 있었다.

우제목/경우제목과 유사한 외형을 가진 말목의 경우는 0.6152의 값을 보였다. 식육목에 해당하는 고양잇과, 개과에 속하는 동물들은 0.3361~0.4668의 범위에 속해 있었다. 개의 경우 많은 품종개량을 통해 그 형태가 기준 형태와 많이 차이가 나지만 눈 사이의 거리의 비율은 그 범위를 크게 벗어나지 않는 결과를 보였다. 식육목에 속하는 기타 동물들의 경우도 실험대상 20종 중 유일하게 바다생물인 물개(0.5251)를 제외하면 0.3278 ~0.3673의 범위에 속해 있어 식육목의 범위 안에 포함되었다. 토끼목과 쥐목의 동물들은 우제목/경우제목의 범위에 가까운 결과를 보였다. 표 8은 동물 별 눈 사이의 거리 비율의 비교 결과를 보여준다. 동물의 표기 순서는 표 4에서 제시된 분류체계에 따른 순서대로 표시하였다. 그림 2는 동물 별 눈 사이의 거리 비율에 대한 방사형 차트를 나타낸다.

Table 8.

Category of animals and number of images per animal used in the experiment

Fig. 2.

Radar chart of the ratio of distance between eyes by animal

지금까지의 비교 결과를 통하여 포유류의 경우 각 소속 분류에 따라 구성 요소를 중심점으로 한 보로노이 다이어그램의 각 다각형의 면적과 구성 요소 간의 거리가 특정 비율의 범위에 포함된다는 것을 확인할 수 있었다. 이러한 실험 결과를 바탕으로 각 동물별 얼굴 모델의 패턴을 각 동물의 얼굴 구성 요소의 중심점을 기준으로 보로노이 다이어그램을 통한 영역 비율과 들로네 삼각분할을 통하여 영역 분할을 수행해 보면 표 9와 같은 얼굴 모델의 패턴을 얻을 수 있었다.

Table 9.

A graph showing the total data of each animal's face component, a Voronoi diagram centered on the average value of the coordinates, and a Delaunay triangulation

Ⅴ. 결 론

본 논문에서는 20종의 포유류를 선택하여 각 동물별 얼굴에 대한 특징적인 형태를 분석하고 이를 기반으로 포유류의 얼굴 패턴 모델을 제안하였다. 각 동물의 얼굴 데이터의 평균값을 기반으로 보로노이 다이어그램을 생성하였고 각 영역의 면적 비율과 각 구성 요소 사이의 거리 비율을 비교, 분석하였다. 그 결과 포유류의 얼굴은 종에 따라 특징적인 면적 비율을 가지고 있음을 확인하였고, 생성된 보로노이 다이어그램을 기반으로 포유류의 종에 따른 얼굴 모델 패턴을 들로네 삼각분할을 통하여 산출하였다. 산출된 동물의 얼굴 패턴을 활용한다면 다양한 산업분야에서 동물의 종류를 선택하는 유의미한 기준이 될 것이다. 또한 제안된 얼굴 모델 패턴을 활용하면 각 동물의 유사성과 차별성의 기준도 확보 가능하며, 패턴 모델은 캐릭터 디자인 자동화 및 범용적인 얼굴 정보의 구분이 필요한 시스템과 캐릭터 콘텐츠 산업에 기여할 것으로 기대된다.

향후에는 더 많은 비교 연구를 통하여 보다 신뢰성 높은 기준 모델에 대하여 연구함과 동시에 본 연구의 결과를 딥러닝 기반 얼굴 인식 시스템 등에 적용하여 더욱 다양한 활용도를 가진 모델을 연구할 예정이다.

Acknowledgments

이 논문은 2018년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임(No. 2018R1D1A1B07051261)

References

• Y. H. Lee and others (Eds.), 2019 Character Industry White Paper, Korea Creative Content Agency, May 2020.
• Jun-Su Kim, "The Effect of attribute factors of Animal Characters on Consumer Choice: Focusing on the consumer preference for Twelve Zodiacal Animal Characters," Journal of Digital Contents Society, Vol. 20, No. 10, pp. 2079-2086, Oct. 2019. [https://doi.org/10.9728/dcs.2019.20.10.2079]
• National Institute of the Korean Language, Korean language dictionary [Internet]. Available: https://stdict.korean.go.kr/ main/main.do, .
• Wikipedia. Online free-content encyclopedia project [Internet]. Available: https://en.wikipedia.org/wiki/Voronoi _diagram, .
• Abbas Cheddad, Dzulkifli Mohamad and Azizah Abd Manaf, "Exploiting Voronoi diagram properties in face segmentation and feature extraction," Pattern Recognition, Vol. 41, Issue 12, pp. 3842-3859, December 2008. [https://doi.org/10.1016/j.patcog.2008.06.007]
• Wikipedia. Online free-content encyclopedia project [Internet]. Available: https://en.wikipedia.org/wiki/Delaunay_triangulation, .
• Ki-Tae Hwang, "Morphing and Warping using Delaunay Triangulation in Android Platform," Journal of Korea Game Society, Vol. 10, Issue 6, pp.137-146, 2010.
• Wikipedia. Online free-content encyclopedia project [Internet]. Available: https://en.wikipedia.org/wiki/Shoelace _formula, .
• Michele Merler and Nalini Ratha and Rogerio S. Feris and John R. Smith, "Diversity in Faces," arXiv:1901.10436v6, [cs.CV] 8 Apr 2019.
• Image Datas [Internet]. Available: https://pixabay.com, .
• Young-Suk Lee, Classification and Searching for Anthro-pomorphic Animal Characters in Animation, Ph.D. dissertation, Pusan National University, Busan, Korea, 2010.
• Young-Suk Lee and Dae Wook Ki, "A Study on the Ratio of Human and Dog Facial Components based on Principal Component Analysis," Journal of Korea Multimedia Society, Vol. 23, No. 10, pp. 1339-1347, October 2020.