Korea Digital Contents Society
[ Article ]
Journal of Digital Contents Society - Vol. 22, No. 12, pp.1951-1958
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 31 Dec 2021
Received 25 Oct 2021 Revised 08 Nov 2021 Accepted 22 Nov 2021
DOI: https://doi.org/10.9728/dcs.2021.22.12.1951

딥러닝을 이용한 통합형 취업사진 생성 앱 개발

강지연1 ; 김서현1 ; 김서영1 ; 이경미2, *
1덕성여자대학교 컴퓨터공학과 학사과정
2덕성여자대학교 컴퓨터공학과 교수
Application to generate a consolidated ID photo for resume using deep learning
Ji-Yeon Kang1 ; Seo-Hyun Kim1 ; Seo-Young Kim1 ; Kyoung-Mi Lee2, *
1Bachelor’s Course, Department of Computer Science, Duksung Women’s University, Seoul 01369, Korea
2Professor, Department of Computer Science, Duksung Women’s University, Seoul 01369, Korea

Correspondence to: *Kyoung-Mi Lee Tel: +82-2-901-8348 E-mail: kmlee@duksung.ac.kr

Copyright ⓒ 2021 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

사진을 포함하지 않는 표준이력서가 도입되고 있지만, 여전히 많은 기업이 응시원서나 이력서에 사진을 붙이는 관행을 가지고 있다. 최근 취업사진의 촬영을 위한 모바일 앱(application)의 출시가 꾸준히 이루어지고 있으나, 이 앱들이 고화질 영상 미지원, 헤어스타일 및 정장, 인상 합성 불가 등의 이유로 취업사진이라는 특수한 상황에 알맞은 사진을 생성하는 것이 불가능하다는 단점이 여전히 존재한다. 본 논문에서는 딥러닝 알고리즘인 starGAN-V2를 이용하여 헤어스타일과 정장, 인상을 합성한 얼굴 이미지를 생성하고 간단한 메이크업으로 얼굴을 보정하며 배경을 합성할 수 있는 고품질의 통합형 취업사진 생성 앱을 제안한다. 제안하는 얼굴 합성 알고리즘은 딥러닝 생성을 위한 얼굴 면적 조정 전처리를 통해 보다 자연스런 얼굴 합성을 할 수 있었으며, 생성된 취업사진 속 얼굴은 원본 얼굴과 평균 85.3% 이상의 높은 유사도를 보여준다.

Abstract

While the standard resume without photos has increasingly become common in South Korea, many companies still require applicants to include a personal photo in their resume. In recent years, many mobile applications have been released to take ID photos for resume. However, due to the lack of high-quality image support and the inability to synthesize hair-styles and suit-styles, these mobile applications cannot generate special purpose photos suitable for resume. In this paper, to generate high-quality and consolidated ID photos for resume, we propose a mobile application that can generate ID photos to synthesis hair-styles and suit-styles using the deep-learning algorithm, starGAN-v2, and that can retouch faces with simple makeup and background compositing. The proposed face synthesis algorithm can synthesize more natural faces through face area adjustment preprocessing and the generated face shows a high similarity of over 85.3% on average to the original face.

Keywords:

Deep learning, Generative adversarial network, Image generation, Face synthesis, Mobile application

키워드:

딥러닝, 생성적 적대 신경망, 영상 생성, 얼굴 합성, 모바일 앱

Ⅰ. 서 론

최근 채용과정에서 사진, 신체 수치, 가족사항 등이 없는 표준이력서가 도입되고 있다. 하지만 여전히 많은 기업이 응시원서나 이력서에 사진을 붙이는 관행과 사진(외모)으로 평가하는 관행을 묵인한다고 해도 과언이 아니다[1]. 2019년 사람인에서 조사한 바에 의하면 기업 383 곳 중 83%의 기업이 입사 지원 시 이력서 사진을 받고, 이들 기업 중 62.6%의 기업은 이력서 사진 때문에 서류 전형에서 지원자를 탈락시킨 경험이 있는 것으로 나타났다[2]. 2020년 구직자를 대상으로 한 잡코리아의 설문조사에 따르면, 34.1%의 응답자들도 역시 이력서 사진이 합격에 상당히 영향을 끼친다고 생각하는 것으로 나타났다[3]. 특히, 인사담당자를 대상으로 한 설문조사에 의하면, 58.2%가 ‘외모보다는 인상’이 더 영향을 미친다고 응답했는데, 그만큼 구직자는 좋은 인상을 줄 수 있는 이력서 사진을 준비하는 것이 매우 중요하다.

한편, 2019년 잡코리아와 알바몬에서 조사한 통계에 따르면 취업준비생들은 취업 준비에 월평균 28만 7천원을 지출하고 있으며, 그들 중 71.2%는 어느 정도 경제적 부담을 느낀다고 답했다[5]. 이에 따라 취업 정보 카페에서는 사진관보다 적은 비용으로 정장, 헤어, 배경을 합성해주는 서비스가 많이 활성화되었다. 하지만, 합성 결과 영상을 받는데 하루 이상의 시간이 소요되며, 미리 촬영한 증명사진이 있어야만 고품질의 취업용 증명 사진(이하 취업사진)을 합성할 수 있다.

최근에는 스마트폰이 대중화 되면서 증명사진 촬영을 위한 모바일 앱(application)의 출시가 이루어지고 있다. 이러한 모바일 앱은 시간과 장소에 구애받지 않고 촬영할 수 있고 결과물의 저장이 가능하다는 장점이 있다. 그러나, 고화질 영상 미지원, 헤어스타일 및 정장, 취업사진 인상의 합성 불가 등의 이유로 취업사진이라는 특수한 상황에 알맞은 증명사진의 생성이 불가능하다는 단점은 여전히 존재한다.

본 논문에서 제안하는 딥러닝을 이용한 취업사진 생성 앱은 취업준비생의 비용적 부담을 감소시키고, 기존의 증명사진 생성 서비스보다는 취업이라는 특수한 상황에 맞춰 헤어, 정장, 취업사진 인상까지 합성한 취업사진 생성 서비스를 제공한다. 기존의 얼굴 합성은 원본 얼굴을 오려 붙이면 부자연스럽고, 딥러닝과 같은 얼굴 생성 알고리즘을 이용하면 원본 얼굴과 다른 가짜 얼굴을 생성하는 문제점이 있다. 본 논문에서는 원본 얼굴을 최대한 유지하면서도 자연스러운 취업사진을 생성하는 방법을 제안한다. 또한 지금까지의 얼굴 합성 연구가 가짜 얼굴을 생성하여 주로 부정적으로 이용되었던 반면, 제안하는 취업사진 생성 앱은 얼굴 합성 기술을 긍정적으로 사용한 사례가 될 것이다.

본 논문은 다음과 같이 구성되고 있다. 2장에서는 기존의 증명사진 모바일 앱을 살펴보고, 3장에서는 취업사진 생성 방법을 제안한다. 제안하는 취업사진 생성 앱 개발 결과를 4장에서 설명하고 , 5장에서는 결론 및 향후 연구를 서술한다.


Ⅱ. 관련 연구

기존의 증명사진 및 취업사진 생성 앱은 증명사진이 급하게 필요할 때 촬영하여 배경을 깔끔하게 수정하고 규격을 맞출 수 있도록 설계되었다. 그러나 여전히 결과 사진에 대해 높은 품질을 기대하기 어렵고, 취업을 위한 증명사진 촬영이라는 특수한 상황을 고려하지 못하고 있다.

취업사진 생성 앱 개발을 위한 관련 연구로 ‘픽미(Picme)’[6]와 3개의 대표적인 증명사진 생성 앱인 ‘셀프증명’[7], ‘쉬운 증명사진(EZ ID photo)’[8], '메이투(Meitu)'[9]의 기능을 비교분석했다(그림 1). 비교분석을 위해 본 논문에서는 취업사진에 필요한 배경색, 정장, 단정한 헤어, 차분한 표정을 생성할 수 있는 기능과 간단한 보정 기능을 5 가지 주요기능으로 설정했다. 표 1은 제안하는 앱과 기존 4개의 앱을 비교분석한 내용을 보여주고 있다. 기존 증명사진 생성 앱인 '픽미', '셀프증명', '쉬운증명사진' 은 5가지 주요기능 중 배경 합성 기능만 제공할 뿐 취업사진 생성을 위한 정장 및 헤어 합성, 얼굴 보정 등은 지원해주지 않는다[6,7,8]. 4개의 기존 앱 중 가장 많은 기능을 지원해주는 '메이투' 역시 정장을 잘라서 붙이는 방식으로 합성이 진행되어 합성 결과물이 부자연스러우며, 헤어 합성 기능은 제공하지 않는다[9].

Fig. 1.

Existing ID Photo applications (a) Picme[6], (b) Self ID photo[7], (c) EZ Passport photo[8], (d) Meitu[9]

Comparative analysis by main functions for ID Photo applications

본 논문에서 제안하는 취업사진 생성 앱은 단일 모델로 다양한 스타일의 영상을 생성하는 딥러닝 알고리즘을 이용하여 다양한 헤어와 정장, 취업사진 인상을 자연스럽게 합성하고, 영상 처리로 배경을 합성하며, 간단한 메이크업으로 얼굴을 보정할 수 있다. 따라서 제안하는 앱은 취업사진 생성 앱의 5가지 주요 기능 모두가 가능한 고품질의 통합형 취업사진을 제공한다.


Ⅲ. 제안하는 통합형 취업사진 생성 알고리즘

본 장에서는 집이나 거리 등 사진 촬영 장소에 구애받지 않으면서 다양한 헤어와 정장, 취업사진 인상을 합성하는 통합형 취업사진 생성 알고리즘을 제안한다. 제안하는 알고리즘은 얼굴이 포함된 사진이 주어지면, 먼저 얼굴을 찾아 합성할 얼굴 영역을 자르고 잘라진 얼굴로 헤어와 정장, 취업사진 인상을 합성한 후 배경을 합성하여 취업사진을 생성한다.

3-1 영상 전처리 알고리즘

일반적으로 얼굴 합성은 원본 영상과 참조 영상의 얼굴을 찾아서 두 얼굴을 결합하는 방식으로 진행된다. 그런데 이 때 원본 영상 속 얼굴의 면적이 작거나 크거나, 또는 위치가 정 가운데 배치되지 못하게 한쪽으로 치우쳐 배치된 경우에 그대로 얼굴을 합성하면 얼굴과 몸이 이어지는 부분에 부조화가 발생하는 등 합성결과 영상의 완성도가 다소 떨어지는 현상이 나타난다. 그림 2(d)는 원본 영상인 그림 2(a)를 참조 영상인 그림 2(c)와 합성한 결과를 보여주고 있다. 두 영상 속 얼굴의 면적과 위치의 차이 때문에 얼굴을 인위적으로 합성해 놓은 것처럼 얼굴형이 부자연스럽고 눈, 코, 입 등의 배치가 부조화스럽다. 따라서 원본 영상에서 얼굴이 차지하는 면적과 위치를 참조 영상과 비슷하도록 맞춰주는 전처리 과정이 필요하다.

Fig. 2.

Comparative results of face area adjustment : (a) sample image without face area adjustment, (b) result with face area adjustment, (c) reference image, (d) face synthesis with (a) and (c), and (e) face synthesis with (b) and (c)

표 2는 보다 자연스럽게 얼굴을 합성하기 위해 본 논문에서 사용한 얼굴 면적 조정 알고리즘을 보여주고 있다. 우선 얼굴 영상에 오브젝트 검출기인 haar cascade를 적용해 (x,y) 위치에 크기가 w×h 인 얼굴을 검출한다. 검출된 얼굴의 위치가 가로로는 x1 : w : x1 비율, 세로로는 yup : h : ydown 비율의 일정한 여백으로 배치되도록 조정하여 잘라낸다. 여기서 x1, yup, ydownw×h인 얼굴을 감싸는 여백으로, 검출된 얼굴의 가로 w, 세로 h 길이에 계수값을 곱해서 계산된 상수이다. 표 3은 본 논문 에서 사용된 계수값을 보여주는데, 성별과 남자 헤어스타일에 따라 다르게 설정했다. 만약 잘라내려는 영상의 크기보다 얼굴 영상의 크기 width×height가 작다면, 얼굴 영상의 상하좌우에서 작은 부분에 추가적인 여백 (up, down, left, right) 을 더한 후 잘라낸다. 그림 2(b)는 이렇게 잘라낸 영상으로 얼굴의 면적과 비율이 조정된 것으로 나타난다. 이렇게 얼굴 면적 조정된 그림 2(b)와 참조 영상인 그림 2(c)를 합성한 결과인 그림 2(e)는 얼굴 면적 조정을 하지 않고 합성한 그림 2(d)에 비해 보다 자연스러운 합성이 이루어진 것을 볼 수 있다.

Algorithm for face area adjustment

Coefficient values used in face area adjustment

3-2 얼굴 합성 알고리즘

지난 몇 년간 GAN(Generative Adversarial Networks) 기반의 가상 얼굴 생성 관련 연구에 대한 관심이 증가하면서 파생된 GAN 학습 모델들도 다양해졌다. 대표적으로 styleGAN[10], cycleGAN[11], CAGAN[12] 등이 있다. 이들은 표준 가우시안 분포에서 무작위로 샘플링된 저차원 벡터를 추가하여 가짜 영상을 생성한다. 그러나 이러한 방법은 원본 영상 x과 한 도메인 간의 매핑만 고려했기 때문에 하나의 생성 모델 G(x)에 대해서 하나의 도메인을 적용한 영상만 생성이 가능하다. 예를 들어, K개의 도메인이 있는 경우 이러한 방법은 K(K-1)개의 생성기 Gk(x)(k=1..K(K-1))가 각 도메인 간의 번역을 처리하도록 훈련해야 한다.

본 논문에서는 취업사진의 다양한 스타일에 맞춰 다양한 취업사진을 생성하기 위해, 하나의 모델로 다양한 도메인에 대한 다양한 스타일의 영상을 생성해낼 수 있는 starGAN-v2을 사용한다[13]. 그림 3은 본 논문에서 사용한 startGAN-v2의 학습 과정을 보여주고 있다. X가 영상 집합, Y가 가능한 도메인 집합이고, X에 속하는 영상 xY에 속하는 영상의 도메인 y가 주어졌을 때, StarGAN-v2 모델은 도메인 y에 속한 다양한 스타일 sy의 추출은 Style encoder로, 영상 x에 특정 도메인 y의 스타일 sy을 적용한 가짜 영상 생성은 Generator로, 실제 영상과 가짜 영상의 판별은 Discriminator를 이용한다. StarGAN-v2는 하나의 생성모델 G(x,sy)만으로도 입력 영상 x 뿐만 아니라 다양한 도메일의 스타일 sy을 추가적으로 입력받아 다양한 도메인의 영상을 생성한다는 장점이 있다.

Fig. 3.

Training process of the stargan-v2 model

본 논문에서는 취업사진을 생성하기 위해 도메인을 성별에 따라 여자, 남자로 나누었고, 각각 11,455장, 9,019장의 영상 데이터를 수집했다. 여자의 스타일은 헤어의 길이에 따라 짧은 머리(short), 중간 머리(mid), 긴 머리(long)로 분류했고, 남자의 스타일은 헤어의 앞머리 정도에 따라 앞머리 없음(no bang), 앞머리가 반만 있음(half bang), 앞머리 있음(bang)으로 분류했다. 수집한 영상을 3-1절의 얼굴 면적 조정 알고리즘을 기반으로 전처리한 후 256×256의 크기로 변환하여 Generator의 입력으로 넣어준다. 각 도메인을 대표하는 스타일 벡터는 Style encoder를 이용해 추출하고, 이 스타일 벡터를 원본 영상에 적용시킨 가짜 영상이 Generator에 의해 생성된다. Discriminator는 손실 함수를 적용해 생성된 가짜 영상과 원본 영상을 비교하며, 원본 영상과 가짜 영상의 차이를 줄여가는 방식으로 학습시킨다.

학습을 마치면 원하는 헤어 스타일과, 정장 스타일, 취업 사진 인상을 입력받아서 이와 가장 비슷한 참조 영상을 목표 도메인에서 하나를 선정한다. Style encoder를 통해 해당 참조 영상이 가지고 있는 스타일을 스타일 벡터를 추출하고, 원본 영상에 스타일 벡터를 입혀 결과 영상을 생성한다.

그림 4는 제안하는 얼굴 합성 알고리즘의 결과를 보여준다. 첫 번째 행의 원본 영상을 얼굴 면적 조정한 후, 첫 번째 열의 참조 영상과 startGAN- v2를 이용하여 생성된 결과들이다. 이 때, 참조 영상은 짧은 머리(short), 중간 머리(mid), 긴 머리(long)의 헤어스타일을 갖는다.

Fig. 4.

Face synthesis results using face area adjustment and stargan-v2 : reference images in the 1st column and sample images in the 1st row

제안하는 얼굴 합성 알고리즘의 성능을 평가하기 위해 생성된 얼굴과 원본 얼굴 사이의 유사도를 계산한다. 본 논문의 목표는 취업 사진을 생성하는 것으로 취업 사진의 스타일을 반영하되 원본 얼굴은 최대한 유지되어야 한다. 대부분의 얼굴 생성 GAN들이 스타일을 변환한 가짜 얼굴을 생성하는데, 이 가짜 얼굴이 원본 얼굴과 얼마나 유사하느냐로 생성된 취업 사진의 질을 평가할 수 있을 것이다. 유사도는 입력된 두 개의 영상을 얼굴 벡터 템플릿으로 변환한 후 두 벡터 사이의 유클리드 거리로 계산된다[14]. 그림 5그림 2에서 보여준 예제 영상에 대한 유사도 계산 결과를 보여주고 있다. 그림 5(a)그림 2(a)2(d)의 유사도 결과로 starGAN-v2만 적용하여 생성한 얼굴은 원본 얼굴과 68.62%의 유사도를 보여준다. 반면, 그림 5(b)그림 2(b)2(e)의 유사도 결과로 얼굴 면적 조정 전처리를 한 후 starGAN-v2를 적용하여 얼굴을 생성할 경우 원본 영상과 89.43%의 높은 유사도를 보여주고 있다.

Fig. 5.

Examples of face similarity : (a) similarity of Fig 2(a) and 2(d) and (b) similarity of Fig 2(b) and 2(e)

또한 표 4는 10개의 테스트 영상에 대한 평균 유사도 결과를 보여주고 있다. 비교 실험을 위해 styleGAN[10]의 얼굴 생성결과에 대해 유사도를 계산하였다. 본 논문에서 제안하는 얼굴 면적 조정 후 starGAN-v2로 생성하는 방법은 85.3%의 높은 평균 유사도를 보여주고 있다. 이는 starGAN-v2[13]로만 생성하거나 styleGAN[10]으로 생성한 경우 보다 제안하는 방법이 원본 얼굴을 잘 유지한 채 스타일 변화를 준 얼굴을 생성하고 있음을 보여준다.

Averaged face similarity results

3-3 배경 합성

대부분의 증명사진은 주로 단일 색상의 배경을 가진 전문 스튜디오에서 촬영이 이루어진다. 그러나 취업사진인 경우 때로는 기업에서 추구하는 영상과 관련해서 기호에 맞는 배경 또는 배경색을 사용해야 되는 경우가 발생하기도 한다.

본 논문에서는 일반적인 취업사진과 동일하게 만들기 위해 사람을 제외한 부분에 배경 영상을 합성시킨다. 그림 6[15]에서 사용된 배경 합성 알고리즘으로 생성된 배경 합성 결과를 보여주고 있다. 이진화를 통해 배경과 사람을 분리하고, 분리된 배경 영역에 마스크 방식으로 원하는 영상을 합성하게 된다.

Fig. 6.

Background synthesis algorithm[14] : (a) sample image, (b) binalized image, (c) contour image by findCountour, (d) background mask, (e) person mask, and (f) result image


Ⅳ. 제안하는 취업사진 생성 앱 개발

4-1 제안하는 취업사진 생성 앱 설계

제안하는 취업사진 생성 앱은 서버로 AWS EC2 우분투 서버를 사용했다(그림 7). Ⅲ장에서 제안한 취업사진 생성 알고리즘은 python 환경인 플라스크(Flask) 서버에서 동작하도록 구성했다. OpenCV를 활용하여 얼굴 면적 조정을 위한 전처리를 한 후 pyTorch로 구현된 starGAN-v2 모델을 이용하여[13] 헤어, 정장, 취업사진 인상을 합성한 얼굴 영상을 생성한다. 생성된 얼굴 영상은 안드로이드로 작성한 앱 프론트엔드로 전달되고, 사용자는 기호나 요구에 따라 언제든지 다양한 배경 색상 합성 및 얼굴 보정을 실행하여 원하는 취업사진을 생성할 수 있다.

Fig. 7.

Configuration map of the proposed system

제안하는 앱은 회원 관리, 앱 프론트엔드 개발, 취업 사진 저장 및 관리를 위해 스프링 부트(Spring boot) 서버를 구축했다. 또한 구직자들에게 채용 정보를 제공하기 위해 사람인 API를 이용했다.

4-2 제안하는 취업사진 생성 앱 개발 결과

그림 8은 본 논문에서 제안하는 취업사진 생성 앱 개발 결과를 보여주고 있다. 제안하는 앱을 처음 사용하는 사용자는 더 나은 결과를 생성하기 위해 가이드라인에 따라 사진 촬영을 할 수 있도록 성별, 얼굴형, 헤어 및 정장스타일을 선택한다(그림 8(a,b),). 선택이 완료된 뒤 사진 갤러리 혹은 카메라 촬영을 통해 원본 영상을 입력받는다(그림 8(c)). 제안하는 앱은 3-1절과 3-2절에 소개한 얼굴 합성 알고리즘을 이용하여 입력된 영상에 대한 취업사진을 생성한다(그림 8(d)).

Fig. 8.

Screenshots of the proposed ID photo generation app : (a) select gender, face shape and hair-style, (b) select suit style, (c) take or load a photo, (d) generate the image by algorithms presented in 3-1 and 3-2, (e) subtract and synthesis background, (f) retouch the face through simple makeup, (g) save the photo, (h) My page, (i) show the list of job information and (j) Settings

생성된 취업사진은 배경을 제거하여 원하는 배경을 합성할 수 있는데(그림 8(e)), 취업사진에서 일반적으로 사용되는 색상의 단색 및 그라데이션 배경을 입힐 수 있으며, 컬러 팔레트에서 직접 색상 선택이 가능하다. 또한, 터치로 얼굴을 갸름하게 할 수 있고, 수평 및 수직 왜곡을 보정하며, 자동 얼굴 인식을 통한 눈썹, 볼터치, 입술 등의 간단한 메이크업으로 얼굴 보정이 가능하다(그림 8(f)). 보정된 얼굴은 저장 및 다운로드 가능하며(그림 8(g)), 사용자는 미리 생성한 다양한 취업사진을 마이페이지에서 확인할 수 있다(그림 8(h)). 제안하는 앱은 취업사진 생성이 필요한 사용자에게 완결된 서비스를 제공하기 위해 취업 정보를 제공하며(그림 8(i)), 앱에 관한 공지사항, 자주 묻는 질문, 문의하기 등을 포함하는 설정 페이지를 제공한다(그림 8(j)).

제안하는 취업사진 생성 앱은 저작권에서 자유로운 영상을 선별하여 사용했으며, 앱 디자인에 사용된 아이콘 및 영상은 무료 오픈소스 및 저작권자의 허락을 받고 사용했다.


Ⅴ. 결 론

기존 증명사진을 합성해주는 서비스가 부자연스러운 사진 품질을 갖는다는 단점을 보완하기 위해, 본 논문에서는 취업 준비생 및 구직자를 대상으로 비용적, 시간적 부담을 줄여주면서 자연스러운 헤어, 정장, 취업사진 인상을 합성해주는 앱을 제안한다. 제안하는 취업사진 합성 방법은 포토샵으로 작업할 필요없이 영상의 얼굴 영역의 면적을 조정한 후 딥러닝 기반의 starGAN-v2 모델을 활용하여 취업사진 생성 모델을 학습한다. 기존의 딥러닝을 이용한 얼굴 합성 알고리즘이 주로 다양한 가짜 얼굴을 생성하는데 주력했다면, 본 논문에서는 딥러닝을 이용하여 취업사진의 스타일을 적용한 자연스런 얼굴을 생성하면서도 최대한 원본 얼굴을 유지할 수 있는 방법을 제안한다. 제안하는 방법은 원본 얼굴과 합성된 얼굴 간의 얼굴 유사도 검사에서 85.3%의 높은 유사율을 보여준다.

다만, 제안하는 취업사진 생성 앱은 남성의 얼굴인 경우 원본 얼굴이 반영된 얼굴 합성이 제대로 이루어지지 못하여(그림 9), 향후 이를 개선하는 연구가 이루어질 계획이다. 또한 안경, 귀걸이와 같은 악세서리를 착용한 경우에도 고품질의 취업사진을 합성할 수 있도록 추가적인 취업사진 학습데이터를 수집하고 학습을 진행할 계획이다. 또한, 제안하는 얼굴 합성 알고리즘을 졸업 사진 생성 뿐만 아니라 메타버스 속 아바타 생성 등 다양한 분야에 적용할 계획이다.

Fig. 9.

Male face synthesis results : reference images in the 1st row and sample images in the 1st column

Acknowledgments

본 연구는 2020년도 덕성여자대학교 교내연구비 지원에 의해 이루어졌습니다.

References

  • I.-S. Lim, “Discussion on legalization of photo-information abolition for preventing discrimination against women·appearance in recruitment process,” Journal of Korean Women’s Studies, Vol. 35, No. 2, pp. 37-74, June 2019. [https://doi.org/10.30719/JKWS.2019.06.35.2.37]
  • KnNews. 62% of applicants were rejected because of their resume photo... why [Internet]. Available: http://knnws.com/news/view.php?idx=7527
  • JobKorea. Is your resume photo still important? [Internet]. Available: https://www.jobkorea.co.kr/goodjob/tip/view?News_No=16615&schCtgr=120005&Page=95
  • The Hankyoreh. Interviewers look at 'impression' rather than 'appearance' [Internet]. Available: https://www.hani.co.kr/arti/economy/working/70096.html
  • JobKorea. Spending 287,000 won per month on job preparation for job seekers [Internet]. Available: https://www.jobkorea.co.kr/goodjob/tip/view?News_No=15886
  • Picme [Internet]. Available: https://www.picme.kr/
  • Self ID photo [Internet]. Available: https://m.selfidphoto.com/
  • EZ Passport photo : ID photo maker [Internet]. Available: https://play.google.com/store/apps/details?id=com.abyz.ezphoto&hl=en_US&gl=US
  • Meitu [Internet]. Available: https://xiuxiu.meitu.com/
  • T. Karras, S. Laine, and T. Aila, “A style-based generator architecture for generative adversarial networks,” IEEE Transactions on Pattern Analysis and Machine Intelligence, pp. 4217-4228, Dec. 2021. [https://doi.org/10.1109/TPAMI.2020.2970919]
  • J.-Y. Zhu, T. Park, P. Isola, and A. A. Efros, “Unpaired image-to-image translation using cycle-consistent adversarial networks,” in Proceeding of CVPR, pp. 2223–2232, Oct. 2017.
  • Y. Ni, D. Song, X. Zhang, H. Wu, and L. Liao, “Cagan: Consistent adversarial training enhanced gans,” in Proceeding of IJCAI, pp. 2588–2594, July 2018.
  • Y. Choi, Y. Uh, J. Yoo, and J.W. Ha, “Stargan v2: Diverse image synthesis for multiple domains,” in Proceeding of CVPR, pp. 8188-8197, June 2020. [https://doi.org/10.1109/CVPR42600.2020.00821]
  • MXFACE, Face comparing [Internet]. Available: https://mxface.ai/facecomparing
  • S.E. Park, J.H. Yoon, S.Y. Choi, S.G. Ha and K.M. Lee, “User-friendly Korean conversation learning application using face swap and personalized recommendation,” Journal of Digital Contents Society, Vol. 21, No. 12, pp. 2,125-2,133, Dec. 2020. [https://doi.org/10.9728/dcs.2020.21.12.2125]

저자소개

강지연(Ji-Yeon Kang)

2017년~현 재: 덕성여자대학교 컴퓨터공학과 학사과정

※관심분야 : 웹, 소프트웨어공학, 데이터베이스

김서현(Seo-Hyun Kim)

2017년~현 재: 덕성여자대학교 컴퓨터공학과 학사과정

※관심분야 : 모바일 앱, 운영체제, 데이터베이스

김서영(Seo-Young Kim)

2017년~현 재: 덕성여자대학교 컴퓨터공학과 학사과정

※관심분야 : 서버, 모바일 앱, 데이터베이스

이경미(Kyoung-Mi Lee)

1993년 : 덕성여자대학교 전산학과 (이학사)

1996년 : 연세대학교 전산과학과 (이학석사)

2001년 : 아이오와 대학교 전산학과 (전산학박사-지능형 멀티미디어)

2003년~현 재: 덕성여자대학교 컴퓨터공학과 교수

※관심분야:영상처리, 패턴인식, 멀티미디어, HCI 등

Fig. 1.

Fig. 1.
Existing ID Photo applications (a) Picme[6], (b) Self ID photo[7], (c) EZ Passport photo[8], (d) Meitu[9]

Fig. 2.

Fig. 2.
Comparative results of face area adjustment : (a) sample image without face area adjustment, (b) result with face area adjustment, (c) reference image, (d) face synthesis with (a) and (c), and (e) face synthesis with (b) and (c)

Fig. 3.

Fig. 3.
Training process of the stargan-v2 model

Fig. 4.

Fig. 4.
Face synthesis results using face area adjustment and stargan-v2 : reference images in the 1st column and sample images in the 1st row

Fig. 5.

Fig. 5.
Examples of face similarity : (a) similarity of Fig 2(a) and 2(d) and (b) similarity of Fig 2(b) and 2(e)

Fig. 6.

Fig. 6.
Background synthesis algorithm[14] : (a) sample image, (b) binalized image, (c) contour image by findCountour, (d) background mask, (e) person mask, and (f) result image

Fig. 7.

Fig. 7.
Configuration map of the proposed system

Fig. 8.

Fig. 8.
Screenshots of the proposed ID photo generation app : (a) select gender, face shape and hair-style, (b) select suit style, (c) take or load a photo, (d) generate the image by algorithms presented in 3-1 and 3-2, (e) subtract and synthesis background, (f) retouch the face through simple makeup, (g) save the photo, (h) My page, (i) show the list of job information and (j) Settings

Fig. 9.

Fig. 9.
Male face synthesis results : reference images in the 1st row and sample images in the 1st column

Table 1.

Comparative analysis by main functions for ID Photo applications

applications [6] [7] [8] [9] proposed
main functions
background composition
suit-style synthesis X X X
hair-style synthesis X X X X
impression synthesis X X X
face retouching X X X

Table 2.

Algorithm for face area adjustment

(width, height) : width and height of an image
(x,y,w,h) : the left_top position (x,y), width w, and height h of each face recognized by haar cascade
x1 = int(α * (w / 2))
yup = int(β * (h / 2))
ydown = int(γ * (h / 2))

if x1 - x > 0:
   left = x1 - x + 1
if x + w + x1 > width:
   right = x + w + x1 - width + 1
if yup - y > 0:
   up = yup - y + 1
if y + h + ydown > height:
   down = y + h + ydown - height + 1

Table 3.

Coefficient values used in face area adjustment

gender female male
hair long mid short bang half bang no bang
α 0.53 0.53 0.53 1.2 0.53 0.97
β 0.88 0.88 0.88 1.68 0.88 1.84
γ 1.4 1.4 1.4 0.91 1.4 0.8

Table 4.

Averaged face similarity results

starGAN-v2[13] styleGAN[10]
without face area adjustment with face area adjustment
Face similarity 65.6% 85.3% 40.6%