얼굴 합성과 추천 시스템을 이용한 사용자 친화적 한국어 회화 학습 앱 개발

3-1 자동 얼굴색 조정 알고리즘

본 장에서는 강사가 등장하는 동영상이 아닌 내가 좋아하는 연예인과 함께 동영상을 생성하기 위해 영상 합성 작업을 실행한다. 그러나 강사의 동영상과 연예인 (동)영상은 서로 다른 환경에서 촬영되어서 이를 그대로 합성하면 자연스럽지 못한 결과 영상을 만들게 되고 오히려 사용자에게 거부감을 유발시킬 수 있다. 그림 3은 강사의 동영상과 연예인 (동)영상을 그대로 합성한 결과를 보여주는데, 두 영상의 밝기와 두 사람의 얼굴색의 차이 때문에 인위적으로 얼굴을 합성해 놓은 것처럼 선명한 선이 생기고, 턱 부분에 이질감이 들 정도의 합성 오류가 생기는 문제를 보여주고 있다. 따라서 강사의 얼굴색을 대상 연예인의 피부 톤과 비슷하게 맞춰주는 전처리 과정이 필요하다. 이런 얼굴색 조정 과정은 두 인물의 전체적인 얼굴색을 비슷하게 만들어주어 더 자연스러운 얼굴 합성이 가능하도록 한다.

Fig. 3.

Face swap results without face color adjustment

먼저 픽셀 색 조정을 위해 강사 동영상과 연예인 (동)영상에서 얼굴 영역을 검출한다. 검출된 얼굴은 HSV(hue, saturation, value) 색 공간으로 변환되어 밝기값(v)의 평균을 구한다. 강사의 얼굴 픽셀 밝기값은 연예인 얼굴 평균 밝기값과 강사 얼굴 평균 밝기값의 차이만큼을 조정된다. 이는 식 (1)과 같다.

여기서 v_t와v_s 는 각각 강사 동영상과 연예인 (동)영상에서 픽셀의 밝기값(v)을 의미하며, avg(v_t)와 avg(v_s)는 각각 강사 얼굴과 연예인 얼굴의 밝기값 평균을 말한다.

그림 4는 얼굴색 보정 전과 후의 모습을 보여주고 있다. 그림4(b)는 배경을 제외하고 얼굴 전체적으로 색이 밝게 조정된 것을 보여주고 있다.

Fig. 4.

Result of face color adjustment : (a) before color adjustment and (b) after color adjustment

3-2 딥러닝을 이용한 얼굴 합성 알고리즘

지난 20년 동안 얼굴 합성을 이용하여 가상의 얼굴을 조작하는 연구에 대한 관심이 빠르게 증가했으며[8,9], 대표적인 알고리즘으로 Face2Face[10], FaceSwap[11], DeepFakes[12], NeuralTextures[13] 등이 있다. Face2Face와 FaceSwap은 영상처리 기반 방식인 반면, DeepFakes 및 NeuralTextures는 학습 기반 방식이다. 네 가지 방법 모두 원본 및 대상 동영상의 쌍을 입력으로 하고, 최종 출력은 합성된 이미지로 구성된 동영상이다. 본 논문에서는 원본 동영상은 강사 모델을 섭외하여 회화 스크립트 별로 대화하는 동영상을 모두 촬영하여 획득했으며, 대상 동영상은 유튜브에서 얼굴이 클로즈업된 연예인 동영상들을 크롤링하여 3분가량의 동영상을 확보했다.

본 장에서는 강사 동영상(A)과 연예인 동영상(B)의 얼굴 합성을 위해 딥러닝을 이용한 DeepFakes faceswap 깃허브(github) 코드를 이용하여 얼굴 합성을 실행했다[11]. DeepFakes 기술은 인코더와 디코더를 합친 오토 인코더(auto-encoder)를 기반으로 하고 있다. 인코더(encoder)는 각 영상에서 얼굴을 추출하여 입력 값으로 넣어주면 영상들을 표현(representation) 벡터로 변환한다. 표현 벡터에는 입력 영상에서 눈썹의 위치, 입술의 모양, 눈의 크기 등의 특징들이 저장된다. 디코더(decoder)는 압축된 표현 벡터를 다시 얼굴 영상으로 되돌리는 역할을 한다.

DeepFakes 모델은 학습 과정에서 두 영상이 ‘공통된 인코더(shared encoder)’를 사용하고, 서로 다른 디코더를 이용하도록 오토 인코더를 변형하여 이용한다(그림 5(a)). 이렇게 하면 인코더에서는 두 얼굴에서 공통적인 특징들을 효과적으로 추출할 수 있게 되고, 두 얼굴에서 서로 다른 특징들은 디코더에서 구분하여 이미지를 복원하게 된다.

Fig. 5.

DeepFakes faceswap model[12] : (a) training and (b) face swapping

학습이 끝나고 강사 동영상(A)을 인코더에 넣어 추출된 특징들의 표현 벡터를 다시 연예인 동영상(B)의 디코더에 넣는다(그림 5(b)). 여기서 해당 위치에 맞게 연예인 얼굴이 가지는 정체성이 강사 얼굴에 입혀지게 된다. 즉, 해당 인물이 누구인지를 알려주게 되는 정체성 정보는 디코더가 처리하게 되어 얼굴 합성 동영상이 생성된다. 그림 6은 연예인 청하의 얼굴과 강사의 얼굴을 합성한 결과를 보여주고 있다. 3-1절에서 설명한 얼굴색 조정의 유무에 따른 합성 영상의 차이를 확인할 수 있다.

Fig. 6.

Result of face swap : (a) without color adjustment and (b) with color adjustment

3-3 현장감 부여를 위한 배경 합성 알고리즘

회화 동영상은 주로 스튜디오와 같이 단일한 색상의 배경을 가진 곳에서 촬영이 이루어진다. 대화 상황에 맞는 현장감을 부여하고자 사람을 제외한 부분에 배경 이미지를 합성했다.

본래 촬영한 회화 동영상(그림 7(a))으로부터 사람만을 검출해내기 위해 배경색에 맞춰 이진화를 진행한다(그림 7(b)). 다음은 OpenCV의 findContour 함수를 이용해 사람의 윤곽선을 찾아야 하는데, findContour 함수가 영상 속의 모든 윤곽선을 찾다보니, 사람의 윤곽선뿐만 아니라 사람 내부까지 여러 개의 윤곽선이 그려지게 된다(그림 7(c)). 본 장에서는 사람의 몸체에 대한 윤곽선을 찾기 위해 영상 테두리에서 사람의 윤곽선 테두리를 뺀 면적이 가장 큰 영역을 배경으로 설정하였다(그림 7(d)). 배경으로 선택된 영역으로 마스크(mask) 기법을 통해 배경 마스크(그림 7(e))와 사람 마스크(그림 7(f))를 만들고, 두 마스크를 합성하여 배경이 합성된 동영상이 생성된다(그림 7(g)).

Fig. 7.

Background synthesis algorithm : (a) raw image, (b) binarized image, (c) contour image by findContour, (d) person contour image, (e) background mask, (f) person mask and (g) result image

4-1 퍼지 알고리즘을 이용한 관심 카테고리 추천

본 장에서는 새로운 사용자에게 한국어 학습 스크립트를 추천하기 위해 사용자의 연령과 한국 체류 기간을 이용하여 사용자의 수준과 관심에 맞을 법한 상황 시나리오를 추천하는 퍼지 알고리즘을 제안한다. 각종 빅데이터 분석 결과에 따르면 세대별 관심사의 차이는 분명하게 존재하는 것으로 나온다. 또한, 한국 체류 기간은 한국어에 얼마나 노출되어 있었는지에 대한 기초적인 지표로 활용될 수 있다.

그림 8(a, b)은 연령(세대)과 한국 체류 기간에 대한 퍼지 소속 함수를 보여주고 있다. 세대는 연령에 따라 아이(child), 청(소)년(youth), 중년(middle-age), 노년(elderly)으로 표현되고, 체류 기간은 없음(zero), 짧음(short), 중간(midium), 오래됨(long)으로 표현된다.

Fig. 8.

Fuzzy membership functions : (a) on ages(generation), (b) on stay-duration, and (c) on study-level

연령과 한국 체류 기간으로 사용자에게 적합한 스크립트를 추천해주어야 하는데, 본 논문에서는 ‘국제통용 한국어 표준 교육과정’을 개발하기 위해 참조했던 유럽공통참조기준(CEFR), 국제한어교학통용과정, 한국어능력시험(TOPIK) 등을 바탕으로 4단계 등급으로 나누어 학습 레벨을 정한다[15]. 그림 8(c)은 학습 레벨에 대한 퍼지소속 함수로, 16개의 세부 학습 레벨에 따라 초급(beginner), 중급(intermediate), 고급(advanced), 최상급(native)의 4 단계로 표현된다. 그림 9는 각각 4개로 표현된 연령(세대)과 체류 기간에 대해 학습 레벨을 출력하는 16개의 퍼지 규칙을 보여주고 있다.

Fig. 9.

Fuzzy rules on study-level by ages(generation) and stay-duration

본 논문에서는 학습 스크립트를 일상(Lifestyle), 여행(Travel), 쇼핑(Shopping), 교육(Education), 여가(Hobby &Leisure), 오락(Entertainment), 업무(Work) 등 7개의 관심 분대해 논문 [15]에서 주어진 목표에 따라 7개의 관심 분야로 나누어 제공하고 있다.

표 2는 4단계 등급의 학습 레벨에 대해 논문 [15]에서 주어진 목표에 따라 7개의 관심 분야를 매핑한 결과를 보여주고 있다.

Table 2.

Mapping between goals and interests

결과적으로 새로운 사용자는 나이와 체류 기간이라는 정보를 이용한 퍼지 이론을 바탕으로 하여 7개의 학습 스크립트 종류 중 하나를 추천 결과로 받아 학습 스크립트들을 확인하고 바로 이용할 수 있다. 그림 10은 퍼지 이론에 의해 추천된 결과를 보여주고 있다. 그림 10(a)은 나이가 15세이며 체류 기간이 3개월인 경우, 그림 10(b)은 나이가 50세이며, 체류 기간이 18개월인 경우의 추천 결과를 보여주고 있다.

Fig. 10.

Recommended results by fuzz : (a) 15 years old and 3 months of stay and (b) 50 years of age and 18 months of stay

4-2 아이템 기반 협업 필터링을 이용한 학습 스크립트 추천

협업 필터링(collaborative filtering)은 추천 시스템에서 널리 사용되고 있는 추천 방법으로, 본 장에서는 아이템 기반 협업 필터링(Item based Collaborative Filtering) 방법을 사용한다. 아이템 기반 협업 필터링은 사용자가 아이템 A를 선호한다면 아이템 A와 비슷한 아이템 B도 선호할 것이라는 가정에 기반을 둔다[16]. 본 논문에서 아이템은 관심 분야로 사용자가 학습을 마칠 때마다 학습했던 스크립트의 관심 분야를 테이블에 누적으로 횟수를 기록하도록 한다. 사용자가 누적 학습한 횟수를 사용자의 행동 양식으로 판단하고 이를 기반으로 사용자가 기존에 학습했던 관심 분야와 유사한 관심 분야들을 추천하게 된다.

이 때, 아이템 간의 유사도, 즉 관심 분야들 간의 유사도를 계산해야하는데, 본 논문에서는 식 (2)과 같이 코사인 유사도를 이용하여 계산한다.

여기서 A와 B는 아이템을 의미하며, 모든 사용자가 해당 아이템, 즉 학습 스크립트를 학습한 횟수들의 벡터를 나타낸다. 코사인 유사도 cos(Θ) 값이 1에 가까울수록 두 아이템 사이의 유사도가 높음을 나타내고, 자신과의 유사도는 1이 된다. 모든 관심 분야와의 코사인 유사도를 계산하고, 자기 자신을 제외한 관심 분야 중 가장 큰 유사도를 갖는 관심 분야의 학습 스크립트들을 추천한다.

5-1 제안하는 한국어 회화 앱 설계

제안하는 한국어 회화 앱 시스템은 서버로 AWS EC2 우분투 서버를 사용한다(그림 11). TensorFlow와 python환경에서 DeepFakes faceswap을 이용하여 얼굴 합성을 한 후, OpenCV를 통해 영상 배경합성 작업을 거쳐 Amazon s3에 동영상 데이터를 저장한다. 데이터베이스는 MySQL를 사용하여 구축하였고, 안드로이드 스튜디오를 통해 프론트엔드 개발을 하였다. 프론트엔드 개발에서 필요한 REST API작업은 spring 프레임워크에 서 진행하였으며, 사용자 맞춤형 학습 추천 알고리즘은 플래스크(Flask)에서 작업하여 제공한다. 또한 사용자의 회화 음성인식을 위해 구글 클라우드의 스피치 API를 이용한다.

Fig. 11.

Configuration map of the proposed system

5-2 제안하는 회화 앱 개발 결과

그림 12는 본 논문에서 제안하는 사용자 친화적 한국어 회화 앱 개발 결과를 보여주고 있다. 제안하는 앱을 처음 사용하는 사용자는 적합한 학습 레벨을 추천받기 위해 자신의 나이와 체류 기간을 입력한다(그림 12(a)). 또한, 회화 앱을 통해 학습 동영상의 얼굴을 합성하여 함께 학습하고 싶은 연예인을 선택한다(그림 12(b)).

Fig. 12.

Screenshots of the proposed Korean conversation app : (a) input of an age and a duration of stay, (b) choice of a favorite celebrity, (c) today’s sentence and recommended interests, (d) conversation script, (e) result of speech recognition, (f) result after learning of the script is finished, (g) saved sentences and (h) history of learning

그림 12(c)는 개발된 회화 앱의 기본 화면으로 상단에는 오늘의 문장이, 하단에는 사용자별 학습 레벨에 맞는 관심 분야의 파트들에 속한 스크립트들이 추천되어 보여진다. 상단의 오늘의 문장은 파트 별 학습 내용과는 별도로 다양한 문장들의 리스트를 두어 하루에 한 문장씩 랜덤하게 제공된다. 하단에는 4장에서 설명한 것처럼 앱을 처음 사용하는 사용자에게서 입력받은 정보를 바탕으로 퍼지이론을 기반을 두어 사용자의 학습 레벨과 관심 분야에 맞을 법한 관심 분야 파트의 스크립트 일부가 제공된다. 그 이후는 사용자가 학습했던 스크립트의 특징을 바탕으로 아이템 기반 협업 필터링의 방법으로 추천되기 때문에 새로운 스크립트를 학습할 때마다 추천되는 스크립트가 바뀐다. 여기서 각 스크립트는 유닛(unit) 형태로 구성되어 해당 스크립트의 주제, 대표 문장, 학습 등급(A, B, C), 약 6~9개의 문장 등을 포함한다. 학습 문장들은 회화책[17]을 참고하여 실생활에서 유용한 회화 상황들을 수집하였으며, 상황들에 맞는 대화를 작성했다.

사용자가 학습을 원하는 유닛을 선택하면 해당 유닛의 스크립트 학습 화면으로 이동한다(그림12 (d)). 각 스크립트의 학습 화면은 사용자가 선택한 연예인 얼굴이 합성된 동영상과 한국어와 영어로 된 학습 문장으로 구성되어 있다. 동영상 속 인물과 사용자가 번갈아 이야기하며 차례대로 회화 학습이 진행되며, 동영상 속 인물 차례에서는 스피커 모양의 아이콘이 나타나며 화면 속의 문장을 말한다. 사용자의 차례에서는 다양한 대답을 할 수 있도록 여러 문장이 제공되고, 하단에 '지금 말하세요'라는 문구가 보이면서 사용자는 원하는 답을 이어갈 수 있다.

사용자가 대답을 하면 음성 인식이 진행되는데, 사용자가 스크립트를 따라 읽었는지 확인하고 발음에 대한 피드백을 주기위하여 구글 음성인식 API를 이용한다. 발음에 대한 피드백을 주기 위하여 제시된 스크립트와 인식된 문장을 비교하는 과정이 필요하다. 우선 스크립트에서 발생한 띄어쓰기와 특수문자들을 모두 ‘/’ 문자로 바꾸고 그 위치를 저장한다(그림 13). 음성 인식된 문장은 띄어쓰기와 특수문자를 모두 없애고 저장된 ‘/’ 문자의 위치를 그대로 적용시켜 스크립트와 같은 자리에 문자가 들어가도록 만든다. 변환된 스크립트와 인식된 문장을 첫 글자부터 비교해가며 사용자가 틀리게 말한 부분을 다른 색으로 표시해 주어 사용자가 시각적으로 틀리게 말한 부분을 확인할 수 있도록 한다. 그림 12(e)는 사용자의 대답 중 ‘~시죠’라는 부분이 잘못 대답하였음을 보여주고 있다.

Fig. 13.

Conversion process of the speech recognized sentence and the provided sentence

그림 12(f)는 스크립트의 학습이 모두 끝난 후의 결과 화면을 보여주고 있다. 음성 인식에 따라 틀리게 발음한 문장의 개수에 따라 발음 정확도를 퍼센트로 계산한 학습 등급(A, B, C)을 화면의 상단에 보여준다. 화면의 아래 부분은 학습 스크립트에 모든 문장들을 보여주는데, 사용자는 오른쪽 '☆' 표시를 눌러 따로 저장을 원하는 문장을 선택할 수 있다. 선택된 문장은 스크랩 화면에 모아져서, 쉽게 접근하여 발음을 다시 들으면서 반복 학습할 수 있다(그림 12(g)).

그림 12(h)는 사용자가 학습을 끝낸 유닛들을 모아놓은 학습 히스토리 화면을 보여주고 있다. 사용자는 히스토리 화면에서 어떤 파트의 어떤 유닛을 학습했는지, 그 유닛의 학습 등급을 확인할 수 있고, 해당 유닛을 선택함으로써 언제든지 학습을 다시 진행할 수 있다.

제안하는 한국어 회화 앱은 유닛별로 각 상황에 맞는 배경 이미지와 각 유닛의 썸네일 이미지, 앱 진행에 필요한 아이콘 이미지들을 사용했다. 각 이미지는 구글링을 통해 저작권에서 자유로운 이미지들을 선택하여 사용했다.

제안하는 앱의 성능 테스트를 위하여 안드로이드 스튜디오의 Profile을 이용했다. 제안하는 앱의 CPU 사용량은 대부분 15~25%정도이며, 클릭이나 Activity 전환 등 이벤트가 발생할 때 조금씩의 변동이 있다. 메모리는 135~140MB정도로 일정하고, 에너지 사용량은 Medium과 Light가 번갈아 나타났다. 회화 학습 진행 시 서버와 통신이 이루어지므로 네트워크가 사용되는 것으로 나타났다.