Journal Archive

DualStyleGan은 실제 얼굴 도메인과 초상화 도메인의 이중 스타일을 유연하게 제어하여 자연스러운 초상화 얼굴 합성을 만들어내는 모델이다[10]. DualStyleGAN은 기존 StyleGAN의 내부 스타일 경로에 새로운 외부 스타일 경로를 추가하여 고해상도의 초상화 스타일을 전송한다. 본 논문에서 DualStyleGAN은 화상회의 사용자와 닮은 아바타를 생성하는 데 사용된다.

그림 2은 DualStyleGAN의 구성도를 보여주고 있다. 얼굴 이미지 I와 초상화 이미지, 즉 만화 캐릭터 이미지 S가 주어지면, G(E(I), E(S), w)에 의해 스타일이 전송된다. 여기서 E는 인코더(encoder), G는 생성자(decoder 또는 generator), ω은 내부 스타일 경로와 외부 스타일 경로의 유연한 스타일 조합에 대한 가중치 벡터이다. 색상은 외부 스타일 경로의 매핑 네트워크를 통해 추출된 색상 코드를 도메인별로 색상을 특성화하는 색상 변환(color transform) 블록에 전달되고 미세(fine) 해상도를 위한 생성자에서 ω 값을 반영하여 융합된다. 구조는 도메인별로 스타일 구조를 특성화하는 구조 변환(structure transform) 블록을 통해 변조 잔차(modurative residual) 블록에 전달되고 거친(coarse) 해상도의 생성자에서 융합된다.

Fig. 2. 
Structure of DualStyleGAN[10]

THA 모델은 한 장의 2D 이미지로 애니메이션과 같이 표정을 바꾸고 3D 움직임을 얻을 수 있는 GAN 모델이다[11]. 본 논문에서 THA 모델은 캐릭터 애니메이션 기능과 감정 이모티콘 생성에 사용된다.

THA 모델은 눈썹, 눈, 입, 눈동자 크기 및 위치, 얼굴 회전의 값을 가진 6차원 포즈 벡터를 face morpher와 face rotator 네트워크로 전달해서 캐릭터 이미지를 변경한다. 먼저 face morpher는 눈과 입이 열리는 정도로 표정을 변화시킨다[11]. 식 (1)은 face morpher의 손실함수이다.

여기서 p_data는 훈련 데이터의 확률 분포를 나타낸다. (I_r, p, I_e)는 각각 I_r은 원본 이미지, p는 포즈 벡터, I_e는 변경 사항이다. G_fm은 face morpher 네트워크를 나타낸다.

다음으로 face rotator는 얼굴을 회전시킨다. 얼굴 회전은 2D가 아닌 3D 공간에서 이루어지므로 2D 이미지를 3D로 변환시키는 알고리즘이 필요하다. Face rotator는 GANimation[12]과 GridFace[13]의 두 개의 뷰 합성 알고리즘의 결과값을 더하여 얼굴 회전을 계산한다. 식 (2)은 face rotator의 손실 함수이다.

여기서 I_p은 포즈된 이미지이고 I_k은 GANimation[12]과 GridFace[13]의 네트워크를 통과한 이미지이다. Φ_j(I_p, I_k)은 이미지 분류용 알고리즘인 VGG-16을 정의한다[14].

기존 DualStyleGAN 모델이 서구적인 만화 캐릭터들을 대상으로 학습되었다면, 본 논문에서는 ‘여신 강림’이라는 한국만화 캐릭터를 추가하여 학습한다. ‘여신 강림’은 네이버 웹툰 중 신드롬을 일으켰던 작품으로 네이버, 구글 등의 웹사이트에서 크롤링을 통해 이미지 데이터를 수집하였다. 그림 3은 아바타 생성을 위한 학습에 사용된 ‘여신강림’ 만화 캐릭터 이미지 예를 보여준다.

Fig. 3. 
Examples of ‘True Beauty’ cartoon character images used as learning data to generate an avatar

아바타 생성을 위한 DualStyleGAN의 학습은 크게 네 개의 과정으로 나뉜다. 첫 번째 과정인 얼굴 디스타일화(destylization)는 예술적 초상화에서 사실적인 얼굴을 복구하는 것으로 고정된 얼굴-만화 캐릭터 쌍을 형성하는 것을 목표로 한다. 그림 4는 얼굴 디스타일화 과정을 보여주는데, 그림 4(a)는 만화 캐릭터 학습 데이터로 그림 1의 S에 해당한다. 그림 4(b)는 S가 인코더와 내부 스타일 경로의 생성자 g에 의해 StyleGAN의 잠재공간 z⁺에 초기 매핑된 얼굴을 나타낸다(gES=gze+). 그림 4(c)는 초기 매핑된 얼굴을 외부 스타일 경로의 생성자로 최적화한 얼굴이며(gz^e+), 그림 4(d)는 최적화한 얼굴에서 비현실적인 얼굴 정보를 추가로 제거한 최종 디스타일화한 얼굴을 보여준다(gEgz^e+=gzi+).

Fig. 4. 
Results of face destylization : (a) the input character image S, (b) the latent-initialized face gze+, (c) the latent-optimized face gze+, and (d) the final destylized face gzi+

아바타 생성을 위한 두 번째 학습 과정은 그림 1의 DualStyleGAN을 통한 학습이다. 내부 스타일 경로는 만화 캐릭터의 디스타일화된 zi+ 또는 인코더 E에 내재된 실제 얼굴 이미지의 잠재공간 z⁺을 받는다. 외부 스타일 경로는 만화 캐릭터의 초기 얼굴인 ze+를 사용한다. 그림 5는 ‘여신강림’에 의해 추가 학습된 DualStyleGAN에 의해 생성된 캐릭터 결과물을 보여준다. 그림 5(a)는 실제 얼굴 이미지이고, 그림 5(b)는 그림 5(a)를 ‘여신강림’ 스타일의 만화 캐릭터 얼굴로 생성된 결과 이미지이다.

Fig. 5. 
Results generated by DualStyleGAN learned with ‘True Beauty’ : (a) input real faces and (b) generated faces

아바타 생성을 위한 세 번째 과정은 점진적 미세 조정 과정으로, 목표 도메인의 색상, 얼굴 구조, 얼굴 스타일을 차례대로 기존 도메인에 전송한다. 그림 6은 점진적 미세 조정 과정을 단계별로 보여준다. 그림 6(a)은 입력 얼굴 이미지와 만화 캐릭터(왼쪽 하단)를, 그림 6(b)은 1단계에서 만화캐릭터의 색상을 변환한 결과를, 그림 6(c)은 2단계에서 만화 캐릭터의 구조를 변환한 결과를 보여준다. 그림 6(d)은 3단계에서 최종 미세 조정으로 스타일을 변환한 결과를 보여준다. 아바타 생성을 위한 마지막 과정은 잠재공간에서의 최적화와 샘플링으로, 조정된 모델로 얻은 이미지는 훨씬 스타일 이미지에 가까워진다.

Fig. 6. 
Results of progressive fine-tuning : (a) input, (b) after stage I, (c) after stage II, and (d) after stage III

지금까지 설명한 아바타 생성을 위한 네 개의 과정을 포함한 학습은 운영체제는 윈도우 10, CPU는 Intel i5, GPU는 NVIDIA GeForce RTX 2060인 컴퓨터에서 이루어졌다. 얼굴 디스타일화 과정에서는 배치 크기를 1로, 반복을 300으로, 보다 사실적으로 만드는 하이퍼 파라미터인 truncation을 0.7로 설정했다. 점진적 미세 조정 과정에서는 학습률을 0.002로 설정하고, 최적화 함수로 Adam을 사용했다. 미세조정 과정의 1, 2 단계에서 반복은 3000으로, 배치 크기는 4로 설정했고, 손실 함수로 perceptual loss를 사용했다. 3 단계에서는 반복을 1500으로, 배치 크기를 2로 설정했고, 손실함수는 contextual loss를 사용했다. 마지막 최적화와 샘플링 과정에서는 배치 크기를 1로, 반복을 100으로, 색상 변환를 위한 학습률을 0.1로, 구조 변환를 위한 학습률을 0.005로 설정했다. 그림 7은 '여신강림'의 만화 캐릭터를 이용하여 모든 학습이 진행된 후 생성된 사용자와 닮은 만화 캐릭터 이미지를 보여준다. 그림 7의 두 번째 행 가장 왼쪽의 만화 캐릭터 스타일이 첫 번째 행의 다양한 입력 얼굴에 적용되어 생성된 결과들이다.

Fig. 7. 
Final results of generated avatars

본 절에서는 THA 모델을 이용하여 3-1절에서 생성한 2D 아바타 이미지를 애니메이션시키는 방법을 설명한다. 그림 8은 본 논문에서 구현한 캐릭터 애니메이션을 위한 흐름도를 보여준다. 먼저 비디오, 오디오 등과 같은 시계열 데이터를 처리하는 기계 학습 파이프라인을 구축하기 위한 프레임워크인 미디어파이프(MediaPipe)를 이용하여[15] 웹캠을 통해 사용자의 움직임을 실시간으로 얻어낸다. 미디어파이프의 얼굴 메쉬(FaceMesh)는 실시간으로 사용자 얼굴의 특징을 추출할 수 있는 솔루션으로, 눈과 눈동자, 눈썹, 코, 입술, 그리고 얼굴 윤곽의 랜드마크를 추출하여 위치를 얻을 수 있다. 이렇게 추출된 얼굴 랜드마크 위치값을 THA 모델에 전달한다. THA 모델은 전달받은 랜드마크 값을 face morpher와 face rotator 네트워크로 전달하여 DualStyleGan을 통해 만들어진 고정된 포즈의 아바타 이미지가 실시간으로 추출된 사용자의 얼굴 랜드마크 값에 따라 실시간으로 움직이는 모습을 보여줄 수 있다. 그림 9는 아바타 이미지(그림 9(a))를 face morpher와 face rotator 네트워크로 실행시킨 결과를 각각 보여준다.

Fig. 8. 
Flowchart for animating the generated avatar

Fig. 9. 
Results by the Talking head anime model : (a) 2D avatar, (b) face morpher, and (c) face rotator

3-2절과 같이 눈, 코, 입, 귀의 좌표값에 따라 2D 캐릭터를 움직일 수 있는 THA 모델을 이용하여 각 좌표값을 조절함으로써 다양한 표정의 이모티콘을 생성할 수 있다. 우선 256×256의 크기이며 컬러에 알파 채널을 추가한 RGBA 형식으로 배경이 투명한 파일을 준비한다(그림 10). 3-1에서 생성된 2D 아바타는 128×128의 크기로 재조정되어 투명 파일의 중앙에 배치된다.

Fig. 10. 
Emoticon configuration

다음으로 고정된 표정을 가진 2D 아바타의 눈, 코, 입, 귀 의 얼굴 좌표값에 ‘기쁨’, ‘슬픔’, ‘화남’, ‘윙크’ 등 4가지 표정을 위한 포즈를 적용한다. THA는 눈썹, 눈, 입, 얼굴 등을 표정이나 움직임에 따라 12개의 양 눈썹 포즈, 12개의 양 눈 포즈, 9개의 입 포즈 등을 제공한다. 각 포즈는 0~1 사이의 실수를 가지며, 1의 값에 가까워질수록 뚜렷한 표정 변화가 나타낸다. 본 논문에서는 정확한 표정을 보여주기 위하여 최댓값인 1을 적용한다. 예를 들어, ‘기쁨’의 경우 기쁨의 두 눈과 ‘e’ 모양의 입에 해당하는 포즈값만 1로, 다른 포즈값을 0으로 설정하면 THA 모델은 웃고 있는 눈과 올라간 입 모양을 표현할 수 있다. ‘슬픔’은 곤란함의 두 눈썹과 아래쪽 입꼬리를, ‘화남’은 화남의 두 눈썹과 아래쪽 입꼬리를, ‘윙크’는 기쁨의 왼쪽 눈만 1로 설정하여 캐릭터에 표정을 적용한다. 그림 11은 2D 아바타에 기쁨, 슬픔, 화남, 윙크의 4개의 표정을 적용한 결과를 보여준다.

Fig. 11. 
Results of emoticons with emotions : (a) happy, (b) sad, (c) angry, and (d) wink

본 논문에서 제안하는 화상회의 시스템의 아키텍처는 그림 12와 같다. 아바타 생성 모델인 DualStyleGan과 이모티콘, 이미지 애니메이션 생성을 위한 THA 모델은 플라스크(Flask) 서버로 제공하고, 사용자, 일정, 게시글 등은 스프링부트(Spring boot) 서버를 통해 제공한다. 클라이언트는 웹과 모바일 앱으로 제공하여 사용자의 편리성을 보완한다. 웹은 리엑트(React)를 사용해 구현하며, 모바일 앱은 안드로이드를 사용해 구현한다. 화상회의는 웹 또는 모바일 앱에서 영상 통화 기능을 쉽게 추가할 수 있는 오픈소스 플랫폼인 오픈바이두(OpenVidu)를 활용해 구현한다[16]. 클라이언트와 스프링부트 서버 사이의 알림은 메시지를 안정적으로 전송할 수 있는 크로스 플랫폼 메시징 솔루션인 Firebase 클라우드 메시징(FCM)으로 구현한다. 데이터베이스는 사용자 정보와 화상회의 정보 등을 MariaDB로, 챗봇 정보를 레디스(redis)로 구현하여 저장한다.

Fig. 12. 
Architecture of the proposed video conferencing system

또한 제안하는 화상회의 시스템은 대화식 사용자 인터페이스를 모바일 앱, 웹 등에 설계하고 통합할 수 있는 플랫폼인 구글 다이얼로그플로우(DialogFlow)를 활용해 대화를 구성하고 챗봇을 구현한다. 그림 13은 제안하는 챗봇의 인텐트 구조를 보여준다. 화상회의를 위한 챗봇은 일정 조회, 알림, 예약의 3가지 업무를 수행한다.

Fig. 13. 
Structure of intent in the proposed chatbot

그림 14는 본 논문에서 제안하는 화상회의 시스템 개발 결과를 보여준다. 화상회의 사용자는 아바타를 생성하기 위해 얼굴을 포함하는 사진을 업로드하거나 카메라 사진 촬영 방식으로 직접 입력받아올 수 있다(그림 14(a)). 생성될 아바타의 이름과 설명을 입력한 후 원하는 만화 캐릭터 종류를 선택한다(그림 14(b)). 선택할 수 있는 만화 캐릭터의 종류는 만화, 캐리커처, 애니메이션, 아케인, 픽사, 여신강림으로, 그림 14(c)는 만화에 포함된 70개의 캐릭터와 여신강림에 포함된 16개의 캐릭터를 보여준다. 그림 14(d)는 여신강림 13번 캐릭터를 선택했을 때, 그림 14(a)의 입력 영상으로 생성된 아바타와 이 아바타의 기쁨, 슬픔, 화남, 윙크의 표정을 적용한 이모티콘을 보여준다.

Fig. 14. 
Screenshots of the proposed video conferencing system : (a) input face(photo or camera), (b) avatar information (name, description and types), (c) cartoon characters, (d) avatar generation result (avatar and 4 emotional emoticons), (e) selection of an avatar for video conferencing, (f) screen of video conference system (avatars, chats, emoticons, etc.), (g) list of meeting participants, (h) registration of meeting schedule and (i) chatbot that helps register and search meeting schedules

*These figures are screen captures of the developed system, and this system is made for Korean users.

사용자는 화상회의를 사용하기 위해 캘린더에서 원하는 날짜와 시간에 회의실을 예약한다. 회의실에 입장하기 전에 미리 생성해 놓은 아바타 중 하나를 선택한다(그림 14(e)). 회의장에 참여하면 선택된 아바타가 사용자를 대신해서 화면에 보이며 회의 중 카메라에 비친 사용자의 움직임에 따라 아바타가 움직인다.(그림 14(f)). 회의 중 음소거, 비디오 중지, 회의 나가기와 같은 기능이 제공된다. 회의실의 오른쪽엔 채팅방이 있고 아바타와 함께 생성된 감정 이모티콘을 사용해 대화할 수 있다. 또한 회의실에 참여하는 사용자 목록을 확인할 수 있으며(그림 14(g)), 일정 제목, 일정 타입, 시간, 내용, 알람시간 등의 정보를 입력하여 회의 일정을 추가하고 개설할 수 있다(그림 14(h)).

제안하는 화상회의 시스템은 챗봇 기술을 접목해 사용자의 전체적인 일정을 관리한다(그림 14(i)). 챗봇을 이용하여 팀 이름, 회의 일정 등에 대한 안내를 통해 회의를 예약하고 알람을 설정할 수 있다. 또한 팀 이름과 회의 일정을 이용하여 예약된 회의를 조회할 수도 있다.