3D 스캐너 모바일 앱을 활용한 메타휴먼 아바타 제작 기법 연구

1-1 연구 배경 및 목적

현재 메타버스가 화두로 떠오르면서 디지털 휴먼의 활용도가 높아지고 있다. 활용 분야로는 엔터테인먼트, 유통, 금융, 교육, 방송 등으로 확장되고 있는 것으로 나타났으며, 국내 시장에는 LG전자 김래아, 삼성전자 네온(Neon), 머니브레인 인공지능(AI) 아나운서 등, 인플루언서로서 상품을 홍보하거나 고객 안내 서비스를 진행하고 뉴스를 읽는 등, 디지털 휴먼으로 활발하게 활동하고 있다[1]. 또한, 디지털 휴먼 중 실제 사람에 가상 얼굴을 입힌 부캐(부캐릭터)도 존재하는데 “3차원(3D) 모델링이 아니라 실제로 사람에게 가상 얼굴을 씌운 세계 최초의 가상 인간” ‘루이’를 일컫는 수식이며[2], 시장조사 업체 이머전 리서치(Emergen Research)에 따르면, 전 세계 디지털 휴먼 시장 규모는 2020년 100억 달러(약 12조 3000억 원)에서 2030년 5275억 8000만 달러(약 650조 8000억 원)로 성장할 것으로 예상된다[3]. 이렇듯 디지털 휴먼의 활용과 시장은 매년 폭발적으로 성장할 것이며, 앞으로 디지털 휴먼은 메타버스의 필수 요소가 될 것이다.

본 연구의 목적은 메타버스에 활용 가능한 디지털 휴먼 즉, 좀 더 진보된 형태의 자신을 닮은 ‘메타휴먼’ 아바타를 비교적 간단하고 효율적으로 제작할 수 있는 제작 기법을 찾고 제언하는 것이며, 나아가 메타버스 및 관련 분야의 발전에 작게나마 기초 자료를 마련하고자 하는 것이 최종 목적이다.

1-2 연구 범위

본 연구는 3D 스캐너 모바일 앱과 디지털 휴먼, 그리고 메타휴먼에 관한 선행연구를 통해, iOS 기반 3D 스캐너 모바일 앱과 언리얼 엔진(Unreal Engine)을 활용하여 메타휴먼을 제작할 수 있는 기법을 연구 범위로 정했으며, 연구의 진행 과정과 결과에 따른 메타휴먼 제작 기법은 메타버스 플랫폼 외 다양한 산업 분야에도 적용 및 활용이 가능하리라 판단된다.

2-1 3D 스캐너 모바일 앱

3D 스캐너(3D Scanner)는 대상 물체의 3차원 형상 정보를 획득하여 디지털화하고 이를 용도에 맞게 분석 및 가공할 수 있도록 도와주는 장치이다. 현재는 실물 장비가 없어도 모바일 기기의 단독 앱으로도 3D 스캐닝이 가능한 시대가 되었다. 현황을 알아보기 위해 구글 플레이 스토어(Google Play Store)와 애플 앱 스토어(Apple App Store)의 3D 스캐너 앱을 분석한 결과 Android 기반은 약 21종, iOS 기반은 약 33종으로 나타났으며, 실물 스캐너 장비와 연동 가능한 앱과 독립적으로 사용 가능한 앱 그리고, 무료와 유료, 일부 사용 기간과 횟수가 정해진 무료 앱으로 나눌 수 있었다. Fig. 1은 구글 플레이 스토어와 애플 앱 스토어에서 설치할 수 있는 3D 스캐너 앱의 일부 이미지이다.

Fig. 1.

3D Scanner App from Google Play Store and Apple App Store (Souce: Google Play Store & Apple App Store, 2022)

2-2 아바타

아바타(avatar)의 어원은 힌두교에서 지상 세계로 강림한 신의 육체적 형태를 뜻하는 산스크리트어 낱말 “아바타라 (अवतार)"이며, ‘아바타’라는 말은 1992년 닐 스티븐슨(Neal Stephenson)이 쓴 과학 소설 “스노우 크래시”에서 메타버스 (Metaverse)란 가상 세계의 형체를 뜻하는 말로 처음 쓰였다. 아바타는 컴퓨터 사용자 스스로를 묘사한 것으로 컴퓨터 게임에서는 2/3차원 모형 형태로 인터넷 포럼과 기타 커뮤니티에서는 2차원 아이콘(그림)으로, 머드 게임과 같은 초기 시스템에서는 문자열 구조로 쓰인다. 다시 말해, 사용자가 스스로의 모습을 부여한 물체라고 할 수 있다[4].

또한, 아바타를 통한 커뮤니케이션은 현실에서의 연령, 외모, 신체적 장애 등에 대한 편견 없이 자신의 내면을 더욱 과감히 드러낼 수 있도록 만들어 때로는 현실에서보다 진정성 있는 교류가 이루어질 수 있다고 할 수 있다[5]. Fig. 2는 메타버스에서 사용되는 3D 아바타의 예시이다.

Fig. 2.

Avatar with your own unique personality (Souce: Cheil magazine, 2022)

2-3 디지털 휴먼

메타휴먼의 개념을 알기 위해서는 먼저, ‘디지털 휴먼’을 알아야 한다. 디지털 휴먼에 관한 정의[6]는 현재 다양한 의견이 있지만, 본 연구에서는 ‘가상공간에서 마치 실제로 존재하는 사람처럼 움직임을 재현하는 디지털 기술로 만들어진 가상인간’이라고 정의한다.

1996년, 일본에서 데뷔한 최초의 사이버 아이돌 “다테 쿄코(Date Kyoko)”의 등장은 가상인간의 가능성에 대한 최초의 실증사례였다. 이는 1998년 우리나라의 사이버 가수 “아담(Adam)”의 등장으로 이어졌으며 당시 기술의 한계로 인하여 얼마 가지 못해 사라지게 되었다. 그러나 현재 컴퓨터그래픽스와 하드웨어, 모션 캡처를 이용한 기술을 통해 더욱 정교하고 사람에 가깝게 만들 수 있게 되었으며, 사라졌던 가상 인간이 “디지털 휴먼(Digital Human)”이라는 이름으로 다시금 등장하게 되었다[7]. Fig. 3은 디지털 휴먼의 활용 사례이다.

Fig. 3.

Digital Human Use Cases (Souce: etnnews, 2021)

2-4 메타 휴먼

‘메타휴먼’이란 에픽게임즈사의 언리얼 엔진의 온라인 애플리케이션인 ‘메타휴먼 크리에이터(MetaHuman Creator)’로 제작한 고퀄리티 디지털 캐릭터를 지칭한다[8]. 기본적으로 프리셋 형태의 메타휴먼을 제공하고 있으며 다양한 페이스, 헤어, 보디 외형 그리고 세부적으로 피부, 눈, 헤어 컬러, 눈썹, 수염, 상, 하의 신발 등 메타휴먼을 쉽고 빠르게 제작할 수 있는 컴포넌트를 제공하고 있다. 그 밖에 페이셜 컨트롤 릭과 보디 컨트롤 릭을 통해 메타휴먼의 얼굴과 몸에 모션(Motion)을 생성할 수 있는 강력한 애플리케이션이자 클라우드 시스템이다. Fig. 4는 메타휴먼 크리에이터의 인터페이스 중 일부이다.

Fig. 4.

MetaHuman Creator (Souce: UNREAL ENGINE MetaHuman Creator, 2022)

3-1 연구대상 및 방법

본 연구의 대상으로는 연구자인 나 자신의 메타휴먼 아바타를 제작 목표로 정했으며, 연구 방법으로는 먼저, 무료 모바일 3D 스캐너 앱을 통해 여러 장의 얼굴 사진을 촬영한 뒤 3D 모델 즉, 3D 메시를 생성하고, 블렌더[9]로 3D 메시 파일을 임포트(Import) 하여 일부 보정하였다. 그리고 언리얼 엔진에서 파일을 임포트 한 뒤, 메타휴먼 크리에이터를 사용하여 메타휴먼을 제작하였으며, 마지막으로 메타휴먼에 모션을 추가하여 최종 완성하였다.

3-2 연구 문제 및 절차

본 연구를 진행하기 위해 연구 문제를 도출하였고 연구 문제는 다음과 같다.

연구 문제 1. 3D 스캐너 모바일 앱에서 3D 메시를 제작하기 위한 방법은 무엇인가?

연구 문제 2. 3D 메시를 활용한 메타휴먼의 제작 방법은 무엇인가?

앞서 연구 방법으로 기술한 메타휴먼의 제작 과정을 도식화하면 다음의 Fig. 5와 같다.

Fig. 5.

Metahuman production process

3-3 3D 스캔

메타휴먼을 제작하기 위해서는 얼굴을 촬영한 3D 메시의 품질이 무엇보다도 중요하다. 그 이유로는 메타휴먼 크리에이터에서는 외부에서 생성한 3D 얼굴 메시 특히, 눈, 코 옆 팔자주름, 입술 등을 중심으로 메타휴먼의 얼굴을 생성할 수 있으며, 나머지 디테일한 피부, 헤어, 보디 등은 제공되는 프리셋 형태의 컴포넌트를 사용하여 최종 메타휴먼을 제작할 수 있기 때문이다. 먼저, 선행연구에서 분석한 Android와 iOS 기반 앱 중, 양쪽 스토어에 공통으로 등록된 앱을 다시 분석했으며 다음으로, 유튜브와 인터넷 검색을 통해 얼굴 스캐닝이 가능한 무료 3D 스캐너 앱을 찾아보았다. 마지막으로 사용자 리뷰와 평점이 좋은 앱을 중심으로 분석한 결과 최종 세 종류로 함축할 수 있었으며, 실험을 위해 아이폰(13 Mini)에 직접 설치하고 거울 앞에 비친 연구자의 얼굴 정면과 옆면을 촬영하여 3D 메시 품질을 테스트하였다.

실험 결과, 촬영 시 최소 20장 이상의 사진을 촬영해야 한다는 앱의 메시지가 나타났으며, KIRI 앱의 경우 무료로 촬영이 가능한 사진의 수가 70장으로 제한되어 있어서, 세 종류 앱 모두 일괄적으로 총 70장씩을 촬영하여 3D 메시를 생성하였다. Table 1은 세 종류의 앱을 테스트한 결과이다.

Table 1.

3D Scanner App Test Results

3D 스캐너 앱을 사용하여 촬영된 사진은 앱을 통해 클라우드 서버에서 3D 모델 즉, 메시로 변환하는 과정을 거쳐 다양한 파일 포맷으로 익스포트(Export) 할 수 있었다. 다만 일부 파일 확장자로 익스포트 하기 위해서는 유료 버전으로 전환해야 하며, 파일 포맷에 따라 비용이 발생한다. 또한, 두 가지 앱(Polycam과 KIRI Engine)은 무료로 사용하기 위해 최초 회원 가입 및 이메일 인증 그리고 사용횟수를 늘리기 위해 부가 정보 입력 또는, 간단한 퀴즈 등에 답변을 선택하며 진행해야 했다. 테스트 결과 세 가지 앱 중 메시의 품질이 가장 우수하게 나타난 WIDAR의 파일을 최종 선택하고 다음 절차를 진행하기 위해 FBX 파일 포맷으로 변환하여 익스포트 하고 저장하였다.

3-4 3D 메시 보정

앱을 통해 만들어진 3D 얼굴 메시의 보정을 위해 먼저, 추출한 파일을 블렌더로 임포트하였다. 다음으로 얼굴을 제외한 불필요한 메시를 삭제하고, 스컬프팅(Sculpting)[10] 기능을 사용해서 일부 메시를 보정하는 작업을 진행하였다. 마지막으로 파일을 최종 FBX 파일로 익스포트하고 저장하였다. Fig. 6은 블렌더에서 3D 메시를 보정하는 화면이다.

Fig. 6.

3D Mesh Calibration Screen in Blender

4-1 메타휴먼 생성

블렌더를 사용해서 보정한 FBX 파일을 언리얼 엔진으로 임포트하여 본격적으로 메타휴먼을 생성하기 위한 작업을 진행하였다. 먼저, 언리얼을 실행하고 메타휴먼 플러그인(Plugin)을 설치하였다. 그리고 메타휴먼 아이덴티티(Metahuman Identity)를 생성하고 카메라 오토 트래킹(Auto Tracking) 기능을 활성화한 후 눈, 코 옆 팔자주름, 입술을 트래킹하여 메타휴먼의 얼굴을 생성하였다. 다음으로 보디 프리셋(Body Preset)에서 몸을 선택하고 메시 투 메타휴먼(Mesh to Metahuman) 버튼을 클릭해서 리깅(Rigging)된 메타휴먼을 생성하였으며, 마지막으로 퀵셀 브리지(Quixel Bridge)에서 메타휴먼 크리에이터를 실행하고 선택편집 모드로 들어가서 페이스, 헤어, 보디와 세부 요소들을 디테일하게 편집하고 설정하였다. Fig. 7은 메타휴먼 플러그인의 아이덴티티와 메타휴먼 크리에이터에서 작업하는 일부 화면이다.

Fig. 7.

MetaHuman Identity and MetaHuman Creator's Work Screen

4-2 메타휴먼 모션 구현

메타휴먼에 모션을 추가하기 위해 먼저, 크리에이터에서 생생한 메타휴먼을 퀵셀 브리지를 통해 다운로드하고 언리얼 엔진으로 임포트하였다. 그리고 연구자의 얼굴과 목의 움직임을 트래킹하여, 실시간 스트리밍을 통해 메타휴먼과 연동시킬 수 있는 Live Link Face 앱[11]을 사용하여 화면 녹화를 한 후 파일로 저장하였다. 다음으로, 메타휴먼의 보디 컨트롤 릭에서 키 애니메이션을 추가하고 조정하며 몸의 모션을 추가하였으며, 마지막으로 렌더링 설정을 통해 최종 영상물로 출력하였다. Fig. 8은 언리얼에서 메타휴먼에 모션을 추가하고 구현하는 화면이며, Fig. 9의 QR코드를 스캔하면 최종 결과물을 영상으로 확인할 수 있다.

Fig. 8.

The task screen to add motion to the meta-human

Fig. 9.

Final Results Video

4-3 소결

메타휴먼을 제작하기 위해 도출하였던 연구 문제 1의 방법으로는 다양한 촬영 각도에 따른 70장 이상의 얼굴 사진이 필요하였고, 연구 문제 2의 방법으로는 섬세한 3D 메시의 보정이 중요하였으며, 무엇보다도 자신과 최대한 비슷한 얼굴의 형태를 제작하기 위한 옵션의 선택과 조정이 중요하였다.