증강현실 얼굴인식기술을 활용한 한.중.일 탈 문화 체험 콘텐츠 설계 및 제작

2-1 한.중.일 탈 문화

한·중·일의 탈 문화를 이해하려면 먼저, 탈을 가장 많이 사용하는 가면극을 보면 알 수 있는데, 한·중·일의 가면극은 역사적으로 매우 유사한 방향으로 발전해 왔다. 가면극은 크게 마을 주민들이 전해 계승한 가면극과 전문가들 계승한 가면극이 있다. 한.중.일 각국은 한자문화권에서 불교와 유교 등 공동의 문화유산 속에서 각각에 맞는 문화로 발전해 나갔다. 각국의 전통 색은 목(나무), 화(불), 토(흑), 금(쇠), 수(물)의 음양오행을 바탕으로 흑, 백, 황, 적, 청의 5가지 색으로 대표되는 공통점을 보이는데, 상징과 의미는 역사적, 문화적 특징에 맞춰 각각 다르게 표현돼왔다. 한국 탈은 불균형한 좌우대칭의 특징이 있다. 해학성을 표현하기 위해 대부분 표정은 과장되게 표현된다. 따라서 놀란 표정과 웃는 표정이 많고, 비정상적으로 입이 틀어졌거나, 눈이 짝짝이와 같은 표현이 많다. 이는 지배층을 희극적으로 표현하기 위한 서민의 의도였다. 그림 1과 같이 한국 탈은 불균형이라는 미학적 특징을 가지고 있으며, 색채는 빨간색, 검은색, 노란색, 주황색, 흰색으로 구성되고, 부드럽고 자연스러운 채색의 특징을 가지고 있다. 중국 탈의 특징은 검은색, 빨간색이 긍정을 의미하며, 강직하고 힘이 넘치는 품격의 인물을 나타내는 상징색이며, 그림 2와 같이 무채색을 최고의 경이로운 색으로 여기는 종교 관념이 반영돼 있다. 빨간색, 분홍색, 검은색, 흰색, 노란색, 자주색, 녹색, 금색, 은색, 회색 등, 다양하고 역동적인 채색의 특징을 가지고 있다. 일본 탈의 특징은 빨간색은 강함, 정의, 과격, 용기, 젊음 용기를 표현하고, 흰색에 빨간색 선을 그려 넣어 부끄럽고 화난 것을 표현한다. 빨간색은 긍정적인 의미만 있는 것이 아니라, 온몸을 빨갛게 칠하여 악인을 표현하기도 하는데, 그림 3과 같이 빨간색이 상징하는 것은 형태에 따라 그 의미가 다름을 알 수 있다. 색채는 흰색, 빨간색, 적황색으로 섬세하게 표현하며, 얼굴뿐만 아니라, 몸통까지 분장으로 표현하는 특징을 가지고 있다 [4],[5].

Fig. 1.

Korea Mask

Fig. 2.

Chinese Mask

Fig. 3.

Japan Mask

2-2 증강현실 얼굴인식기술

증강현실은 항공기 제작사인 보잉사가 항공기를 조립하기 위한 작업으로 실제에 가상을 중첩하는 과정에서 소개됐다[6]. 현실 세계에 가상의 물체를 합성하고, 사용자와 가상의 물체와 상호작용을 실시간 가능하게 하는 것을 말하며, 사용자는 현실과 가상의 물체가 덧입혀진 증강된 세계에서 가상의 물건 등과 상호작용할 수 있다[7]. 일반적으로 공간의 구성은 실공간과 가상공간으로 나눌 수 있는데, 실공간은 현재 우리가 사는 공간을 말하며, 가상공간은 3차원의 좌표로 만들어진 가상의 물체가 있는 공간을 말한다. 그리고, 이 두 공간을 결합한 증강된 공간으로 나눌 수 있다[8]. 가상현실은 3차원 그래픽으로 구성된 가상세계에서만 사용자가 체험 활동이 가능하지만, 증강현실은 현실 세계와 가상의 객체를 결합한 형태로 체험을 할 수 있어 현실감이 좋다[9]. 현재 게임, 교육, 예술 등의 여러 분야에서 활용되고 있고, 최근에는 증강현실 기술을 활용하여 현실 세계의 사물과 공간을 가상의 세계에 복제하여 연동하고 상호작용하는 디지털 트윈에도 많이 활용되고 있다[10]. 증강현실 기술은 크게 그림 4와 같이 마커 방식과 마커리스 방식으로 나뉜다. 마커 방식은 이미지를 활용하여 특이점이라고 하는 특정 패턴을 인식하는 방식으로 카메라 화면으로부터 등록한 마커 이미지를 감지하여 인식되는 경우, 마커 이미지에 가상의 물체를 위치시키는 기술을 말하며, 가상의 물체가 현실 세계와 유기적으로 결합하기 위해서는 마커에 특이점이 많은 이미지를 사용하는 것이 중요하다[11]. 마커리스 방식은 카메라에 보이는 영상을 직접 판별하여 정보를 획득하고 물체를 인식하여 가상의 물체를 위치시키는 방식을 말한다[12]. 마커리스 방식의 한 종류인 얼굴인식기술은 그림 5와 같이 카메라의 실시간 영상을 Raw Data로 추출하여 얼굴의 특징점을 검출하고 얼굴을 정규화한 뒤에 얼굴을 인식한다[13]. 최근에는 ARCore, ARKit, ARFoundation, Vuforia 등과 같은 개발도구가 지원되어 다양한 분야에서 쉽게 활용이 가능해졌다. 개발도구에는 얼굴인식 기능뿐 아니라 그림 6과 같이 몸을 인식하는 기능도 가능해지고 있다. 얼굴인식은 플랫폼 및 개발도구에 따라 표 1과 같이 지원하는 범위가 다른데, ARCore 얼굴인식의 경우는 얼굴 표면에 대한 정보와 왼쪽 이마, 오른쪽 이마, 코 위치에 대한 정보를 얻을 수 있어, 해당 부분에 가상의 물체를 위치시켜 표현할 수 있다[14]. 일반적으로 AR-SDK(Software Development Kit)라고 하는 증강현실 개발도구는 Window, Android, IOS(iPhone Os)와 같은 플랫폼에 맞춰, 설계가 되어있기 때문에, 증강현실 콘텐츠를 제작할 때에는 플랫폼별 제작을 각각 따로 해야 한다. 이는 개발비와 제작 기간의 증가로 이어진다. 최근 콘텐츠제작업체에서 많이 사용되고 있는 Unity Engine은 처음에 멀티플랫폼을 지원하는 게임제작 엔진으로 출발하여, 게임뿐만 아닌 다양한 콘텐츠에 활용되는 통합 콘텐츠제작 도구로 확대되고 있다[15]. Unity Engine은 내부 프레임워크에서 별도의 작업 없이 플랫폼별 개발이 가능하며, 증강현실개발 도구인 ARFoundation을 지원하고. 필요한 에셋들을 바로 다운로드 가능한 에셋스토어가 있어, 다양한 플랫폼에서 빠르게 개발할 수 있다[16],[17].

Fig. 4.

Marker & Markerless Augmented Reality

Fig. 5.

Augmented reality face recognition technology

Fig. 6.

Augmented reality body recognition technology

Table 1.

ARFoundation platform-specific support

2-3 문화 관련 콘텐츠 앱 등록 현황

최근 구글플레이에 등록되어있는 문화 관련 콘텐츠를 “문화”, “한중일”, “문화유산”, “문화교류”, “얼굴인식”과 같은 키워드로 검색하였다. 표 2와 같이 검색 키워드별 노출된 앱 중에서 문화 관련 콘텐츠의 대략 1~8종, AR/VR 콘텐츠는 최대 2종으로 빈도가 낮으며, 대부분 지역 문화유산의 홍보 및 행사 알림과 같은 앱이고, 문화교류를 위한 콘텐츠는 등록된 경우가 없고, 얼굴인식 콘텐츠의 경우 10종으로 검색 노출이 많지 않았고, 재미를 위한 콘텐츠가 대다수였다.

Table 2.

Culture-related content uploaded to Google Play

그림 7은 대부분의 등록되어있는 일반적인 문화 앱을 나타내며, AR 과학문화유산 콘텐츠의 경우 마커 방식으로 문화체험이 가능한 콘텐츠이지만, 등록된 마커 이미지가 있어야 구동이 된다.

Fig. 7.

Local cultural heritage content and AR experience content uploaded on Google Play

3-1 콘텐츠 설계

현재까지 대부분의 증강현실 콘텐츠는 마커 기반의 교육용 콘텐츠가 대부분이고 증강현실에 대한 수요가 많음에도 불구하고 다양한 분야의 적용은 더디게 진행되고 있다. 본 연구에서는 한.중.일 탈을 사용자의 얼굴에 직접 체험하는 마커리스 방식의 한 종류인 얼굴인식 증강현실 콘텐츠제작을 위해, IOS(iPhone Os), Android 등의 다양한 플랫폼에서 동작이 가능한 Unity Engine과 ARFoundation을 사용하였다. ARFoundation은 Unity Engine이 지원하는 미들웨어 형태의 AR-SDK(Software Development Kit)로써 실행 파일 빌드 시, 선택에 따라 내부에서 ARCore, ARkit 등과 같은 형태로 자동 변환되어 처리된다. 콘텐츠는 크게 한.중.일 탈 문화에 대한 정보를 배울 수 있는 부분과 체험하는 부분으로 나눠서 구현하였고, 각 국가별 전통의 탈을 구현하는데, 한국과 일본의 경우 목재나 종이로 만들어진 전통 탈을 사용하기 때문에 3D모델링 형태로 제작하였고, 중국의 경우 극히 짧은 시간에 가면을 바꾸는 천의 형태의 가면을 사용하기 때문에 2D 형태의 2차원 좌표인 UV를 사용하여 제작을 진행하였다. 콘텐츠 제작과정은 그림 8과 같이 개발환경을 설정하고, 각 콘텐츠 장면을 구성하고, 콘텐츠에 필요한 리소스를 제작한 뒤, 얼굴 감지 등과 같은 기능구현. 이벤트 처리, 연출에 대한 프로그래밍을 진행하고 최종 테스트를 진행하였다.

Fig. 8.

Korean, Chinese, and Japanese mask cultural experience contents creation process

3-2 콘텐츠와 UI (user interface) 흐름도

그림 9는 콘텐츠 흐름을 나타내고, 각 요소에 대한 정의는 다음과 같다.

Fig. 9.

Contents Flowchart

2) UI (user interface) 흐름도

그림 10은 UI( user interface) 흐름을 나타낸다. 각각의 화면은 버튼을 통하여 구현된 화면으로 이동하고 화면별 기능을 체험할 수 있다.

Fig. 10.

UI Flowchart

4-1 증강현실 얼굴인식기술의 개발환경

Android에서 얼굴인식 증강현실 콘텐츠를 제작하기 위해서는 그림 11과 같이 Unity Engine의 특별한 기능들을 추가 설치하기 위한 Package Manager에서 ARCore와 ARKit의 플랫폼 미들웨어 역할을 하는 ARFoundation을 설치해야 한다. 설치 이후에는 증강현실에 대한 설정이 필요한데, 그림 12와 같이 Project Settings 항목에서 XR Plug-in Management 항목의 ARCore 체크로 설정할 수 있다. 그림 13과 같이 AR 전체를 관리하고 감독하는 AR Session 객체와 AR Session에서 원점을 탐지해 알려주는 AR Session Origin 객체를 추가한다. 증강현실은 가상의 카메라가 아닌 실제 장치의 카메라를 사용하기 때문에, 기존 Scene의 가상 카메라인 Main Camera를 삭제하고, 실제 카메라 장치인 AR Camera의 Tag 항목에서 MainCamera로 설정하여 변경해야 한다. 설정 완료 후 AR Face Manager Component를 추가하여, 얼굴인식 기능을 부여 부여했다.

Fig. 11.

Install ARFoundation, ARCore

Fig. 12.

ARCore Settings for Android

Fig. 13.

Face Recognition Augmented Reality Setting

4-2 탈 텍스쳐와 3D 모델링

증강현실 개발도구인 ARCore의 얼굴인식 기능은 그림 14와 같이 468개의 점으로 구성된 3D 얼굴 메쉬와 재질을 표현하기 위한 2D 정식 얼굴 텍스쳐를 제공함으로써 제작의 기준을 제공한다. 재질에 해당하는 2D 텍스쳐는 3D 얼굴 메쉬에 입혀질 이미지이기 때문에 원본 이미지를 그대로 사용하지 않고 정식 얼굴 텍스쳐에 맞춰 눈, 코, 입의 기준에 따라 제작해야 한다. 그림 15는 원본 이미지를 정사각형 형태로 맞춘 뒤, 정식 얼굴 텍스쳐 UV 기준에 눈, 코, 입을 조정하여 제작한 예시이다. 얼굴 탐지 시에 해당 기준에 맞춰진 UV 좌표가 탐지된 얼굴의 한점과 1대1 매칭되어 얼굴의 표정이 변화하면, 사용자의 피부처럼 정점이 같이 이동되어 연출된다. 이와 더불어 탈과 같은 3D 가상의 물체를 특정 부위에 위치시키고자 할 때는 ARCore인 경우 그림 16과 같이 왼쪽 이마, 오른쪽 이마, 코의 위치를 감지하여 알려줌으로써 해당 위치에 탈을 위치시킬 수 있다. 본 콘텐츠에서는 코의 위치에 탈을 위치시켜 연출하였다.

Fig. 14.

The 468-point dense 3D face mesh and canonical face texture

Fig. 15.

Create a texture image by adjusting UV to standard face texture from the original mask image

Fig. 16.

Center poses and Region poses

4-3 얼굴인식 구현

표 3과 같이 증강현실 얼굴인식 기능을 구현하기 위해서는 얼굴 탐지 시 이벤트 처리가 가능하도록 이벤트 함수를 등록해야 하는데, 본 콘텐츠에서는 OnDetectFaceRegion() 함수를 만들어 등록하였다. Android에서만 제공하는 기능을 사용하기 위해서, subsystem이라고 하는 기능을 호출하여 Unity Engine에서 맞는 형태로 ARCoreFaceSubsystem과 같은 형태로 변환해서 가져와야 한다. 한국과 일본은 목재나 종이로 만들어진 전통 탈을 사용하기 때문에, 그림 17과 같이 3D 모델링을 하고, 재질에 질감을 극대화하기 위하여, 노멀 텍스쳐를 사용하여 표현하였다. 반면에 중국은 천으로 된 가면을 사용하기 때문에, 그림 18과 같은 형태로 텍스쳐를 19개 구성하고, 얼굴의 표정 변화를 위해 486개의 점으로 구성된 UV 좌표를 얼굴에 맞춰 하나하나 보정 하였다. 한.중.일 각국의 탈의 모양과 표현방법이 달라, 기능 함수를 따로 분리하여, 얼굴이 감지되면 자동으로 시스템 내부에서 호출되도록 하였다. 한국과 일본의 경우는 탈을 사용하기 때문에, 카메라로부터 실제 감지된 코의 위치 기준으로 현재 선택된 3D모델링 된 가상의 탈을 코의 위치에 배치되도록 구현하였고, 중국과 같이 천으로 된 가면을 사용하는 경우 등록된 19개의 가면 중 현재 선택된 가면을 손으로 가리거나 머리를 숙였다가 올리는 동작으로 변검 체험이 가능하도록 구현하였다. 자연스럽게 변검이 연출 되도록, 탐지 실패 시에 현재 선택되어있는 가면 텍스쳐의 인덱스를 증가시켜 다른 텍스쳐로 교체함으로써 구현하였으며, 증강현실 체험 모드를 진행하는 중에 국가 변경 등의 이벤트가 발생하면, 얼굴인식은 계속 진행되는 상황이기 때문에, 바로 변경되지 않는 문제가 발생 되는데, 탐지 기능을 0.005초 동안 잠시 껐다가 켜서 이 문제를 해결하였다.

Table 3.

Initialize variables and register events

Fig. 17.

Korean and Japanese masks 3D modeling

Fig. 18.

Chinese mask texturing

4-4 구현 결과

안드로이드 빌드 후, apk를 기기에 넣고, 테스트를 진행하였다. 실행 후에 메뉴 화면에서 그림 19와 같이 학습 모드 버튼을 클릭하면 각 국가의 탈 문화에 대한 특징을 배워볼 수 있었고, 국기를 클릭하면 해당 국가가 선택되었다. 중국 탈과 같이 천으로 구성된 경우, 그림 20처럼 486개의 정점이 실제 얼굴에 1:1 매핑 되어, 표정 변화에 따라 반응을 하였고, 한국과 일본의 탈은 천으로 구성된 중국의 탈과는 다르게, 그림 21과 같이 코의 위치를 기준으로 3D 가상의 탈이 나타났고, 간단히 가면을 벗는 동작 등으로 다른 가면으로 바꿀 수 있었다. 그림 22와 같이 중국의 탈 역시 손바닥으로 얼굴을 가렸다가 떼는 동작으로 중국 가면극에서 많이 연출되는 변검을 체험할 수 있었다. 전통 배경음을 통해 친근하게 콘텐츠를 접할 수 있었고, 추후 확장성을 고려하여 설계됐기 때문에, 다른 국가를 더 추가하거나 탈의 종류를 늘리는 것도, 쉽게 할 수 있었다.

Fig. 19.

Learning the characteristics of each country's mask culture

Fig. 20.

Expression of movement according to 468 vertices

Fig. 21.

In the case of Korea and Japan, you can experience other masks by taking off the mask

Fig. 22.

In the case of a Chinese mask, the mask is changed by covering the hands

그림 23은 해당 콘텐츠 소스와 실행 파일을 콘텐츠 제작자들이 소스관리 용도로 많이 사용하고 있는 GitHub에 직접 업로드한 내용이다. 아래 주소에서 다운로드 후 해당 콘텐츠의 소스를 보거나, 실행해 볼 수 있다.

Fig. 23.

GitHub source code and executable

https://github.com/crybb9453/ARFaceTracking