실시간 표정 인식을 활용한 어드벤처 게임 제작 연구: ‘도영(導迎)’ 제작 사례 중심으로

표정 인식 기술(FER; Facial Expression Recognition)은 인간의 얼굴에서 나타나는 다양한 표정의 변화를 분석하여 감정 상태를 추정하는 기술로, 얼굴의 주요 부위(눈, 입, 눈썹 등)의 움직임이나 근육의 변화를 정량적으로 분석하여 이루어진다. 초기에는 정적인 이미지 기반의 분석에 머물렀으나 최근에는 3D 스캔, 실시간 영상 처리를 통해 정확하고 미세한 표정의 변화까지 인식할 수 있게 되었다. 표정 인식 기술은 보안, 교육, 로봇, 엔터테인먼트 등 다양한 분야에서 활용되고 있는 한편, 다양한 문화의 차이를 반영하지 못하거나 민감한 개인 정보를 다루고 있어 활용 시 무분별한 데이터 수집과 인권 침해 등 윤리적인 주의가 필요하다.

표정 인식 기술은 AI(Artificial Intelligence) 기반 기술 등 다양한 첨단 기술과의 융합을 통해 활용성이 무궁무진하며 다음과 같은 분야에서 사용되고 있다.

첫째, 헬스케어 및 심리치료 분야에서는 환자의 감정을 분석하고, 비언어적 신호를 기반으로 감정 반응을 인식하여 피드백을 제공하거나 우울, 불안 진단의 보조도구로 활용하고 있다. 메타버스 기술을 융합한 심리 상담 프로그램으로 사용자의 상태를 인식하여 해결책을 제시하기도 한다.

둘째, 마케팅 분야에서는 소비자의 얼굴 표정을 통해 광고, 제품, 콘텐츠에 대한 반응을 분석한다. 소비자가 특정 서비스나 제품을 접했을 때 나타나는 표정 데이터를 수집하여 서비스나 제품에 대한 만족도를 측정한다. 이는 감성 UX(User Experience) 분석의 도구로서 표정 인식 기술의 활용 가치를 보여준다.

셋째, 교육과 원격 수업 분야에서는 학습자의 몰입도와 이해도를 파악하는 데 활용할 수 있다. 학습자가 수업 중 나타내는 집중, 지루함 등의 표정을 인식하여 실시간 피드백을 제공하는 환경의 구축이 이루어지고 있다. 그러나 무분별한 데이터 수집, 인권 침해와 같은 윤리적 문제가 발생하고 있다.

엔터테인먼트 및 게임 분야에서는 표정 인식 기술을 사용자와 콘텐츠 간의 감성적 상호작용을 강화하는 도구로 활용하고 있으며, 이는 감성적 스토리텔링에 핵심적인 역할을 할 수 있다[5],[6].

Flying Mollusk의 Nevermind는 심리적 공포를 소재로 한 게임이다. 게임은 플레이어의 표정을 인식하여 게임의 난이도를 그림 1과 같이 실시간으로 조절하며, 특히 플레이어의 공포와 긴장 등의 표정을 인식할 경우 게임의 환경이 더욱 긴장감 있게 변하여 난이도가 증가한다[7]. 이 밖의 표정 인식을 활용한 콘텐츠 사례를 정리하면 다음 표 2와 같다.

Fig. 1.

A game based on facial expression recognition, Flying Mollusk - Nevermind

Table 2.

Case studies of facial expression recognition in game content

기술적인 요소로는 표정 인식 기술을 핵심적인 입력 수단으로 활용하였다. 기존의 게임 콘텐츠들이 일반적으로 키보드, 마우스, 컨트롤러와 같은 물리적인 입력 장치에 의존하는 것과 달리 본 작품은 플레이어의 얼굴 표정을 주요한 조작 수단으로 사용한다. 작품의 캐릭터는 플레이어의 미소, 눈, 입의 움직임에 따라 즉각적으로 행동한다. 플레이어의 표정과 캐릭터의 행동 사이에 규칙을 통해 플레이어는 표정의 조작을 게임의 중요한 요소로 인식하여 직관적인 경험을 창출한다.

동적 요소로는 플레이어의 표정 변화가 게임의 환경과 상호작용하여 변화하는 구조를 갖추고 있다. 플레이어가 의도적으로 표정을 활용하고 게임이 이를 반영함으로써, 플레이어는 콘텐츠를 경험하는 내내 정서적 경험을 얻는다. 플레이어는 캐릭터를 효과적으로 제어하기 위해 지속적으로 본인의 표정을 인식하고 관리하며 몰입을 경험할 수 있다[10].

미적 요소로는 플레이어가 표정 인식을 활용한 입력을 통해 캐릭터와 환경에 정서적 몰입을 경험하고 콘텐츠에 공감하는 것을 목표로 하였다. 게임의 주요 주제로는 반려동물과의 재회, 추억의 장소 여행으로 구성하여 정서적 접근을 시도하였다. 플레이어는 긍정적인 표정 표현을 하고 캐릭터를 조작하는 동안 캐릭터는 추억을 회상하고 아픔을 치유하는 과정을 거친다. 이러한 시각적, 서사적 구성은 게임 속에서 플레이어가 자신의 감정을 반영하여 긍정적인 경험을 하고 정서적 안정감을 느낄 수 있도록 의도하였다. 이 과정에서 플레이어는 스토리와 캐릭터에 유대를 형성하고 깊은 여운으로 만족감을 제공받는다.

본 작품의 캐릭터는 단순히 게임 내에서 행동을 수행하는 존재를 넘어, 플레이어와 정서적 상호작용을 이루는 감정 매개체로 활용된다. 플레이어는 반려견의 시점에서 반려인과의 재회를 바탕으로 작고 귀여운 외형의 ‘치와와’ 캐릭터를 조작하게 된다. 이 캐릭터는 단순한 아바타가 아니라 플레이어의 표정을 인식하는 존재이며, 웃음을 통해 꽃을 심고 새로운 길을 여는 상호작용을 수행한다. 이러한 구조는 플레이어가 자신의 정서를 캐릭터로 나타내고 이를 통해 피드백을 받으며 몰입을 경험할 수 있다. 서사 구조에 있어서 ‘치와와’는 상징적인 의미를 갖는다. 치와와의 조상은 ‘테치치’라는 이름의 종으로 알려져 있다. 이 종은 고대 남아메리카 문화권에서 신성하게 여겨지며, 반려인을 사후세계로 올바르게 인도할 수 있다고 믿었다.

Fig. 2.

Excerpt from the film ‘What Dreams May Come’

Table 3.

Chihuahua model and skeletal mesh used in the game

본 작품의 목표는 점수 중심의 구조에서 벗어나 정서적 서사를 중심으로 한 진행 목표로 설계하였다. 비슷한 진행 방식으로 그림 3의 3D 어드벤처 게임 ‘Journey’가 있다. 플레이어는 작은 캐릭터를 조작하여 여러 장소를 탐험하고 추억을 회상하며 여정을 수행한다. 이러한 목표 설정은 단순한 퍼즐을 풀거나 미션의 완수가 아닌 플레이어가 표정을 제어하고 감정을 표현하며 게임의 흐름을 주도하게 되고 패배 조건이 존재하지 않아 플레이어의 경험에 따라 서사가 이어지는 방식이다. 목표 달성의 압박보다도 정서적 환기와 회복 경험을 유도하는 과정 중심의 플레이 경험을 유도하고자 하였다.

Fig. 3.

3D adventure game ‘Journey’

상호작용의 중심 소재 중 하나로 재스민(Jasmine) 꽃을 활용하였다. 재스민의 꽃말은 사랑과 우정을 의미하며 반려견의 반려인을 향한 무조건적인 사랑을 나타내고자 하였다. 원예 행위는 회복탄력성과 스트레스 대처에 긍정적인 영향을 미치며[12], 작품에서 플레이어는 표정 조작을 통해 그림 4와 같이 재스민 꽃을 심게 되고 정서적인 교감을 경험한다.

Fig. 4.

Interaction using jasmine*Currently, the content provides only a Korean-language interface.

본 작품의 레벨 디자인은 플레이어가 캐릭터를 통해 정서적 경험의 탐색을 할 수 있도록 설계하였다. 플레이어는 과거 반려인과 추억이 깃든 다양한 공간과 환경을 그림 5, 표 4와 같이 순차적으로 탐험하며, 각 레벨과 장소마다 상호작용을 수행한다. 레벨의 환경은 시각적으로 따뜻한 분위기로 시작하여 섬세한 요소들로 제작되었다. 플레이어는 다양한 감정 상태를 자연스럽게 경험하며 게임을 진행한다. 레벨 디자인은 반려견이 반려인과 주로 생활하는 일상적인 장소들로 구성되어 있다. 집, 방 안과 같은 실내 환경, 공원 산책로, 여행지 등을 배치하였으며 현실적인 배경과 공감하며 몰입할 수 있다[13]. 이동 동선에 대한 배치는 한 가지 표정 입력값만을 반복적으로 사용하는 것을 방지하기 위해 회전에 대한 활용을 균형있게 유도하였다.

Fig. 5.

Level design

Table 4.

Level design

언리얼 엔진 5(Unreal Engine 5)는 본 작품 제작의 주요 도구로 사용되었다. 언리얼 엔진의 고급 그래픽 처리 기술을 활용하여 부드럽고 몰입감 있는 콘텐츠 환경을 제작하였다. 블루프린트는 복잡한 표정 데이터의 입력과 로직을 비주얼 스크립트 형태로 가공하여 프로그래밍에 대한 부담을 줄이고, 효과적인 테스트와 피드백이 가능하였다.

Live Link Face 앱과 ARKit 기술은 얼굴 인식 기반의 인터페이스 구현에 핵심적인 역할을 담당하였다. ARKit 기반의 표정 데이터 입력은 iOS 기기의 트루뎁스 카메라(True Depth Camera) 기술을 통해 정밀한 데이터를 실시간으로 인식하여 52개의 데이터 값으로 변환한다. 트루뎁스 카메라는 수천 개의 보이지 않는 점을 투사하고 분석하는 방식으로 데이터를 수집한다. 이러한 데이터를 실시간으로 언리얼 엔진에 연동하여 콘텐츠에 활용할 수 있는 형태로 가공한다. 수집된 데이터는 블루프린트를 통해 각각의 인터랙션에 매핑하여 활용할 수 있다.

먼저 Live Link Face를 활용하기 위한 환경을 구축하였다. iOS 기기에 Live Link Face 앱을 설치한 후 카메라를 통하여 플레이어의 얼굴을 인식한다. 다음, ARKit에서 제공하는 52가지 표정 계수를 수집하였으며, 이 중 게임 인터페이스에 활용할 주요 데이터를 선별하였다. 마지막으로 데이터 연동을 통해 언리얼 엔진으로 실시간 전송하였다. 표 5와 같이 ARKit는 52가지 표정 데이터를 0과 1 사이의 데이터 값으로 변환하여 전송한다. 직관적인 조작 입력을 통해 접근성을 낮추고자 기본적인 이동 조작에는 왼쪽, 오른쪽 눈의 감기 정도와 입 벌림 정도, 웃음의 데이터를 활용하였다. 이후 블루프린트의 수정을 통해 다양한 데이터를 추가적으로 활용할 수 있으며 조합에 따라 미세한 표정 변화까지 인식할 수 있다.

Fig. 6.

True depth camera

Table 5.

ARKit’s 52 facial expression data

언리얼 엔진에서 제공하는 블루프린트는 다양한 변수, 이벤트 호출 등 게임 개발에 필요한 핵심 기능들을 코드 작성 없이 구현할 수 있다. 그림 7, 그림 8과 같은 시각적 스크립팅 시스템은 프로그래밍에 익숙하지 않은 개발자, 디자이너, 기획자도 직접 로직을 쉽게 구현할 수 있도록 설계되었다. 본 작품과 같이 실시간 표정 인식 데이터와 캐릭터 동작, UI(User Interface), 사운드 등 다양한 요소가 유기적으로 연결되는 콘텐츠에서는 실시간 데이터와 상호작용의 제어가 핵심인데, 블루프린트는 이러한 과정에서 높은 직관성을 제공한다.

Fig. 7.

Animation blueprints

Fig. 8.

Animation control logic*A Korean-language interface was used in the development environment.

본 작품은 키보드, 마우스와 같은 물리적인 입력장치 없이, 플레이어의 얼굴 표정만으로 게임을 조작하는 인터페이스를 활용하여 제작하였다. Live Link Face 앱과 ARKit를 통해 표정 데이터를 실시간으로 수집하고 다양한 상호작용에 연결하였다. 특히, 표정 인식 기반의 입력은 단순한 트리거를 넘어, 플레이어의 의도적인 표정 조작을 유도하여 감정 표현과 콘텐츠를 자연스럽게 연결하였다. 그림 9는 표정 인식과 상호작용을 시연하는 모습으로 사용자의 표정에 따라 캐릭터의 움직임이 각각 달라지는 것을 보여준다. 입의 벌려진 정도에 따라 캐릭터의 전진, 눈의 감은 정도에 따라 캐릭터의 회전, 웃음 정도에 따라 캐릭터가 꽃을 심는 등의 상호작용을 시연하였다. 작품 내에서는 이러한 표정을 활용한 조작이 입력될 때마다 즉각적인 피드백을 통해 플레이어가 자신의 입력 결과를 인지하고 학습할 수 있도록 하였다.

Fig. 9.

Interface demonstration

본 작품은 표정 인식을 입력 수단으로 활용하고자 하였다. 플레이어는 주인공의 여정을 따라가며 웃음을 짓고 주인공과 함께 긍정적인 경험을 제공받는다. 이러한 표정 인식 인터랙션은 플레이어의 감정 상태를 콘텐츠에 투영하며 더 깊은 몰입과 감정적 상호작용을 유발하고자 하였다. 궁극적으로 콘텐츠를 통해 실시간 표정 인식의 기술적 실험을 넘어 이를 활용한 콘텐츠와 정서적 상호작용을 결합한 새로운 게임 경험의 가능성을 탐구하였다.