생성형 AI 캐릭터 얼굴 감정표현에 따른 사용자의 감정 인식에 대한 연구

1-1 연구의 필요성과 목적

4차 산업혁명의 핵심 기술인 인공지능(Artificial Intelligence)은 단순 데이터 분석을 넘어 인간의 삶에 핵심 기술로 자리매김하고 있다[1]. 특히 생성형 AI는 애니메이션과 영상 콘텐츠 제작에서 ‘AI 애니메이션’이라는 새로운 장르가 형성될 만큼 기존 애니메이션 제작 방식에 혁신을 촉진하고 있다[2]. 생성형 AI의 핵심 기술인 텍스트를 이미지로 만들 수 있는(Text-to-Image) 기능은 스스로 제작자의 의도를 분석하며, 캐릭터의 감정 표현을 창작하는 수준까지 발전하고 있다. 산업계에서는 애니메이션과 영상 콘텐츠 제작에서 새로운 장르와 기법을 열어가는 핵심 도구로 자리 잡고 있다[3].

그러나 현시점에서 AI가 원하는 장면을 생성하기 위해 프롬프트(Prompt)에 넣는 단어의 조합을 이용해야 하며, 감정을 정확하게 해석하고 표현하기 위해서는 한계가 있어 지속적으로 연구가 필요하다[4].

본 연구에서는 폴 에크만(Paul Ekman)의 FACS(동작 코딩 시스템, Facial Action Coding System)[5]와 로버트 플루칙(Robert Plutchik)의 감정의 바퀴(Wheel of Emotions) 이론[6]을 바탕으로, 애니메이션을 위한 생성형 AI가 제작한 캐릭터 표정에 대한 사용자의 감정 인식 정확도와 전달력을 분석하였다. 에크만의 FACS는 얼굴 근육 단위에 근거한 객관적 분석 기준을 제공하며, AI가 생성한 표정의 구조적 타당성을 평가하는 기반이 된다. 플루칙의 이론은 복합적 감정 구조를 설명하는 장점이 있어[7], 두 이론의 결합을 통해 기본 감정과 복합 감정의 표현을 강도 변화까지 동시에 검증할 수 있다는 점에서 연구 목적에 적합하다. 이러한 분석을 통해 생성형 AI의 감정 표현 수준을 진단할 뿐만 아니라, 애니메이션 제작 현장에서 AI 기반 표정 생성의 실무 활용 가능성을 제시하고자 하였다.

1-2 연구의 범위 및 방법

본 연구는 생성형 AI가 표현한 감정 표정을 인간 사용자가 어떻게 인식하는지를 실증적으로 분석하였으며, 특히 감정 인식의 정확도, 자연스러움, 전달력, 강도 등 네 가지 지각 요소를 중심으로 평가하였다.

2-1 생성형 AI의 이미지 구현

생성형 AI가 이미지를 생성하는 원리는 크게 학습 단계와 생성 단계 두 가지로 이루어진다. 학습 단계에서는 대규모 이미지 데이터 세트를 분석하여 패턴과 특징을 학습하고, 생성 단계에서는 학습된 정보를 바탕으로 사용자의 텍스트 입력에 따라 새로운 이미지를 만들어낸다[9]. 이렇게 이미지 구축에 사용되는 프롬프트를 어떻게 구성하느냐에 따라 만들어지는 이미지의 성격이 천차만별로 생성된다. 조유석은 디자이너들이 더욱 정교한 결과물을 만들어 낼 수 있도록 프롬프트의 기본 구성 체계를 구체화하였다[10].

이러한 프롬프트 활용은 단순한 사물 묘사를 넘어, 감정 표현에도 정교하게 적용될 수 있다. Yunlong Wang은 감정 표현이 내포된 프롬프트를 자동으로 편집 및 개선하는 방식이 이미지 생성의 정밀도와 감정 전달 효과를 유의미하게 높인다고 하였다[11]. 이 방법은 Kling AI, Sora, Veo3 등 영상 결과물을 주로 하는 모델들에서도 확장되어 활용되었다.

2-2 표정 애니메이션의 원리와 감정 분류

3-1 프롬프트를 위한 감정 적용

본 연구는 산업 현장에서 애니메이션 제작과 AI 영상 생성에 직접 종사하고 있는 전문가 2인의 자문을 통해 연구 파이프라인을 보완하였다. 전문가 A(애니메이션 PD, 30년 이상 경력)는 AI 감정 표현의 한계가 명령의 모호성에서 비롯됨을 지적하며, 감정 데이터 구축 시 명확한 지시어 체계화와 프롬프트 구조의 일관성과 필요성을 강조하였다. 전문가 B(애니메이터, 8년 이상 경력)는 복합 감정이 단일 이미지만으로는 내재적 모호성으로 인해 해석이 달라지므로, 표정 애니메이팅의 핵심은 서사적 맥락과 감정의 연결성을 전제로 해야 함을 강조하였다. 이에 따라 본 연구는 AI 영상 생성 툴마다 도덕적·창의적 성향이 상이하다는 점을 고려하여, 복합 감정의 미묘한 표현을 안정적으로 제어하고 캐릭터의 형태 일관성을 유지할 수 있는 기준 모델을 구축하였다. 또한, FACS와 플루칙 감정 이론 기반의 정량적·정성적 설문을 병행하는 방식으로 ‘기초 파이프라인 구축 → 감정 체계 설정 → 표본 실험 → 비교·분석’의 4단계 연구 설계를 수립하였다.

감정 체계는 에크만의 기본 감정 이론과 FACS 매뉴얼에서 제시된 각 AU의 해부학적 정의를 기반으로 감정 표현 프롬프트를 구축했고[12] 여섯 가지 기본 감정(기쁨, 슬픔, 분노, 공포, 놀람, 혐오)의 표정 패턴을 구현하였다. 특히 본 연구에서는 FACS의 감정의 핵심 AU 조합에 따른 얼굴 부위별 서술을 중심으로 ‘동작 단위(Action Unit)’응용하였다. 또한 ‘강도 척도(Intensity Scale)’는 동일 AU 조합 내에서 근육 수축 정도만을 조절하는 방식으로 적용하여, 각 감정을 약(弱)·중(中)·강(强) 세 단계로 나누었다. 예컨대 ‘기쁨’의 경우 AU6(볼 근육)과 AU12(입꼬리 상승)과 강도를 나타내는 수식어(예: slightly, moderately, intensely)의 활성 강도를 조합해 단계별 차이를 설정하였다.

한편, 표현할 감정의 기준으로는 AI 기반 감정 표현의 정확성과 실용성을 평가하기 위해 에크만의 기본 감정 이론[12]과 플루칙의 감정 바퀴 모델[7]을 종합적으로 적용하였다. 에크만이 제시한 여섯 가지 기본 감정(기쁨, 슬픔, 분노, 공포, 놀람, 혐오)을 중심으로 각각의 강도별 변주를 주어 프롬프트를 구성하였으며, 플루칙 이론을 바탕으로 기본 감정의 조합으로 도출되는 ‘경외’, ‘반감’, ‘경멸’, ‘절망’, ‘질투’, ‘자부심’ 등 복합 감정 6가지를 추가 선정하였다. 복합 감정의 AU 조합은 에크만의 FACS에서 제시된 기본 감정별 핵심 AU를 그대로 적용한 것이 아니라, 플루칙의 감정 바퀴에서 제시하는 감정 조합 관계(Fear+Surprise 등)를 바탕으로 두 기본 감정의 AU를 저강도로 통합하였다.

복합 감정의 AU 재구성 원리는 두 기본 감정에 공통으로 관여하는 AU를 중심으로 우선 추출한 뒤, 각 감정의 핵심 AU 중 강도 변화에 민감한 항목을 저강도로 통합하는 방식으로 이루어졌다. 예컨대 ‘경외(Awe)’는 공포와 놀람의 공통 요소인 AU1+2(눈썹 상승)를 기본으로 하고, 공포 특유의 긴장 AU5 (상안검 상승)과 놀람의 AU26(턱 하강)는 저강도로 결합하여 두 감정의 방향성을 유지하되 과도한 왜곡을 방지하는 형태로 조정하였다. 이 과정에서 두 감정의 AU의 방향이나 범위가 충돌할 경우, FACS에서 제시하는 ‘넓은 범위 AU의 우세성(broader area activation dominance)’ 원칙[14]를 적용하여, 더 큰 운동 범위를 가진 AU가 작은 AU를 흡수하는 방식으로 통합하였다. 예를 들어 슬픔의 AU1(inner brow raise)과 놀람의 AU1+2(full brow raise)이 결합하는 경우, 두 AU는 독립적으로 표현되지 않고 AU1+2와 같이 더 넓은 영역을 활성화하는 AU로 통합된다. 이러한 방식으로 각 복합 감정에 대해 두 기본 감정의 핵심 AU를 과도하게 중첩하지 않는 범위에서 통합하여, 본 연구의 목적에 부합하는 조작적 기준을 마련하였다.

3-2 표본 설정

본 연구는 실험의 표준화와 감정 표현의 정확성을 위해 Pixar 하우스 스타일의 미국 애니메이션 스타일의 3D 아바타 모델을 기준 캐릭터로 선정하였다. 픽사 애니메이션이 감정 과학자 폴 에크만의 직접적인 자문을 받아 제작된 <Inside Out>에서, 과학적으로 검증된 감정 표현 원칙을 애니메이션에 적용한 선례가 있기 때문이다[5]. 이는 본 연구에서 적용하고자 하는 감정 분석 방법론과 이론적 일관성을 갖는다.

AI 모델의 표본 엔진 선별 과정에서는, 정밀한 묘사 능력이 검증된 Midjourney를 이용하여[15] 프롬프트의 적합성과 감정 표현의 정확도를 교차 검증하였다. 이후 검증된 프롬프트 중 일부 감정을 선정하여, 여러 영상 생성형 AI 엔진에 동일한 프롬프트를 입력하고 결과물을 비교하는 사전 테스트를 하였다. 그 결과 Kling AI가 Pixar 스타일의 3D 캐릭터 외형을 안정적으로 유지하면서도 AU 서술에 따른 표정 변화를 가장 정확하게 반영하고, 동일 프롬프트에 대한 반응 편차가 가장 적은 것으로 나타났다. 또한 동일 캐릭터를 기준으로 여러 감정·강도 표정을 반복 생성할 수 있어 본 연구와 같이 감정 간 인식 차이를 비교하는 실험 설계에 가장 적합하다고 판단하였다. 이에 본 연구에서는 최종 표본 생성 엔진으로 Kling AI를 선정하였다. 본 연구에서 Kling AI는 실험 수행 시점에 사용 가능한 버전(video model 2.1)을 기준으로 활용하였으며, 이후 업데이트된 버전은 본 연구의 분석 범위에 포함하지 않는다.

Table 1.

Experimental emotion types

3-3 프롬프트 적용 및 생성 결과 관찰

1) 기쁨

기쁨은 전반적으로 표정의 일관성이 드러나 있다. ‘약’ 단계는 눈꼬리의 이완, 미소가 거의 드러나지 않는 입 주변 등으로 인해 편안함이나 가벼운 만족감에 가까운 정서를 드러낸다. ‘중’ 단계는 입꼬리의 상승과 눈의 개방 정도가 더 뚜렷해졌지만 중간 강도에서 표현한 구분이 상대적으로 약화하는 경향이 나타났다. 반면 ‘강’ 단계에서는 입이 넓게 열리며 이가 드러나고 눈꼬리가 강하게 들려 전형적인 웃음 표정이 구현되어, 다소 강하게 인지가 되었다.

Table 2.

Joy expression (low/medium/high)

2) 분노

분노 표현 역시 감정의 점진적 변화를 효과적으로 구현할 수 있음을 보였다. 상부 영역의 눈썹 안쪽 하강, 안와 영역의 눈 크기와 모양 변화, 중부 영역의 볼과 코 부분 긴장감, 하부 영역의 입 모양 변화가 단계별로 자연스럽게 구현되었으며, 특히 약한 강도에서 강한 강도로의 증진이 인간의 분노 표현 패턴과 유사하게 보였다.

Table 3.

Anger expression (low/medium/high)

3) 슬픔

슬픔의 시각적 구현 과정에서는 다소 예외적인 양상이 나타났다. 초기 교차검증을 위해 Midjourney 기반 이미지 생성을 수행했을 때, ‘울음을 억제하거나 감정을 숨기는’ 표정이 반복적으로 출력되는 경향이 관찰되었다. 이 현상은 Kling 에서도 동일하게 나타났다. 특히 강도를 높여 통곡하는 수준의 프롬프트를 묘사하여도 눈물을 충분히 구현하지 못하고 하관 부분은 턱이 떨리는 움직임을 보이지만 눈에는 눈물기가 없는 등 슬픔의 정도가 지나치게 절제되거나 다르게 묘사되는 현상이 반복되었다.

Table 4.

Sad expression (low/medium/high)

이러한 경향은 생성형 AI 모델의 학습 데이터 분포 편향으로 해석될 수 있다. 생성형 AI 모델은 인터넷에서 무작위로 수집된 대규모 데이터셋을 기반으로 학습되며, 이 과정에서 데이터에 내재한 편향된 표현 패턴이 생성 결과에 반영될 수 있다[16]. 이러한 원리를 고려할 때, 미디어 환경에서 유통되는 슬픔 관련 이미지에 절제된 표현이 상대적으로 많을 경우, 모델이 억제된 슬픔 패턴을 높은 확률로 출력하는 편향이 발생했을 가능성이 있다.

4) 놀람, 공포, 혐오

놀람, 공포, 혐오의 감정은 각 감정 간의 구분이 명확하지 않고 차이를 구별하여 구현하는 데 일부 한계를 보였다. 예를 들어, 놀람에서는 상부 영역의 눈썹 상승, 안와 영역의 눈 확장, 하부 영역의 입 벌어짐이 적절히 표현되었으나 혐오 등의 감정이 혼재되어 표정의 뚜렷함이 떨어지는 모습을 보였다. 혐오 역시 하관의 일그러짐이나 눈썹의 비대칭 등 특정 표현 요소는 나타났으나, 강도별 표정 변화는 제한적이었다.

Table 5.

Surprise, fear, disgust expression (low/medium/high)

5) 복합 감정

복합 감정의 시각적 구현을 위해, 각 감정은 해당하는 두 가지 기본 감정의 프롬프트를 혼합하는 방식으로 구성하였다. 여기에 더해 감정의 의미적 맥락을 강화하기 위해 사전적 정의와 감정에 대한 정서적 서술을 프롬프트에 함께 포함했다. 결과는 전반적으로 기본 감정에 비해 표현력이 비교적 준수한 것으로 나타났다. 이는 두 가지 기본 감정을 혼합한 프롬프트 구성이 감정의 다층적 구조를 더욱 풍부하게 반영했기 때문으로 해석할 수 있으나, 상황 표현에 대한 이해도에 따라 공감 여부가 달라질 가능성도 있을 것으로 사료된다.

Table 6.

Complex emotion expression

지금까지의 결과로 봤을 때, 기본 감정 중 ‘기쁨’, ‘분노’는 비교적 뚜렷하게 표현되었으나, 슬픔의 경우 특이한 현상이 관찰되었는데, 강한 프롬프트에도 불구하고 지속적으로 ‘감정을 억제하는’ 표정을 생성하는 경향을 보였다. ‘놀람’, ‘공포’, ‘혐오’ 등은 강도나 명확성 측면에서 다소 약하게 나타났다. 복합 감정은 기본 감정을 혼합하고 서술형 묘사를 덧붙인 프롬프트를 통해 전반적으로 나쁘지 않은 표현력을 보였으나, 상황적 맥락 이해도에 따라 관찰자의 공감 여부가 달라질 가능성이 높다.

4-1 기본 감정

사용자 인식률 분석 결과, 표 8에 제시된 바와 같이 기쁨(76.6%)과 분노(75.6%)가 가장 높은 인식률을 보였으며, 슬픔 표정은 AI 생성 과정에서 눈물과 같은 표현이 절제되었음에도, 사용자 인식률은 70.7%로 비교적 높게 나타났다. 반면, 놀람(43.4%)은 중간 수준의 인식률을 보였으며, 공포(4.4%)와 혐오(4.4%)는 매우 낮은 인식률을 나타냈다. 공포의 경우 응답자의 31.7%가 다른 감정과 혼합된 표정으로 인식하였고, 27.3%는 감정을 명확히 구분하지 못한 것으로 나타났다. 혐오는 35.1%가 놀람으로 오인하였고, 31.2%가 혼합된 감정으로 인식하였다. 이는 AI가 생성한 공포와 혐오 표정이 각각 슬픔 및 놀람의 시각적 특징과 중첩되어 응답자가 명확히 구분하기 어려웠기 때문으로 해석된다. 놀람의 경우 43.4%의 인식률을 보였으며, 32.2%가 다른 감정과 혼합된 것으로, 18%가 불명확하다고 응답하였다. 이러한 결과는 부정적 감정군(공포, 놀람, 혐오) 전반에서 AI 생성 표정이 감정 간 경계가 모호하게 표현되는 경향이 있음을 나타낸다.

참여자들의 개방형 응답에서는 기쁨과 분노를 구분할 때 주로 “입꼬리의 방향과 볼의 부피 변화”, “눈가 주름 및 눈매의 긴장도”를 핵심 단서로 사용한다고 응답하였다. 슬픔의 경우 “눈꺼풀이 처지면서 시선이 아래로 떨어지는 점”, “입꼬리가 아래로 끌려 내려가는 느낌”이 반복적으로 언급되었다. 한편, 공포와 놀람은 “눈이 과도하게 커져 두 감정을 구분하기 어렵다”, “턱이 크게 떨어져 놀람처럼 보인다”라는 의견이 다수 제기되어, 두 감정 간 변별력을 충분히 제공하지 못했음을 확인할 수 있었다. 혐오 표정에 대해서는 “코주름과 입 주변 긴장은 잘 보이지만, 전체 인상이 과장되어 보인다”라는 피드백이 관찰되었고, 이는 부정 감정 전반에서 ‘강도 과잉’과 ‘자연스러움 저하’가 동시에 작동하고 있음을 보여준다.

4-2 복합 감정

복합 감정에 대한 인식률 분석 결과(표 9 참조), 경멸(Contempt)이 68.8%의 인식률로 가장 높았고, 절망(Despair) 59.0%가 그 뒤를 이었다. 반면, 반감(Disapproval) 10.2%와 질투(Envy) 12.2%는 매우 낮은 인식률을 보여, 감정 조합에 따라 지각 편차가 크게 나타났다. 특히 복합적으로 표현된 표정에 대해서는 ‘잘 모르겠다’라는 응답이 다수 확인되었으며, 질투의 경우 49.3%가 감정을 전혀 식별하지 못한 것으로 나타나, 감정 간 경계의 모호성과 복합 해석의 어려움을 확인하였다.

참여자들의 판단 근거를 분석한 결과, 참여자들은 복합 감정을 해석할 때도 눈의 시선 방향, 눈썹의 기울기, 입꼬리 등의 기본 감정과 동일한 단서를 활용하였으나, 두 감정 단서 간 불일치나 강도 과잉이 혼란 요인으로 작용한 경우도 나타났다. 예를 들어, 경멸(Contempt, 68.8%)이 가장 높은 인식률을 보인 것은 “미간 찌푸림(분노 요소)”과 “코주름(혐오 요소)”이 시각적으로 강하게 결합해, 두 가지 감정의 특징이 상호 강화(reinforcement) 효과를 낸 것으로 해석된다. 참여자들은 분노(89.3%)와 혐오(44.9%)의 특성을 동시에 인식하였으며, 이는 두 AU 조합이 명확하게 구현되었음을 의미한다. 자부심(Pride, 29.8%)의 경우, “입은 웃고 있으나(기쁨 요소) 눈썹은 부정적(분노 요소)”이라는 판단 근거가 나타났으며, 이는 자부심 = 분노 +기쁨 조합의 설계 의도와 일치한다. 참여자들은 두 가지 상반된 표정 단서를 동시에 포착하여 복합 감정으로 해석하였다. 그러나 이 표정에서 혼동을 느껴 19.5%는 놀람으로 인식하는 현상이 일어났다.

질투는 “하향하는 시선” 등의 슬픔의 특징은 인식했으나 “무슨 반응인지 이해하지 못함”이라는 응답이 많았다. 이러한 결과는 복합 감정 인식에서 기본 감정의 전형적 표정 단서가 '해석의 앵커(interpretive anchor)' 역할을 하며, 사용자는 이를 조합하여 보다 복잡한 감정을 추론한다는 것을 시사한다. 다만, 두 기본 감정을 취합하는 과정에서 혼란 요인으로 작용하는 경우도 발생하였다.

전체 설문 결과를 종합하면, 생성형 AI가 표현한 감정은 전반적으로 중간 이상의 수용 가능성과 자연스러움을 보였으나, 여전히 개선이 필요한 영역이 존재함이 확인되었다. 응답자들이 가장 구분하기 어려웠던 요소는 ‘감정 강도 구분(약·중·강)’이 48.3%로 가장 많았으며, 그 외에도 ‘전체 표정의 느낌을 읽는 방법(34.6%)’이나 ‘기본 감정 간 구분(예: 기쁨 vs 혐오)’가 33.2%로 주요 혼란 요인으로 지목되었다. 본 연구에서 감정 강도는 동일 AU 조합 내에서 프롬프트 수식어 조절을 통한 근육 수축의 정도만을 조절하는 방식으로 설계되었으나, 실제 생성 이미지에서는 단계 간 시각적 분리가 충분히 확보되지 않았고 응답자들 또한 감정 종류 자체보다 강도 구분을 가장 어려운 요소로 인식하였다.

따라서 감정 강도 분석은 이번 연구에서는 탐색적 시도로 남겨두고, 후속 연구에서는 (1) FACS AU 강도 값을 수치상으로 명시하는 구조화된 프롬프트 설계, (2) AU별 강도 제어를 지원하는 차세대 AI 모델 활용, (3) 시간적 변화(타이밍, 속도)를 포함한 동적 표정 설계를 통해 보다 정교한 강도 차이를 구현할 필요가 있다. 추가로 AI의 감정 표현이 향후 개선된다면 ‘상황이나 맥락을 반영한 감정 생성(예: 기쁜 이유, 슬픈 이유)이 보완’이 가장 높은 비율(48.3%)로 언급되었고, 그 외에도 ‘보다 정교한 안면 근육 표현’(42.0%), ‘감정 강도 표현의 다양화’, 등의 의견이 제시된 만큼, AI 감정 표현이 단순한 표정만을 보여주는 것이 아니라 스토리텔링 맥락과 감정 스펙트럼에 대한 종합적 상황이 고려된 연구가 필요하다.