Current Issue

집과 나무와 사람 그림을 통해 개인의 성격과 정서를 분석하는 HTP(House, Tree, Person) 검사는 각종 심리 검사 방법 중에 가장 보편적으로 시행되고 있는 방법이므로 컴퓨터를 이용한 자동화의 요구도 많은 분야이다 [1][2]. 인터넷 기술의 발달로 웹 기반 심리 진단의 타당성을 입증하는 연구도 활발하고 웹 기반 뿐 아니라 모바일 기반에 이르기까지 다양한 어플리케이션이 존재하지만 HTP 검사의 전 과정을 구현한 시스템은 아직 존재하지 않는다. 그 이유는 HTP 검사가 손으로 그린 그림 분석과 전문가 지식 기반의 분석을 동시에 요구하는 작업으로 고전적인 지식기반 인공지능이나 데이터 기반 인공지능 단독으로는 해결할 수 없는 문제이기 때문이다. 또한, 이미지 인식의 성능이 사람의 능력을 뛰어넘는 딥러닝 모델의 등장은 이미지 인식에 기반하는 심리검사의 컴퓨터화 가능성을 보여주었지만, 아직 딥러닝 기술의 활용이 제한적일 뿐 아니라 지식기반의 설명과의 연계는 여전히 열린 연구 주제이다 [3]. 본 논문에서는 딥러닝 기술과 지식기반 인공지능을 접목하여 그림 심리분석 전 과정의 자동화의 가능성을 보이고자 한다. 즉 딥러닝 기술을 이용하여 손그림으로부터 사물을 분석하고 이렇게 추출된 정보들을 퍼지 추론엔진의 입력으로 사용하여 퍼지 추론을 통해 심리 진단 결과를 도출하는 시스템을 제안한다.

이 시스템은 Buck[4]이 제시한 오리지널 HTP 검사 방식에 따라 집-나무-그림을 따로 그린 그림을 입력으로 사용하고, 각 그림에서 개체들의 위치, 크기, 개수 등의 정보를 분석하여 과잉 행동적이고 예민한 특징을 갖는 타입과 우울증적이고 불안감을 갖는 타입을 기반으로 한 심리 분석을 하도록 설계하였다. 시스템의 구성은 손그림을 분석하는 이미지 분석부와 분석된 정보를 이용한 심리 진단부의 2가지 단계인데 이미지 분석부는 합성곱 신경망(CNN; convolutional neural network)으로 구현되어 그림에서 분석에 필요한 객체들을 탐지하고 분류하며 최종 출력층의 결과가 퍼지규칙기반 심리 진단부의 퍼지입력으로 넣어 퍼지 추론 규칙에 따라 심리분석 결과를 도출하는 데에 사용한다. 제안된 시스템은 모바일 기반의 그림 심리검사용 어플리케이션 개발을 위해 제안된 가이드라인[2][5]을 참고하여 구현되어 전문가의 개입 없이도 검사과정을 따라서 그림 심리검사를 진행할 수 있도록 하였다.

본 논문의 구성은 다음과 같다. 2장에서는 퍼지 추론이나 딥러닝 기술 등을 이용하는 온라인 심리분석에 대한 관련 연구들을 살펴보고 3장에서는 딥러닝과 지식기반 추론부로 구성된 심리분석 시스템의 개요와 온라인 심리분석을 위한 과정을 설명한다. 4장에서는 심리분석 시스템을 구현한 방법과 실행 결과의 예시들과 실제 사용자 테스트 결과를 제시하며 5장에서는 본 시스템의 장단점을 분석하고 향후 연구에 대한 제언과 함께 논문을 맺는다.

온라인 혹은 모바일 심리 진단 및 분석은 장소와 시간에 구애받지 않고 사람의 개입으로 인해 피검자가 느끼는 압박감이 적을 뿐 아니라 진단 과정에서 검사자의 오류 발생 가능성을 최소화할 수 있다는 장점으로 많은 연구와 개발 시도가 있는 분야이다 [1][6]. 특히 스마트폰의 출현으로 정신 건강 분야의 앱은 이미 많은 관심을 받고 있고 지속적으로 성장하고 있기 때문에 효과성을 갖는 앱 개발에 대한 연구도 활발하다. Mattson는 미술 치료를 위한 모바일 앱의 사용성 평가라는 연구에서 스마트폰의 출현으로 수 만개 이상의 앱들이 다양한 의료분야에서 개발되었으며 그 가운데 정신 건강 관련 앱은 앱 시장의 특화된 부분을 담당하고 있다고 주장하였다 [2][7].

심리 진단은 정량적으로 경계가 분명하지 않은 문제이기 때문에 퍼지집합 이론을 이용하여 결과를 추론하는 접근 방식을 사용한 심리학 응용이 다수 존재한다고 하였으며 [8], 심리학 분야 뿐 아니라 스포츠 분야에서 불안감과 동기부여 수준의 관계를 퍼지 논리로 분석하였다 [9]. [10]에서는 정량적 평가뿐 아니라 정성적 평가가 필요한 비선형적 평가과정에 퍼지 추론을 이용하는 심리 진단 시스템을 제안하였다. 그러나 퍼지 추론 방법도 수치와 텍스트에 기반한 문제에 적용 가능하며 모호한 경계를 표현하기 위한 퍼지규칙도 결국 사람이 설계한 값이 반영된다는 문제점은 남아 있다.

HTP 심리 검사란 투사 그림 검사 중 대표적인 방법으로, Buck[4]에 의해 개발되었다. 피검자에게 집(House), 나무(Tree), 사람(Person)을 각각 한 장의 종이에 연필로 그리게 한 뒤, 그린 그림들을 특정한 기준을 토대로 분석하고 피검자에게 질문을 하는 과정을 통해 심리를 진단하는 방법이다. 집 그림은 가정생활과 가족 내 관계를, 나무 그림은 무의식적인 감정과 갈등을 반영하며 사람 그림은 자신의 현실상이나 이상을 나타낸다. 특정한 기준들으로는 그림의 위치, 특정 요소의 유무 혹은 개수, 크기 등이 있다. 집 그림을 예를 들어, 그림이 매우 작은 경우, 무력감이나 불안감을 의미하고, 창문이 없는 경우, 편집증적 경향을 의미한다 [11]. 그림을 이용한 심리 진단 방식은 텍스트를 이용한 검사보다 솔직하게 내면 심리 상태를 드러내어 피검자의 주요 성격 특성을 효과적으로 파악할 수 있다고 알려져 언어로 표현하는 것이 미숙한 아동의 심리 상태 검사를 비롯하여 취업 인터뷰 등 여러 분야의 평가에 활용되고 있다 [5][12]. 특히 HTP 검사의 경우에는 강압적이지 않고 자유로운 분위기에서 검사가 행해지는 것이 신뢰성 있는 결과를 얻기 위해 필수적이므로 웹이나 모바일 앱으로의 구현이 필요함이 강조되고 있다 [2][5].

최근 딥러닝 기술의 발달로 이미지 인식 모델의 성능이 사람의 능력을 뛰어넘는 성과가 있었으며 이는 정형화된 데이터 이외에 이미지를 분석하여 성격 및 심리 분석을 하는 것이 가능해졌음을 의미한다 [13]. FACS(Facial Action Coding System)과 CERT(Computer Expression Recognition Toolbox)는 얼굴 표정을 보고 성격을 유추하며 이미지를 포함한 여러 종류의 데이터를 합쳐서 멀티모달 분석으로 성격 및 행동을 유추하는 시스템도 연구되고 있다 [14]. 하지만 그림을 이용하는 경우, 이미 존재하는 그림을 크기와 위치를 선택하는 수준의 응용이나 자유 그림에서는 정형화된 형태의 도형으로 제한하는 경우가 대부분이다. 딥러닝을 사용한 응용으로는 피검자의 얼굴 표정을 분석하는데 활용한 사례가 있지만 본 논문에서처럼 손그림을 그대로 분석하여 이용하는 시도는 찾아볼 수 없다. [15]에서는 아동의 손그림을 CNN으로 인식하여 HTP 테스트에 활용하는 것이 가능한가를 확인하는 사전연구를 진행하였는데 딥러닝으로 인식하는 단계까지만 구현하고 실제 심리 진단부를 구현하지는 않았다.

심리 진단이 아닌 다른 분야들에서도 본 논문에서 제안하는 지식-모델을 연결한 시스템 구현은, 서로의 약점을 보완할 수 있는 장점이 있음에도 불구하고 많이 연구되고 있지 않다 [3]. 그 이유는 현재의 데이터 기반의 모델 기법들이 보여주는 탁월성에 기인하며 과거의 지식기반 시스템이 구축된 모델에 도움이 되지 않을 것이라는 의심이 있기 때문이다. 그럼에도 불구하고 몇몇 문헌에서는 규칙 형태의 지식을 이용하여 딥 신경망을 구현했을 때의 효과를 입증하고 있으며[16] 메이크업 추천을 위한 응용에서 얼굴을 분석하고 그에 맞는 메이크업을 위하여 전문가의 지식을 이용하는 시스템을 개발하였지만 전문가 지식은 단순한 규칙의 형태로 구현되었다 [17]. 본 논문에서는 기존의 연구들과는 차별화하여 딥 신경망으로 손그림을 분석하여 이 결과를 자동으로 퍼지 입력에 연결되게 함으로써 손그림 분석에서 지식 추론 전 과정을 자동화한 심리분석 시스템을 구현한다.

전체 시스템의 구조는 그림 1과 같다. 시스템은 CNN 모델을 이용한 이미지 분석부(image analysis)와 퍼지 추론(fuzzy inference)을 이용한 심리 진단부의 두 단계로 나뉜다. 피검자가 그린 집, 나무, 사람 등 3장의 그림은 이미지 분석부의 입력으로 제공된다. 손그림 데이터로 학습된 CNN 모델을 이용해 검사에 필요한 객체들의 라벨, 위치, 크기, 개수 등의 정보를 추출한다. 이렇게 추출된 정보들은 퍼지 추론엔진의 입력으로 사용되고 퍼지 추론을 통해 심리 타입에 대한 심리 진단 결과를 얻게 된다.

Fig. 1. 
System Structure

3-2 이미지 분석

심리 진단을 위한 퍼지 추론을 하기 전에 피검자가 그린 그림에 대한 분석이 필요하다. 이미지 분석 단계에서는 각 그림들로부터 심리 분석을 위한 집, 나무, 사람 그림의 유의미한 특징들을 추출해야 하는데 이때 필요한 기술은 컴퓨터 영상 인식 분야의 객체 탐지(object detection)이다. 객체 탐지는 주어진 이미지 속에서 하나 이상의 객체를 찾아내고 분류하는 기술이므로 객체 후보 위치를 알아내는 영역 제안(region proposal) 단계와 객체를 분류(classification) 단계로 이루어지며, 이 두 단계가 별도로 수행되는 두 단계(two-stage) 방법과 통합되어 수행되는 단일 단계(one-stage) 방법으로 나뉜다. 일반적으로 두 단계 방법이 단일 단계 방법에 비해 정확도는 높지만 높은 계산 비용으로 수행 속도가 느리기 때문에 본 논문에서는 모바일 환경에서도 사용이 가능한 단일 단계 방법을 사용한다 [18].

구글에서 제공하는 텐서플로 객체 탐지 API 모델 중, 단일 단계 기반의 객체 탐지 모델인 ssd mobilenet v1모델을, 직접 수집한 커스텀 데이터(custom data)에 대해 재훈련을 수행하는 방식으로 손그림 분석용 CNN 모델을 개발하였다. 모델 이름의 ssd(single shot detector)는 단일 단계 탐지 방법을 구현하는 방법 중에 하나이며 mobilenet은 모바일 환경에서 구동이 가능한 가벼운 모델을 의미한다. 그림 2는 기간(backbone) 네트워크로 mobilenet을 사용한 ssd의 구성을 나타낸다.

Fig. 2. 
SSD Structure

입력 이미지가 연결된 사다리꼴은 크기가 점점 줄어드는 일련의 합성곱 층(convolution layer)을 나타낸다. ROI(region of interest)는 관심 영역을 나타내며 우측 정육면체들은 하나 이상의 합성곱 층을 나타낸다. 가장 큰 외부 상자가 단일 단계 방식을 나타내는데, 한 번의 처리로 객체 위치와 분류가 동시에 실행됨을 보여주며, 두 단계 방식에서는 가장 큰 상자 바깥에 존재하는 타원 부분, 즉 후보 영역을 추천하는 과정이 별도로 추가된다.

본 논문에서는 사람이 그린 그림으로부터 객체 탐지와 분류가 가능하며, 이를 통해 얻은 그림의 정보를 퍼지 추론의 입력으로 사용함으로써 손그림 기반 심리분석 전 과정이 자동화될 수 있음을 보여주었다. 또한 손그림을 분석하는 이미지 분석부와 심리를 진단하는 과정을 모델링한 퍼지 추론부를 독립 유닛으로 구성함으로서, 실제 진단하는 규칙을 검사자의 진단 성향에 따라 구성할 수 있도록 하였다. 또한 이미지 분석부의 경우, 피검자의 그림 데이터를 더 많이 수집하여 그림의 분석을 위한 CNN모델의 성능을 높인다면 더욱 정확한 분석이 가능할 것으로 기대되며 HTP 검사법뿐만 아니라 피검자의 그림을 기반으로 한 다른 심리검사 기법에도 연구를 확대할 수 있을 것이다.