딥러닝 기반 손 그림 심리분석 알고리즘 연구

2-1 그림 심리 검사

나무 그림 검사는 ‘Baum Test’ 혹은 ‘Koch test’라고도 불리며 개인의 성격과 감정 상태를 평가하기 위해 사용하는 투영검사법이다[3]. 이 검사는 1952년 스위스 심리학자 겸 상담사 Charles Koch에 의해 고안되었으며 처음부터 누구나 쉽게 사용할 수 있도록 설계되었기 때문에 주로 어린이들에게 유용하게 쓰인다[4]. 2015년 연구[5]에 따르면, 나무 그림 검사는 인지장애와 치매를 성공적으로 진단하는 것으로 증명이 되었는데 인지장애가 있는 환자가 그린 나무는 그 경도에 일반 사람이 그린 나무와의 차이점을 보였다. 예를 들어 알츠하이머 환자가 그린 나무는 전체적인 크기가 작으며 비교적 기울어지지 않았다. 검사의 순서는 다음과 같다. 우선 검사자에게 A4 크기의 종이를 제공하고 마음대로 나무를 그리도록 한다. 제한된 시간 없이 자유롭게 나무 한 그루를 그린 후 제출하면 그 모양새를 분석하여 해석한 결과를 낼 수 있다. 해석은 나무의 크기와 그림의 밀도와 같은 전반적인 특성은 물론 줄기의 패턴과 과일, 가지의 배열과 같은 구체적인 특성들에 따라 달라진다[6].

고양이 그림 검사는 뇌의 오른쪽 또는 왼쪽 반구와 연관이 있는 그림 패턴을 관찰하게 한다. 그림에 색상 사용 빈도나 고양이의 움직임 및 특이한 특징이 있는 그림은 우뇌를 더 많이 사용했다 할 수 있고 정적이고 단순할 경우 좌뇌를 더 많이 사용했다는 것으로 해석한다. 이 검사는 검사자 뇌의 기여 수준을 알 수 있게 해 후에 인지 과정과 성격을 파악하는 것에 도움을 준다. 본 논문에서는 나무와 고양이 두 그림에 대한 심리분석 알고리즘을 각각 제시한다.

2-2 이미지 처리

컴퓨터 비전은 ‘컴퓨터 과학’의 한 분야로 디지털 이미지에서 특징을 추출하고 활용하는 것이 그 핵심이라 할 수 있다. 실제 사물은 다양한 형질로 이루어져 있지만, 컴퓨터에서의 이미지는 픽셀이라는 작은 단위로 이루어져 있다. 픽셀값은 0부터 255 사이의 값을 가지고 있으며 색을 표현할 수 있는데 여러 픽셀이 모이면, 실제의 사물을 표현할 수 있게 된다. 사람의 눈이 사물을 보고 이해하는 것처럼 컴퓨터 이미지를 이해하기 위해서도 객체에서 유의미한 정보를 얻어야 한다. 전통적으로 주성분 분석 같은 통계적인 방법[7]과 지역적 특징을 찾아 유사한 곳을 매칭시키는 방법 등이 있다[8]. 최근 몇 년간 컴퓨터 비전에서 떠오른 방법은 딥러닝이다. 이는 여러 층의 신경망을 쌓은 후 입력을 받아 계층별로 특징을 추출한 후 객체에 대한 정보를 추론할 수 있게 하는 방법이다. 딥러닝이라는 개념은 1980년대에 이미 등장했었지만 2012년 ImageNet Large Scale Visual Recognition Challenge(ILSVRC)에서 AlexNet이 우승 이후 기하급수적으로 발전하게 된다[9]. 현재 딥러닝에서 사용되는 네트워크는 초기보다 몇 배는 더 깊어지고 복잡한 구조를 갖게 되었다. 다양한 연구를 통해 훈련기법도 더 정교해졌고, 컴퓨터가 이미지를 이해하는 정도가 인간의 수준보다 더 높아졌으며 얼굴 인식, 이미지 화질 개선 등 다양한 분야에서 사용되고 있다[10, 11, 12].

이미지 분류(Image Classification)란 주어진 여러 장의 이미지들을 클래스로 나누어 학습시킨 후 후에 새로운 이미지를 다시 입력으로 했을 때 어떤 클래스에 속하는지를 파악하는 문제이다. 1998년 Yann Lecun의 팀이 합성곱 신경망(Convolutional Neural Network)을 이용해 성공적으로 손글씨를 분류하였고 [13], 이후 합성곱 신경망은 더 깊게 쌓거나 [9, 14], 앞단 정보를 유지하는 등 [15] 다양한 방향으로 발전하였다. 본 논문에서는 비교적 간단한 합성곱 신경망을 쌓아 분류에 사용하고 이후 tensorflow2에서 제공하는 학습된 모델을 불러와서 전이학습을 해 그 성능을 비교해본다.

객체 검출(Object Detection)은 분류 문제에서 특정 클래스의 개체가 이미지 안 어느 위치에 있는지 위치 정보를 나타내주는 Localization 과정이 추가된 것이다. 이때 보통 경계 상자(Bounding box)를 그려 찾은 개체를 표시해준다. 이러한 객체 검출 모델은 추론 속도와 탐지 정확도에 따라 유형을 분류할 수 있다. YOLO[16], SSD[17], Retinanet[18] 등은 One-stage Detector로 분류와 지역화를 동시에 수행하기 때문에, 그 속도가 빠르지만, 상대적으로 저조한 성능을 가진다. 그에 비해 Fast R-CNN[19], Faster R-CNN[20], Mask R-CNN[21] 등의 모델은 Two-stage Detector로 검출 과정이 순차적으로 진행되어 상대적으로 느리지만, 정확도가 높다는 장점이 있다.

2-3 컴퓨터를 통한 손 그림 심리 검사

기존 그림 심리 검사는 보통 종이와 펜을 가지고 그림을 그린 후 사람이 그림을 분석하여 결과를 내고 후에 공간을 따로 두어 보관을 하는 방식으로 진행되었다. Jeon et al.은 그림 심리 진단과 컴퓨터를 접목해 컴퓨터 미술 치료를 위한 컴퓨터 심리 진단 장치를 제시하였다[22]. 아동이 터치 모니터에 그림을 그리면 색의 분포, 선의 특성, 그림을 그린 시간 등의 정보를 얻어 심리 진단을 사람 없이 할 수 있도록 하였다. 하지만 이때 선에 대한 정보는 필압을 통해 얻었기 때문에 특별히 센서가 붙은 펜이 필요했다. 이에 반해 본 논문이 제시하는 방법은 이러한 부가적인 펜과 무관하게 그림으로부터 직접 특성을 얻은 후 이를 해석에 활용하는 것이다.

또한 Park et al.은 딥러닝 사물 인식 알고리즘을 활용하여 아동이 그린 그림으로부터 사물 검출이 가능하다는 것을 확인하였고 감성 분석 분야에서의 활용 가능성을 진행하였다[2]. 하지만 인식 후 이를 활용하여 심리에 대한 진단을 내리는 부분은 구현하지 않았다. 본 연구는 이미지로부터 사물을 검출한 후 해석을 내는 부분까지의 전체 과정을 모듈로 제시하고자 한다.

3-1 객체 검출 모듈

클래스가 잘 분류되기 위해서는 공통으로 가지는 특징이 많아야 한다. 따라서 이미지를 통째로 넣고 세세한 특징을 찾는 것보단 큰 객체를 입력해 분리하고 분리된 곳만의 특징을 찾는 일이 더 쉬울 것이다. 객체 검출 모듈에는 Faster R-CNN[20]을 시킨 딥러닝 모델로 이전 두 모델이 선택적 탐색이라는 기법을 사용해 관심 영역(Region of Interest, ROI)을 생성했다면 Faster-RCNN의 경우 영역 제안 네트워크(Region on Proposal Network, RPN)을 사용하는 방식으로 바뀌었다. 모델은 두 부분으로 구성되는데 앞부분의 RPN은 입력으로 이미지를 받아 합성곱 신경망을 사용해 관심 영역을 추출하고 사후 처리를 거쳐 RoI 리스트를 출력한다. 뒷부분은 분류의 역할을 하며 특징 맵과 RoI를 받아 최종 결과를 낸다. 이 모델은 굉장히 빠른 속도를 가지게 되는데 이는 그림 심리 검사 속도의 단축이라는 목표에 부합한다. Fig 2.는 모델의 구조를 보여준다.

Fig. 2.

Faster R-CNN Architecture

객체 인식 모듈을 통해 나무 그림 심리 검사의 경우 흰 배경에 나무 한 그루가 그려진 이미지에서 Branches(관), Trunk(기둥), Root(뿌리)를 찾을 수 있고, 고양이 그림 심리 검사의 경우 다양한 그림이 그려진 이미지 한 장에서 Cat(고양이), Head(머리), Body(몸통)를 찾을 수 있다. 객체 단위로 검출을 완료한 뒤, 추출된 각 객체의 위치 정보를 가져와 이 영역만을 잘라내 새로운 이미지 파일을 생성하게 되고 이때 생성된 이미지 파일은 두 번째 단계인 클래스 분류에 쓰이게 된다.

3-2 클래스 분류 모듈

이전 모듈에서 객체 이미지가 추출되어 잘리면, 잘린 이미지를 다시 분류하기 위한 모듈이 필요하다. 본 연구에서는 모듈에 사용되는 13개의 계층으로 구성된 순차적인 구조의 합성곱 신경망을 만들었다. 합성곱 계층과 최대-풀링 계층이 번갈아 가며 나오며 활성화 함수로 ReLU[24]를 사용한다. 잘린 이미지는 224x224의 해상도로 변환되며 3개의 색 채널을 그대로 합성곱 신경망의 입력으로 쓴다. 커널의 크기는 3x3이며 계층의 깊이가 깊어짐에 따라 특징 맵의 깊이는 늘어난다. 마지막으로 세 개의 밀집 계층으로 구성되며 softmax 함수가 적용된다. Fig. 3은 위 설명한 합성곱 신경망을 보여주며 conv와 max-pool, dense는 각각 합성곱 계층, 최대 풀링 계층, 밀집 계층이며, n은 특징 맵의 수, k는 커널의 크기를 나타낸다.

Fig. 3.

Convolution Neural Network for classifiation

한편 딥러닝으로 분석하기 힘든 클래스는 일반적인 영상처리 기법을 이용하기도 하였다. 우선 나무 그림에서는 그림의 밀도를 파악하기 위해 사진 가장자리 20% 속에 있는 픽셀값이 255가 아닌 픽셀의 수를 세었다. 그 수가 일정 수준을 넘어가면 그림의 밀도가 높은 것으로 하고 그렇지 않다면 그림의 밀도가 낮은 것으로 판단하였다.

고양이 그림에서는 그림이 얼마나 화려한가를 판단하기 위한 colorfulness를 판단하였는데 [25]의 방법을 따랐다. 원저논문에서는 화려함의 기준을 세우기 위해 20명의 비전문가 참가자들이 1~7등급의 화려함으로 84개의 이미지 세트를 평가해 달라고 요청했다. 그 후 일련의 실험적인 계산을 통해, 이미지 색공간과 앞의 결과가 상응하는 수식 (1)을 모델링 하였다.

먼저 이미지의 RGB채널을 나눈 후 R과 G를 더한 rg와 R과 G를 더한 후 B를 뺀 yb 값을 구한다. 그 다음 각각 표준편차와 평균값을 구하고 표준편차는 표준편차끼리, 평균값은 평균값끼리 더해 나온 값들을 더하여 최종값(C)을 계산한다. 본 논문에서는 화려한 정도를 두 단계로 나누었는데 이는 고양이 데이터의 경우 두 단계 분류로도 충분히 분석 가능하기 때문이다.

Table 1에서 클래스와 서브 클래스를 볼 수 있는데 합성곱 신경망은 클래스별로 학습되고 입력 이미지를 이 신경망 모델을 통해 분류하였을 때 나오는 결과가 서브 클래스가 된다. 그러므로 전체 모듈은 여러 개의 합성곱 신경망 모델들로 구성되었다고 할 수 있다.

Table 1.

Class and meaning for tree drawing

한편 딥러닝으로 분석하기 힘든 클래스는 일반적인 영상처리 기법을 이용하기도 하였다. 우선 나무 그림에서는 그림의 밀도를 파악하기 위해 사진 가장자리 20% 속에 있는 픽셀값이 255가 아닌 픽셀의 수를 세었다. 그 수가 일정 수준을 넘어가면 그림의 밀도가 높은 것으로 하고 그렇지 않다면 그림의 밀도가 낮은 것으로 판단하였다. 고양이 그림에서는 그림이 얼마나 화려한가를 판단하기 위해 색의 사용 빈도수를 세었다.

3-3 해석 모듈

딥러닝을 통해 그림에 대한 정보를 얻으면 이를 토대로 해석을 하여 결과를 검사자에게 보여줘야 한다. 현재는 미리 클래스에 대한 해석을 몇 개의 단어로 저장한 뒤 새로운 입력 이미지의 분류 클래스와 비교한 후 해당하는 단어를 가져와 조사와 합쳐 출력하는 식으로 결과를 볼 수 있다. 지금은 단어 끼우기 형식으로 결과가 출력되나 후에 자연어 처리 기술을 적용한다면 사람이 상담 결과를 말해주는 것과 매우 유사한 수준으로 발전할 것이다. 두 개의 그림 심리 검사에서 찾을 수 있는 클래스와 이에 대한 해석은 Table 1, 2에서 볼 수 있다.

Table 2.

Class and meaning for cat drawing

4-1 개발 환경

본 연구는 Ubuntu 18.04.4 LTS에서 Intel Core i7-2600K CPU 3.40GHz와 GeForce GTX 1070 GPU를 기반으로 진행되었다. 객체 검출 모듈은 Faster R-CNN 모델을 불러와 Detectron2 0.4버전을 사용해 그림 데이터를 이용해 재학습시켰다. 클래스 분류 모듈의 경우 Tensorflow2 2.3.2버전과 Keras 2.4.0버전을 사용해 합성곱 신경망을 만들어 학습한 것을 기반으로 한다.

4-2 데이터 수집 및 레이블링

분류 학습 시 각 데이터 세트에 대해 20 Epoch가 반복되었고 학습률은 0.001로 고정했으며 최적화 알고리즘은 RMSprop을 사용했다. 고양이 그림 심리 검사의 경우 색상의 쓰임 정도를 알아야 하는 부분이 있는데 이는 OpenCV 4.5.2버전을 사용하여 판단하였다.

본 논문의 실험에 쓰인 데이터는 실제 아동이 그린 그림을 스캔한 이미지와 google-image-download 라이브러리를 사용해 구글에서 크롤링한 선화, 클립아트 등 다양한 유형의 이미지로 구성되며 총개수는 나무 그림 학습용 1,946장, 평가용 159장, 고양이 그림 학습용 492장, 평가용 61장이다. Fig. 4에 나무 그림 데이터셋과 고양이 그림 데이터셋을 나타내었다.

Fig. 4.

Examples of datasets: (a) Tree drawing, (b) Cat drawing

이미지를 학습시키기 전 데이터에 레이블링 작업이 필요한데 이는 이미지 데이터 속에 찾고자 하는 객체의 위치와 종류를 지정하기 위함이다. 파이썬 이미지 레이블링 툴인 LabelImg를 사용해 경계 상자를 그리고 레이블을 붙여 PascalVOC 형식으로 저장한 뒤 다시 json파일로 변환하였다. Fig. 5는 레이블링 예시이다.

Fig. 5.

Example of labeled data: (a) labeled tree drawing, (b) labeled cat drawing

클래스 분류 모델을 학습시키기 위해서는 그림 전체 이미지가 아닌 클래스별 특징을 보여줄 수 있는 이미지가 필요하다. 이를 위해 나무 그림 데이터 전체를 객체 검출 모듈을 적용해 객체의 영역을 잘라내 새로운 이미지들을 만들었다. 잘린 이미지는 사람이 직접 보고 판단하여 어떤 클래스와 서브 클래스에 해당하는지 분류해 서브 클래스 데이터셋에 추가한다. Fig. 6 나무 그림에서 Branch가 검출된 후 세부 클래스로 분류하는 과정을 보여준다.

Fig. 6.

Process of creating class-specific dataset

4-3 학습 및 검증 결과

객체 인식에서는 성능 지표로 재현율(recall)을 사용했다. 재현율이란 실제 True인 것 중에서 모델이 True라고 예측한 비율로 대상 물체를 얼마나 잘 검출하는지 나타낸다. Precision은 positive 예측값으로 모든 positive 예측 중 True의 비율을 계산한 것이다. 그러므로 precision이 높으면 positive 예측 중 정답을 positive라고 예측한 비율이 높다. Table 3은 심리 검사별 AP를 보여준다. 이는 validation 데이터셋으로 측정한 값으로 학습에 사용하지 않았고 오로지 평가에만 사용하였으며 이를 ㈜지영커뮤니티 전문가의 분석을 토대로 정확도를 측정하였다.

Table 3.

Average Precision (AP) of object dectetion (IoU=0.50)

클래스 분류에서는 손실 값(loss)와 정확도(accuracy)를 측정하는데 각 심리 검사 그림에 대한 개별 성능은 다음 Table 4, 5와 같다. Table 4에서 fruit과 crown_shade 부분이 정확도가 다소 낮은 경향을 보이는 것은 fruit은 과일 부분이 정보가 명확하지 않아 학습이 어려운 부분이 있는 것으로 보이며 crown_shade 단순 검은색으로 표현되는 shade 정보가 학습정보로는 충분하지 않아서 나타난 결과로 해석할 수 있다. 나머지 속성 식별 결과들은 최대 99.6%까지로 매우 높은 것을 볼 수 있다.

Table 4.

Classification loss and accuracy for Tree drawing

Table 5.

Classification loss and accuracy for Cat drawing

Table 5는 고양이 그림에 대한 실험 결과를 보여주고 있다. 기본적으로 속성 클래스 수가 많지 않기 때문에 검출 및 분류를 통한 속성 식별 결과가 96% 정도를 보여주었으며 이를 실제 상용 서비스로 고려할 때 상당히 고무적인 결과로 판단된다.

실제 그림을 입력으로 해 모듈을 테스트해본 결과는 Fig 7과 같다. 입력 이미지는 모델이 이전에 학습한 적 없는 이미지를 사용했고 나무 그림의 경우 branches, trunk, root를 각각 객체 검출 정확도 99%, 96%, 94%로 찾았으며 고양이 그림은 cat, head, body를 각각 99%, 96%, 94%의 정확도로 검출하였다.

Fig. 7.

(a) Input tree drawing, (b) Bounding box for branches, trunk, root, (c) Tree drawing test result, (d) Input cat drawing, (e) Bounding box for cat, head, body (f) Cat drawing test result

나무 그림 심리 검사는 클래스별 해당하는 분석 내용이 줄글로 출력된다(Fig. 7(e)). 나무 그림에서 branch는 모양이 구름 모양인데 이에 해당하는 클래스는 crown_arcade로, 형태에 대한 감수성이 있고 예의가 바르며 의무감이 있는 사람이 그렸다고 해석할 수 있다. 과일이 달린 것을 인식했기 때문에 fruit 클래스가 해당하고 이는 시각적 재능과 관찰력이 있다고 할 수 있다. 나무의 줄기 부분은 straight하며 scratch 무늬가 있으므로, 그린 이가 규범적이고 고집이 세며 냉정한 면이 있다는 결과가 나온다.

고양이 그림 심리 검사는 성향에 대해서만 파이 그래프로 나타낸다(Fig. 7(f)). 그림은 색이 많이 사용된 편이라 coloful하다 할 수 있으며 다리 동적으로 그려졌기 때문에 이에 대한 평가로 그린 이가 우뇌형이라 할 수 있다.