딥러닝 전이학습의 가능성 검토: 부동산 분야를 사례로

2-1 딥러닝과 신경망 모형

인간이 하는 일을 기계(machine or agent)가 대신 수행할 수 있도록 하는 개념을 AI라고 할 수 있으며, AI라는 용어는 그림 1에서 보듯 머신러닝(machine learning)과 딥러닝을 아우르는 가장 광범위한 개념이다. 투입자료와 결과물을 제시하고, 기계는 투입된 자료를 학습하여 데이터에 내재된 구조나 패턴, 즉 규칙을 찾아내는 과정을 AI 기술 중에서도 특히 머신러닝이라 칭한다[3]. 머신러닝을 구현하는 알고리즘은 다양한데, Gradient boosting machine, Random forest, Support vector machine 등이 문헌에서 자주 활용하는 알고리즘으로 보인다[4][5].

Fig. 1.

AI, machine learning, and deep learning

딥러닝도 머신러닝 분야에 속한다고 볼 수 있지만, 2010년 이후 별도의 범주로 구분하려는 경향이 강하다. 그만큼 딥러닝 알고리즘은 기존 머신러닝과 차별화되는 점이 많기 때문이다.

딥러닝 알고리즘 구현의 가장 보편적인 방법은 신경망 모형(neural network model)이다. 신경망 모형은 레이어(layer)라 불리우는 데이터 처리 단계를 다층적으로 누적한 것으로 선형모형의 일반화된 형태(generalized form)라 할 수 있다[6]. 그림 2는 단순한 형태의 신경망 모형 구조를 예시적으로 보여주고 있다. 먼저 입력층(input layer)을 통해 데이터를 받아들이면 이후 은닉층(hidden layer)을 통해 데이터를 처리, 학습하며 최종 결과물은 출력층(output layer)을 통해 산출된다. 이러한 신경망 모형 학습의 핵심은 은닉층인데, 은닉층은 여러 개의 뉴런(neuron)으로 구성되어 있다. 그림 2는 3개의 변수로 이루어진 자료를 받아들이는 입력층 1개, 6개의 뉴런으로 구성된 은닉층 1개, 그리고 하나의 변수를 산출하는 출력층 1개로 구성된 신경망 모형을 보여준다. 은닉층은 그림의 경우와 달리 두 개 이상의 층으로 구성하는 것이 보다 일반적이다.

Fig. 2.

Example of a neural network

신경망 모형의 탁월한 성과는 은닉층에서 비롯된다. 은닉층이 많아질수록(깊어질수록) 복잡한 구조나 패턴의 학습이 가능해지기 때문이다. 초기에 제시된 신경망 모형은 1개 내지 2개 정도의 얇은(shallow) 은닉층으로 구성되었다. 은닉층을 깊게 구성할 경우 수렴의 불안정성 등 여러 부작용이 발생하여 오랜 기간 깊은(deep) 신경망 구성은 어려운 것으로 인식되었다. 그러나 ‘은닉층 혁명’이라 불릴 정도로 획기적 기술 개선을 통해 이제는 수십, 수백 개의 은닉층으로 구성된, 충분히 깊은 신경망 모형 구성이 가능해졌다. 이후 기존 머신러닝과 구분되는 딥러닝이라는 범주를 별도로 구분하게 되었다(그림 1). 충분히 깊은 신경망 모형, 즉 딥러닝과 대비하여 기존의 전통적인 머신러닝은 쉘로우 러닝(shallow learning)으로 대비하여 칭하기도 한다.

신경망 모형은 그 세부 종류가 다양하고, 현재에도 변형 모형(variant network)이 따라가기 어려운 속도로 개발, 공표되고 있다. 2021년 현재 시점 기준으로 신경망 모형은 DNN(Dense Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network)으로 기본적인 구분을 할 수 있다. DNN은 범용 신경망 모형으로 입력층과 은닉층, 그리고 출력층이 가중치(weight)를 매개로 조밀하게(densely) 연결된 모형이다. 그림 2도 엄밀하게는 DNN의 구조를 보여주고 있다.

반면 CNN은 사진과 같은 이미지 자료 처리에 특화된 모형으로 DNN에서 사용하는 일반적 형태의 은닉층이 아닌 특별한 형태의 은닉층(convolutional layer와 pooling layer)을 사용한다. CNN은 computer vision이라 불리는 이미지 인식 및 분류에서 탁월한 성과를 보이며, 가깝게는 우편물의 우편번호 인식, 주차장 입구 개폐기의 자동차 등록번호 인식에서부터 자율주행자동차의 물체 인식, 보안시스템의 안면 인식 등 폭 넓은 분야에서 활용되고 있다.

RNN은 자료의 순서가 중요한 업무, 즉 시계열 자료나 자연어 처리(natural language processing)에 특화된 모형으로 역시 DNN에서의 은닉층과 구별되는 특별한 형태의 은닉층(long short-term memory layer, gated recurrent unit layer 등)을 사용한다. RNN은 외국어 번역(machine translation), 신문기사, 판례, 법령 등의 요약(document processing & summarizing)에 널리 활용되고 있다.

신경망 모형은 현재 분야를 가리지 않고 탁월한 성과를 보여주고 있다. 이러한 성과의 이유로 비선형 관계를 포함한 데이터에 내재된 복잡한 구조를 학습할 수 있는 능력(representation learning이라 한다), 표(table)나 행렬(matrix) 형식의 정형데이터(structured data)뿐 아니라 이미지, 소리, 동영상, 문서와 같은 비정형데이터(unstructured data)를 효율적으로 처리할 수 있는 능력, 그리고 기 학습된 지식을 타 분야에 응용할 수 있는 전이학습 능력을 들 수 있다.

2-2 전이학습과 응용 분야

탁월한 능력을 가진 신경망 모형이 의도한 성능을 제대로 발휘하려면 무엇보다 학습의 원천이 되는 투입자료가 충분히 확보되어야 한다. 그러나 정형데이터 및 비정형데이터 모두 자료가 부족하거나 수집에 과다한 비용이 소요되어 충분한 자료를 확보하기 어려운 경우가 흔하다. 방대한 데이터가 전제되어야 장점을 십분 발휘할 수 있는 딥러닝은 이러한 상황에서 적용이 수월하지 않게 된다.

특정 분야에서 학습한 내용을 신규 업무에 재사용한다는 전이학습의 개념은 주로 이와 같은 부족한 데이터 문제를 극복하기 위해 제시되었다[7]. 전이학습은 해당 신경망 모형을 처음부터 학습시킬 필요가 없으므로 학습시간을 단축하여 신속하게 업무를 진행시켜야 하는 상황에서도 효율적으로 활용될 수 있다.

특정 분야에서 미리 학습된 신경망 모형을 타 분야에 사용할 경우, 기존 학습의 내용이 담겨있는 은닉층을 재사용하게 된다. 이때 얼마나 많은 은닉층을 재사용할 지가 관건인데, 통상 입력층에 가까운 은닉층(lower hidden layer) 재사용을 먼저 검토하고, 순차적으로 재사용 은닉층의 범위를 넓혀 최종적으로 출력층에 가까운 은닉층(higher hidden layer)까지 검토하게 된다. 입력층에 가까운 은닉층 재사용을 가장 먼저 검토하는 이유는, 이 은닉층이 자료에 내재된 추상적인 성격의 정보를 처리하기 때문이다. 즉 다른 분야에 전이할 수 있는, 일반화가 용이한 추상적 정보를 입력층에 가까운 은닉층이 담고 있다고 생각하기 때문이다. 반면 출력층에 가까운 은닉층일수록 특정 분야에만 적용할 수 있는 구체적 정보를 처리한다고 알려져 있다(그러나 이러한 은닉층의 성격에 대해 합의된 견해가 존재하는 것은 아니다).

전이학습은 현재 CNN을 활용하는 이미지 처리 분야에서 가장 활발하게 이루어지고 있다. 특정 업무 수행을 위해 사진과 같은 이미지 자료를 처음부터 충분히 수집하는 것은 시간과 비용이 과도하게 소요된다. 이때 수백만 장에 이르는 방대한 이미지 자료에 대해 미리 학습된 신경망 모형을 활용할 수 있다면 부족한 데이터 문제를 쉽게 극복할 수 있다. [8]은 ImageNet, [9]는 ResNet, [10]은 Inception이라는 사전 구축된 신경망 모형을 활용하였는데, 이들 신경망 모형은 대표적인 사전 구축 이미지 신경망 모형이다.

RNN을 주로 사용하는 자연어 처리 분야이 경우, 처음부터 단어가 갖는 의미를 학습시키려면 방대한 분량의 텍스트 문서(SNS message, 신문기사, 소설 등)가 필요하다. 이러한 자료를 단기간에 충분히 확보하기란 쉽지 않으므로 단어의 의미와 단어들 간의 관계에 대해 미리 학습된 결과물을 가져오는 것이 편리하다. 미리 학습하여 단어의 의미를 숫자(벡터)와 매핑한 결과물, 즉 word embedding layer를 통상 재사용하게 되는데, 대표적인 word embedding layer로 Glove, word2vec 등이 있으며, 이러한 사전 학습 결과물을 이용한 전이학습은 외국어 번역 등 자연어 처리에서 쉽게 찾아 볼 수 있다[11][12].

이미지나 자연어 처리 이외에 제조, 의료, 운수 등 산업 현장에 전이학습을 확대 적용한 예도 찾아볼 수 있다[13][14][15][16].

이렇게 점차 보편화되는 전이학습의 응용 현황과 달리, 부동산 분야에서는 전이학습을 명시적으로 적용한 사례를 발견하기 어렵다. 부동산 분야에서 흔히 생성되는 데이터는 표나 행렬 형식의 정형데이터, 거리뷰나 항공사진 같은 비정형데이터라 할 수 있는데, 이러한 데이터를 대상으로 전이학습의 가능성을 검토한 사례는 드물다.

3-1 부동산 분야에서의 데이터 부족 문제

신경망 모형의 적용을 검토할 수 있는 부동산 분야는 부동산 마케팅, 중개에서부터 개발, 가치 추정, 그리고 관리까지 다양하다. 특히 부동산에 대한 가치 추정(valuation)은 가장 표준화된 형태의 부동산인 아파트의 가치 추정에서부터 토지 등의 가치 추정[17]까지 다양하게 시도되고 있다. 또한, 부동산 관리(property management)에 있어서도 CCTV 등을 통해 확보한 사진, 동영상 자료를 이용하여 건물의 부식상태 파악 등 시설관리에 적용한 경우[18], 항공사진을 활용하여 미등재된 과세 회피 건물을 파악한 사례[19] 등 다양한 응용 사례가 보고되고 있다. 본 연구에서도 가치 추정 및 부동산 관리 분야에 대하여 사례 형식으로 신경망 모형의 전이학습을 검토한다.

부동산 가치 추정의 경우 시장에서 거래된 매매사례를 가격모형에 투입하여 가격을 산출하는 것이 일반적이다. 따라서 매매사례 자체가 부족할 경우 신경망 모형은 의도한 성능을 발휘할 수 없게 된다. 주거용 부동산은 거래량이 많아 매매사례의 충분한 확보가 수월한 편이나, 상업용 부동산의 경우 그러하지 못하다. 2019년 6월부터 2020년 5월까지 최근 1년간 거래된 주거용 부동산은 170만 건이 넘지만, 상가나 오피스 등 상업용 부동산은 15만건에 불과하다[20]. 즉, 상업용 부동산의 거래량은 주거용 부동산 대비 10%에도 미치지 못할 정도로 거래가 드문 편이다. 이러한 상업용 부동산 거래자료의 부족은 주택에 대해 주택가격공시제도가 오래 전에 도입된 반면(2005년), 비주거용 부동산에 대해서는 아직까지 동 제도가 도입되지 못한 여러 이유 중 하나로 작용하고 있다. 본 연구에서는 자료가 풍부한 주거용 부동산의 가치 추정 과정에서 학습한 내용을 상업용 부동산 가치 추정에 이전하여 적용할 수 있는 지 여부를 검토한다.

부동산 관리의 경우 해당 부동산의 사진을 검토하여 실제 용도를 파악할 수 있다. 과세관청은 건축물대장과 같은 공부(公簿)에 등록된 건물 용도가 아니라, 현황 과세 원칙에 따라 건물의 실제 용도를 확인할 필요가 있는데, 예를 들어 공부에 등록된 용도는 상가이나 실제 용도가 주택으로 확인될 경우, 종합부동산세 부과 대상 여부, 적용받는 재산세율 등이 모두 달라지기 때문이다. 더구나 사용승인 이후 신축한 미등재 건물이 있다면, 이러한 건물은 등록된 용도 자체가 없으므로 실제 용도를 확인하는 절차가 필수적이다. 과세관청 담당자는 현장실사를 하거나, 포털 사이트에서 제공하는 항공사진 및 거리뷰 사진을 육안으로 검토하여 실제 용도를 판정한다. 어느 경우이나 시간과 비용이 많은 드는 작업이라 할 수 있다. 본 연구에서는 비정형데이터에 해당하는 사진 자료를 신경망 모형에 투입하여 대상 부동산의 용도를 판정하고자 한다. 이 경우에도 처음부터 방대한 양의 사진을 수집하는 것이 쉽지 않으므로, 기 구축된 신경망 모형을 활용하여 사례지역의 부동산 용도를 추정한다.

3-2 정형데이터의 활용

1) 사례지역 및 활용 데이터

거래가 활발하여 자료 부족의 문제에서 비교적 자유로운 주거용 부동산(단독주택)과, 그렇지 못한 상업용 부동산을 분석의 대상으로 선택하였다. 상업용 부동산은 주거용 부동산에 비해 그 세부 종류가 매우 다양하고 이질적인데(근린생활시설, 오피스, 숙박시설, 연수원, 병원, 유치원, 종교시설, 창고, 공장, 축사 등) 다양한 세부 종류 중 숙박시설을 적용 대상으로 정하였다. 숙박시설은 모집단 자체가 주거용과 비교하여 적을 뿐 아니라, 거래량도 적은 편이어서 전이학습의 적용 가능성을 검토하기에 적합하다. 숙박시설은 모집단 및 거래량이 적은 반면, 담보평가, 기업 양수도 평가 등 가치 추정 수요는 비교적 높은 유형이기 때문에 연구 필요성은 높다고 판단된다.

사례지역은 경상남도를 선정하였다.¹⁾ 2016~2019년 동안 이루어진 부동산 취득세 신고자료를 활용하였으며, 표 1에 기초통계량이 제시되어 있다. 증여, 상속 등을 제외한 유상 매매만 분석 대상으로 하였으며, 지분 거래나 결측치 포함 사례 등은 제외하였다.

Table 1.

Descriptive statistics

표 1에서 보듯, 상업용 부동산은 주거용 부동산에 비해 거래량 자체가 매우 적은 것을 확인할 수 있다. 주거용 대비 상업용 부동산의 거래자료는 0.83%(235/28,252)에 불과하다.

종속변수는 납세자가 신고한 거래가격(억원)을 사용하였고, 투입변수는 읍면동 더미, 신고년도, 매수자 구분(개인, 법인), 매도자 구분(개인, 법인), 토지면적, 건물면적, 용도지역, 지목의 8개를 활용하였다. 동원할 수 있는 투입변수의 종류는 데이터 구득 가능성과의 타협을 통해 나온 산물이라 할 수 있다. 본 연구에서는 취득세 신고자료에 포함된 변수에 한정하여 설명변수를 활용하였고, 종속변수와 투입변수 모두 표준화(normalization)하여 신경망 모형에 투입하였다.

2) 신경망 모형 구조의 설계

부동산 가치 추정을 위해 신경망 모형 중 정형데이터 처리에 적합한 DNN을 사용하였다. 그림 3 (a), (b)는 본 연구에서 적용한 주거용 부동산 및 상업용 부동산 DNN의 구조를 보여준다. 주거용 부동산은 1개 입력층, 각 32개 뉴런으로 이루어진 3개 은닉층, 그리고 1개 출력층으로 구성하였다. 입력층에는 앞서 설명한 8개 변수를 투입하였고, 출력층은 1개 변수, 즉 거래가격 예측치가 산출된다. 신경망 모형 학습의 핵심인 은닉층의 수와 각 은닉층이 갖는 뉴런의 수는 다음 공식에 의한 MSE(mean squared error) 값이 가장 낮은 수준을 보이는 지점에서의 형태를 선택하였다.²⁾

Fig. 3.

Structure of DNN

$\[ MSE=\frac{1}{n}\sum _{i=1}^n{\left(y-\widehat{y}\right)}^2 \]$

(1)

위 식에서 y는 실제 거래가격, $$ \widehat{y}$$는 거래가격 예측치를 나타낸다.

은닉층 수와 뉴런의 수를 정하는 절대적 기준은 없으며, 이 과정에서 연구자의 판단과 경험이 가장 많이 개입되기도 한다[3]. 상업용 부동산의 경우 입력층과 출력층의 형태는 주거용 부동산과 동일하며, 은닉층의 경우에만 3개 은닉층 대신 2개 은닉층을, 그리고 각 은닉층의 뉴런 수도 32개가 아닌 8개 뉴런으로 구성하였다. 역시 검증 데이터 MSE 값을 기준으로 정한 형태인데, 투입하는 데이터 자체의 양이 적을 경우 신경망 모형을 복잡하고 풍부하게 구성하기 어렵다. 이러한 이유로 투입 데이터가 충분한 주거용 부동산 대비, 상업용 부동산의 모형은 그보다 단순한 형태로 결정되었다.

3) 전이학습 결과

그림 3 (a) 형태의 주거용 DNN을 학습시켜 검증데이터에³⁾ 대해 MSE 값을 계산한 결과, 0.26~0.30 수준을 보였다(데이터 임의 분할을 통한 50번 반복 실행). 반면 표 2의 “전이학습 미활용”은 상업용 신고자료만을 투입하여 학습한 상업용 DNN, 즉 그림 3 (b) 모형의 MSE 값을 보여주는데, 3.00 수준에 가까워(2.90~3.02) 주거용 부동산에 비해 MSE 값이 10배 이상 악화되었음을 알 수 있다. 이는 상업용 부동산의 거래자료만 활용하여 상업용 부동산, 특히 숙박시설의 가격을 추정하기 어려움을 시사한다. 따라서 사전에 구축된 주거용 DNN을 재사용할 필요성이 있다.

Table 2.

Comparison of model performances (50 trials)

전이학습의 경우 주거용 DNN의 첫 번째 은닉층 1개만을 사용할 수도 있고, 첫 번째와 두 번째 은닉층 2개를 사용할 수 있고, 마지막으로 첫 번째부터 세 번째까지 은닉층 3개를 전부 사용할 수도 있다. 표 2의 두 번째 행에서 네 번째 행까지는 이러한 순서에 따른 주거용 부동산의 은닉층 재사용 결과를 보여준다.

입력층과 가까운 첫 번째 은닉층만 사용한 경우의 MSE 값이 주거용 부동산과 가장 근접한 수준으로 나타나(0.45~0.49) 전이학습의 가능성을 확인할 수 있다. 따라서 전이학습을 활용하려면 첫 번째 은닉층만 재사용하는 것이 가장 합리적이며, 실제 업무에 활용될 경우 그림 3 (c)와 같은 형태의 DNN 구조를 채택할 가능성이 높다.⁴⁾

3-3 비정형데이터의 활용

2) 신경망 모형 구조의 설계

신경망 모형 중 이미지 분류에 효율적인 CNN을 사용하되, 다음과 같이 구성하였다. 먼저 150×150 픽셀의 컬러 사진을 받아들이는 입력층, 이미지 정보 처리에 특화된 convolutional layer와 pooling layer를 3번 반복 구성, 마지막으로 1,000개의 뉴런으로 구성된 출력층을 배치하였다. 뒤에서 사용할 사전 학습된 CNN의 분류 범주가 1,000개이므로, 양 모형의 성능 비교를 위해 출력층의 뉴런 수는 1,000개로 일치시켰다. 출력층의 각 뉴런 값은 해당 사진이 1,000개 범주 중 각 범주에 속할 확률을 나타낸다. 따라서 1,000개 뉴런 값을 합하면 1.00이 된다. 통상 확률값이 가장 높은 뉴런의 범주를 예측값으로 정한다.⁶⁾ 아래 그림은 본 연구에서 사용한, 사전 학습 모형을 활용하지 않은 CNN의 구조를 보여준다.

본 연구에서는 사전 학습된 모형으로 ResNet 50이라는 CNN을 사용한다. ResNet 50은 그림 4 구조에서 convolutional layer(은닉층)를 50개 깊이로 구성한 CNN이라 할 수 있다. ResNet 50은 백만장 이상의 사진을 토대로 학습된 이미지 분류 모형으로, 인터넷을 통해 내려받아 사용할 수 있다.⁷⁾ 이 모형의 입력층은 224×224 픽셀 규격의 사진을 받아들이므로, 수집한 사진을 이러한 규격으로 변형하여야 하며, 마지막 출력층은 1,000개의 범주 중 하나로 분류하는 기능을 한다. 1,000개 범주는 등대(lighthouse), 영화관(cinema), 온실(greenhouse) 등 일상에서 흔히 관찰할 수 있는 물체를 포함하고 있다.⁸⁾

Fig. 4.

Structure of CNN

이러한 ResNet 50을 사전학습 모형으로 활용하되 50개 은닉층을 전부 재사용하였고, 출력층 직전에 일반적인 은닉층(dense layer) 1개를 추가한 후 3,007장의 사진을 학습시켰다.

3) 전이학습 결과

<표 3>은 CNN의 전이학습 결과를 보여준다. 전이학습을 활용하지 않은 경우, CNN은 3,007장의 사진 중 22장만을 올바르게 예측하였다. 이는 3,000여 장 정도의 이미지 자료를 토대로 1,000개 범주에 이르는 항목을 분류하기가 거의 불가능함을 보여준다. 전이학습의 도움 없이 본 연구에서 수집한 사진만으로는 학습 자체가 가능하지 않은 것으로 판단된다. 반면, ResNet 50을 활용한 경우, 3,007장 중 2,158장을 올바르게 예측한 것으로 연구진이 분류하였으며, 이는 약 71.8%의 정확도에 해당한다.⁹⁾

Table 3.

Comparison of model performances

올바르게 분류한 것으로 연구진이 판단한 2,158장의 사진 예는 그림 5와 같다. 좌측 상단 사진은 음식점으로 이용 중인 건물로서, 모형은 restaurant일 확률이 가장 높다고 예측하였으며(56%), 그 다음이 cinema(13%), grocery store(1%) 순이었다. 가독성을 위해 확률이 가장 높은 3개 범주만 제시한 것으로, 실제 모형은 1순위부터 1,000순위까지의 확률을 모두 계산한다. 나머지 3장의 예시 사진도 확률이 가장 높은 3개의 범주만 제시하였다.

Fig. 5.

Examples of correct classification

반면 모형의 예측이 틀린 것으로 연구진이 판단한 사진 예는 그림 6과 같다. 좌측 상단 사진은 베이커리로 이용 중인 건물로서, 모형은 tobacco shop일 확률이 가장 높다고 예측하였으며(44%), 그 다음이 vending machine(27%), bookstore(6%) 순이었다. 나머지 3장의 예시 사진은 각각 음식점 건물, 완구 판매점, 교회를 보여주는데, 모형이 예측한 용도와는 거리가 있다고 연구진은 판단하였다.

Fig. 6.

Examples of wrong classification

4-1 DNN의 전이학습

표 2의 경우 전이학습의 가능성을 찾아볼 수 있다. 상업용 부동산 자료에만 기초한 DNN은 MSE 2.90~3.02 수준의 높은 값을 보이고 있지만, 주거용 부동산 신경망 모형 중 첫 번째 은닉층 한 개만 재사용하여 구축한 DNN의 경우 MSE 값이 0.45~0.49 수준으로 상당히 낮아졌기 때문이다. 그러나 주거용 DNN의 MSE 수준(0.26~0.30) 대비 여전히 2배 가까이 높은 수준을 보이고 있어, 만족할 만한 수준의 성능 향상이 이루어진 것으로 보기 어렵다. 주거용 부동산보다 2배 가까이 악화된 성능의 모형을 담보평가나 과세평가 등 행정 실무에 적용하기는 어렵다. 결론적으로 전이학습의 가능성은 있으나 전반적인 전이학습 수준은 만족스럽지 못한 것으로 판단할 수 있다.

정형데이터 처리를 위해 본 연구에서 활용한 DNN의 은닉층은 이미지 처리에 특화된 CNN의 은닉층만큼 전이학습에 있어 효율적이지 못한 것으로 알려져 있다[21]. 또한, 본 연구에서는 주거용 부동산에 대해 비교적 적은 수(3개)의 은닉층을 가진, 그리고 정보의 흐름이 입력층에서 출발하여 출력층으로 단순하게 흐르는(sequential model이라 한다) 신경망 모형을 구성하였다. 방대한 투입자료에 기초한 복잡한 신경망 모형일수록(예를 들어 10개 이상의 은닉층을 가진 non-sequential model), 다른 업무(본 연구에서는 상업용 부동산 가격 추정)에 전이할 수 있는 학습 내용도 많아지는데, 본 연구에서는 주거용 부동산에 대해 이러한 형태의 모형을 구축하지 못하였다. 이와 같은 요인들이 복합적으로 작용하여 DNN의 전반적인 전이학습 수준은 만족스럽지 못하게 산출된 것으로 보인다.

4-2 CNN의 전이학습

앞서 언급하였듯 CNN은 DNN과 달리 특수한 형태의 은닉층을 사용하는데, CNN 은닉층의 경우 입력층에 가까운 은닉층일수록 이미지의 색상, 명암을 구분하는 추상적 수준의 학습이 이루어지고, 출력층에 가까운 은닉층일수록 물체의 구체적 형태(고양이라면 눈매, 코, 귀, 수염 등)를 인식하는 학습이 이루어진다. 따라서 CNN의 경우 색상, 명암을 구분하는 은닉층은 이미지 분류 작업에서 언제나 필요한 기능이므로 재사용의 가능성이 높고, 성과 또한 우수하게 나타난다. CNN의 전이학습은 비단 입력층에 가까운 은닉층뿐만 아니라 출력층에 가까운 은닉층까지 기 학습된 신경망의 은닉층 대부분을 재사용하기도 한다. 본 연구도 ResNet 50의 은닉층을 전부 재사용하였으며, 그 결과 최초 0% 분류 정확도에서 70% 수준의 정확도 개선을 보였다. 따라서 사진을 활용한 건물의 용도 구분에 있어서 전이학습의 가능성은 높다고 할 수 있다. 신규 학습에 추가적으로 사용한 사진의 분량을 현재(3,007장)보다 늘리고, ResNet 50의 각 은닉층을 미세 조정(fine-tuning)하여 새로운 작업에 적용할 경우, 높은 업무 성과를 기대할 수 있을 것으로 보인다.