Journal Archive

인간이 하는 일을 기계(machine or agent)가 대신 수행할 수 있도록 하는 개념을 AI라고 할 수 있으며, AI라는 용어는 그림 1에서 보듯 머신러닝(machine learning)과 딥러닝을 아우르는 가장 광범위한 개념이다. 투입자료와 결과물을 제시하고, 기계는 투입된 자료를 학습하여 데이터에 내재된 구조나 패턴, 즉 규칙을 찾아내는 과정을 AI 기술 중에서도 특히 머신러닝이라 칭한다[3]. 머신러닝을 구현하는 알고리즘은 다양한데, Gradient boosting machine, Random forest, Support vector machine 등이 문헌에서 자주 활용하는 알고리즘으로 보인다[4][5].

Fig. 1. 
AI, machine learning, and deep learning

딥러닝도 머신러닝 분야에 속한다고 볼 수 있지만, 2010년 이후 별도의 범주로 구분하려는 경향이 강하다. 그만큼 딥러닝 알고리즘은 기존 머신러닝과 차별화되는 점이 많기 때문이다.

딥러닝 알고리즘 구현의 가장 보편적인 방법은 신경망 모형(neural network model)이다. 신경망 모형은 레이어(layer)라 불리우는 데이터 처리 단계를 다층적으로 누적한 것으로 선형모형의 일반화된 형태(generalized form)라 할 수 있다[6]. 그림 2는 단순한 형태의 신경망 모형 구조를 예시적으로 보여주고 있다. 먼저 입력층(input layer)을 통해 데이터를 받아들이면 이후 은닉층(hidden layer)을 통해 데이터를 처리, 학습하며 최종 결과물은 출력층(output layer)을 통해 산출된다. 이러한 신경망 모형 학습의 핵심은 은닉층인데, 은닉층은 여러 개의 뉴런(neuron)으로 구성되어 있다. 그림 2는 3개의 변수로 이루어진 자료를 받아들이는 입력층 1개, 6개의 뉴런으로 구성된 은닉층 1개, 그리고 하나의 변수를 산출하는 출력층 1개로 구성된 신경망 모형을 보여준다. 은닉층은 그림의 경우와 달리 두 개 이상의 층으로 구성하는 것이 보다 일반적이다.

Fig. 2. 
Example of a neural network

신경망 모형의 탁월한 성과는 은닉층에서 비롯된다. 은닉층이 많아질수록(깊어질수록) 복잡한 구조나 패턴의 학습이 가능해지기 때문이다. 초기에 제시된 신경망 모형은 1개 내지 2개 정도의 얇은(shallow) 은닉층으로 구성되었다. 은닉층을 깊게 구성할 경우 수렴의 불안정성 등 여러 부작용이 발생하여 오랜 기간 깊은(deep) 신경망 구성은 어려운 것으로 인식되었다. 그러나 ‘은닉층 혁명’이라 불릴 정도로 획기적 기술 개선을 통해 이제는 수십, 수백 개의 은닉층으로 구성된, 충분히 깊은 신경망 모형 구성이 가능해졌다. 이후 기존 머신러닝과 구분되는 딥러닝이라는 범주를 별도로 구분하게 되었다(그림 1). 충분히 깊은 신경망 모형, 즉 딥러닝과 대비하여 기존의 전통적인 머신러닝은 쉘로우 러닝(shallow learning)으로 대비하여 칭하기도 한다.

신경망 모형은 그 세부 종류가 다양하고, 현재에도 변형 모형(variant network)이 따라가기 어려운 속도로 개발, 공표되고 있다. 2021년 현재 시점 기준으로 신경망 모형은 DNN(Dense Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network)으로 기본적인 구분을 할 수 있다. DNN은 범용 신경망 모형으로 입력층과 은닉층, 그리고 출력층이 가중치(weight)를 매개로 조밀하게(densely) 연결된 모형이다. 그림 2도 엄밀하게는 DNN의 구조를 보여주고 있다.

반면 CNN은 사진과 같은 이미지 자료 처리에 특화된 모형으로 DNN에서 사용하는 일반적 형태의 은닉층이 아닌 특별한 형태의 은닉층(convolutional layer와 pooling layer)을 사용한다. CNN은 computer vision이라 불리는 이미지 인식 및 분류에서 탁월한 성과를 보이며, 가깝게는 우편물의 우편번호 인식, 주차장 입구 개폐기의 자동차 등록번호 인식에서부터 자율주행자동차의 물체 인식, 보안시스템의 안면 인식 등 폭 넓은 분야에서 활용되고 있다.

RNN은 자료의 순서가 중요한 업무, 즉 시계열 자료나 자연어 처리(natural language processing)에 특화된 모형으로 역시 DNN에서의 은닉층과 구별되는 특별한 형태의 은닉층(long short-term memory layer, gated recurrent unit layer 등)을 사용한다. RNN은 외국어 번역(machine translation), 신문기사, 판례, 법령 등의 요약(document processing & summarizing)에 널리 활용되고 있다.

신경망 모형은 현재 분야를 가리지 않고 탁월한 성과를 보여주고 있다. 이러한 성과의 이유로 비선형 관계를 포함한 데이터에 내재된 복잡한 구조를 학습할 수 있는 능력(representation learning이라 한다), 표(table)나 행렬(matrix) 형식의 정형데이터(structured data)뿐 아니라 이미지, 소리, 동영상, 문서와 같은 비정형데이터(unstructured data)를 효율적으로 처리할 수 있는 능력, 그리고 기 학습된 지식을 타 분야에 응용할 수 있는 전이학습 능력을 들 수 있다.

탁월한 능력을 가진 신경망 모형이 의도한 성능을 제대로 발휘하려면 무엇보다 학습의 원천이 되는 투입자료가 충분히 확보되어야 한다. 그러나 정형데이터 및 비정형데이터 모두 자료가 부족하거나 수집에 과다한 비용이 소요되어 충분한 자료를 확보하기 어려운 경우가 흔하다. 방대한 데이터가 전제되어야 장점을 십분 발휘할 수 있는 딥러닝은 이러한 상황에서 적용이 수월하지 않게 된다.

특정 분야에서 학습한 내용을 신규 업무에 재사용한다는 전이학습의 개념은 주로 이와 같은 부족한 데이터 문제를 극복하기 위해 제시되었다[7]. 전이학습은 해당 신경망 모형을 처음부터 학습시킬 필요가 없으므로 학습시간을 단축하여 신속하게 업무를 진행시켜야 하는 상황에서도 효율적으로 활용될 수 있다.

특정 분야에서 미리 학습된 신경망 모형을 타 분야에 사용할 경우, 기존 학습의 내용이 담겨있는 은닉층을 재사용하게 된다. 이때 얼마나 많은 은닉층을 재사용할 지가 관건인데, 통상 입력층에 가까운 은닉층(lower hidden layer) 재사용을 먼저 검토하고, 순차적으로 재사용 은닉층의 범위를 넓혀 최종적으로 출력층에 가까운 은닉층(higher hidden layer)까지 검토하게 된다. 입력층에 가까운 은닉층 재사용을 가장 먼저 검토하는 이유는, 이 은닉층이 자료에 내재된 추상적인 성격의 정보를 처리하기 때문이다. 즉 다른 분야에 전이할 수 있는, 일반화가 용이한 추상적 정보를 입력층에 가까운 은닉층이 담고 있다고 생각하기 때문이다. 반면 출력층에 가까운 은닉층일수록 특정 분야에만 적용할 수 있는 구체적 정보를 처리한다고 알려져 있다(그러나 이러한 은닉층의 성격에 대해 합의된 견해가 존재하는 것은 아니다).

전이학습은 현재 CNN을 활용하는 이미지 처리 분야에서 가장 활발하게 이루어지고 있다. 특정 업무 수행을 위해 사진과 같은 이미지 자료를 처음부터 충분히 수집하는 것은 시간과 비용이 과도하게 소요된다. 이때 수백만 장에 이르는 방대한 이미지 자료에 대해 미리 학습된 신경망 모형을 활용할 수 있다면 부족한 데이터 문제를 쉽게 극복할 수 있다. [8]은 ImageNet, [9]는 ResNet, [10]은 Inception이라는 사전 구축된 신경망 모형을 활용하였는데, 이들 신경망 모형은 대표적인 사전 구축 이미지 신경망 모형이다.

RNN을 주로 사용하는 자연어 처리 분야이 경우, 처음부터 단어가 갖는 의미를 학습시키려면 방대한 분량의 텍스트 문서(SNS message, 신문기사, 소설 등)가 필요하다. 이러한 자료를 단기간에 충분히 확보하기란 쉽지 않으므로 단어의 의미와 단어들 간의 관계에 대해 미리 학습된 결과물을 가져오는 것이 편리하다. 미리 학습하여 단어의 의미를 숫자(벡터)와 매핑한 결과물, 즉 word embedding layer를 통상 재사용하게 되는데, 대표적인 word embedding layer로 Glove, word2vec 등이 있으며, 이러한 사전 학습 결과물을 이용한 전이학습은 외국어 번역 등 자연어 처리에서 쉽게 찾아 볼 수 있다[11][12].

이미지나 자연어 처리 이외에 제조, 의료, 운수 등 산업 현장에 전이학습을 확대 적용한 예도 찾아볼 수 있다[13][14][15][16].

이렇게 점차 보편화되는 전이학습의 응용 현황과 달리, 부동산 분야에서는 전이학습을 명시적으로 적용한 사례를 발견하기 어렵다. 부동산 분야에서 흔히 생성되는 데이터는 표나 행렬 형식의 정형데이터, 거리뷰나 항공사진 같은 비정형데이터라 할 수 있는데, 이러한 데이터를 대상으로 전이학습의 가능성을 검토한 사례는 드물다.

신경망 모형의 적용을 검토할 수 있는 부동산 분야는 부동산 마케팅, 중개에서부터 개발, 가치 추정, 그리고 관리까지 다양하다. 특히 부동산에 대한 가치 추정(valuation)은 가장 표준화된 형태의 부동산인 아파트의 가치 추정에서부터 토지 등의 가치 추정[17]까지 다양하게 시도되고 있다. 또한, 부동산 관리(property management)에 있어서도 CCTV 등을 통해 확보한 사진, 동영상 자료를 이용하여 건물의 부식상태 파악 등 시설관리에 적용한 경우[18], 항공사진을 활용하여 미등재된 과세 회피 건물을 파악한 사례[19] 등 다양한 응용 사례가 보고되고 있다. 본 연구에서도 가치 추정 및 부동산 관리 분야에 대하여 사례 형식으로 신경망 모형의 전이학습을 검토한다.

부동산 가치 추정의 경우 시장에서 거래된 매매사례를 가격모형에 투입하여 가격을 산출하는 것이 일반적이다. 따라서 매매사례 자체가 부족할 경우 신경망 모형은 의도한 성능을 발휘할 수 없게 된다. 주거용 부동산은 거래량이 많아 매매사례의 충분한 확보가 수월한 편이나, 상업용 부동산의 경우 그러하지 못하다. 2019년 6월부터 2020년 5월까지 최근 1년간 거래된 주거용 부동산은 170만 건이 넘지만, 상가나 오피스 등 상업용 부동산은 15만건에 불과하다[20]. 즉, 상업용 부동산의 거래량은 주거용 부동산 대비 10%에도 미치지 못할 정도로 거래가 드문 편이다. 이러한 상업용 부동산 거래자료의 부족은 주택에 대해 주택가격공시제도가 오래 전에 도입된 반면(2005년), 비주거용 부동산에 대해서는 아직까지 동 제도가 도입되지 못한 여러 이유 중 하나로 작용하고 있다. 본 연구에서는 자료가 풍부한 주거용 부동산의 가치 추정 과정에서 학습한 내용을 상업용 부동산 가치 추정에 이전하여 적용할 수 있는 지 여부를 검토한다.

부동산 관리의 경우 해당 부동산의 사진을 검토하여 실제 용도를 파악할 수 있다. 과세관청은 건축물대장과 같은 공부(公簿)에 등록된 건물 용도가 아니라, 현황 과세 원칙에 따라 건물의 실제 용도를 확인할 필요가 있는데, 예를 들어 공부에 등록된 용도는 상가이나 실제 용도가 주택으로 확인될 경우, 종합부동산세 부과 대상 여부, 적용받는 재산세율 등이 모두 달라지기 때문이다. 더구나 사용승인 이후 신축한 미등재 건물이 있다면, 이러한 건물은 등록된 용도 자체가 없으므로 실제 용도를 확인하는 절차가 필수적이다. 과세관청 담당자는 현장실사를 하거나, 포털 사이트에서 제공하는 항공사진 및 거리뷰 사진을 육안으로 검토하여 실제 용도를 판정한다. 어느 경우이나 시간과 비용이 많은 드는 작업이라 할 수 있다. 본 연구에서는 비정형데이터에 해당하는 사진 자료를 신경망 모형에 투입하여 대상 부동산의 용도를 판정하고자 한다. 이 경우에도 처음부터 방대한 양의 사진을 수집하는 것이 쉽지 않으므로, 기 구축된 신경망 모형을 활용하여 사례지역의 부동산 용도를 추정한다.

표 2의 경우 전이학습의 가능성을 찾아볼 수 있다. 상업용 부동산 자료에만 기초한 DNN은 MSE 2.90~3.02 수준의 높은 값을 보이고 있지만, 주거용 부동산 신경망 모형 중 첫 번째 은닉층 한 개만 재사용하여 구축한 DNN의 경우 MSE 값이 0.45~0.49 수준으로 상당히 낮아졌기 때문이다. 그러나 주거용 DNN의 MSE 수준(0.26~0.30) 대비 여전히 2배 가까이 높은 수준을 보이고 있어, 만족할 만한 수준의 성능 향상이 이루어진 것으로 보기 어렵다. 주거용 부동산보다 2배 가까이 악화된 성능의 모형을 담보평가나 과세평가 등 행정 실무에 적용하기는 어렵다. 결론적으로 전이학습의 가능성은 있으나 전반적인 전이학습 수준은 만족스럽지 못한 것으로 판단할 수 있다.

정형데이터 처리를 위해 본 연구에서 활용한 DNN의 은닉층은 이미지 처리에 특화된 CNN의 은닉층만큼 전이학습에 있어 효율적이지 못한 것으로 알려져 있다[21]. 또한, 본 연구에서는 주거용 부동산에 대해 비교적 적은 수(3개)의 은닉층을 가진, 그리고 정보의 흐름이 입력층에서 출발하여 출력층으로 단순하게 흐르는(sequential model이라 한다) 신경망 모형을 구성하였다. 방대한 투입자료에 기초한 복잡한 신경망 모형일수록(예를 들어 10개 이상의 은닉층을 가진 non-sequential model), 다른 업무(본 연구에서는 상업용 부동산 가격 추정)에 전이할 수 있는 학습 내용도 많아지는데, 본 연구에서는 주거용 부동산에 대해 이러한 형태의 모형을 구축하지 못하였다. 이와 같은 요인들이 복합적으로 작용하여 DNN의 전반적인 전이학습 수준은 만족스럽지 못하게 산출된 것으로 보인다.

앞서 언급하였듯 CNN은 DNN과 달리 특수한 형태의 은닉층을 사용하는데, CNN 은닉층의 경우 입력층에 가까운 은닉층일수록 이미지의 색상, 명암을 구분하는 추상적 수준의 학습이 이루어지고, 출력층에 가까운 은닉층일수록 물체의 구체적 형태(고양이라면 눈매, 코, 귀, 수염 등)를 인식하는 학습이 이루어진다. 따라서 CNN의 경우 색상, 명암을 구분하는 은닉층은 이미지 분류 작업에서 언제나 필요한 기능이므로 재사용의 가능성이 높고, 성과 또한 우수하게 나타난다. CNN의 전이학습은 비단 입력층에 가까운 은닉층뿐만 아니라 출력층에 가까운 은닉층까지 기 학습된 신경망의 은닉층 대부분을 재사용하기도 한다. 본 연구도 ResNet 50의 은닉층을 전부 재사용하였으며, 그 결과 최초 0% 분류 정확도에서 70% 수준의 정확도 개선을 보였다. 따라서 사진을 활용한 건물의 용도 구분에 있어서 전이학습의 가능성은 높다고 할 수 있다. 신규 학습에 추가적으로 사용한 사진의 분량을 현재(3,007장)보다 늘리고, ResNet 50의 각 은닉층을 미세 조정(fine-tuning)하여 새로운 작업에 적용할 경우, 높은 업무 성과를 기대할 수 있을 것으로 보인다.