AI를 활용한 멀티모달 분석 기반 디자인 언어 이해: 가우디 건축 사례를 중심으로

2-1 멀티모달(Multi-Modal)

모달(Modal)이란 시각, 청각, 미각 등 감각을 의미하는 모달리티(Modality)의 줄임말로 이를 확장한 개념인 멀티모달(Multi-modal)은 여러 감각이 상호작용하는 현상을 의미한다. 특히, AI 분야에서는 텍스트, 오디오, 비디오 등 다양한 형태의 데이터를 통합적으로 처리하고 이해하며 생성할 수 있는 기술을 멀티모달이라 지칭한다[2]. 다양한 환경과 조건을 종합적으로 판단함으로써 고차원적인 문제를 해결하기 위해서는 여러 형태의 모달리티로부터 습득된 데이터를 학습하고 처리하는 멀티모달 접근 방식이 필요하다. 예를 들어, 이미지 분석만으로는 놓칠 수 있는 맥락적 정보를 텍스트 데이터를 통해 보완하거나, 텍스트로 표현하기 어려운 시각적 특징을 이미지 분석을 통해 포착할 수 있다[3]. 이러한 통합적 접근은 특히 건축물이나 예술작품과 같이 시각적 요소와 구조적 특성이 복합적으로 구성되어 있는 대상을 분석하는 데 효과적으로 활용될 수 있다.

본 연구에서는 텍스트의 맥락적 정보와 이미지에 담긴 시각적 요소를 언어로 표현함으로써, 디자인적 요소를 어휘로 변환하는 것을 목표로 한다. 이를 위해 다양한 형태의 데이터를 통합적으로 이해하고 분석할 수 있는 멀티모달 접근법을 연구의 방법론적 기반으로 설정하였다. 이러한 접근을 통해 디자인 요소를 보다 체계적으로 해석하고 분석할 수 있을 것으로 기대된다.

2-2 선행연구

선행연구로는 텍스트와 다른 유형의 데이터를 함께 활용하여 복합적인 정보를 분석하는 멀티모달 접근법을 적용한 연구를 중점적으로 살펴보았다. 황호현 외는 리뷰 데이터와 제품 정보를 이용한 멀티모달 감성분석 연구를 수행하였다. 이 연구에서는 텍스트 리뷰뿐만 아니라 제품의 카테고리 정보와 구매자가 입력하는 제품에 대한 메타정보를 활용하여 시퀀스 분류 모델 및 MLP(Multi Layer Perceptron)를 통한 멀티모달 감성분석 모델을 제안하였다[4]. 신미르와 신유현은 음성과 텍스트 데이터의 특징을 모두 결합한 멀티모달 학습으로 감정 분류를 진행하였다. 자연어 처리 분야에서 우수한 성능을 보인 BERT(Bidirectional Encoder Representations from Transformers) 및 파생 모델들의 성능을 비교하여 최적의 텍스트 추출 모델을 선정하고, 통합적 특성 학습을 통해 적은 데이터로도 높은 정확도를 달성할 수 있음을 입증하였다[3]. 김현아는 특허 문헌의 텍스트, 서지정보, 특허 도면을 통합 분석하여 유사성 평가의 정밀도를 향상시키는 멀티모달 기반 문헌 분석 모델을 제안하였다. 기존 단일 접근법의 한계를 극복하고 보다 정교한 분류 가능성을 제시한 점에서 의의가 있다[5].

해외에서는 건축 및 도시 디자인 분야에서 멀티모달 분석을 적용한 연구를 살펴보았다. Veliz Reyes는 증강현실 기반의 건축 설계 교육 현장에서 물리적 모형, 디지털 자료, 인터뷰, 행위기반 상호작용 데이터를 통합하여 멀티모달 표현이 설계 이해에 미치는 영향을 분석하였다. 이를 통해 시각적·공간적 정보와 언어적 설명의 상호작용이 학습 효과를 높이는 데 기여함을 입증하였다[6]. Pistola 외는 도시 환경의 이미지성을 평가하기 위한 멀티모달 분석 시스템을 제안하였다. 이 연구는 시각적 장면 인식과 감정 분석, 색채 분석, 의미 분할 등의 시각적 정보와 함께 텍스트 분석을 결합하여 도시 이미지성 점수를 산출하였으며, 분석 결과를 텍스트 생성 알고리즘을 통해 도시 설계자가 활용할 수 있도록 구성하였다. 스페인의 도시 사례 연구를 통해 시스템의 활용 가능성도 입증하였다[7].

이상의 선행연구들과 같이 멀티모달 접근법은 단일 텍스트 기반 분석이 가진 한계를 극복하고, 다양한 유형의 데이터를 통합함으로써 정보 분석의 정확성과 효율성을 향상시키는 데 효과적임을 보여주고 있다. 그러나 대부분의 연구는 데이터를 병렬적으로 연결하거나, 분석 결과를 나열하는 데에 그치는 경우가 많다. 이와 달리 본 연구는 이미지에서 추출한 시각적 디자인 요소를 텍스트화하고, 이를 정형화된 언어 구조로 분석하여 의미를 재구성하는 과정을 포함한다는 점에서 차별성을 갖는다. 특히 시각적 특징과 텍스트 묘사를 유기적으로 연결함으로써, 기존 연구에서 다루지 못한 다층적 ‘디자인 언어’를 구성하고자 한다는 점에서 학문적 의의가 있다.

3-1 텍스트 분석

3) 어휘사전 구축

가우디의 디자인 어휘사전 구축을 위해 수집된 대중인식 문서 집합과 전문가 문서 집합을 대상으로 형태소 분석을 수행하여 주요 명사를 추출하고, 각각의 빈도수를 계산하였다. 이후, 빈도수를 기준으로 상위 30개 용어를 선정한 뒤, TF-IDF(Term Frequency - Inverse Document Frequency) 가중치를 적용하여 중요도를 평가하였다. 마지막으로 두 문서 집합에서 도출된 점수를 합산하여 1차 가우디 어휘사전을 구축하였다. 구축된 어휘사전은 Interior, Exterior, External appearance의 세 가지 다중분류와 디자인/구조, 자연, 물리적 요소, 테마의 4개 범주로 체계화하는 과정을 거쳐 표 1과 같은 최종 가우디 어휘사전을 구축하였다.

Table 1.

Gaudi taxonomy

3-2 이미지 분석

가우디 디자인 요소 탐지를 위한 이미지 분석 역시 상기 텍스트 분석에서 적용한 다중분류체계에 기반한 분류 모델을 구축하였다. 활용한 알고리즘은 CNN(Convolutional Neural Network) 모델이며[12], 각 유형에 해당 여부를 판단하는 이진(binary) 분류 방식을 적용하였다. 학습 데이터는 유로피아나[13], 유네스코[14], 픽사베이[15] 등 학술 목적으로 저작권 사용이 허가된 이미지 전문 데이터베이스의 API를 통해 수집하였다.

표 2는 학습에 활용한 이미지 데이터의 통계정보로, 총 1,021건에 대한 분포도이다. 이미지 학습의 일관성을 위해 수집된 이미지에 대한 다음과 같은 전처리 과정을 수행하였다. 먼저 규격 및 형식을 통일하기 위해 데이터셋 크기를 224px로 조정 및 정규화(normalization)하였다. 이후 수집한 이미지 데이터 중 80%는 학습 데이터로, 나머지 20%는 테스트 데이터로 할당하였다. 또한, 모델 성능을 개선하기 위해 국가별 랜드마크 건축물 600건을 추가 수집하여 학습 데이터의 대조군으로 활용하였다. 데이터 증강은 Keras 패키지를 사용하여 수행하였으며, 모델이 에폭(Epoch) 단위로 실시간 변형된 이미지를 학습할 수 있도록 설정하였다[16].

Table 2.

Collected image data (cases)

그림 2는 구축한 가우디 디자인 분류 모델의 결과를 시각화한 것이며, 표 3은 각 분류기의 최종 성능을 보여준다. 학습 결과, Interior 모델은 훈련 데이터와 검증 데이터에서모두 안정적인 성능을 보였다. 이는 실내 공간의 형태적 특성이 비교적 명확하고 일관된 패턴을 가지기 때문으로 해석된다. 반면, Exterior 모델의 경우 훈련 데이터에서 손실이 가장 낮았음에도 검증 데이터에서 상대적으로 낮은 정확도를 보였다. 이는 외부 구조의 다양한 형태적 특성이 충분히 반영되지 못했거나 곡선형 구조와 기하학적 패턴이 공존하는 경우가 많은 가우디 건축의 특성상 특정 패턴에 대한 학습이 편향되었을 가능성이 있음을 시사한다.

Fig. 2.

Model training loss and accuracy

Table 3.

Final Epoch loss and accuracy

External appearance 모델은 훈련 데이터에서 가장 높은 정확도(0.95)를 기록했으나, 검증 데이터에서는 0.67로 급감하며 과적합(overfitting) 가능성을 보였다. 이는 가우디 건축에서 내부 기둥, 천장 곡선 등이 외부 형태와 유사한 디자인 언어를 공유하는 경우가 많기 때문으로 분석된다. 즉, 건물 내부의 형태적 특징이 외장 디자인에도 영향을 미치며, 이로 인해 내부 공간과 외장 요소 간의 경계가 모호해지는 경향이 학습 과정에도 반영된 것으로 보인다. 특히 동일한 건물에서도 상반된 색감이나 재질이 존재하여 학습 데이터와 검증 데이터 간의 일관성이 낮아짐으로 인해 모델이 일반화되지 못했을 가능성이 크다. 이러한 과적합 문제를 해결하기 위해 L2 정규화와 Dropout 기법을 적용하는 방안을 고려할 수 있다. L2 정규화는 모델의 가중치에 패널티를 부여하여 복잡성을 줄이고[8], Dropout은 학습 과정에서 무작위로 뉴런을 비활성화함으로써 특정 특성에 대한 의존도를 낮추어 일반화 성능을 향상시킬 수 있다[17]. 또한 추가 데이터 증강을 통해 외부 구조의 다양한 변형을 생성하여 훈련 데이터의 다양성을 확보하는 것도 모델의 일반화 능력을 높이는 데 효과적일 것으로 예상된다. 실제로 Dropout 기법과 L2 정규화를 External appearance 모델에 적용한 결과, 정확도는 기존 0.67에서 0.78로 상승하여 성능이 소폭 개선되었음을 확인할 수 있었다.

한편, 일반적으로 건물의 외부 형태가 외관 장식에도 영향을 미치기 때문에 Exterior와 External appearance 모델은 유사한 특성을 학습한 경향이 나타났다. 예를 들어, 건물이 물결치는 파도의 형태를 반영하여 설계되었을 경우 디자인 요소가 단순히 건물 외형에서만 나타나는 것이 아니라, 외장에서도 유사한 패턴이 적용되는 경향이 있었다. 이와 같은 현상은 어휘사전(Taxonomy)에도 반영되었으며 특정 디자인 요소가 내부와 외부, 외관에서 동일하게 나타나는 모습을 확인할 수 있었다. 이렇게 학습한 모델을 기반으로 이미지 간 유사도를 측정하였으며, 이후 단계에서는 이미지-텍스트 변환(I2T) 기법을 적용하여 가우디 건축 디자인의 언어적 해석을 진행한다. 이에 대한 구체적인 내용은 다음 절에서 서술한다.

3-3 멀티모달 기반 I2T 생성

본 연구에서는 상기한 텍스트 분석 결과와 이미지 분석 결과를 결합해 가우디 디자인 언어를 설명해주는 멀티모달 기반의 I2T(Image-to-Text) 생성 기법을 고안하였다. 먼저, 이미지 해석 API(Google Gemini, Chat GPT)를 이용하여 주어진 이미지의 시각적 특징을 추출하고 이를 바탕으로 주요 키워드와 설명문을 자동 생성하였다. 이후 이미지 내 디자인 요소와 가우디 디자인 어휘사전 간의 교집합을 도출하는 방식을 적용하여 의미적으로 연관된 텍스트를 생성하도록 하였다.

그림 3은 입력 이미지 내 디자인 요소와 가우디 어휘사전의 키워드를 비교한 것이다. 동일한 키워드가 Interior, Exterior, External appearance 모델에서 중복 출현하는 경우, 문맥에 맞게 해석될 수 있도록 템플릿 기반의 연결 구조를 설정하였다. Interior는 내부 공간의 특징이 강조되도록, Exterior는 지붕, 벽면, 난간 등의 요소가 부각되도록, External appearance는 건축물 전체의 형태와 흐름이 강조되도록 구성하였다. 더불어 가우디 어휘사전을 기반으로 ‘디자인/구조’, ‘자연’, ‘물리적 요소’, ‘테마’의 네 가지 범주로 템플릿을 세분화하였다. 이를 통해 입력 이미지에서 탐지된 가우디 디자인 언어 키워드가 어떤 건물 구조에 속하며, 어떤 관점에서 분석되었는지 명확히 파악할 수 있도록 하였다.

Fig. 3.

I2T Generation analysis results*It is a sentence generated based on a Korean taxonomy, and it is expressed in Korean because English translation is not possible.

4-1 디자인 언어 이해 해석 결과

그림 4는 입력 이미지에 따른 가우디 디자인 언어 이해 결과에 따른 해석문을 예시한 것이다. 그림 4의 A 이미지는 스페인 바르셀로나 구엘공원에 위치한 도마뱀 조각상 이미지이고, B 이미지는 J대학교 건물 이미지로, 가우디풍 이미지 유사도는 각각 99.83%와 18.55%로 판명되었다. 한편, 가우디풍 디자인 건축물 이미지와 일반 건축 이미지 간 구분의 명확성을 확보하기 위한 사전실험 결과, 그림 5와 같이 50% 기준은 과도한 오분류를, 70% 기준은 지나치게 엄격한 필터링을 유발하였기에 이 둘 사이에서 가장 균형 잡힌 결과를 보인 60%를 기준치로 채택하였다.

Fig. 4.

Example of image similarity output results *It is a sentence generated based on a Korean taxonomy, and it is expressed in Korean because English translation is not possible.

Fig. 5.

Comparison of classification results by similarity thresholds

먼저, 입력 이미지(A)는 다중분류체계를 통해 Exterior로 식별되었으며, Exterior 분류 모델에서 측정된 가우디 이미지 유사도는 99.83%로 기준치(60%)를 충족하였다. 이후 이미지 해석 API를 통해 설명문이 출력되고 가우디 어휘사전과의 I2T 생성 과정을 거쳐 Exterior 템플릿 형식에 맞춘 정보가 구성되었다. 최종적으로 ‘외관’, ‘지붕’, ‘벽면’, ‘난간’과 같은 Exterior 템플릿에 기반해 ‘모자이크’, ‘곡선’, ‘타일’, ‘트렌카디스 기법’ 등의 가우디만의 독창적인 키워드로 해석된 설명문이 도출됨을 알 수 있다.

반면 이미지(B)는 입력 후 다중분류체계를 통해 External appearance로 식별되었으나, 유사도가 18.55%로 기준치(60%)보다 낮게 측정되었다. 다만 일부 건물 특징을 설명함에 있어 가우디 디자인 분류 모델 결과에서 가우디 디자인 요소가 포함된 것으로 판별되었으며, 이에 따라 “유사도는 기준 이하이나 가우디풍 요소가 존재합니다”라는 보조 정보가 제시되었다. 이후 가우디 어휘사전과의 교집합(I2T Generation) 과정을 거쳐 템플릿에 맞게 정보가 구성되었으며, 가우디 디자인의 물리적 요소 유사점인 ‘벽’의 설명문이 최종 템플릿으로 출력되었다.

이처럼 본 연구는 단순히 이미지 유사도에 의존하지 않고, 유사도가 낮더라도 세부 디자인 요소와의 연결성을 분석하여 설명문을 생성하는 유연한 분석체계를 제시한다는 점에서 기존 분석 방식과의 차별성을 보여준다. 이는 향후 건축 또는 예술작품의 자동 해석 시스템 개발에 있어 보다 정밀하고 직관적인 데이터 기반 지원 도구로 활용될 수 있는 가능성을 제시한다.

4-2 이용자 활용모형

본 연구에서 제안한 디자인 언어 이해 모델은 예술작품의 해석 및 전시와 같은 다양한 분야에서 활용될 수 있다. 그림 6은 본 연구의 결과를 실시간 이미지 분석 서비스와 연계하여 모바일 애플리케이션으로 확장한 예시이다. 해당 애플리케이션은 이미지 인식, 예술가 추천 및 선택, 유사도 분석 및 설명문 출력의 단계를 거쳐 실행된다.

Fig. 6.

Application mock-up*It is a sentence generated based on a Korean taxonomy, and it is expressed in Korean because English translation is not possible.

이 시스템은 사전에 구축한 예술작품 데이터셋을 기반으로 학습된 다중분류체계를 통해, 특정 작가의 스타일을 식별하고 분석하는 방식으로 작동한다. 이를 위해 색상, 구도, 질감, 선의 활용, 대상 등의 다양한 시각적 요소를 평가하여 사용자가 업로드한 이미지가 어느 작가의 스타일과 유사한지 판단한다. 먼저, 이미지 인식 단계에서 사용자가 사진을 촬영하거나 특정 이미지를 애플리케이션에 업로드하면, 학습된 다중분류체계를 통해 자동으로 분류가 이루어진다. 이후 예술가 추천 및 선택 단계에서는 분류된 이미지와 스타일이 유사한 예술가 목록을 제공하며, 사용자는 이를 참고하여 특정 작가를 선택할 수 있다. 마지막으로 유사도 분석 및 설명문 출력 단계에서는 이진 분류 모델을 활용하여 업로드된 이미지와 선택된 작가의 스타일 유사도를 평가한다. 동시에 이미지 해석 API를 활용해 생성된 설명문과 주요 키워드를 출력한 후, 이를 사전에 구축한 작가별 어휘사전과 비교·분석하여 최종적으로 공통된 문장과 키워드를 도출한다. 또한 이미지에서 추출된 주요 키워드를 기반으로 동일한 키워드를 공유하는 작품을 추가로 추천하도록 설계하였다. 이를 통해 사용자는 단순한 스타일 매칭을 넘어 특정 작가의 특징이 어떤 작품에 어떻게 반영되었는지를 보다 심층적으로 탐색할 수 있다.

본 연구에서 제안한 멀티모달 기반 이미지 분석 시스템은예술 교육 분야에서도 적용될 수 있다. 특히 미술 교육에서 기존의 개념 중심 학습을 보완하고, 시대별 미술사조의 특징을 이해하는데 있어 본 시스템이 보조적인 학습 도구의 역할을 할 수 있다. 나아가 본 시스템은 교육적 활용을 넘어 미술 감상과 디지털 아카이브 구축 등 다양한 분야에서도 활용될 수 있다. 이를 통해 사용자는 특정 작품과 스타일이 유사한 예술가나 작품을 탐색할 수 있으며, 기술의 발전에 따라 미술 작품의 자동 분류 및 메타데이터 생성과 같은 응용이 가능할 것으로 예상된다.