Current Issue

전통 한복은 삼국시대부터 조선시대까지 시대별로 기능성과 형식미 등 다양한 양식을 반영하며 발전해왔다. 고대에는 활동성과 실용성이 중시되었고, 조선 후기에는 계급과 예절을 나타내는 복식으로 정착되었다. 이러한 변화는 유교적 가치관, 기후, 생활양식과 밀접하게 연관된다. 현재 한복은 주로 의례용으로 착용되며, 현대 감각을 반영한 모던 한복으로 재해석되어 전통과 현대의 조화를 추구하는 흐름을 보여준다[5],[6].

전통 한복은 한국의 역사, 철학, 그리고 미적 가치를 함축한 중요한 문화유산이다. 하지만 실제 착용이나 전시에는 물리적 제약이 따르기 때문에, 이를 보완하기 위해 전통 한복을 학습용 데이터로 전환하여 디지털 기반의 새로운 보존 방식이 요구되고 있다[7].

전통 한복의 데이터 추진 현황은 최근 문화유산의 디지털 보존과 활용, 그리고 AI·메타버스·디지털콘텐츠 산업 연계에 대한 수요 증가와 함께 AI에로의 활용에 활발히 전개되고 있다.

관련 기관들은 전통 복식(한복 포함)을 디지털 문화유산 콘텐츠로 인식하고, 3D 스캔, 촬영, DB 구축 등의 사업을 수행해 왔다. 디지털 복식 아카이빙 사업의 일환으로 국립민속박물관, 국립중앙박물관은 전통 한복 실물 유물을 기반으로 한 고해상도 이미지 및 3D 스캔 자료를 수집·정리하고 있다.

AI 학습용 데이터 구축에 있어서 2020년 이후 과학기술정보통신부, 한국지능정보사회진흥원(NIA)이 주관하는 AI 데이터 구축 사업을 통해 ‘전통 의복 이미지 AI 데이터’가 구축되고 있다. 구축된 NeRF 데이터셋의 문화유산 보존, 실감형 콘텐츠 제작, AI 학습 활용 가능성을 고찰할 수 있다[8],[9].

3D 의상 데이터 구축 이후에는 디지털 패션 기술과 결합하여 한복의 가상 피팅, 모션 시뮬레이션이 효율적으로 적용될 것이다. 앞으로 CLO 3D, Marvelous Designer 등 상용 의상 시뮬레이션 툴과의 연동 연구가 더 필요하다.

Mask R-CNN은 객체 탐지와 분할(segmentation)을 동시에 수행할 수 있는 강력한 딥러닝 모델이다. Mask R-CNN의 주요 특징은 크게 두 가지로 분류할 수 있다. ① 객체 탐지와 인스턴스 분할: YOLO와 같은 객체 탐지 모델은 객체의 위치와 클래스를 탐지하는 데 집중하지만, Mask R-CNN은 각 객체의 경계뿐만 아니라 객체 내부의 정확한 형태까지 분할하여 인식한다. 이 기능은 특히 복잡한 형태를 가진 객체나 세밀한 분할 작업에서 매우 유용하다. ② 고해상도 픽셀 분할: 인스턴스 분할을 통해 각 객체의 정확한 윤곽을 구할 수 있어, 객체가 겹치는 상황에서도 더 정밀한 처리가 가능하다[2],[4].

YOLOv8(You Only Look Once version 8)알고리즘은 객체 탐지(Object Detection)와 이미지 분할(Image Segmentation)등 다양한 작업을 수행할 수 있는 딥러닝 모델이다. YOLOv8은 기본적으로 속도와 정확도를 동시에 개선한 모델로, 기존 YOLO 모델에서 발생할 수 있는 속도-정확도 간의 트레이드 오프 문제를 해결하고자 했다. YOLOv8은 YOLO(You Only Look Once)[10]. 계열의 최신 객체 탐지 모델 중 하나로, 빠르고 효율적인 객체 탐지와 실시간 처리에 강점을 가지고 있다. YOLOv8은 이전 버전인 YOLOv4, YOLOv5, YOLOv7에서의 성능을 향상시키고, 더 빠른 처리 속도와 높은 정확도를 자랑한다. 전통 의상인 한복에 적용하는 방안은 여러 가지가 있으며, 객체 탐지와 분류의 측면에서 매우 유용하게 활용될 수 있다.

기술적 특징을 살펴보면, SOLOv2(Segmenting Objects by Locations version 2)는 객체가 겹치는 상황에서도 각 객체를 독립적으로 분리하여 예측할 수 있는 중복 예측 방지 특징을 갖는다. 이 과정은 특히 밀집된 객체들이나 복잡한 형태의 객체에서 뛰어난 성능을 보인다.

NeRF(Neural Radiance Fields)신경망 방사필드는 3차원 장면의 연속적인 복사(radiance)와 밀도(density)를 학습하여 고품질의 사실적 이미지를 재구성하는 혁신적인 장면 복원 알고리즘으로 주목받고 있는 모델이다.

특히 전통 의상인 한복(Hanbok)과 같은 복잡한 주름 구조, 광택, 반사 특성을 지닌 객체의 3D 복원에서 NeRF는 실제와 유사한 시각적 사실성을 구현할 수 있는 강력한 도구로 평가된다. NeRF 알고리즘은 2020년에 처음 소개된 3D 렌더링 장면 복원을 위한 모델로, 딥러닝을 활용하여 3D 장면의 고해상도 이미지를 재구성하는 기술이다. 기존의 3D 모델링 기법과 달리 NeRF는 볼륨 렌더링(volume rendering)을 사용하여 3D장면을 재구성하는 방식이 특징이다[11]-[14].

NeRF는 3D 장면을 매우 세밀하게 복원하여, 고해상도의 사실감 넘치는 이미지를 생성하는 장점이 있다.

또한, NeRF는 주어진 시점에 따라 정확한 3D 장면의 변화를 예측할 수 있다. 이는 모든 시점에서 일관된 3D 모델을 만들어 내는 데 있어 중요한 기능을 갖는다. 그리고 NeRF는 빛의산란과 반사를 정확하게 모델링하여 실제와 가까운 시각적 효과를 생성하는 특징이 있다[11],[15]-[17].

본 논문에서는 객체, 특히 한복의 학습용 데이터 셋을 만들기 위해 가장 많이 적용되는 대표적인 학습용 데이터 알고리즘에 대해 적용 방안과 특징을 비롯, 이에 따른 결과를 아래와 같이 분석하였다. 이들을 통해 최적의 전통한복 학습용 데이터 알고리즘을 찾아, 성능을 비교 분석하였다.

전통 한복의 데이터 구축시 다양한 목적을 위한 데이터셋이 요구된다. 전통 한복 데이터 구축 프로세스는 초기 데이터셋 → 데이터 획득 → 데이터 라벨링 → AI 학습모델 →최종 데이터셋 반영의 순서로 이루어진다[4].

그리고 구축된 데이터를 사용하여 AI 모델 학습에 적용하고 이에 대한 품질확보는 모델 학습 결과를 분석, 지속적으로 모델 성능을 개선하여 학습모델의 유효성 있는 품질을 확보하게 된다. 이런 절차들을 거쳐서 최종 데이터셋에 반영한다[2]. 작업자 배정 → 작업자/이미지 캡션 → 작업자/검수 → 검수자/검수 → 검수자/반려 → 작업자/재작업 → 검수자/승인. 데이터 구성 요소로는, RGB 이미지(다각도), 카메라 내부/외부 파라미터(Camera intrinsics & extrinsics), 다시 말해, 포즈 정보, 그리고, 선택적으로 깊이 정보(Depth Map)를 들수 있다. 포즈 정보 구현 시에는 인체 기반 NeRF 또는 Animatable NeRF 적용이 가능이 가능하다[4].

1) 전통 한복 데이터 수집 및 획득

전통 한복 이미지 데이터 수집을 위해 한복 구분, 시대구분, 나이, 남여, 신분, 색상, 소재, 문양, 디자인, 3D 카메라 정보로 분류하여 수집하였다. 그리고, 메타데이터 구성을 위한 전통 복식을 성격별로 분류하면, 시대별, 용도별 한복 구분, 소재별, 문양별, 디자인 형태별, 색상별, 계층(특별, 일반) 등으로 구분할 수 있다[18].

그림 1은 3D 전통 한복 장신구 데이터 수집 촬영 현장을 보여주고 있다. 전통 한복 촬영은 다중시점 정밀촬영(Multi-view Capture), 카메라 고정형 DSLR 카메라와 360도 다중 배열하였다. 데이터 획득, 수집 형태는 3D이미지, 획득, 수집 장비는 POP2 3D HIGH-PRECISION SCANNER, 3D 스캐너(3D Scan Plus), CLO3D 패션디자인 소프트웨어 데이터 형식은 FBX로 하였다. 3D데이터는 모델이 착복한 상태에서 서 있는 자세, 앉아있는 자세, 공수 자세 등 세 가지 자세를 360도 촬영하였다. 모두 총 110만 장의 기초 데이터를 수집한 뒤 이미지 정제, 메타데이터 작성, 3D 가공 등의 과정을 거쳐 최종적인 인공지능 학습모델을 만들었다[20].

Fig. 1. 
Traditional Hanbok 3D data collection and photography (left) 3D data production process (CLO3D software) (right).

국가유산진흥원(구 한국문화재재단)은 자사가 보유한 왕실 복식과 관복 약 1,000여 벌, 장신구 100여 점의 기초 데이터를 제공하여 전통 한복의 3D 데이터 구축을 지원하였다. 3D 한복 및 장신구는 전문 스튜디오에서 전신 3D 스캐너를 활용해 360도 시점에서 촬영되어 고정밀 데이터로 확보되었다[20].

그림 1에서 보는 바와 같이 착용 이미지는 모델이 착용하고 전면과 양 측면 45도 등 여러 각도에서 촬영하였고, 상단, 중단, 하단 별 전 방향 촬영은 각각 층별로 35개 카메라를 사용하여 총 105개 카메라를 투입하였다[2]. 한복 3D 데이터 제작은 의류 패션디자인 소프트웨어 CLO 3D를 활용하였다[2],[4].

3) 전통 한복 3D 데이터 가공

그림 2는 3D 데이터 가공을 위한 클래스 기준으로 데이터별 분류 검수 과정 중에 활용 가능한 특정한 부분을 보여준다. 이러한 과정을 통해 3D 데이터를 가공하고 추출 데이터를 변환하며 수집된 3D 데이터 카테고리와 메타데이터를 분류한다. 원천 데이터에서 정제 가공 Rigging 작업까지 완료된 데이터 로드와 Cloud point 데이터를 통해 객체 분할을 진행하였다[2].

Fig. 2. 
Class-based 3D data processing and extraction data conversion

AI 학습을 위해 원천 데이터를 일부 가공하여 인공지능 모델이 사전 학습할 수 있도록 처리하였다. 오토라벨링 작업은 사전 학습된 AI 모델을 활용해 자동으로 라벨을 부여하는 방식으로 수행되었으며, 데이터 가공에는 웹 기반 어노테이션 도구를 활용하여 전통 한복 데이터셋 구축에 특화된 도구를 통해 라벨링 기준에 맞춰 데이터를 커스터 마이징하였다.

데이터가 반려된 경우에는 반려 사유를 명확히 입력하고, 라벨링 기준에 따라 재작업을 진행하였다. 분할 기법을 활용하여 객체를 인식하고 외곽선을 기준으로 annotation 값을 자동 생성하였으며, 이후 그림 3에서 보여주는 바와 같이 자체 개발한 JsonConverter Tool을 통해 해당 데이터를 표준화된 메타데이터 구조로 변환하였다[4].

Fig. 3. 
Utilizing our self-developed JsonConverter Tool

전통 한복 데이터를 활용한 AI 모델 개발을 위해 Mask R-CNN, YOLOv8, NeRF 등의 학습모델이 후보로 적용되었다. 이 중 Mask R-CNN은 픽셀 단위의 객체 인식을 위한 Segmentation 모델로 사용되었으며, 기존 Faster R-CNN의 우수한 객체 인식 성능을 유지하면서 추가된 마스크 브랜치를 통해 인식 정확도를 더욱 향상시켰다[19].

그림 4는 AI 학습데이터 모델별 알고리즘과 성능지표를 나타낸다. 또한, 이미지 캡션 생성은 컴퓨터 비전과 자연어 처리 기술의 융합 영역에서 중요하게 활용되며, AI 모델의 다방면 적용과 연계를 위해 고품질 캡션 데이터 생성 프로세스가 함께 적용되었다. 아래와 같은 프로세스를 적용하여 이미지 캡션을 진행하였다.

Fig. 4. 
AI learning data model algorithms and performance indicators

전통 한복의 복잡한 주름, 광택, 다양한 소재의 반사 등을 고해상도·사실적으로 표현하는데 NeRF의 연결성이 가장 적합하였다. NeRF는 고해상도 3D 복원이 가능하므로, 문화재의 정밀한 디지털 보존에 기여할 수 있다. 고대의 한복을 고문서나 그림을 바탕으로 3D로 전통 의상의 변천사를 정확하게 복원하고 기록함에 있어서 NeRF를 활용할 수 있다. 고품질의 이미지 캡션 데이터는 AI 모델의 활용 범위를 확장하고, 초거대 AI 시스템과의 연계를 위한 핵심 요소로 작용한다. 본 연구개발에서는 데이터 기반 AI 모델 구현을 위해 NeRF(시점 기반 장면 생성용 신경방 방사필드(NeRF) 기법을 적용하였다[2],[23],[24]. 표 2는 NeRF AI 학습모델에서의 성능지표 PSNR(Peak Signal-to-Noise Ratio)을 나타낸다[2].

그림 5에서 볼 수 있듯이, NeRF는 다양한 시점에서 촬영된 이미지를 기반으로 새로운 시점의 이미지를 합성함으로써, 어떤 각도에서 바라보더라도 물체의 전체 형상을 시각화할 수 있도록 구현되었다[2].

Fig. 5. 
Neural Radiance Fields (NeRF) model

신경망 방사필드(NeRF)는 소수의 입력 뷰 세트만으로 연속적인 3차원 장면 표현을 최적화하여, 복잡한 구조의 장면에서도 고품질의 새로운 시점을 합성할 수 있는 최첨단 기법으로 평가된다.

이 알고리즘은 5차원 연속 좌표(공간 좌표 x, y, z 및 관찰 방향 θ, ϕ)를 입력으로 받아, 해당 위치의 부피 밀도(volume density)와 방향에 따른 복사휘도(radiance)를 출력함으로써 정밀한 장면 재현을 가능하게 한다.

전통 한복 데이터는 3D 오브젝트 형태로 구축되었으며, NeRF 기반 구현에서는 카메라 광선을 따라 5차원(5D) 좌표를 쿼리하여 다양한 시점의 이미지를 합성하였다. 이 과정에서 볼륨 렌더링(Volume Rendering) 기술이 적용되어, 각 지점의 색상과 밀도 정보가 최종 이미지에 정확하게 투영되도록 하였다[2]. 결과적으로 실제 한복 착용자의 광택, 주름, 자수 등 복잡한 특성 복원할 수 있었다.

그림 6은 3D데이터 구축 NeRF 모델 함수를 나타낸다. 본 과정에서는 신경망 방사필드(NeRF)를 효과적으로 최적화함으로써, 복잡한 기하 구조와 형태를 지닌 장면의 사실적인 새로운 시점(rendered novel views)을 성공적으로 합성하였다[2].

Fig. 6. 
3D data construction NeRF model function correlation

데이터 구축시 사용환경에 있어서는, ⯅ OS: Windows or Linux, ⯅ H/W: Intel^® Xeon^® Silver Processor 4210R (10Core, 2.4GHz, 13.75 MB, 100w, DDR4 2400)×2, ⯅ Memory: DDR4 16G ECC REG PC4-23400R×4, ⯅ Storage: Intel^® SSD D3 S4510 Series (1.9TB, 2.5in SATA 6Gb/s, 3D1, TLC)×5가 적용되었다.

3D 데이터 구축에 있어서, 데이터 품질은, 다양성(시대별 분포, 복식 유형별 분포), 형식 및 구문 정확성, 의미 정확성(세그멘테이션 정확성, 3D 모델링 데이터 정확성, 이미지 캡션 정확성), 유효성(객체 분류 성능, 3D 이미지 생성 성능) 등의 항목에 대해 품질검증 절차를 거쳐 AI 학습용 데이터를 구축하였다.

동적 복식 표현 및 VR/AR 적용이 필요한 경우는 Human NeRF를 활용함이 좋았다[26]. 실크, 면, 금속 등 한복 소재 표현, 광택, 텍스처, 문양 표현의 정교화에는 Style NeRF와 Material-aware NeRF의 연구가 더 필요하였다[27].

대표적으로 사용되는 성능 평가 지표로는 PSNR이 고주파 정보 재현력이 우수하며, 이미지 품질의 정량적 측정으로 많이 활용되고, SSIM (Structural Similarity Index)이 구조적 유사도 기반 이미지 품질으로 적합함을 확인하였다. LPIPS (Learned Perceptual Image Patch Similarity)는 시각적 인식 기반 유사도를 나타나는데 적합함을 인지하였다.

통상 Vanilla NeRF 모델에서는 PSNR이 28.5 dB이상, SSIM에서 0.89 이상, 그리고 LPIP이 0.19 이하를 보이고 있는 것으로 나타났다[28]. Human NeRF 모델에서는 PSNR이 29.8 dB이상, SSIM에서 0.90 이상, 그리고 LPIP이 0.15이하를 보이고 있음을 확인할 수 있었다[27].

그림 7의 한복 3D 착용 NeRF 모델 평가는 유효성 지표 PSNR: 20 이상 기준 대비(평균치)34.22 목표 달성치를 보여준다. 참고로, 동적 모델(Human NeRF)은 복식의 주름 및 인체 기반 동작 움직임 반영에서 효과적이나 훈련 시간과 메모리 소요가 크다는 것을 알 수 있었다[26].

Fig. 7. 
Evaluation of the NeRF model wearing 3D Hanbok(case example)

표 3에 제시 된 바와 같이 “객관적 정확도(PSNR), 구조적 유사도(SSIM), 시각적 자연스러움(LPIPS)”의 세 지표 모두 최신 고성능 모델군(mip-NeRF, Zip-NeRF 등)과 비교해 볼 때, 동등하거나 약간 우위에 있는 것으로 나타났다[28]-[31].

본 연구 수행과제에서의 데이터 구축 목표 100만장의 126% 수준인 126.4만장 구축하여 26.4% 초과 달성하였다. 품질 지표는 구문 정확성, 의미 정확성은 95.0% 기준이상 달성하였으며 학습모델 95.08 수준 mAP(@50) 기준 65 대비 46.72% 초과 달성하였으며, 3D 학습모델 34.22 수준으로 PSNR 기준 20 대비 66.1% 초과 달성하였다. 본 연구 과정을 통하여, 크라우드워커로 채용된 인력에 대해 인공지능 관련 업무 기회를 제공하여 장기적으로 인공지능 관련 산업의 인력 양성을 위한 기틀을 마련하였다고 볼 수 있다.

NeRF는 특정 장면과 다양한 시점 장면의 2D 이미지를 입력으로 받아, 장면의 볼륨 기반 3D 표현을 학습하여 새로운 시점에서의 이미지를 렌더링할 수 있는 딥러닝 모델로서, 복식 유산의 디지털 기록·보존 및 VR/AR 콘텐츠 활용 가능성을 가장 잘 제시해 준다.

본 연구에서 구축된 3D 데이터의 활용 방안은 다음과 같다. 가상 현실(VR), 온라인 쇼핑, 영화, 애니메이션, 게임 등. 전통 한복 3D 데이터 구축은 이미지 생성, 인식, 분류가 가능한 AI 학습용 데이터의 기반을 조성함은 물론, 향후 데이터를 개방함으로써 전통 복식 기반의 패션 산업 및 문화 콘텐츠 산업으로의 확장과 글로벌 시장 경쟁력 강화에 기여할 수 있는 중요한 기반이 된다.

이를 통해 다음과 같은 성과를 도출할 수 있었다. ① 전통 복식 관련 3D 이미지의 원천데이터 확보, ② AI 학습을 위한 3D 라벨링 데이터셋 구축, ③ Polygon Segmentation 기법 적용을 통한 객체 구분 정밀도 향상, ④ 신체와 복식(한복 및 장신구) 객체별 라벨링 체계 확보, ⑤ 초거대 AI 모델 연계를 위한 메타데이터 명세의 구체화.

이러한 성과는 구축된 데이터를 다양한 목적에 맞게 재가공 및 응용할 수 있는 기반을 마련하였다는 점에서 그 의미가 크다고 할 수 있다.