Journal Archive

전통 한복에 대해 디지털 한복 3D제작에 이용된 D대학 박물관의 한복에 대한 나이별 및 시대별 분류를 살펴보면 표 1에 제시된 바와 같다. 상세한 한복 리스트는 분량이 너무 많고, 표현에 한계가 있어서 일부 사례만 제시하였다.

전통 한복의 보관은 여러 문제점과 한계점이 있는데 다음과 같이 정리해볼 수 있다.

전통 한복은 대부분 천연 소재로 만들어져 있어서 시간이 지남에 따라 쉽게 변질되거나 손상될 수 있다. 특히 습도와 온도를 적절하게 유지하지 않으면 곰팡이가 생기거나 색상이 변할 수 있다. 또한, 보관을 위한 상당한 공간을 마련하는 것이 쉽지 않기 때문에 공간적 한계가 있다. 실제 전통 한복을 전시하려면 많은 비용과 노력이 필요하며, 한복을 직접 보거나 체험하려는 사람들이 모두 그 기회를 가질 수 없기에 전시 및 접근성 제한이 있다.

이러한 전통 한복의 보관 문제와 한계 때문에 전통 한복에 대한 3D 데이터 생성과 활용은 더욱 중요하다고 볼 수 있다. 현재 전통 한복에 대한 3D데이터 구축은 전무한 상태로 디지털 대전환의 핵심 자원인 인공지능 학습용 데이터 구축을 통한 인공지능 산업 고도화 및 디지털 플랫폼 정부 기반에 대한 프로젝트가 진행되고 있다[7].

이를 통해, 전통 한복 3D 데이터를 구축, 활용하게 되면 한복의 복잡한 디테일과 구조를 정확하게 보존하고, 누구나 언제든지 한복을 쉽게 접하고 체험할 수 있는 기회를 가질 수가 있으며, 유물 보관 및 관리장소가 어디에 있는지 알 수 있는 장점이 있다. 또한, 유사시(훼손, 변질, 유실, 화재 등)를 대비하여 유물들을 최대한 3D 데이터 작업하여 보관하는 것이 매우 중요하다고 볼 수 있다.

전통 한복 분야에서도 디지털 대전환의 핵심 자원인 인공지능 학습용 데이터 구축·활용을 통한 인공지능 산업 고도화 및 디지털 플랫폼 정부 기반 제공이 필요하다. 본 논문에서의 연구개발은 관광 분야로 “전통 한복 3D 데이터 구축”이다.

현재 초거대 AI 활용시 전통 복식에 대한 잘못된 표시가 나타나고 있다. 기존 초거대 AI가 생성한 전통한복 3D 이미지도 역시 오류가 일어나고 있다. 초거대 AI가 이용자에게 대한민국의 전통 복식에 대한 잘못된 정보를 제공하고 있어, 이의 데이터 정제 및 보완이 필요하다. 초거대 AI가 한국 전통 한복의 원형을 이해하고, 해석하여, 인간의 언어와 이미지를 제시하여 현대사회에서 활용을 가능케 하기 위해, AI에 방대한 수량의 정확한 전통 한복 데이터 학습이 필요하다[10].

그러므로 다양한 제품 개발을 위해 쉽게 접근할 수 있는 오픈 데이터와 상품개발에 직접 활용할 수 있는 구체적인 전통 한복 데이터 구축과 가상 피팅, VR 카달로그, 가상패션쇼 등의 AI 기술적용 및 활용 등 시장요구에 발 빠르게 대응하여 전통 한복의 가치 보존과 소비자의 요구 수용할 수 있는 전통한복 데이터가 절실하게 필요한 시점이라고 볼 수 있다.

데이터 구축은 전통 한복 3D 이미지 생성, 인식 및 분류 가능한 AI 학습용 데이터 구축 및 개방으로 전통 복식 패션과 문화컨텐츠로 사업화의 기반 확보는 물론, 다양한 데이터 활용의 부가가치를 꾀할 수 있도록 구축하였다.

원천 데이터는 고해상도 카메라로 촬영된 고품질 한복 이미지, 미착용 한복 이미지(치마, 저고리, 속바지, 속치마 등), 기타 미착용 한복 관련 장신구 이미지(족두리, 모자, 신발, 목도리, 노리개 등), 한복 착용 2D 이미지, 한복 착용 후 노리개 등 추가 복식 착용 2D 이미지, 한복 3D 이미지, 한복 착용 3D 이미지, 한복 착용 후 노리개 등 추가 복식 착용 3D 이미지, 미착용/착용 및 이미지/3D 이미지 데이터 별 한복 및 장신구 종류별로 데이터를 구성하였다.

라벨링 데이터는 한복의 2D, 3D 이미지 라벨링 데이터를 구축하였다. 라벨링 방법은 Polygon Segmentation을 포함하여 제시, 수집된 이미지에 신체, 전통 복식(한복 및 장신구) 객체 라벨링으로 하였다. 기타 명시되지 않은 사항은 데이터 구축 목적을 달성할 수 있도록 라벨링 항목을 추가하여 제시하였다[12],[13].

메타 데이터는 한복 및 장신구 카테고리, 옷감, 패턴, 텍스쳐 및 디자인/재질 이미지, 의복 제작연도, 제작지역, 궁중/일반, 직업, 계급 등 전통 복식에 대한 정보, 한복 및 장신구 착용자 연령, 성별 등 정보, 계절 환경정보 등 초거대 AI 연계를 위한 메타 데이터 명세를 구체화하였다[14].

한복 보존을 3D 데이터를 이용하면 한복의 복잡한 디테일과 구조를 정확하게 기록하고 재현할 수 있어서 한복의 다양한 형태와 유형을 데이터화하여 디지털 아카이브를 구축할 수 있다. 현재 2D나 3D의 한복 데이터 추진은 아주 초보적인 상태이다.

새로운 콘텐츠 창출을 위해 한복에 대한 3D 데이터는 다양한 디지털 콘텐츠의 제작에 활용될 수 있다. 예를 들어, 가상 현실(VR), 증강현실(AR), 인공지능(AI) 등 디지털 기술 체험, 온라인 쇼핑, 영화나 게임 등의 콘텐츠 제작에 이용할 수 있다. 이를 통해 전통문화를 현대적인 방식으로 새롭게 해석하고, 더 넓은 범위의 사람들에게 전파하는 것이 가능해진다.

특히 3D 데이터를 활용하면 더 다양한 방식으로 풍부하고 생생한 학습 경험을 제공할 수 있다. 전통 복식(한복 및 장신구)에서 확보해야 할 데이터나 과업의 내용은 다음과 같다. 고해상도 미착용·착용 전통 복식(한복 및 장신구) 2D 이미지와 고해상도 전통 복식(한복 및 장신구) 착용 3D 이미지가 요구된다[11].

한복의 보관 및 활용 한계를 극복하기 위해 AI 관련 수행해야 할 임무(task), 전통 복식(한복 및 장신구) 3D 이미지 생성과 인식 및 분류 작업이 필요하다. 그리고 데이터의 활용을 위해 디자인 분석, 디자인 자동화 시스템 구축, 가상 한복 착용 소프트웨어 개발 등이 요구된다.

전통 한복 3D데이터 구축은 데이터 공유 및 검색, 데이터 특징 추출, 데이터 보완 및 통합, 크라우드 소싱, 데이터 합성, 3가지 형태의 라벨링, 데이터 정제 및 재 라벨링, AI 모델 강화 및 전이 학습, 데이터 모델 등의 절차로 구축하였다.

그리고, 데이터 범위 및 형태에 있어서는, 2D전통복식 착용/미착용 2D 이미지, 3D 전통복식 착용 이미지, 형태에 있어서 원천데이터는 폴리곤 라벨링 데이터로 학습용 데이터는 2D,3D 이미지와 메타 데이터 쌍(png+json)으로 구성하였다[15].

3D데이터 구축을 위한 요구사항에 있어서, 데이터 구성은 디자인 컨셉 관련 구조화 설계, 제안, 패턴 디자인 자동화, 가상한복 착용 체험 등을 위한 전통한복 3D데이터를 포함하며, 원천 데이터는 전통복식 착용, 미착용 2D 이미지, 전통복식 착용 3D를 이미지의 데이터를 포함한다.

학습용 데이터는 2D, 3D 이미지와 그에 대한 메타 데이터 쌍으로 구성하였다[16].

데이터 수집 장비 및 방법에 있어서는,

• 1) 수집장비 : 고해상도 카메라, D GPU workstation, 3D SCAN PLUS, REVOPOINT POP2 3D SCANNER, 이동식 외장하드 SSD,
• 2) 수집방법 : 한복 및 장신구, 스튜디오 사진 촬영, 한복 및 장신구 착복 상태에서 전신 3D스캔, CLO3D Software를 사용하여 한복3D 데이터 제작.

데이터 가공에 있어서는, Polygon 어노테이션 기법을 사용하였다. 한복 및 장신구를 웃옷,아랫옷,겉옷,속옷,버선 5가지(클레스)로 구분하여 Polygon 라벨링하였다. 한복 복식을 5개 클레스로 구분된 Segmentation Rendering image 생성모델의 형태로 학습하였다. 이때 오토 라벨링 기법을 활용하여 가공 비용과 시간을 단축하였다 [17].

전통복식 한복의 데이터 구축은 다양한 목적의 데이터셋 구축을 비롯, 패턴 디자인 자동화, 가상한복 착용 체험 등을 위한 인공지능 학습용 전통 한복 및 장신구 2D/3D 이미지 데이터 구축이 필요하다.

한복 데이터 구축 프로세스는 그림 2에 제시된 바와 같이초기 데이터셋 → [1-Cycle: 데이터 획득 → 데이터 라벨링 → AI 학습모델] → 최종 데이터셋 반영의 형태로 이루어진다.

Fig. 2. 
Dataset construction process classification and process

초기 데이터셋은 적정 수량 데이터를 대상으로 1-Cycle검증을 수행한다. 이미지 등 다양한 카테고리의 데이터 획득 과정을 거치고, 데이터 정제는 원천 이미지 데이터 확보에 따른 원시 데이터 정제를 수행한다. 이를 통해 라벨링에 적합한 데이터를 확보, 즉 원천데이터 이미지 정제-데이터 적합성 확보라는 절차를 거쳐 원천데이터 품질을 궁극적으로 확보하게 된다.

데이터 라벨링은, 데이터 라벨링-이미지 속성값 입력-오토 라벨링 작업 이후에는 검수 및 수작업 진행-전문 작업자를 통해 라벨링 값 교차 검수-생성 데이터 의미 및 구문 정확성 확보를 통해 의미있는 정확한 데이터 라벨링을 갖게 된다.

AI 학습모델은, AI 모델 학습-구축된 데이터를 사용하여 AI 모델 학습에 적용한다. AI 모델 품질 확보는 모델 학습 결과를 분석, 지속적으로 모델 성능을 개선하여, 학습 모델의 유효성있는 품질을 확보하게 된다. 이런 절차들을 거쳐서 최종데이터셋에 반영한다[17],[18].

1) 데이터 수집 및 획득

전통 복식의 메타 데이터 구성을 위한 한복 분류는 크게, 속옷, 웃옷, 아래옷, 겉옷, 그리고 버선으로 분류할 수 있다.

그리고, 메타 데이터 구성을 위한 전통 복식의 특성을 대표적인 성격별로 분류한다면,

• 시대별: 조선시대 한복, 고려시대 한복, 신라시대 한복 등
• 성별별: 여성 한복, 남성 한복
• 연령별: 어린이 한복, 청소년 한복, 성인 한복, 노인 한복
• 색상별: 빨간색 한복, 파란색 한복, 흰색 한복, 검은색 한복
• 소재별: 실크 한복, 코튼 한복, 린넨 한복
• 패턴별: 화단 패턴 한복, 동화 패턴 한복, 기하학적 패턴 한복
• 디자인별: 전통적인 한복, 현대적인 한복, 퓨전 한복 등
• 신분별: 궁중 한복, 양반 한복, 천민 한복

등으로 구분할 수 있다.

장신구 메타 데이터 구성을 위해, 장신구 분류는 크게 쓰게, 장신구, 띠, 신발 등으로 나누어서 작업하였다.

• 2D 이미지 데이터 수집

그림 3은 미착용 이미지 데이터 수집의 일례를 보여준다. 2D 이미지 촬영에 적합한 고급 카메라 장비를 사용하였다. 미착용 이미지는 개별 아이템을 전체 모양이 잘 보이도록 소품이나 작은 옷의 경우에는 바닥에 펼쳐놓거나, 옷걸이, 지지대 또는 마네킹을 이용해 2D 이미지를 촬영, 데이터를 수집하였다.

Fig. 3. 
Non-wearing image data collection(Dankook Uni./Korea Cultural Heritage Fountation)

• 3D 이미지 데이터 수집

한복 및 장신구 착복상태의 3D 이미지 촬영 사례를 그림 4에서 보여준다. 한복 전신 3D스캔 전용 공간을 만들어 전신을 스캔하였다. 정확한 색상, 옷감, 재질 3D이미지 정보를 수집하기 위한 최적의 조명 환경 구축이 필요하였다. 착용 이미지는 모델이 착용하고, 전면과 양측면 45도, 상단, 중단, 하단별 전방향 등 여러 각도에서 촬영하였다. 상, 중 하단 각각 층별로 35개 카메라를 사용하여 총 105개 카메라를 투입하여 3D 이미지를 수집하였다.

Fig. 4. 
Collection of 3D data on traditional Hanbok/ accessories through 3D scanner

그림 5는 한복 3D 데이터 제작(CLO3D Software) 과정을 나타낸다. 한복 전통성 검증을 거친 도안을 사용하여 정밀한 전통 한복 3D 데이터를 제작한다. 이를 위해, 고퀄리티 3D Rendering 기술을 사용하여, 실사같은 한복 3D 이미지 데이터를 구축한다.

Fig. 5. 
Hanbok 3D data production (CLO3D Software) process

E대, 한국문화재재단 등에서 한복 도안에 대한 전통성을 검증하고, 한복 3D 데이터 제작은 의류 패션 디자인 소프트웨어 CLO3D를 활용하였다[19],[20].

2) 데이터 정제 및 정제 데이터 관리

영상/이미지 데이터 취득에 따른 데이터 정제와 정제 데이터 관리는 그림 6에서 보여주는 바와 같다.

Fig. 6. 
Acquisition data purification procedure

데이터 정제를 위해 취득 데이터 검수, 영상에서 이미지 추출, 데이터기준 확인, 메타 정보 입력 등의 과정이 필요하다. 데이터 정제에 있어서는, 개인정보 비식별화, 중복성 확인, 인식 불가 데이터 확인 등의 과정이 수행되어야 한다. 가공준비는 정제 데이터 검수, 원천 데이터 등이 따른다.

정제 데이터 관리는 크게, 원시 데이터 폴더 관리,원천 데이터 폴더 관리와 부적합/중복 데이터 폴더 관리로 나눌 수 있다. 원시 데이터 폴더 관리는 날짜별 폴더에 정제할 이미지 파일을 확인하며, 원천데이터 폴더 관리는 해당 카테고리 폴더에 완료 이미지를 저장하고, 부적합/중복 데이터 폴더 관리는 부적합/중복 데이터 관리와 별도 폴더로 관리하였다.

원천데이터 명명 규칙은 그림 7과 같이 크게 5가지, 즉 전통복식 분류 코드, 착용 여부 코드, 레이블 번호, 작업 일자, 확장자로 구분하여 장신구 착용 상태를 넘버링하면서 구분하여 3D 이미지를 정제, 데이터 관리하였다.

Fig. 7. 
Source data naming rules tips and standards

4) 3D 데이터 가공

데이터 가공을 위해 전통 한복 데이터셋 구축용 저작도구인 Annotation Tool를 활용하여 데이터를 커스터 마이징하였다. 반려 시에는 반려 사유를 입력하여 명확한 라벨 기준에 맞춰 재 작업하였다[13].

그림 8은 3D 데이터 가공을 위한 클래스 기준으로 데이터별 분류 검수 과정 중에 활용 가능한 특정 한 부분을 보여준다. 이러한 과정을 통해 3D 데이터를 가공하고 추출 데이터를 변환한다. 수집된 3D 데이터 카테고리와 메타 데이터를 분류한다. 기준에 준하는 해당 객체 데이터를 검수 한후 분류를 실시한다. 3D 데이터 수집시 수집된 2D 텍스쳐를 사용하여 머티리얼 제작을 수행한다. 원천 데이터에서 정제가공 Rigging 작업까지 완료된 데이터를 로드한다.

Fig. 8. 
An example of inspection that can be used by class-based data

Cloud point 데이터를 통해 객체 segmentation을 진행한다. Segmentation을 통해 객체를 인식/분별하여 해당 객체가 있는 외곽선을 따라 Annotations 값을 생성한다. 자체 개발한 3D 추출 데이터 구조 표준화의 하나인 Json Convert Tool을 통하여 메타 데이터 구조로 변경을 진행하였다.

결과적으로, 데이터 가공 후 json데이터를 구축하였다. 지면상 Json 포맷 구축 형태의 프로그램 예시는 생략하고자 한다. 데이터 가공을 함에 있어서, 오토 라벨링으로 가공 비용(시간, 인력, 비용)을 줄일 수 있었다[12],[15].

AI 학습은 원천데이터의 일부를 가공해 인공지능 모델에 사전 학습을 실시한다. 오토라벨링/가공은 사전 학습된 AI 모델로 오토 라벨링을 수행하였다.

5) 데이터 활용 AI 학습 모델

데이터 라벨링의 정확도를 높여서, AI 데이터 학습을 제대로 수행하기 위해, 이미지 캡션을 통한 정밀 라벨링을 진행하였다. 이미지 캡션은 컴퓨터 비전과 자연어 처리 분야에서 널리 활용된다. 데이터 검수 과정시 라벨링 데이터 정확성 보장 작업과정과 불필요한 라벨링 작업의 최소화를 기하였다.

높은 품질의 이미지 캡션 데이터는 AI 모델 활용을 다방면으로 확장하고, 초거대 AI와의 연계를 위해 필수적인 요소이다.

데이터 활용 AI 모델 개발을 위해, AI 학습모델 후보군으로 Mask R-CNN과 YOLOv8, NeRF(Neural Radiance Fields(신경망 방사필드)가 있다. 본 연구개발에 있어서는, 데이터 활용 AI모델 개발을 위하여 NeRF(representing scenes as Neural Radiance Fields for view synthesis), 신경망 방사필드 기법을 활용하였다[20]. 그림 9에 제시 된바와 같이 이는 어떤 상황에서도 여러 시점에서 오브젝트를 바라본 이미지들을 기반으로 새로운 시점에서의 이미지를 합성하여 어느 시점에서 바라보더라도 해당 물체의 모습을 볼 수 있도록 하였다. 신경망 방사필드(NeRF)는 작은수의 입력 보기 세트를 사용하여 기본 연속 체적 장면 기능을 최적화하여, 복잡한 장면의 새로운 보기를 합성할 수 있는 최첨단 결과를 달성하는 방법을 제시하고 있다. 알고리즘은 그림 10에서 보여주는 바와 같이 입력이 단일 연속 5D 좌표(공간 위치(x, y, z) 및 보는 방향(θ, ϕ))이고, 출력이 해당 공간 위치에서 볼륨 밀도·보기에 따라 방출되는 복사휘도로 나타난다[21],[22].

Fig. 9. 
Neural Radiance Fields (NeRF) model

Fig. 10. 
3D data construction NeRF model function

한복 데이터 자체는 3D오브젝트 형태로 구축하였다. 한복은 카메라 광선을 따라 5D 좌표를 쿼리하여 보기를 합성하고, 전적인 볼륨 렌더링 기술을 사용하여 출력 색상과 밀도를 이미지에 투영하였다.

그림 10의 좌측1, 2의 볼륨 렌더링은 자연스럽게 미분 가능하기 때문에 표현을 최적화하는 데 필요한 유일한 입력은 알려진 카메라 포즈가 있는 이미지를 세팅하게 된다. 그림 10 우측은 렌더링 손실( g, t)을 나타낸다[21]. 신경 복사 필드를 효과적으로 최적화하여 복잡한 기하학과 모양이 있는 장면의 사실적인 참신한 보기를 렌더링하고 신경 렌더링 및 보기 합성에 최적이다.

본 연구에서 구축된 2D, 3D 데이터의 활용 방안은 다음과 같다.

• 1) 가상 현실(VR): 3D 한복 데이터는 가상 현실에서의 체험 활동에 활용될 수 있다. 예를 들어, 가상의 한복 체험관에서 방문객들이 다양한 종류의 한복을 입어보는 경험을 제공할 수 있다.
• 2) 온라인 쇼핑: 3D 한복 데이터는 온라인 쇼핑몰에서 상품을 보다 생생하게 보여주는데 활용될 수 있다. 소비자는 360도로 상품을 볼 수 있어, 실제로 상품을 보는 것에 가까운 쇼핑 경험을 할 수 있다.
• 3) 영화, 애니메이션, 게임: 3D 한복 데이터는 영화나 애니메이션, 게임 등의 콘텐츠 제작에도 활용될 수 있다. 특히, 한국 문화를 주제로 한 콘텐츠 제작 시, 한복의 정교한 디테일을 재현하는 데 도움이 될 수 있다.

구축된 한복 데이터는 국가유산 졍체성 확보나 전통한복 패션 산업의 활성화와 초거대 AI 연계 활용은 물론 XR 컨텐츠 산업 촉진에도 크게 기여 할 수 있으리라 본다.

전통 한복 3D 데이터 구축은 이미지 생성, 인식 및 분류 가능한 AI 학습용 데이터 구축은 물론 개방으로 전통 복식 패션과 문화컨텐츠에로의 사업화 및 글로벌 경쟁력 확보에 도움이 되는 기틀이 될 수 있다.

한복 3D 데이터 구축을 통해, ① 전통복식 2D, 3D이미지에 대한 원천 데이터 확보, ② 2D, 3D 이미지 라벨링 데이터 획득, ③ Polygon Segmentation 방법 적용 ④ 신체, 전통 복식(한복 및 장신구) 객체 라벨링 확보, ⑤ 초거대 AI 연계를 위한 메타데이터 명세 구체화 등을 획득하여, 다양한 용도에 재 가공하여 응용할 수 있는 길을 열었다고 분석된다.

한복 및 장신구 카테고리, 옷감, 패턴, 텍스쳐및 디자인/재질 이미지, 의복 제작연도, 제작지역, 궁중/일반, 직업, 계급 등 전통 복식에 대한 정보를 체계적으로 데이터화하는데 기여하였다고 볼 수 있다.