전통 한복의 3D데이터 구축 방안과 활용에 관한 연구
Copyright ⓒ 2024 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
초록
전통 한복은 옛부터 전해 내려오는 민족 고유의 사상, 관습, 형태, 행위, 기술 등의 전통 양식과 민족 정신이 깃든 의상이다. 대한민국 고유의 의복인 저고리·바지·치마두루마기에 조끼·마고자 등이 이에 포함된다. 이러한 전통 복식(한복 및 장신구)을 영구 보존하고 활용하기 위한 디지털 작업이 필요하다. 이를 위해, 인공지능 학습용 데이터를 구축하고, 데이터 셋을 활용하여 다양한 AR, VR, MR 및 메타버스 등의 구현이 가능하도록 방안과 모델을 제시하였다. 전통 한복 3D 데이터 구축 범위는 2D 전통 복식 착용/미착용 이미지와 3D전통복식 착용 이미지이고, 데이터구축 형태에 있어서 원천데이터는 폴리곤 라벨링 데이터이며, 학습용 데이터는 2D,3D 이미지와 메타 데이터로 구성하였다. 이러한 구현을 통해 패턴 디자인 자동화 기술과 가상 한복 착용 체험, 한복의 세계화 및 진출 등에 도움을 주고자 , 한복 및 장신구 등을 3D 이미지로 AI 학습용 데이터를 구축하는 방안과 기능 구현에 관해 연구개발하였다. 향후에, 인공지능 학습용 데이터 구축ㆍ활용을 통한 인공지능 산업 고도화 및 디지털 플랫폼 정부 기반 응용 서비스 제공에 기여 할 수 있으리라 본다.
Abstract
Hanbok is a costume that embodies the traditional style and national spirit, including the unique national thoughts, customs, forms, actions, and techniques passed down since ancient times; this includes Korea's unique clothing such as jeogori, pants, skirt, durumagi, vest, and magoja. Digital work is needed to permanently preserve and utilize these traditional costumes (Hanbok and accessories). To this end, data for artificial intelligence learning was constructed, and methods and models were presented to enable the implementation of various AR, VR, MR, and metaverse using the data set. The scope of traditional Hanbok 3D data construction is 2D images of traditional clothing worn/not worn and 3D images of traditional clothing worn. In terms of data construction, the source data is polygon labeling data, and the learning data consists of 2D and 3D images and metadata. Through this implementation, we aim to provide pattern design automation technology, a virtual hanbok-wearing experience, and help with the globalization and advancement of hanbok. Research and development were conducted on ways to build AI learning data and function implementation using 3D images of hanbok and accessories. Therefore, in the future, we believe that we will be able to contribute to the advancement of the artificial intelligence industry and the provision of digital platform government-based application services through the construction and utilization of artificial intelligence learning data.
Keywords:
Traditional Hanbok, Virtual Costumes, 2D and 3D Data, AI Learning Data Construction, Data Construction Process키워드:
전통 한복, 가상 한복, 2D 및 3D 데이터, AI 학습 데이터 구축, 데이터 구축 프로세스Ⅰ. 서 론
Hanbok(韓服)은 한국의 전통의상이다. 한복이 기록에서 처음으로 등장한 고구려 벽화는 무용총과 쌍영총이다[1]. 그 이후 한복은 현대 문화에 맞게 간소화한 생활한복으로 일상생활에서 입기 편하도록 변화하였다[2].
전통 한복은 한민족의 역사와 문화, 그리고 철학이 반영된 우리나라의 기본 복식이다. '한복'이라는 용어는 '한국의 복식'을 의미하는 '한국 복식'에서 유래되었다. 한복은 고유의 아름다움과 함께 착용자의 신체를 보호하고, 사회적 지위와 직업, 그리고 성별 등을 구분 지어 주는 기능을 가지고 있다.
전통 한복은 주로 '저고리', '치마', '바지', '도포' 등으로 구성되며, 옷의 형태와 색상, 패턴 등은 착용자의 성별, 나이, 계절, 상황 등에 따라 달라진다. 특히 한복은 우아하고 화려한 색상과 정교한 자수, 그리고 고급스럽고 다양한 원단 등을 활용하여 아름다움을 표현한다. 한복은 2015년 12월 30일 국가무형문화재 제127호로 지정되었다. 그림 1은 전형적인 전통 한복의 모습이다[3].
Typical traditional Hanbok costume appearance
문화유산 보존에 있어서 한복은 우리나라의 중요한 문화유산 중 하나로, 그 특징과 아름다움을 온전히 보존하고 전파하는 것이 중요하다. 이제, 한복을 이용한 데이터 생성은 우리나라의 전통문화 유산을 현대의 디지털 기술과 결합하여 새로운 가치를 창출하는 중요한 과정이다[4].
3D 데이터를 이용하면 한복의 복잡한 디테일과 구조를 정확하게 기록하고 재현할 수 있어, 문화유산 보존에 크게 기여할 수 있다. 새로운 콘텐츠 창출을 위해 한복에 대한 3D 데이터는 다양한 디지털 콘텐츠의 제작에 활용될 수 있다. 예를 들어, 가상 현실(VR) 체험, 온라인 쇼핑, 영화나 게임 등의 콘텐츠 제작에 이용할 수 있다. 이를 통해 전통문화를 현대적인 방식으로 새롭게 해석하고, 더 넓은 범위의 사람들에게 전파하는 것이 가능해진다[5].
교육적 가치로서 한복에 대한 데이터를 활용하면 학생들이 한복에 대해 직접적으로 학습하고 이해하는 데 도움이 된다. 특히 3D 데이터를 활용하면, 한복의 구조와 디자인을 세밀하게 살펴보고, 실제로 한복을 입어보거나 만들어보는 경험을 가상으로 체험할 수 있다. 이는 학생들에게 더 풍부하고 생생한 학습 경험을 제공할 수 있다[6].
디지털 대전환 핵심 자원인 인공지능 생태계 조성 및 일상 생활의 곳곳으로 서비스를 확산하기 위한 다양한 분야의 대규모 학습용 데이터 수집과 공유 기반을 마련하고 있다[7].
국내 기업·기관 등의 인공지능 학습용 데이터 구축은 많은 시간과 비용이 소요되며, 인공지능 도입·개발에 진입장벽으로 작용되고 있다. 인공지능 도입의 장애물(‘21, KISDI)은 기계학습용 데이터 부족(24.2%)에 있는 것으로 알려져 있다[8].
최근 ChatGPT 등 초거대 AI 등장에 따라 환경변화에 선제적인 대응을 위해 국가적 차원의 고품질·대규모 데이터 구축 지원의 필요성이 증대하고 있다[9],[10]. 이에, 전통 한복에 대한 체계적인 데이터 자원을 확보하여, 한복 인공지능 데이터 부족 문제를 해소하고, 디지털 대전환의 핵심 자원인 인공지능 학습용 데이터를 구축하고, 이의 개방을 통해 디지털 문화유산 보관 및 확산을 할 필요성이 증대하고 있다.
이를 위해, 과기부가 주관하고 한국지능정보사회진흥원(NIA)이 추진하는 2023년도 인공지능 학습용 데이터 구축 사업의 하나로 ‘전통 한복 3D 데이터 사업’을 추진해 왔다[11]. 현재 한복을 이용한 데이터 생성을 통해, 다양한 한복의 가상·증강현실 구현과 디지털 대전환 및 초거대 AI 활용에 기여, 미래 가치를 창출 할 수 있을 것이다.
Ⅱ. 전통 한복과 한복의 데이터 구축 현황
2-1 전통 한복 현황
전통 한복에 대해 디지털 한복 3D제작에 이용된 D대학 박물관의 한복에 대한 나이별 및 시대별 분류를 살펴보면 표 1에 제시된 바와 같다. 상세한 한복 리스트는 분량이 너무 많고, 표현에 한계가 있어서 일부 사례만 제시하였다.
D University Museum data construction application Hanbok classification list
2-2 한복 보관의 문제점 및 한계점과 개선 방안
전통 한복의 보관은 여러 문제점과 한계점이 있는데 다음과 같이 정리해볼 수 있다.
전통 한복은 대부분 천연 소재로 만들어져 있어서 시간이 지남에 따라 쉽게 변질되거나 손상될 수 있다. 특히 습도와 온도를 적절하게 유지하지 않으면 곰팡이가 생기거나 색상이 변할 수 있다. 또한, 보관을 위한 상당한 공간을 마련하는 것이 쉽지 않기 때문에 공간적 한계가 있다. 실제 전통 한복을 전시하려면 많은 비용과 노력이 필요하며, 한복을 직접 보거나 체험하려는 사람들이 모두 그 기회를 가질 수 없기에 전시 및 접근성 제한이 있다.
이러한 전통 한복의 보관 문제와 한계 때문에 전통 한복에 대한 3D 데이터 생성과 활용은 더욱 중요하다고 볼 수 있다. 현재 전통 한복에 대한 3D데이터 구축은 전무한 상태로 디지털 대전환의 핵심 자원인 인공지능 학습용 데이터 구축을 통한 인공지능 산업 고도화 및 디지털 플랫폼 정부 기반에 대한 프로젝트가 진행되고 있다[7].
이를 통해, 전통 한복 3D 데이터를 구축, 활용하게 되면 한복의 복잡한 디테일과 구조를 정확하게 보존하고, 누구나 언제든지 한복을 쉽게 접하고 체험할 수 있는 기회를 가질 수가 있으며, 유물 보관 및 관리장소가 어디에 있는지 알 수 있는 장점이 있다. 또한, 유사시(훼손, 변질, 유실, 화재 등)를 대비하여 유물들을 최대한 3D 데이터 작업하여 보관하는 것이 매우 중요하다고 볼 수 있다.
Ⅲ. 3D 한복 데이터 구축 방안
3-1 한복 데이터 구축 사전조사 및 고려사항
전통 한복 분야에서도 디지털 대전환의 핵심 자원인 인공지능 학습용 데이터 구축·활용을 통한 인공지능 산업 고도화 및 디지털 플랫폼 정부 기반 제공이 필요하다. 본 논문에서의 연구개발은 관광 분야로 “전통 한복 3D 데이터 구축”이다.
현재 초거대 AI 활용시 전통 복식에 대한 잘못된 표시가 나타나고 있다. 기존 초거대 AI가 생성한 전통한복 3D 이미지도 역시 오류가 일어나고 있다. 초거대 AI가 이용자에게 대한민국의 전통 복식에 대한 잘못된 정보를 제공하고 있어, 이의 데이터 정제 및 보완이 필요하다. 초거대 AI가 한국 전통 한복의 원형을 이해하고, 해석하여, 인간의 언어와 이미지를 제시하여 현대사회에서 활용을 가능케 하기 위해, AI에 방대한 수량의 정확한 전통 한복 데이터 학습이 필요하다[10].
그러므로 다양한 제품 개발을 위해 쉽게 접근할 수 있는 오픈 데이터와 상품개발에 직접 활용할 수 있는 구체적인 전통 한복 데이터 구축과 가상 피팅, VR 카달로그, 가상패션쇼 등의 AI 기술적용 및 활용 등 시장요구에 발 빠르게 대응하여 전통 한복의 가치 보존과 소비자의 요구 수용할 수 있는 전통한복 데이터가 절실하게 필요한 시점이라고 볼 수 있다.
데이터 구축은 전통 한복 3D 이미지 생성, 인식 및 분류 가능한 AI 학습용 데이터 구축 및 개방으로 전통 복식 패션과 문화컨텐츠로 사업화의 기반 확보는 물론, 다양한 데이터 활용의 부가가치를 꾀할 수 있도록 구축하였다.
원천 데이터는 고해상도 카메라로 촬영된 고품질 한복 이미지, 미착용 한복 이미지(치마, 저고리, 속바지, 속치마 등), 기타 미착용 한복 관련 장신구 이미지(족두리, 모자, 신발, 목도리, 노리개 등), 한복 착용 2D 이미지, 한복 착용 후 노리개 등 추가 복식 착용 2D 이미지, 한복 3D 이미지, 한복 착용 3D 이미지, 한복 착용 후 노리개 등 추가 복식 착용 3D 이미지, 미착용/착용 및 이미지/3D 이미지 데이터 별 한복 및 장신구 종류별로 데이터를 구성하였다.
라벨링 데이터는 한복의 2D, 3D 이미지 라벨링 데이터를 구축하였다. 라벨링 방법은 Polygon Segmentation을 포함하여 제시, 수집된 이미지에 신체, 전통 복식(한복 및 장신구) 객체 라벨링으로 하였다. 기타 명시되지 않은 사항은 데이터 구축 목적을 달성할 수 있도록 라벨링 항목을 추가하여 제시하였다[12],[13].
메타 데이터는 한복 및 장신구 카테고리, 옷감, 패턴, 텍스쳐 및 디자인/재질 이미지, 의복 제작연도, 제작지역, 궁중/일반, 직업, 계급 등 전통 복식에 대한 정보, 한복 및 장신구 착용자 연령, 성별 등 정보, 계절 환경정보 등 초거대 AI 연계를 위한 메타 데이터 명세를 구체화하였다[14].
3-2 전통 한복 3D데이터 구축 방법 및 범위
한복 보존을 3D 데이터를 이용하면 한복의 복잡한 디테일과 구조를 정확하게 기록하고 재현할 수 있어서 한복의 다양한 형태와 유형을 데이터화하여 디지털 아카이브를 구축할 수 있다. 현재 2D나 3D의 한복 데이터 추진은 아주 초보적인 상태이다.
새로운 콘텐츠 창출을 위해 한복에 대한 3D 데이터는 다양한 디지털 콘텐츠의 제작에 활용될 수 있다. 예를 들어, 가상 현실(VR), 증강현실(AR), 인공지능(AI) 등 디지털 기술 체험, 온라인 쇼핑, 영화나 게임 등의 콘텐츠 제작에 이용할 수 있다. 이를 통해 전통문화를 현대적인 방식으로 새롭게 해석하고, 더 넓은 범위의 사람들에게 전파하는 것이 가능해진다.
특히 3D 데이터를 활용하면 더 다양한 방식으로 풍부하고 생생한 학습 경험을 제공할 수 있다. 전통 복식(한복 및 장신구)에서 확보해야 할 데이터나 과업의 내용은 다음과 같다. 고해상도 미착용·착용 전통 복식(한복 및 장신구) 2D 이미지와 고해상도 전통 복식(한복 및 장신구) 착용 3D 이미지가 요구된다[11].
한복의 보관 및 활용 한계를 극복하기 위해 AI 관련 수행해야 할 임무(task), 전통 복식(한복 및 장신구) 3D 이미지 생성과 인식 및 분류 작업이 필요하다. 그리고 데이터의 활용을 위해 디자인 분석, 디자인 자동화 시스템 구축, 가상 한복 착용 소프트웨어 개발 등이 요구된다.
전통 한복 3D데이터 구축은 데이터 공유 및 검색, 데이터 특징 추출, 데이터 보완 및 통합, 크라우드 소싱, 데이터 합성, 3가지 형태의 라벨링, 데이터 정제 및 재 라벨링, AI 모델 강화 및 전이 학습, 데이터 모델 등의 절차로 구축하였다.
그리고, 데이터 범위 및 형태에 있어서는, 2D전통복식 착용/미착용 2D 이미지, 3D 전통복식 착용 이미지, 형태에 있어서 원천데이터는 폴리곤 라벨링 데이터로 학습용 데이터는 2D,3D 이미지와 메타 데이터 쌍(png+json)으로 구성하였다[15].
3D데이터 구축을 위한 요구사항에 있어서, 데이터 구성은 디자인 컨셉 관련 구조화 설계, 제안, 패턴 디자인 자동화, 가상한복 착용 체험 등을 위한 전통한복 3D데이터를 포함하며, 원천 데이터는 전통복식 착용, 미착용 2D 이미지, 전통복식 착용 3D를 이미지의 데이터를 포함한다.
학습용 데이터는 2D, 3D 이미지와 그에 대한 메타 데이터 쌍으로 구성하였다[16].
데이터 수집 장비 및 방법에 있어서는,
- 1) 수집장비 : 고해상도 카메라, D GPU workstation, 3D SCAN PLUS, REVOPOINT POP2 3D SCANNER, 이동식 외장하드 SSD,
- 2) 수집방법 : 한복 및 장신구, 스튜디오 사진 촬영, 한복 및 장신구 착복 상태에서 전신 3D스캔, CLO3D Software를 사용하여 한복3D 데이터 제작.
데이터 가공에 있어서는, Polygon 어노테이션 기법을 사용하였다. 한복 및 장신구를 웃옷,아랫옷,겉옷,속옷,버선 5가지(클레스)로 구분하여 Polygon 라벨링하였다. 한복 복식을 5개 클레스로 구분된 Segmentation Rendering image 생성모델의 형태로 학습하였다. 이때 오토 라벨링 기법을 활용하여 가공 비용과 시간을 단축하였다 [17].
3-3 한복 데이터 구축 프로세스
전통복식 한복의 데이터 구축은 다양한 목적의 데이터셋 구축을 비롯, 패턴 디자인 자동화, 가상한복 착용 체험 등을 위한 인공지능 학습용 전통 한복 및 장신구 2D/3D 이미지 데이터 구축이 필요하다.
한복 데이터 구축 프로세스는 그림 2에 제시된 바와 같이초기 데이터셋 → [1-Cycle: 데이터 획득 → 데이터 라벨링 → AI 학습모델] → 최종 데이터셋 반영의 형태로 이루어진다.
Dataset construction process classification and process
초기 데이터셋은 적정 수량 데이터를 대상으로 1-Cycle검증을 수행한다. 이미지 등 다양한 카테고리의 데이터 획득 과정을 거치고, 데이터 정제는 원천 이미지 데이터 확보에 따른 원시 데이터 정제를 수행한다. 이를 통해 라벨링에 적합한 데이터를 확보, 즉 원천데이터 이미지 정제-데이터 적합성 확보라는 절차를 거쳐 원천데이터 품질을 궁극적으로 확보하게 된다.
데이터 라벨링은, 데이터 라벨링-이미지 속성값 입력-오토 라벨링 작업 이후에는 검수 및 수작업 진행-전문 작업자를 통해 라벨링 값 교차 검수-생성 데이터 의미 및 구문 정확성 확보를 통해 의미있는 정확한 데이터 라벨링을 갖게 된다.
AI 학습모델은, AI 모델 학습-구축된 데이터를 사용하여 AI 모델 학습에 적용한다. AI 모델 품질 확보는 모델 학습 결과를 분석, 지속적으로 모델 성능을 개선하여, 학습 모델의 유효성있는 품질을 확보하게 된다. 이런 절차들을 거쳐서 최종데이터셋에 반영한다[17],[18].
전통 복식의 메타 데이터 구성을 위한 한복 분류는 크게, 속옷, 웃옷, 아래옷, 겉옷, 그리고 버선으로 분류할 수 있다.
그리고, 메타 데이터 구성을 위한 전통 복식의 특성을 대표적인 성격별로 분류한다면,
- 시대별: 조선시대 한복, 고려시대 한복, 신라시대 한복 등
- 성별별: 여성 한복, 남성 한복
- 연령별: 어린이 한복, 청소년 한복, 성인 한복, 노인 한복
- 색상별: 빨간색 한복, 파란색 한복, 흰색 한복, 검은색 한복
- 소재별: 실크 한복, 코튼 한복, 린넨 한복
- 패턴별: 화단 패턴 한복, 동화 패턴 한복, 기하학적 패턴 한복
- 디자인별: 전통적인 한복, 현대적인 한복, 퓨전 한복 등
- 신분별: 궁중 한복, 양반 한복, 천민 한복
등으로 구분할 수 있다.
장신구 메타 데이터 구성을 위해, 장신구 분류는 크게 쓰게, 장신구, 띠, 신발 등으로 나누어서 작업하였다.
• 2D 이미지 데이터 수집
그림 3은 미착용 이미지 데이터 수집의 일례를 보여준다. 2D 이미지 촬영에 적합한 고급 카메라 장비를 사용하였다. 미착용 이미지는 개별 아이템을 전체 모양이 잘 보이도록 소품이나 작은 옷의 경우에는 바닥에 펼쳐놓거나, 옷걸이, 지지대 또는 마네킹을 이용해 2D 이미지를 촬영, 데이터를 수집하였다.
Non-wearing image data collection(Dankook Uni./Korea Cultural Heritage Fountation)
• 3D 이미지 데이터 수집
한복 및 장신구 착복상태의 3D 이미지 촬영 사례를 그림 4에서 보여준다. 한복 전신 3D스캔 전용 공간을 만들어 전신을 스캔하였다. 정확한 색상, 옷감, 재질 3D이미지 정보를 수집하기 위한 최적의 조명 환경 구축이 필요하였다. 착용 이미지는 모델이 착용하고, 전면과 양측면 45도, 상단, 중단, 하단별 전방향 등 여러 각도에서 촬영하였다. 상, 중 하단 각각 층별로 35개 카메라를 사용하여 총 105개 카메라를 투입하여 3D 이미지를 수집하였다.
Collection of 3D data on traditional Hanbok/ accessories through 3D scanner
그림 5는 한복 3D 데이터 제작(CLO3D Software) 과정을 나타낸다. 한복 전통성 검증을 거친 도안을 사용하여 정밀한 전통 한복 3D 데이터를 제작한다. 이를 위해, 고퀄리티 3D Rendering 기술을 사용하여, 실사같은 한복 3D 이미지 데이터를 구축한다.
Hanbok 3D data production (CLO3D Software) process
E대, 한국문화재재단 등에서 한복 도안에 대한 전통성을 검증하고, 한복 3D 데이터 제작은 의류 패션 디자인 소프트웨어 CLO3D를 활용하였다[19],[20].
영상/이미지 데이터 취득에 따른 데이터 정제와 정제 데이터 관리는 그림 6에서 보여주는 바와 같다.
Acquisition data purification procedure
데이터 정제를 위해 취득 데이터 검수, 영상에서 이미지 추출, 데이터기준 확인, 메타 정보 입력 등의 과정이 필요하다. 데이터 정제에 있어서는, 개인정보 비식별화, 중복성 확인, 인식 불가 데이터 확인 등의 과정이 수행되어야 한다. 가공준비는 정제 데이터 검수, 원천 데이터 등이 따른다.
정제 데이터 관리는 크게, 원시 데이터 폴더 관리,원천 데이터 폴더 관리와 부적합/중복 데이터 폴더 관리로 나눌 수 있다. 원시 데이터 폴더 관리는 날짜별 폴더에 정제할 이미지 파일을 확인하며, 원천데이터 폴더 관리는 해당 카테고리 폴더에 완료 이미지를 저장하고, 부적합/중복 데이터 폴더 관리는 부적합/중복 데이터 관리와 별도 폴더로 관리하였다.
원천데이터 명명 규칙은 그림 7과 같이 크게 5가지, 즉 전통복식 분류 코드, 착용 여부 코드, 레이블 번호, 작업 일자, 확장자로 구분하여 장신구 착용 상태를 넘버링하면서 구분하여 3D 이미지를 정제, 데이터 관리하였다.
Source data naming rules tips and standards
저작도구를 이용해 이미지 데이터별 메타 데이터를 입력하여 라벨링 데이터를 생성하였다. 라벨링 데이터의 분류는 데이터로부터 분석 자료를 효과적으로 유추할 수 있는 분류체계를 선택하고, 라벨링 데이터 타입은 필수 값 지정을 통해 메타 정보 누락을 방지하였다[12],[13].
전통복식의 2D 데이터 가공 라벨링 모델을 위해 폴리곤(Polygon) 라벨링 형식으로 사진의 객체를 점과 점 사이의 선을 이용하여 객체의 외곽면과 일치시켜 오차 범위 10픽셀을 초과하지 않는 상태로 작업하였다.
데이터 가공을 위해 전통 한복 데이터셋 구축용 저작도구인 Annotation Tool를 활용하여 데이터를 커스터 마이징하였다. 반려 시에는 반려 사유를 입력하여 명확한 라벨 기준에 맞춰 재 작업하였다[13].
그림 8은 3D 데이터 가공을 위한 클래스 기준으로 데이터별 분류 검수 과정 중에 활용 가능한 특정 한 부분을 보여준다. 이러한 과정을 통해 3D 데이터를 가공하고 추출 데이터를 변환한다. 수집된 3D 데이터 카테고리와 메타 데이터를 분류한다. 기준에 준하는 해당 객체 데이터를 검수 한후 분류를 실시한다. 3D 데이터 수집시 수집된 2D 텍스쳐를 사용하여 머티리얼 제작을 수행한다. 원천 데이터에서 정제가공 Rigging 작업까지 완료된 데이터를 로드한다.
An example of inspection that can be used by class-based data
Cloud point 데이터를 통해 객체 segmentation을 진행한다. Segmentation을 통해 객체를 인식/분별하여 해당 객체가 있는 외곽선을 따라 Annotations 값을 생성한다. 자체 개발한 3D 추출 데이터 구조 표준화의 하나인 Json Convert Tool을 통하여 메타 데이터 구조로 변경을 진행하였다.
결과적으로, 데이터 가공 후 json데이터를 구축하였다. 지면상 Json 포맷 구축 형태의 프로그램 예시는 생략하고자 한다. 데이터 가공을 함에 있어서, 오토 라벨링으로 가공 비용(시간, 인력, 비용)을 줄일 수 있었다[12],[15].
AI 학습은 원천데이터의 일부를 가공해 인공지능 모델에 사전 학습을 실시한다. 오토라벨링/가공은 사전 학습된 AI 모델로 오토 라벨링을 수행하였다.
데이터 라벨링의 정확도를 높여서, AI 데이터 학습을 제대로 수행하기 위해, 이미지 캡션을 통한 정밀 라벨링을 진행하였다. 이미지 캡션은 컴퓨터 비전과 자연어 처리 분야에서 널리 활용된다. 데이터 검수 과정시 라벨링 데이터 정확성 보장 작업과정과 불필요한 라벨링 작업의 최소화를 기하였다.
높은 품질의 이미지 캡션 데이터는 AI 모델 활용을 다방면으로 확장하고, 초거대 AI와의 연계를 위해 필수적인 요소이다.
데이터 활용 AI 모델 개발을 위해, AI 학습모델 후보군으로 Mask R-CNN과 YOLOv8, NeRF(Neural Radiance Fields(신경망 방사필드)가 있다. 본 연구개발에 있어서는, 데이터 활용 AI모델 개발을 위하여 NeRF(representing scenes as Neural Radiance Fields for view synthesis), 신경망 방사필드 기법을 활용하였다[20]. 그림 9에 제시 된바와 같이 이는 어떤 상황에서도 여러 시점에서 오브젝트를 바라본 이미지들을 기반으로 새로운 시점에서의 이미지를 합성하여 어느 시점에서 바라보더라도 해당 물체의 모습을 볼 수 있도록 하였다. 신경망 방사필드(NeRF)는 작은수의 입력 보기 세트를 사용하여 기본 연속 체적 장면 기능을 최적화하여, 복잡한 장면의 새로운 보기를 합성할 수 있는 최첨단 결과를 달성하는 방법을 제시하고 있다. 알고리즘은 그림 10에서 보여주는 바와 같이 입력이 단일 연속 5D 좌표(공간 위치(x, y, z) 및 보는 방향(θ, ϕ))이고, 출력이 해당 공간 위치에서 볼륨 밀도·보기에 따라 방출되는 복사휘도로 나타난다[21],[22].
Neural Radiance Fields (NeRF) model
3D data construction NeRF model function
한복 데이터 자체는 3D오브젝트 형태로 구축하였다. 한복은 카메라 광선을 따라 5D 좌표를 쿼리하여 보기를 합성하고, 전적인 볼륨 렌더링 기술을 사용하여 출력 색상과 밀도를 이미지에 투영하였다.
그림 10의 좌측1, 2의 볼륨 렌더링은 자연스럽게 미분 가능하기 때문에 표현을 최적화하는 데 필요한 유일한 입력은 알려진 카메라 포즈가 있는 이미지를 세팅하게 된다. 그림 10 우측은 렌더링 손실( g, t)을 나타낸다[21]. 신경 복사 필드를 효과적으로 최적화하여 복잡한 기하학과 모양이 있는 장면의 사실적인 참신한 보기를 렌더링하고 신경 렌더링 및 보기 합성에 최적이다.
Ⅳ. 한복 2D, 3D 데이터 활용 방안 및 분석
4-1 한복 데이터 활용 방안
본 연구에서 구축된 2D, 3D 데이터의 활용 방안은 다음과 같다.
- 1) 가상 현실(VR): 3D 한복 데이터는 가상 현실에서의 체험 활동에 활용될 수 있다. 예를 들어, 가상의 한복 체험관에서 방문객들이 다양한 종류의 한복을 입어보는 경험을 제공할 수 있다.
- 2) 온라인 쇼핑: 3D 한복 데이터는 온라인 쇼핑몰에서 상품을 보다 생생하게 보여주는데 활용될 수 있다. 소비자는 360도로 상품을 볼 수 있어, 실제로 상품을 보는 것에 가까운 쇼핑 경험을 할 수 있다.
- 3) 영화, 애니메이션, 게임: 3D 한복 데이터는 영화나 애니메이션, 게임 등의 콘텐츠 제작에도 활용될 수 있다. 특히, 한국 문화를 주제로 한 콘텐츠 제작 시, 한복의 정교한 디테일을 재현하는 데 도움이 될 수 있다.
구축된 한복 데이터는 국가유산 졍체성 확보나 전통한복 패션 산업의 활성화와 초거대 AI 연계 활용은 물론 XR 컨텐츠 산업 촉진에도 크게 기여 할 수 있으리라 본다.
4-2 한복 3D 데이터 구축에 대한 분석
전통 한복 3D 데이터 구축은 이미지 생성, 인식 및 분류 가능한 AI 학습용 데이터 구축은 물론 개방으로 전통 복식 패션과 문화컨텐츠에로의 사업화 및 글로벌 경쟁력 확보에 도움이 되는 기틀이 될 수 있다.
한복 3D 데이터 구축을 통해, ① 전통복식 2D, 3D이미지에 대한 원천 데이터 확보, ② 2D, 3D 이미지 라벨링 데이터 획득, ③ Polygon Segmentation 방법 적용 ④ 신체, 전통 복식(한복 및 장신구) 객체 라벨링 확보, ⑤ 초거대 AI 연계를 위한 메타데이터 명세 구체화 등을 획득하여, 다양한 용도에 재 가공하여 응용할 수 있는 길을 열었다고 분석된다.
한복 및 장신구 카테고리, 옷감, 패턴, 텍스쳐및 디자인/재질 이미지, 의복 제작연도, 제작지역, 궁중/일반, 직업, 계급 등 전통 복식에 대한 정보를 체계적으로 데이터화하는데 기여하였다고 볼 수 있다.
Ⅴ. 결 론
한복은 우리나라의 중요한 문화유산 중 하나로 온전히 보존하고 전파하며 디지털화로 다양한 형태의 활용이 점점 주요해져 가고 있다. 이제, 한복을 이용한 데이터 생성은 우리나라의 전통문화 유산을 현대의 디지털 기술과 결합하여 새로운 가치를 창출하는데 매우 중요하다. 이에 새로운 콘텐츠 창출을 위해 한복에 대한 2D, 3D 데이터 확보는 다양한 디지털 콘텐츠의 제작에 활용될 수 있다.
본 연구를 통한 전통 한복 2D, 3D데이터 구축에 있어서, 한복에 대한 데이터 확보 및 검색, 데이터 특징추출, 데이터 보완 및 통합, 크라우드소싱, 데이터 합성, 라벨링, 데이터 정제 및 재 라벨링, AI 모델 강화 및 전이 학습, 등을 통해 데이터 품질 및 모델을 검증하였다.
그리고, 데이터 범위에 있어서는 2D전통복식 착용/미착용 2D 이미지, 3D 전통복식 착용 이미지, 형태에 있어서는 원천데이터는 폴리곤 라벨링 데이터, 학습용 데이터는 2D,3D 이미지와 메타데이터로 구성하였다. 특히, 데이터 구축은 전통 한복 3D 이미지 생성과 인식, 그리고 분류 가능한 AI 학습용 데이터를 구축하였다. 라벨링 데이터는 2D, 3D 이미지 라벨링, 라벨링 방법은 Polygon Segmentation을 활용하였다.
메타데이터는 한복 및 장신구 카테고리, 옷감, 패턴, 텍스쳐 및 디자인/재질 이미지, 의복제작연도, 제작지역, 궁중/일반, 직업, 계급 등 전통 복식에 대한 정보, 한복 및 장신구 착용자 연령, 성별 등 정보, 계절 환경정보 등 초거대 AI 연계를 위한 메타데이터 명세를 구체화하였다.
생성된 데이터는 인공지능(AI) 학습(Training)에 적합한 형태와 내용의 원천 데이터 및 라벨링 데이터를 수집･제작 구축하여 누구나 사용할 수 있도록 정부 AI허브를 통해 공개하여, 가치를 창출 할 수 있도록 환경을 제공하고 있다.
향후 데이터 품질 목표 및 관리를 위해서는, 크게, 구축공정 상세 품질과 적합성 및 정확성(구문, 의 등)을 위한 구축데이터 상세 품질, 그리고 알고리즘 및 학습모델 유효성을 위한 학습모델 품질 향상과 관리에 대한 연구가 더 수행되어야 할 것으로 보인다.
박물관의 한국 전통 유물에 대해 디지털화 작업으로 실감형 컨텐츠 활용과 연계하여 전통 복식의 3D 착용 체험 등 대중과 소통에 활용 될 뿐만 아니라, 드라마 등 방송 및 게임, 애니메이션 등 2D, 3D 캐릭터 사업과 XR 컨텐츠 산업 발전에 크게 기여 할 수 있을 것이다.
Acknowledgments
본 연구는 2023년도 과학기술정보통신부(공고 제 2023-0431호)와 한국지능정보사회진흥원(NIA)의 2023년도 인공지능 학습용 데이터 구축 지원사업 지원을 받아 수행된 연구 결과로 작성하였습니다.
References
- H. Lee, “Study on Hanbok in Goguryeo Murals,” Journal of the Korean Fashion Society, Vol. 26, No. 1, pp. 107-128, March 2012.
- J. Im, “Study on the Clothing of Goguryeo Tomb Murals,” Journal of the Korean Fashion Society, Vol. 17, No. 4, pp. 77-92, December 2003.
- G. S. Geum, “A Study on the Beauty in Choson Costume,” Journal of the Korean Fashion Society, Vol. 14, pp. 167-183, May 1990.
- Cultural Heritage Administration, “Hanbok Designated as a National Intangible Cultural Asset,” July 20, 2022 [Internet]. https://www.cha.go.kr/newsBbz/selectNewsBbzView.do;jsessionid=cfi4iOvEu5um3RwlgfxL9govXDqaIVVdQHzwWoSaBWHyDhRs7Xoi5Dh1jwYBwmXF.cha-was02_servlet_engine1?newsItemId=155703491§ionId=b_sec_1&pageIndex=1&pageUnit=10&strWhere=&strValue=&sdate=&edate=&category=&mn=NS_01_02_01
- Korea Cultural Heritage Foundation, “Participating in the Traditional Hanbok 3D Data Business,” November 15, 2023 [Internet]. https://www.chf.or.kr/brd/board/715/L/menu/373?brdType=R&bbIdx=115913#none
- Ministry of Science and ICT, “Artificial Intelligence Learning Data Construction Support Project,” Korea Intelligence Information Society Agency, April 14, 2023 [Internet]. https://doc.msit.go.kr/SynapDocViewServer/viewer/doc.html?key=6148cd01718b4587a726795ec0f1466f&convType=html&convLocale=ko_KR&contextPath=/SynapDocViewServer/
- MSIT (Ministry of Science and ICT) and NIA (National Information Society Agency), Announcement of 2023 Artificial Intelligence Learning Data Construction Support Project, Author, Ministry of Science and ICT Announcement No. 2023-0431, April 2023.
- K. S. Lee and S. O. Kim, Analysis of Factors Hindering AI Introduction and Diffusion and Policy Implications, Korea Information Society Development Institute, Jincheon, KISDI Premium Report 21-03, April 2021.
- S. H. Oh, J. R. Lee, B. S. Choi, Y. H. Lim, J. H. Yoon, S. J. Choo, ... and J. Y. Lee, Strategies for Improving STI Policy Towards a Leading Country in the Application of AI Technology, Science and Technology Policy Institute, Sejong, Policy Reasearch 2020-02, December 2020.
- S.-J. Lim, Analysis of Trends in Ultra-Large Artificial Intelligence Language Models, Senior Researcher, Statistics Korea Statistics Research Institute, Daejeon, KOSTAT Statistics Plus No. 2021 Winter, pp. 70-85, December 2021.
- Herald Economic Newspaper. Korea Cultural Heritage Foundation Creates 3D Data for Traditional Hanbok [Internet]. Available: https://biz.heraldcorp.com/view.php?ud=20231115000692
- Appen. What is Data Labeling? Definition, Types, and How to Choose a Labeling Tool [Internet]. Available: https://kr.appen.com/blog/data-annotation/, .
- Aya Data. What is Polygon Annotation and How Does it Work? [Internet]. Available: https://www.ayadata.ai, .
- W. Choi, H. Hwang, J. Kim, K. Lee, and S. Lim, “Comparison and Analysis of Metadata Schema for Academic Paper Integrated DB,” Journal of the Korea Contents Association, Vol. 20, No. 2, pp.689-699, February 2020.
- AI Hub. 3D Asset-Sketch Pair Data [Internet]. Available: https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=&topMenu=&aihubDataSe=ty&dataSetSn=71414, .
- NIA (National Information Society Agency). Guide to Building Datasets for Artificial Intelligence Learning [Internet]. Available: https://www.aihub.or.kr/web-nas/aihub21/files/sample/intro, .
- Happy Jihye. 2021 Generative Model Research Trends and Major Papers / AI Content Creation: Deep Generative Model [Internet]. Available: https://happy-jihye.github.io/gan/gan-25/, .
-
D. Y. Kim, T. Kim, and J. Youn, “A Study on Data Set Construction Method Using Deep Learning Technologies - Improvement of Accuracy through Dataset and Hyper-Parameter Adjustment Using CNN, Journal of Digital Contents Society, Vol. 24, No. 2, pp. 343-351, February 2023.
[https://doi.org/10.9728/dcs.2023.24.2.343]
- Irender GPU. An Overview of CLO 3D Fashion Design Software [Internet]. Available: https://irendering.net/an-overview-of-clo-3d-fashion-design-software/, .
-
A. Guesmi, M. A. Hanif, B. Ouni, and M. Shafique, “Physical Adversarial Attacks for Camera-Based Smart Systems: Current Trends, Categorization, Applications, Research Challenges, and Future Outlook,” IEEE Access, Vol. 11, pp. 109617-109668, October 2023.
[https://doi.org/10.1109/ACCESS.2023.3321118]
-
B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng, “NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis,” Communications of the ACM, Vol. 65, No. 1, pp. 99-106, January 2022.
[https://doi.org/10.1145/3503250]
저자소개
1985년：건국대학교 경영학과 졸업
1988년：건국대학교 경영학석사
1988년～1995년 : 대상기획대표
1995년～2000년 : ㈜테크게이트 부사장
2000년～2021년 : ㈜엔디스 대표이사
2015년～현 재: 스마트쿱(주) 대표이사
※관심분야：IT기술 사업화, 지식서비스 기술, 인공지능 활용
1991년：서울대학교 MBA 수료
1993년：미 NJIT 전기·컴퓨터학과 공학박사
1981년: 정보통신부 통신사무관
1982년～2006년: KT 인터넷사업국장, 수도권 강북본부 사업지원총괄담당상무
2006년～2011년: 광운대 교수
2007년～2011년: 경기도 정보화특별보좌관
2011년～현 재: 단국대 교수
2011년～현 재: 경기정보산업협회 협회장
※관심분야：정보과학기술, 보안융합, 디지털콘텐츠, 정보통신정책
1995년：건국대학교 미술교육학 석사
2015년：한양대학교 보건학 박사
1998년～2001년: ㈜에스엠엔터테인먼트(대표)
2001년～2006년: ㈜한넷텔레콤 (이사)
2016년～2023년: 단국대학교 자유교양대학 교수
2020년～2023년 단국대학교 문화예술대학원 예술치료전공 주임교수
2022년～2023년 단국대학교 문화예술메타버스센터장
2022년～현 재: 단국대학교 정보통신공학 석사 재학 중
2023년～현 재: 경기정보산업협회 문화예술융합부회장
※관심분야：문화예술, 정보융합기술, 디지털콘텐츠, 보건학, 예술치료