한산모시짜기 제직과정 전신 동작 기록화 방안 제안

Ⅰ. 서 론

무형문화유산은 특정 사회의 환경, 문화 등 여러 가지 요소에 따라 변형된다는 특징을 가지고 있어 해당 집단 혹은 국가의 지속적인 관리가 필요하다. 또한, 유네스코 무형유산 보호 협약에서도 무형유산이 존속하기 위해서는 시대의 흐름에 맞춰 재창조되고 다음 세대로 전달되어야 할 것을 강조하고 있다[1]. 원형 보존의 중요성이 인지되면서 2000년대 초부터 한국콘텐츠진흥원에서 진행한 문화원형사업 및 무형유산원에서 시도 무형문화재 기록화 사업 등을 통해 디지털 아카이빙 서비스를 제공하여왔다[2].

2000년도 초반부터 국내에서 3차원 기록을 위해 모션캡쳐 기술을 사용하여 승무, 살풀이 등 독무를 중심으로 무용 분야에서 기록화 연구사례들이 등장하기 시작하였다. 기록화된 동작 데이터는 2D 이미지나 동영상처럼 단일 시각에서만 볼 수 있는 것이 아니라 아카이빙 서비스 및 클라우드 서비스 등을 통해 가상현실(virtual reality, VR), 증강현실(augmented reality, AR) 등 여러 종류의 디지털 콘텐츠를 제작할 수 있는 기반 자료들로도 사용할 수 있다는 장점이 있다. 무형유산 분야에서 이러한 방향을 활용한다면 전승 및 일반인들에게 접근성을 개선해줄 수 있는 좋은 교육자료로도 사용될 수 있기 때문에 동작 기록화의 필요성은 지속적으로 제시되어오고 있었다.

그러나 공예분야의 동작 기록화는 고유의 특성에 따라 대상, 도구 및 손 등으로 인해 센서가 가려지거나 시연자의 신체에 센서 부착이 어려워 한 종류의 센서만을 가지고 전체적인 동작을 기록화하는 것이 어려운 상황이다. 본 논문에서는 기존 동작 기록화 연구들에서 제안한 기법 및 센서들을 살펴보고 공예 과정에 동작 기록화 방식이 적용 가능한 것인지를 테스트하여 이러한 대표적인 공예방식 중 하나인 한산모시짜기 제직 과정에 적절한 기록화 방안을 도출하여 제안하고자 한다.

Ⅱ. 이론적 배경 및 관련 연구

2-1현대의 직조산업과 한산모시짜기

현대의 직조산업에서는 개량된 일본, 서양 직기들이 도입되면서 최근에는 간단한 키트를 구매하여 즐기는 형태로 직조문화가 발전되고 있다. 이러한 방식으로 외래문화의 도입과 산업화가 동시에 발생하면서 전통 직기를 설치부터 제직과정까지 다룰 수 있는 사람은 점점 줄어가는 추세다. 그로 인해 전통 베틀을 구성하는 부속품인 바디를 제작하는 국가무형문화재 제88호인 바디장에게도 많은 영향을 미치고 있다[3].

한국의 전통 직물을 대표하는 모시는 고대로부터 오늘에 이르기까지 꾸준히 사용되는 소재이며 특히 모시는 깨끗하고 고아한 태를 지니고 있어 한국인의 정서와 미의식을 상징하는 옷감으로 높이 평가받고 있다. 한산에서 만든 모시는 오래전부터 홍산·서천·비인·임천·보령·남포·정산 등과 함께 ‘저산팔읍(紵産八邑)’에 속하는 지역으로 저산팔읍 중 가장 품질이 우수함으로 널리 알려져 있으며. 현재 ‘한산모시’라는 고유 명사로 불리고 있다[4]. 한산모시짜기는 2011년 유네스코 인류무형유산에 등재되어 보호받는 중이나 섬유 분야가 산업화하면서 점차 축소되고 현재는 문화재청의 국가무형문화재 제도에서 전승 취약종목으로 분류되어 특별관리가 필요한 실정이다[5]. 전체 제작과정은 그림 1과 같이 재배와 수확, 태모시 만들기, 모시째기, 모시삼기, 모시굿 만들기, 모시날기, 모시매기, 모시짜기 순으로 진행되며, 본 연구에서는 제일 마지막 단계이며 베틀로 직물을 제작하는 단계인 제직 과정을 중심으로 기록화 방식을 선정하였다.

Fig. 1.

Process of Hansan ramie weaving[4]

2-2 공예과정과 ICT 기술 적용 사례

최근 국내외에서 이러한 무형문화유산의 가치 보존을 위하여 ICT 기술을 접목하여 기록화를 새롭게 진행하는 방식들이 도입되고 있다. 주로 무용과 공예방식에서 진행되고 있으며 해당 데이터를 가상현실 혹은 애니메이션 등 디지털 콘텐츠와 연계하여 학습 및 체험을 진행할 수 있도록 센서를 활용한 연구들이 많이 진행되고 있다. 또한, 기록화 방식에서도 실시간 동작 인식을 중점으로 체험 및 학습에 중점을 둔 사례가 있지만, 공예 과정의 동작을 디지털 데이터로 저장하여 추후 목적에 맞춰 활용할 수 있는 리소스 데이터를 만들고자 하는 연구 방안으로 나뉜다.

먼저 실시간 동작 인식을 중점으로 한 콘텐츠의 경우 아래의 그림 2에서 이미지를 확인할 수 있으며 K. Dimitropoulos(2018)은 도예 공예 제작 시 실시간 동작 데이터 취득을 위해 두 대의 키넥트(Kinect)와 한 대의 립모션(Leap Motion)을 사용하여 두 외부시점과 내부시점에서 도예 공예 동작 취득하였다[6]. 그러나 센서가 외부시점에만 설치되어 장애물에 의한 가려짐 문제로 오류가 발생한다는 제한점을 가지고 있다. Sotiris Manitsaris (2018)는 센서를 기반으로 취득되는 손가락과 상반신의 데이터를 통해 딥러닝 알고리즘을 접목하여 동작 추적 과정 시스템을 제작하여 도예 동작을 가르치는 교수자- 학습자들의 평가를 받아 문제점을 개선하였다[7]. 이처럼 실시간 동작 인식을 중점으로 한 연구들에서는 관성 센서와 이미지 기반 센서를 중점으로 활용하는데, 이는 직접 센서를 부착하거나 슈트를 입지 않아도 되는 부분이나, 공예 과정처럼 주변에 사용하는 도구 혹은 특정한 환경이 필요할 때 장애물이 많아 신체를 가리게 되고, 그로 인해 데이터의 정확도가 급격히 떨어질 수 있다는 한계점이 있다.

Fig. 2.

Real-time motion tracking methods[6, 7]

그다음으로 동작 데이터를 취득하는 데이터 취득 방법 중심 연구 중 먼저 Z. Gang(2017)은 중국 소수민족의 전통 직조과정을 기록하여 데이터베이스화하며, 전시ㆍ전승을 위한 콘텐츠를 제작하기 위해 키넥트와 립모션을 사용하여 동작 기록을 진행하였다[8]. 그러나 손동작을 취득하는 센서가 외부시점에만 설치되어 장애물에 의해 일부가 인식되지 않는다는 제한점을 가지고 있다. 다음으로는 Partarakis(2019)는 관성 센서와 카메라 영상을 기반으로 그리스 지역의 직조과정을 기록화하여 실시간으로 3D 객체화된 데이터를 가상현실 콘텐츠로 전송 후 직기의 구동 과정을 새롭게 시각화할 수 있는 시스템을 개발하였다[9]. 그러나 직기의 구동 과정 분야에서 공예전문가 혹은 고증전문가의 검증을 받지 않았다는 한계점을 가지고 있다. 또한 전체적인 동작기록보다 신체 일부에 집중하여 기록화를 진행한 사례도 존재한다. 주로 움직임이 많은 손을 중심으로 진행되었는데, 그림 3에서 이미지를 확인할 수 있다. Dimitrios(2016)은 도예 과정의 특성상 직접 흙과 물을 만지는 문제 때문에 접촉이 많은 손에 센서를 부착할 수 없으므로 그림 3 처럼 팔에 근육의 전기신호를 취득할 수 있는 Myo band를 사용하여 데이터를 취득하였다[10]. 그러나 근육 움직임에 따라 손의 움직임을 추정하는 과정이기 때문에 동작의 정확도가 떨어진다는 문제점이 있다. 마지막 Jung Eun-sol(2020)은 그림 3과 같이 자기 시점과 외부시점으로 립모션을 배치하여 각 시점의 센서 데이터를 취득하고 통합한 다음 바느질 누빔 과정의 동작 데이터를 취득하는 과정을 관성센서와 비교하여 기록화 방안을 제시하였다[11]. 이렇게 기록화 중심 연구에서는 추후 데이터 활용이 목적이므로 데이터 취득을 위해 다양한 기종의 센서들이 연구되어왔다.

Fig. 3.

Methods of hand tracking[10, 11]

그러나 웨어러블, 이미지, 광학식 센서의 경우 데이터의 정확도가 부족하다는 단점이 있으며 별도의 알고리즘을 적용하지 않는 이상 데이터의 정확도가 떨어진다는 단점을 가지고 있다. 관성 센서의 경우 직접 손가락에 센서를 부착할 수 있으므로 정확도가 높은 편이지만, 일부 공예 과정에서는 특성상 직접 배치할 수 없는 문제가 발생한다. 본 연구에서는 관련 연구들에서 도출된 센서 및 기술을 분석하여 한산모시짜기 제직 과정에 적합한 기록화 방안을 제시하고자 한다.

2-3 연구사례 기반 기록화 센서와 기술

위의 공예과정에서 센서를 활용하여 동작 인식, 기록관련 연구사례를 기반으로 표1에서 정리하였을 때, 대표적으로 사용되는 센서는 광학식 비마커기반 센서(optical-markerless), 광학식 수동 마커기반 센서(Optical-Passive Marker) 자기 센서(Magnetic), 관성 센서 (inertial measurement unit, IMU) 4가지 센서를 로 나뉘었으나, 연구사례중 가장 활발하게 사용되는 두가지 센서를 선정하여 사전 테스트를 진행하였다. 선정된 센서의 경우 전용 데이터 출력 소프트웨어를 사용할 수 있으며, 단일센서만으로 전신 동작을 출력 가능하다는 조건에서 선정하였다.

Table 1.

Characteristics of Sensors Used in Craft Field-related Motion Recognition/Motion Recording Studies [14]

Ⅲ. 기록화 방식 선정 과정

3-1 연구사례 기반 동작 기록화 센서 선정

앞서 조사된 연구사례 및 모션 캡처 센서들을 기반으로 재직 과정에 적합한 동작 기록화 센서 선정 및 기록화 방안을 제시하고자 하며, 위의 표 2에서 선정된 센서를 확인할 수 있다. 먼저 인식영역이 넓은 키넥트와 애저키넥트(AzureKinect)를 배치하여 동작 데이터를 취득하거나, 활용목적에 따라 비교적 착용이 간편한 밴딩을 장착하거나 더욱 정밀한 동작 데이터의 취득이 필요할 경우 전신 슈트 형식을 사용하여 동작 데이터를 취득하고자 한다.

Table 2.

Comparison of specifications of optical image-based sensor and inertial sensor

광학식 센서 중 전신의 스캔이 가능한 종류를 선별했을 때, 대표적인 전신 인식이 가능한 센서의 경우 크게 두 가지로 나뉜다. Kinect v2의 경우 기존 동작 기록 연구사례에서 많이 쓰이던 대표적인 사례이며 센서 크기가 비교적 큰 편이므로 영역 또한 넓은 편이다. Azure kinect의 경우 2019년도에 기존 키넥트를 개선하여 홀로렌즈 및 Azure cloud 서비스를 연동하여 실시간 데이터를 전송하는 것을 목적으로 제안되었으며 기존 키넥트에 비해 비교적 크기 및 영역이 작으나 RGB 영상 해상도가 높아 실시간 추적 및 정합에 유리하다.

관성 센서의 경우 Cobra IGS suite(Gloves 포함), Xsens MVN(전신) 등 2가지 방식을 중심으로 비교하였다. Cobra의 경우 글러브까지 포함되어 손가락의 움직임 등의 세밀함을 인식할 수 있다는 장점이 있으나 센서가 밴딩형식이므로 움직이는 과정에서 센서의 위치가 쉽게 움직일 수 있어 인식정확도가 그리 높지 않고, 일부 데이터가 비틀려서 출력된다는 단점이 있다. 그다음 전신 슈트 형식인 Sens의 경우 총 17개의 센서로 구성되어 전신 슈트에 부착하는 방식으로 구성되었으며 모든 연결선이 배터리로 연결되어야 하므로 다소 행동이 불편하다는 단점이 있으나 전용 소프트웨어의 자체적으로 동작 데이터를 보완하여 전송하므로 추가적인 보정이 필요하지 않다는 장점이 있다.

3-2 기록화 대상의 설정

해당 논문에서는 모시 짜기 공정 가운데 개량 베틀에서 준비된 북을 사용해 작업자가 베틀에 앉아 활용하는 기법인 ‘제직’을 중심으로 기록화 대상을 선정하였다. 선정된 제직과정에서 사용되는 도구인 개량 베틀은 오늘날 모시짜기에서 가장 많이 활용되는 도구이며, 대부분 동일한 구조로 되어 있으며, 지역에 따라 철, 나무 등 다양한 재료로 제작되었다. 그림 4의 왼편의 베틀은 서천에서 일반적으로 많이 사용되는 나무베틀이나 오른편의 베틀은 안동에서 환경적 영향을 줄이기 위하여 철로 제작된 사례이다. 직조는 직물 형태를 만들기 위한 중심적인 과정이다. 직조과정에서 오랜 시간에 걸쳐서 지속해서 반복-순환이 되는 핵심 기법이다. 전체과정은 표 3에 나와 있듯이 먼저 말코에 날실을 고정한 후 직물의 폭과 날실의 장력을 맞춰주기 위해서 모시를 어느 정도 짠 후에 말코에 감긴 천을 풀어 정리한다. 도투마리에 감겨 있던 천과 막대를 제거하고 직물의 끝을 정리하여 말코의 홈에 넣고 막대로 고정한다. 종광 2개를 설치하고 앞 종광을 들어 올리면 뒤에 종광은 내려가며 뒤 종광이 올라가면 앞 종광이 내려가게 되는데 아래 연결된 2개의 답목을 번갈아 밟아가며 잉아틀을 번갈아들어 올리고, 날실의 매 개구 사이로 위사를 투입하여 제직하게 된다.

Fig. 4.

Improved Loom Image[4]

Table 3.

Hansan ramie weaving improved loom weaving process[4]

3-3 선정된 센서 기록화 방식 비교

1) 관성 센서의 기록화 과정

관성 센서의 경우 총 머리에 1개/상반신 8개/하반신 8개로 나눠 IMU센서를 슈트에 장착 후 신체 수치 (키, 어깨너비, 팔길이, 발의 두께 등)을 측정하여 프로세서에 입력하여 연동된 공유기와 캘리브레이션 과정을 거쳐 데이터 전송을 확인한다 그 다음 공유기와 관절 센서가 인식된 것이 확인되면 기록화를 진행한다. 전체과정은 표 4의 좌측에서 확인할 수 있다.

Table 4.

Recording process for each sensor

2) 영상기반 센서의 기록화 과정

애저키넥트의 인식범위가 좁아 신체를 일부분만 촬영되어 정합에 문제를 줄 우려가 있으므로 Kinect v2를 추가로 사용하여 아래 표 4의 우측처럼 기록화를 진행하였다. 제직 과정 중 북으로 위사를 넣을 공간이 좁아질 때 팔랑개비에 걸린 줄을 풀고 말코에 직물을 감는 장면이 중간중간 들어가므로 동작을 나누고 해당 부분에 대한 동작을 중심으로 촬영하기 위해 일부 기록화 시 베틀의 오른편에 키넥트 3대를 배치하여 진행하였다.

3) 결과 데이터 비교

광학식 센서 데이터의 경우 직접적인 장착이 필요하지 않고 데이터 취득은 가능하다는 장점이 있다. 그러나 위의 표 4 우측의 motion recording 단계의 이미지에 나타나 있듯이 베틀의 부품/실로 인해 일부분의 동작이 취득되지 않아 이미지에서 붉은색으로 오류 표시가 확인된다. 이러한 동작의 데이터 취득이 어렵다는 단점 때문에 해당 방식으로 기록화를 진행했을 때 후처리 과정이 비효율적으로 진행되므로 제외하였다.

반면 관성 센서의 경우 위의 표 4의 좌측 motion recording 단계의 이미지와 같이 영상기반 센서보다 취득된 동작이 안정적으로 나타나 있으며 정확도는 높은 편이나 몸과 손바닥까지의 데이터만 가능하다는 제한 점이 있다.

데이터 결과를 비교했을 때 대상으로 선정된 제직 과정의 경우 세밀한 손동작보다는 전신의 움직임에 중점을 두고 있다는 점과 관성 센서 특징상 장애물의 영향이 없고 전신의 동작 데이터의 정확도가 높은 편이기 때문에 해당 센서를 제직 과정 기록화용으로 선정하였다.

Ⅳ. 한산모시 제직과정 전신 동작 기록화 방안

4-1 제직과정 전신 동작 기록화 과정

먼저 본 연구에서 제안하고자 하는 제직과정 전신 동작 기록화 방안은 다음과 같다. 먼저 기록화는 대상 혹은 현장에 따라 변동될 가능성이 있으나 전체적인 과정은 (1) Setting, (2)Calibration, (3) Motion Recording 세 가지로 나뉜다.

1) Setting

기록화를 진행 전 메인 시스템을 구동할 PC와 기록화 데이터를 취득할 센서를 설치하는 과정이다. 센서의 부착에 어려움을 겪거나, 현장 자체에서 WIFI의 지원이 어려울 경우는 대부분 메인 배터리에 무선을 설정하는 방식으로 변경하여 진행한다.

2) Calibration

기록화 센서 및 PC의 연결과 배치가 마무리되었을 때 데이터의 원활한 전송/자동 정합을 위하여 테스트를 거칠 필요가 있다. T/Npose(T:팔을 활짝 벌린 채로 데이터 정합할 때 기본적인 설정 자세. N: 일정 간격 동안 걸었다 돌아오며 데이터 배치 및 속도를 점검하는 테스트)를 사용하여 진행한다.

3) Motion Recording

모든 준비가 끝나고 본격적으로 기록화를 진행하는 과정이다. 배치된 센서가 흔들리거나 움직일 경우, 자체적인 데이터의 정확도가 낮아질 가능성을 고려하여 미리 준비과정에서 적절한 각도에 카메라를 배치하여 영상을 촬영한다. 동작 기록화 데이터 취득의 경우 2~3회 이상을 반복하여 데이터를 취득하는 편을 추천하며 동작에 따라 기록화 시간을 고려할 필요가 있다.

Fig. 4.

Hansan Mosi weaving recording and processing result data

Ⅴ. 결 론

본 연구에서는 공예와 ICT 기술을 접목한 기록화 연구사례에서 사용한 기술 및 센서를 확인하고 한산모시짜기 제직 과정에 적절한 기록화 방안을 도출하여 제안하였다. 기존 연구사례를 기반으로 광학식과 관성, 두 가지 센서를 선정하여 데이터를 비교하였으며 최종적으로는 위의 그림5와 같이 관성 센서를 기반으로 한산모시짜기 기능보유자 방연옥 선생님의 제직과정을 기록하였다.

단일센서를 기반으로 결론을 도출하였을 때 개량 베틀의 구조와 도구를 쥐고 이른 시간 내로 움직이는 제직 과정 특성상 관성 센서를 선정하여 기록화를 진행하였으나 제직 과정에서 이어지는 과정 혹은 베틀을 사용하지 않는 직조과정에서는 손가락 움직임이 두드러지므로 이에 대해서는 기록화가 어렵다는 한계점을 가지고 있다는 아쉬움이 있다. 그러나 글러브를 장착하거나, 센서를 부착하기엔 제작과정에서 문제가 될 수 있으므로 향후 연구에서는 이 과정의 해결점을 찾기 위해 영상기반 센서와 관성 센서를 조합한 새로운 기록화 방식의 프레임워크를 구성해보고자 한다.

현재 무형문화유산에서 공예 과정은 지속적인 산업화와 함께 시대의 흐름에 맞춰 점차 변화되고 있다. 이러한 변화과정에서 도구 및 공예방식 또한 개선해나가는 과정에서 기존의 공예방식이 점차 사라져나간다는 문제점 또한 존재하고 있다. 이를 방지하기 위해 지속해서 공예방식을 디지털로 기록화하여 공예방식의 특성을 보존해야 할 필요가 있다. 본 연구에서 제시한 내용은 국내의 무형문화유산 공예 분야에서 기록화 및 동작 인식 등의 ICT 기술을 접목하여 단순히 동작을 기록화할 뿐만 아니라 관련 데이터를 별도의 형식으로 출력하여 활용할 수 있다는 점을 기반으로 해당 공예방식에 적절한 기록화 방식을 제안하였다. 이를 토대로 공예 분야에서 다양한 기술, 도구의 변화를 기록화하여 추후 이를 기반으로 전승 및 보존 등 여러 방향으로 활용할 수 있을 것으로 기대한다.

Acknowledgments

이 논문은 ‘한국전통문화대학교 대학원 연구개발지원 사업’의 지원을 받아 수행된 연구임

References

• Intangible Cultural Heritage in the Asia-Pacific Region under the auspices of UNESCO, Identifying and Inventorying Intangible Cultural Heritage [Internet] Available: http://www.https://ich.unesco.org/en/convention
• Kim Ji-Hee, Lee Young-hak, “A Study on the Documenting of Intangible Cultural Heritage and the Center for Transmission Education" A Study on Archives Vol,56, pp. 147-182, May 2018
• Quarterly community. Hand that catches the wind by splitting bamboo meat - Important Intangible Cultural Heritage No. 88 Body Jang Jin-gap Gu, Quarterly Community Vol. 38, 2001.
• Shim, Yeon-ok, Park Ki-chan, Geum Da-nun, Seo Heon-gang, Hansan Mosi Weaving: Intangible Cultural Heritage Training School Textbook: National Intangible Cultural Heritage No. 14, Korea University of Traditional Culture, 2020
• Intangible Cultural Heritage Division, Cultural Heritage Administration [Internet] Available: http://www.cha.go.kr/newsBbz/selectNewsBbzView.do?newsItemId=155701785&sectionId=b_sec_1&pageIndex=107&strWhere=&strValue=&mn=NS_01_02
• K. Dimitropoulos et al., "A Multimodal Approach for the Safeguarding and Transmission of Intangible Cultural Heritage: The Case of i-Treasures," in IEEE Intelligent Systems, Vol. 33, No. 6, pp. 3-16, Nov.-Dec 2018 [https://doi.org/10.1109/MIS.2018.111144858]
• Sotiris Manitsaris, Alina Glushkova.“ Gesture recognition and sensorimotor learning-by-doing of motor skills in manual professions: A case study in the wheel-throwing art of pottery”. Journal of Computer Assisted Learning, Vol. 34, No. 1, pp.20-31. 2018 [https://doi.org/10.1111/jcal.12210]
• Z. Gang, Z. Hui, D. Bingbing, Y. Yali and Z. Wenjuan, "Research on Tujia Brocade Craft Visualization Based on Unmarked Motion Capture Technique," 3rd IEEE International Conference on Cybernetics, London, pp 1-5,2017. [https://doi.org/10.1109/CYBConf.2017.7985803]
• Partarakis, N.; Zabulis, X.; Chatziantoniou, A.; Patsiouras, N.; Adami, I. “An Approach to the Creation and Presentation of Reference Gesture Datasets, for the Preservation of Traditional Crafts”. Appl. Sci, Vol. 10, No, 20, pp. 43-57 Actober 2020 [https://doi.org/10.3390/app10207325]
• Dimitrios Ververidis, Sotirios Karavarsamis, Spiros Nikolopoulos, and Ioannis Kompatsiaris.“Pottery gestures style comparison by exploiting Myo sensor and forearm anatomy”. In Proceedings of the 3rd International Symposium on Movement and Computing, New York, USA, pp, 1–8, June 2016 [https://doi.org/10.1145/2948910.2948924]
• Jung Eun-sol. A study on the 4D recording method of intangible heritage, Master of Science, Korean Master's Thesis Korean Cultural University, Chungcheongnamdo, 2020.
• Azure Kinect DK Documentation, Microsoft [Internet] Available:https://docs.microsoft.com/ko-kr/azure/Kinect-dk/
• Xsens cases, Xsens [Internet] Available: https://www.xsens.com/explore?filter=cases
• Shi, G.; Wang, Y.; Li, S. “Human Motion Capture System and its Sensor Analysis”. Sens. Transducers, Vol. 172, No. 6, pp. 90-97 June 2014