전통 공예 종목 동작 기록화의 고도화 및 활용 방안 제언

Ⅰ. 서 론

무형 문화유산의 가치는 고정된 것이 아니라 기술과 시대에 따라 변화·변형이 일어날 수 있으므로 이전의 원형을 토대로 파생된 문화유산 역시 연속적으로 기록화의 필요성이 대두되고 있다[1]. 제도는 전승자의 전수 교육 기반으로 진행되고 있으며, 전수 과정에 대한 디지털 기록화 작업은 주로 이미지, 동영상 및 자서전 위주의 형태로 이루어지고 있다[2].

최근 국내외적으로 무형 문화유산의 보존 및 전승을 위해 ICT 기술을 접목한 기록화 방식들이 등장하고 있다[3]. 주로 전통 무용 분야에서 무용수의 동작을 광학식 또는 관성 센서 등 다양한 기종의 동작 센서들을 사용하여 기록화하는 방안들을 제시하고 있다[10].

광학식 센서의 경우 별도의 센서를 몸에 부착할 필요 없이 편리하게 몸동작의 기록이 가능하다는 장점이 있으나, 신체 혹은 옷 등의 가려짐으로 인해 정확도가 부정확하다는 한계를 보였다[4]. 관성 센서의 경우 센서를 몸의 관절에 부착하여 동작 기록을 정확하게 할 수 있는 장점은 있으나, 복식이나 장신구를 착용하지 못하는 단점이 있다[12].

한편, 무용 종목과 달리 전통 공예 종목의 동작 기록화는 종목의 특성에 맞는 동작 기록화 방식이 필요하고, 제작 과정 중 자신의 신체 혹은 물체에 의한 가려짐 때문에 동작 추적이 어려운 점이 많이 발생한다. 또한, 이러한 동작 기록 데이터를 가상증강현실 콘텐츠 등에서 활용하는 방안이 적극적으로 필요하다.

본 연구에서는 기록화 관련 연구들에서 사용된 4D 동작 기록 센서 및 기술을 분석하여 전통 공예 방식에 적합한 방안을 제안하고자 한다. 또한, 동작 기록화된 데이터의 활용 증대를 위해 메타버스 및 교육콘텐츠 등 최근 사례를 통해 활용 방향을 제시하고자 한다.

Ⅱ. 국내외 동작 기록화 방안 연구

국내외 무형유산을 대상으로 한 동작 기록화 연구는 주로 무용 종목 한에서 수행되어 왔으며, 주로 영상에서 동작을 취득하는 광학식 방식과 직접 시연자의 신체에 센서를 부착하는 관성식 방식으로 구분된다.

먼저 광학식 사례의 경우 영상을 기반으로 하는 비 마커 기반과 시연자의 몸에 마커를 부착하는 방식으로 구분되는데, 먼저 비 마커 기반 방식의 경우 중국 소수민족 전통 방식 직조과정 기록을 위해 키넥트(Kinect)[5], 립모션(Leap motion)[6]을 사용하여 중국 섬유 제직 과정을 기록하여 전시 및 전승 교육을 위한 기록 방식을 보여주고자 하였다. 그러나 손동작을 취득하는 센서가 단일로 설치되어 있어 기록 대상이 가려지는 한계가 있다[7].

K. Dimitropoulos[8]는 유럽의 무형유산 기록 프로젝트 i-Treasures에서 진행된 사례로, 도예 데이터 취득을 위해 두 대의 키넥트와 한 대의 립모션을 사용하여 총 3곳의 시점에서 데이터를 취득했다. 하지만 장애물에 의한 가려짐 문제로 제한점을 가지고 있다.

김기효[9]는 200대 이상의 카메라를 사용하여 전통 무용인 ‘춘앵전’과 ‘살풀이’를 3D 데이터로 복원하였다. 하지만 여러 대의 카메라를 사용해 춤추는 형태 자체를 기록한 것이므로 다른 활용 부분에 적용하기엔 어려운 점이 있다.

반면 다수의 기록화가 필요하거나 옷 혹은 기물에 의한 가려짐이 많은 경우는 마커를 부착한 광학식 방식을 이용하였는데, 박원모[10]는 모션 캡처 기술을 이용하여 승무·살풀이·태평무를 중심으로 무형문화재 보유자의 3차원 움직임을 연속적으로 획득하는 연구를 수행하였는데 관절 움직임을 수치화하여 기록하는 제안을 목적으로 진행되었다. Yun-Sheng Syu[11]는 대만 무형유산 ‘Bā Jiā Jiāng’ 퍼레이드에 모션 캡처를 사용하여 다수의 인물에 대한 기록화를 진행하고자 하였다. 그러나 3인 이상의 모션 캡처 진행 시, 마커가 가려지면서 데이터의 정확도가 떨어져 개인 혹은 2인의 기록화형식으로 진행하였다.

위의 연구사례는 단일센서를 기반으로 동작 기록을 수행했다면 다중 센서를 접목한 사례도 있다. Partarakis[12]는 관성 센서와 광학식 센서를 사용해 개량베틀 제작 과정을 기록화하여 실시간으로 3D 객체화된 데이터와 촬영된 영상을 동시에 비교하며 데이터 편집 및 시스템을 제안하였다.

이외에도 데이터 취득을 위해 여러 기종의 센서를 기반으로 연구가 수행되었는데, Dimitrios[13]는 도예 과정에서 흙과 물을 만져야 하는 특성 때문에 손에 센서를 부착할 수 없어 팔 근육의 신호를 확인할 수 있는 Myo band[14]를 사용해 기록화를 진행하였다. 팔 근육 움직임에 따라 손의 각도를 추정하므로 데이터의 정확도가 떨어진다는 한계가 있다. 마지막으로 이종욱[15]은 기존의 무용 동작 기록 방법에서의 한계, 기록 정보의 확인 어려움, 기록 정보의 한계점들을 웨어러블 디바이스와 애플리케이션으로 무용 동작을 기록하고 웨어러블 디바이스와 시각화 애플리케이션의 프로토타입을 제안하고 평가하였다. 기존 연구사례를 참고했을 때, 표 1과 같이 구분되는데 크게 센서를 활용하여 영상에서 동작을 취득하는 방식과 직접 시연자의 신체에 센서를 부착하는 접촉방식으로 구분된다. 본 논문에서는 표 1의 연구사례들 및 동작 캡처 센서들을 기반으로 각 동작에 적합한 기록화 방식을 선정했으며 두가지 (광학 및 관성)의 센서의 기록화 과정을 거쳐 데이터를 확인 후, 적합한 방식을 선정하고자 하였다.

Table 1.

Researches of motion recording methods

Ⅲ. 전통 공예 동작기록화

3-1 전통 공예 대상 선정

전통 공예 종목은 제작 과정, 도구 등 다양한 환경적 특성을 가지고 있어 종목별 적절한 동작 기록화가 필요하다. 본 논문에서는 전통 공예 종목 중 대표적으로 누비, 한산모시, 옹기를 대상으로 동작 기록화 방법을 고찰하고자 한다(표 2 참고).

Table 2.

Selected targets of intangible heritage

3-2 전통 공예 동작 기록화 과정 및 결과

1) 누비 직조 과정 동작 기록화

누비는 피륙의 보강이나 방한을 위한 실용적인 목적으로 누비옷이나 침구류에 주로 활용되었으며 바느질 기법의 하나이다[18]. 곧은 선으로 누비는 방식을 유지함으로써 우리나라 누비의 전통을 지켜왔으나, 현재는 제작 시간과 상품성이 떨어진다는 이유로 전통 손 누비 방식이 점차 사라져가는 추세다.

전통 복식 전문가의 의견을 거쳐 다양한 누비 기법 중 기본이 되는 홈질을 기반으로 기록화를 진행하고자 한다. 동작 기록화할 누비 홈질 과정은 표 3과 같다.

Table 3.

Process of Nubi[16]

손동작 위주로 진행되는 홈질 과정의 경우 손동작이 자신의 손에 의해 빈번히 가려지는 현상이 있고, 얇은 바늘을 쥐고 홈질 과정을 수행하는 특이점이 있다. 이러한 어려움과 특이점에 강건한 손 추적 기법이 필요하다.

표 4와 같이 광학 센서와 관성 센서를 기반으로 각각 기록화를 진행했으며, 광학식 센서의 경우 립모션을 외부(측면)와 내부(목 부위) 시점으로 배치한 뒤, 각 센서의 영상 데이터를 정합해 프레임별로 관절 위치를 출력하였다[17]. 관성 센서의 경우 손가락 관절 부분에 센서를 부착하고, 손목 부분에 바이브 트래커를 부착하여 위치 데이터를 보정 하여 손 동작을 추적하였다.

Table 4.

Comparison of hand quilting motion recording [17]

정확도 측면을 살펴보면, 광학식 센서 조합 방식이 관성식 센서 조합 방식보다 표 4에서 결과 이미지와 같이 정확한 추적 결과를 보인다. 비교적 광학식 센서 구성은 어떠한 장갑을 끼지 않고 바느질을 수행하기 때문에 바느질 과정 중 미끌림이 없었고, 빈번한 자기 손에 의한 가려짐의 문제를 다른 지점의 광학 센서를 통해 보완해 주기 때문에 강건한 손 추적이 가능하다. 한편 관성식 센서의 경우 장갑 형태로 착용하기 때문에 바느질 손동작을 정확히 추적하기 어려운 결과를 보인다.

2) 한산모시 직조 과정 동작 기록화

한산모시짜기는 1995년 유네스코 인류 무형유산에 등재되었으나 현재 국가무형문화재 전승 취약종목으로 확인되어 이에 대한 해결방안이 필요한 상황이다[18].

동작 기록화할 한산모시 짜기 과정은 표 5와 같다. 모시 짜기 과정에서 시연자가 베틀에 앉아 모시 원단을 제작하는 제직 과정을 중심으로 기록화를 진행한다. 한산모시 짜기 과정을 동작 기록 시 어려움은, 직조 과정을 수행할 때 베틀에 의해 시연자의 몸 및 손동작이 빈번히 가려진다는 것이다.

Table 5.

Process of Hansan mosi weaving

동작 기록을 위해, 광학식과 관성식 시스템 구성을 표 6와 같이 진행하였다. 베틀, 도구 등의 가려짐에 강건한 추적을 위해 광학식 시스템 구성에서는 여러 대의 키넥트 센서들을 다양한 시점에 배치하였다. 또한, 관성식 시스템은 관성센서가 부착된 Xsens 기기를 이용하였다[19].

Table 6.

Comparison of recording process of Hansan mosi weaving

동작 기록의 정확도 측면을 살펴보면, 관성식 센서 구성 이 광학식 센서 구성 방식보다 표 6에서 결과 이미지와 같이 정확한 추적 결과를 보인다. 관성식 센서 구성은 광학식 센서 구성에 비교하여 베틀, 도구, 신체 등의 가려짐에 강건한 추적을 보였다.

한편 보다 정확한 손동작을 기록하기 위해 관성식 센서 구성에서 별도의 관성식 글러브를 착용이 필요하다. 제작과정 특성상 도구를 쥐고 베틀을 움직이거나, 끊어진 실을 잇거나 하는 제작과정의 특성 때문에 글러브 장착이 어렵기 때문에 맞춤형 센서 글러브 제작이 필요하다.

3) 옹기 제작 동작 기록화

국가무형문화재 제96호로 지정된 옹기장 종목은 1990년 이종각, 이옥동, 이내원 3인이 무형문화재로 지정되면서 이후 그 후손들이 전통 옹기 제작 기술을 전승·보존하고자 노력하고 있다[16]. 그러나 현재의 옹기장은 고령으로 인해 실제 옹기 제작에 적극적으로 참여할 수 없으므로 후손을 중심으로 한 이수자와 전수 교육생에게 옹기 제작 기술을 온전히 전달해 줄 수 있는 장치가 필요한 상황이다. 기록화 할 옹기 제작 과정은 표 7과 같다.

Table 7.

Onggi making process [20]

옹기 제작 과정의 경우, 제작과정의 특성상 손과 도구에 충분히 물을 적셔야 옹기를 제작할 때 매끄럽게 진행이 되므로 동작 기록 센서를 손 관절에 부착이 어려우며, 옹기의 크기가 커질수록 손의 움직임을 감지하기가 어렵다는 문제점을 가지고 있다.

동작 기록을 위해, 광학식 시스템 구성은 그림 1과 같다. 옹기, 도구, 자신의 신체 등의 가려짐에 강건한 추적을 위해, 광학식 시스템 구성에서는 여러 대의 키넥트 센서들을 다양한 시점에 배치하였다.

Fig. 1.

Configuration for motion recording of Onggijang

동작 기록의 정확도 측면을 살펴보면, 표 8에서의 결과 이미지와 같이 정확한 추적 결과를 보인다. 제안한 광학식 센서 구성은 옹기, 도구, 자신의 신체 등의 가려짐에 강건한 추적을 보였다. 한편 관성식 방법은 손과 도구에 물기가 존재하기 때문에 시스템 구성을 할 수 없었다.

Table 8.

Comparison of Onggijang recording process

Ⅳ. 활용방안 제안

4-2 동작 기록 데이터와 맥락적 정보 활용

무형유산을 소재로 활용하는 디지털 콘텐츠의 경우 데이터를 활용하는 점 하나에만 집중되기 때문에 순간적인 몰입도는 높을 수 있으나, 이에 관련한 시대적 배경 및 기물 등을 통해 학습자에게 장기적인 기억으로 남겨주기는 어려울 수 있다. 콘텐츠를 구성하되, 이에 관련한 음향효과 및 배경, 기물 등을 같이 배치하여 사용자가 그 당대의 환경과 공예가 진행된 맥락적 요소를 이해할 수 있도록 구성할 필요가 있다.

Spyros Diakinesis[21]는 아테네 시대의 고대 아고라를 가상현실로 재현하여 여러 명의 사용자가 NPC와의 퀘스트를 거쳐 학습을 진행하는 방식을 구현하였다. Cuiting Kong[22]은 중국의 무형유산 악기인 디아볼로를 기반으로 전수자와 디자이너가 가상현실의 구현과정을 설계하여 향상하는 것을 목표로 연구를 진행하였다.

Fig. 2.

Examples of virtual reality contents of intangible heritage [21], [22]

무형유산 중심 콘텐츠 연구 분야는 위와 같이 기록화 데이터를 기반으로 학습시스템을 제안하거나, 무형유산을 소재로 활용하는 디지털 콘텐츠 연구개발사례로 나뉜다. 무형유산을 소재로 진행했을 때 데이터를 활용하는 점 하나에만 집중되기 때문에 순간적인 몰입도는 높을 수 있으나, 이에 관련한 시대적 배경 및 기물 등을 통해 학습자에게 장기적인 기억으로 남겨주기는 어려울 수 있다. 공예 과정에서 사용되었던 제작 도구 및 환경 등을 동작과 함께 기록화하고, 무형유산원에서 보유한 이미지, 구술 채록 등의 데이터와 함께 실제 공간을 시각화하여 살펴볼 때 그 맥락적 정보와 함께 몰입 요소를 증폭하여 구성하는 방안이 필요하다.

4-3 기록화 데이터 기반 가상현실 교육형 콘텐츠

현재 국내에서는 3D 스캐닝과 4D 동작 기록화를 진행하면서 기록화 방법에 중점을 두는 사례들이 많이 등장하고 있지만, 기록화 데이터 취득에 목적을 두고 연구를 진행하는 사례가 대다수다. 이러한 부분을 통해 실제 기록화된 데이터를 기반으로 가상현실 콘텐츠에서 옹기 제작 과정과 한산모시짜기를 기반으로 전통 직조 과정 및 직조 도구의 실제 데이터를 어떻게 활용할 것 인가를 확인함으로써 무형유산 동작 기록데이터의 활용성을 확인할 수 있다 (그림 2 참조).

Fig. 3.

Virtual reality contents via motion recording data

Ⅴ. 결론

본 연구에서는 기록화 연구사례를 기반으로 각 방식의 특성을 분석하여 세가지의 전통 공예 과정에 적절한 방식을 도출하여 기록화를 진행하였다. 기존 연구사례를 기반으로 센서를 선정 후 기록화된 데이터를 비교하여 적절한 방안을 도출하였다. 본 논문에서는 기존 연구에서 진행된 방식을 기준으로 기록화를 진행하였으나, 이후 기술의 개발에 따라 시연자 및 관련 종목의 전문가와 함께 데이터 보정 및 고증 과정을 거쳐방식을 재선정해야 할 필요가 있다. 또한 이에 대한 실제 공간을 기반으로 맥락적 요소를 강화하여 VR 기반으로 기록화 데이터를 적용해 콘텐츠 활용방안을 제시하였다.

앞으로도 무형 문화유산의 활성화 및 전승을 위하여 최근 플랫폼에 맞는 형식으로 기록화 방식을 개선하고 이에 대한 지속적인 활용 방향에 대한 제안이 필요하다.

Acknowledgments

이 논문은 ‘한국전통문화대학교 대학원 연구개발지원 사업’의 지원을 받아 수행된 연구임

References

• Intangible Cultural Heritage in the Asia-Pacific Region under the Auspices of UNESCO, Identifying and Inventorying Intangible Cultural Heritage [Internet]. Available: https://ich.unesco.org/en/convention
• J. Kim and Y. Lee, “A Study on the Documentation Method of Intangible Cultural Heritage and Training Center,” The Korean Journal of Archival Studies, No. 56, pp. 147-182, May 2018. [https://doi.org/10.20923/kjas.2018.56.147]
• J. Baek, A. Jo, S. Yoo, T. Kim, and H. Oh, “Development and Application of Evaluation Factors for Digitalization of Intangible Cultural Heritage Archives and Information Resources,” Journal of the Korean Society of Archives and Records, Vol. 19, No. 3, pp. 123-153. May 2019. [https://doi.org/10.14404/JKSARM.2019.19.3.123]
• E. Seong, Reduction and Return of Jinju Gyobang Gutgeori Dance Using Motion Capture, Domestic Master’s Thesis, Sungkyunkwan University, Seoul, 2014.
• Microsoft, Azure Kinect and Kinect Windows v2 Comparison, [Internet], Available: https://learn.microsoft.com/ko-kr/azure/kinect-dk/windows-comparison
• Ultraleap, Leap Motion Controller [Internet], Available: https://www.ultraleap.com/product/leap-motion-controller/
• G. Zhao, H. Zan, B. Di, Y. Yu, and W. Zhu, “Research on Tujia Brocade Craft Visualization Based on Unmarked Motion Capture Technique,” in Proceeding of 2017 3rd IEEE International Conference on Cybernetics, Exeter, UK, pp. 1-5, June 2017. [https://doi.org/10.1109/CYBConf.2017.7985803]
• K. Dimitropoulos, F. Tsalakanidou, S. Nikolopoulos, I. Kompatsiaris, N. Grammalidis, S. Manitsaris, ... and A. Manitsaris, “A Multimodal Approach for the Safeguarding and Transmission of Intangible Cultural Heritage: The Case of i-Treasures,” in Proceeding of IEEE Intelligent Systems, Vol. 33, No. 6, pp. 3-16, January 2018. [https://doi.org/10.1109/MIS.2018.111144858]
• K. Kim, “Development of Methodology for Recording Dance Events among Intangible Cultural Heritage,” Arts and Humanities Society Convergence Multimedia Journal, Vol. 8, No. 4, pp. 615-625, December 2018. [https://doi.org/10.35873/ajmahs.2018.8.4.056]
• W. Park, J. Ko, and Y. Kim, “Documentation of Intangible Cultural Heritage Using Motion Capture Technology Focusing on the Documentation of Seungmu, Salpuri and Taepyeongmu,” Korean Journal of Cultural Heritage Studies, Vol. 39, pp. 351-378, December 2006. [https://doi.org/10.22755/kjchs.2006.39.351]
• Y. S. Syu, L. Chen, and Y. F. Tu, A Case Study of Digital Preservation of Motion Capture for Bā Jiā Jiāng Performance, Taiwan Religious Performing Arts, in Digital Heritage. Progress in Cultural Heritage: Documentation, Preservation, and Protection, pp. 103-110, Cham: Springer, October/November 2018. [https://doi.org/10.1007/978-3-030-01765-1_12]
• N. Partarakis, X. Zabulis, A. Chatziantoniou, N. Patsiouras, and I. Adami, “An Approach to the Creation and Presentation of Reference Gesture Datasets, for the Preservation of Traditional Crafts,” Applied Sciences, Vol. 10, No, 20, pp. 43-57, October 2020. [https://doi.org/10.3390/app10207325]
• D. Ververidis, S. Karavarsamis, S. Nikolopoulos, and I. Kompatsiaris, Pottery Gestures Style Comparison by Exploiting Myo Sensor and Forearm Anatomy, In Proceeding of the 3rd International Symposium on Movement and Computing, New York, USA, pp. 1-8, July 2016, [https://doi.org/10.1145/2948910.2948924]
• Thalmic Labs, Myo Sensor [Internet] Available: www.myo.com, .
• J. Lee, “A Wearable Device for Recording Dance Movement,” Journal of the Korean Digital Contents Association, Vol. 20, No. 9, pp. 1893-1898, September 2019. [https://doi.org/10.9728/dcs.2019.20.9.1893]
• National Research Institute of Cultural Heritage, Nubijang, Folklore Center, 2008.
• E. Jung, A Study on the 4D Recording Method of Intangible Heritage, Master of Science, Korean Master’s Thesis, Korean Cultural University, Chungnam, March 2020.
• Y. Shim, K. Park, D. Geum, and H. Seo, Hansan Mosi Weaving: Intangible Cultural Heritage Training School Textbook: National Intangible Cultural Heritage No. 14, Korea University of Traditional Culture, 2020.
• H. Won and J. Yoo, “Proposal of Whole Body Motion Recording of Hansan Ramie Weaving Process,” Journal of Digital Contents Society, Vol. 23, No. 3, pp. 381-387, February 2022. [https://doi.org/10.9728/dcs.2022.23.3.381]
• H. Lee, The Onggijang, Folk House, 2010.
• S. Vosinakis, N. Avradinis, and P. Koutsabasis, Dissemination of Intangible Cultural Heritage Using a Multi-agent Virtual World, in Advances in Digital Cultural Heritage, pp. 197-207. February 2018. [https://doi.org/10.1007/978-3-319-75789-6_14]
• C. Kong and L. Zhang, “Developing a Co-Design Process Model for the Digital Presentation of Intangible Cultural Heritage: A Case Study of “Warm Inheritors Digital Diabolo,” ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. 8, No. 1, pp. 89-94, August 2021. [https://doi.org/10.5194/isprs-annals-VIII-M-1-2021-89-2021]
• Korea of Cultural Heritage Administration, Cultural Heritage Love, pp. 46-47, Vol. 207, February 2022.