무용 동작 기록을 위한 웨어러블 디바이스

2-1 무용 기록 사례

무용의 동선을 기록하기 위한 시도는 무용의 기록의 필요성을 깨달으면서 부터 시작되었다. 초기에는 춤의 동선을 악보와 텍스트와 함께 노트에 기록하는 고전적인 방식인 무용 기보법(Dance Notation)이 주로 사용되었다. 대표적으로 보샹-푀이에 무보법(Beauchamp-Feuillet notation)은 무용수의 동선과 동선상의 움직임(턴이나 스텝)을 표기한다[5]. 그러나 이 방식은 기록물을 읽을 수 있는 능력이 요구되어 일반인이나 초심자가 접근하기에 어려운 점이 있었다.

이후 필름과 비디오 기술의 발전으로 실연과정을 모두 비디오에 기록하는 방식이 사용되었다. 그러나 이 방식은 카메라 앵글의 한계로 인해 특정 위치의 동작을 기록하는데 어려움이 있었다. 또한 이차원적인 정보만을 받아들일 수 있어 깊이 정보를 받아들이기 어려우며, 저장방식에 따라서 내용물이 퇴색되거나 기계적인 문제가 발생하면 정보를 잃기 쉽다는 문제점이 있었다[6].

최근에는 위의 방식들을 개선하여 모션 캡쳐(motion capture) 기술을 이용하여 동작과 동선을 기록하는 방식이 주로 사용된다. 모션 캡쳐란 몸에 센서를 부착시키거나, 적외선을 이용하는 등의 방법으로 인체의 움직임을 디지털 형태로 기록하는 작업을 말한다. 예를 들어, Park(2006)은 이매방, 이애주, 정재만의 승무, 이매방의 살풀이춤, 강선영의 태평무를 모션 캡쳐 기술을 이용하여 무용수의 3차원 위치 좌표를 기록하였다 [7]. 하지만 슈트 착용으로 인한 동작 문제, 그림자, 의상에 의해 마커가 가려지는 문제, 적외선 카메라를 갖춘 스튜디오에서만 촬영해야 하는 한계점 등을 가지고 있었다. 다른 사례로 Kahn(2012)은 마커리스(markerless) 모션 캡쳐를 사용하여 2D 실루엣을 촬영하고 촬영한 데이터의 머리부분을 트랙킹하여 3D 동선을 제작하였다. 하지만 이 방법은 동선의 이동을 시각화할 뿐 각각의 스텝을 기록하는 것은 불가능하였다[8]. 최근에는 depth maps과 color image 정보를 획득하여 이를 3차원 정보로 변환하여 무용 동작 및 위치 정보를 기록하는 시도가 있었다. 하지만 이들은 무용 동작을 기록할 뿐 기록 정보를 활용할 수 있는 어플리케이션의 제안에는 이르지 못하였다[9].

한편, 웨어러블 디바이스는 복장이 갖춰진 상태에서 기록이 가능하며 간단한 장치의 준비만 필요해 시간과 공간의 제약을 적게 받는다는 장점이 있다. 웨어러블 디바이스를 공연에 적용한 사례는 다수 존재한다. Paradiso(1998)는 댄서의 발 동작을 신발이 포착하여 음악으로 전환하는 디바이스를 고안한바 있고[10] Fujimoto(2009)는 3축 무선 가속도 센서를 이용하여 동작에 따른 음악이 연주되도록 하였다[11]. 기존의 연구들은 웨어러블 디바이스를 무용수의 동작에 따른 상호작용 콘텐츠를 재생하는데 활용하였을 뿐 무용 동작의 기록에 활용한 바 없다. 웨어러블 디바이스는 간단한 장비를 통해 무용 동작을 효과적으로 기록할 수 있기 때문에 이에 대한 탐색적인 연구가 필요하다.

Table 1.

Comparison of dance record method

2-2 무용 디지털 아카이브 사례

무용의 동작 기록 데이터를 저장하고 관리하여 서비스한 사례들도 존재한다. 예를 들어, Kavakli(2004)는 모션 캡쳐를 통해서 그리스와 영국의 전통춤의 동작을 기록하고 이를 학습할 수 있는 가상현실(virtual reality) 환경을 구현하였다[12]. 또한 각종 자료조사를 통해서 전통춤과 연관된 지식을 웹에서 제공하였다. 그러나 이 서비스는 춤의 예술적인 내용보다는 일반적인 내용을 중심으로 동작 정보를 제공하고 세밀한 동작 정보를 확인할 수 없다는 한계점이 있다.

한편, Hachimura(2006)는 일본의 전통춤인 노(Noh)와 그것이 실연된 무대를 가상환경에서 에듀테인먼트 콘텐츠로 사용될 수 있도록 하였다[13]. 그는 기존에 영화와 게임제작에만 활용되어 왔던 광학식 모션 캡쳐 기술을 이용하여 전통춤인 노를 기록하고 기존의 무용 기록방법인 라바노테이션(Labanotation)을 대체할 수 있는 모션 캡쳐 데이터베이스를 제안하였다. 그러나 이는 무용 동작 정보를 획득하기 위하여 다수의 센서를 부착해야 하는 한계점이 있다.

Ma(2018)는 베트남의 전통춤과 관련된 무형유산 정보를 관리하기 위해 전통춤 정보의 연관 관계를 반영하는 ontology를 제안하였다. 이는 향후 디지털 아카이브를 구축하고 일반인에게 서비스하는 플랫폼에 활용될 수 있다[14].

디지털 아카이브를 온라인 플랫폼으로 구현한 사례도 있다. Motion bank는 이용과 공유가 가능한 온라인 플랫폼을 창출하는 것으로 온라인 상에서 움직임에 관련된 광범위한 자료를 제공함과 동시에 안무에 관한 아이디어와 연구개발과정을 공유하는 사이버 공간이다[15]. 춤의 정확한 동작을 기록, 교육하기 보다는 춤과 연관된 관념적인 내용들을 학습할 수 있는 웹 콘텐츠들을 제공하고 있다. 이 플랫폼은 각 장르별로 다른 디지털 기술과 접근 방식을 사용하여 춤의 내면적인 내용을 전달하고 있다. 하지만 일반인이 무용 동작을 학습하거나 이해하는데 어려움이 있다.

Sioban Daivies Dance Archive는 영국 최초의 디지털 댄스 아카이브로 현대무용가 Sioban Daivies의 안무를 기록하고 관련 자료를 수집하는 것을 목적으로 한다[16]. 안무자가 창작의 본질을 탐구하고 창작과정의 기록에 개입하는 특징을 가지고 있다. 디지털 아카이브는 관련 기관, 기증자로부터 동영상, 오디오, 이미지, 텍스트 자료를 기증 받아 보유하고 있다. 비디오 스틸 자료를 통해 프레임별로 발췌가 가능하며 안무형식, 공간패턴, 조명변화와 제스쳐 등 춤의 분위기나 변화를 시시각각으로 읽을 수 있고 효율적인 메타데이터를 제공한다. 그러나 무용의 속성을 디지털 기기에 고정적으로 제시해야 한다는 점, 기술의 발전에 따라 업데이트를 필요로 한다는 점, 저작권 관리가 어렵다는 점, 무용가가 통제권을 잃을 수 있다는 점이 한계점으로 제시된다[7].

본 연구는 어플리케이션을 제안하기 위한 방법을 구체적으로 제안하고, 제안된 방법을 평가함으로써 궁극적으로는 디지털 기술을 활용하여 무용수의 동작을 효과적으로 기록하고 아카이빙하도록 하는 것을 목표로 한다. 이것은 무용수가 스스로 자신의 무용 동작을 확인하는데 도움을 줄 수 있고, 다른 무용수에게도 참고자료로 활용될 수 있다.

3-1 시스템 개발

2) 보행정보 판단 및 이동거리 도출

본 연구는 보행정보를 판단하고 이동거리를 도출하기 위해 가속도 센서를 사용한다. 가속도 센서는 중력 가속도 성분을 포함한 데이터를 보여주기 때문에 순수 가속도를 검출하려면, 중력 가속도 성분을 제거해야 한다. 가속도 센서를 단순히 적분을 통하여 위치를 추정하는 데에는 큰 오차가 따르므로, 가속도 센서값의 파형을 보행 여부 판단의 용도로 사용하며 보행 시 그에 따른 평균 보폭을 더해간다. 이 연구에서는 상대적 속도가 0이 되는 시점에 속도를 0으로 수정하는 방법을 이용하였다. 보행자의 보행 여부에 따라 중력 방향 가속도의 표준편차가 달라지므로 이를 이용하여 보행, 비보행 여부를 판단할 수 있다. 회전각의 측정을 위해 자이로 센서를 통해 각속도를 측정하고, 적분을 통해 회전각을 도출한다.

가속도 센서의 각 배열의 값은 m/s2 단위로 되어있으며, 접촉힘(contact force)을 측정한다. 본 프로젝트에서는 크게 움직이면 생기게 되는 갑자기 생기는 물리적인 오류로 인한 샘플들을 제거하기 위하여 10번의 샘플링마다 상위 2개 하위 2개 정도는 제하고, 중간 6개 정도의 값을 평균을 내서 하나의 값으로 사용한다.

또한 TCP 프로토콜을 사용해 PC와 스마트폰 간 통신을 시도한다. 스마트폰의 서버에 PC가 접속하여 센서 정보를 받는다. 통신 환경으로 인한 딜레이를 막기 위해 PC와 스마트폰은 같은 router에 연결한다. Time, HeadX, HeadY, HeadZ, m.north, t.north, head.accuracy, pitch, roll, yaw, GyroX, GyroY, GyroZ, AccX, AccY, AccZ 순서로 메시지가 전송된다. 이 데이터들은 향후 이동거리 의 정밀한 측정을 위한 오차 보정과 데이터의 시각화 과정에 사용된다.

Fig. 1.

Goals and process of the proposed system

3-2 프로토 타입 제작

본 연구에서는 춤 동작을 웨어러블 디바이스를 통해 시각화하는 어플리케이션의 프로토타입을 개발하였다. 이 어플리케이션은 사용자가 스마트 폰 암밴드를 착용하고 동작할 때 동작의 동선을 기록하고, 어플리케이션을 통해 시각화하여 제공할 수 있다.

본 연구를 통해 제작된 프로토타입은 기존의 스마트폰 암밴드를 기초로 하여 제작되었다. 현재 유통되고 있는 스마트폰 암밴드는 탄성이 있는 네오프렌 계열의 소재이기 때문에 가벼우면서도 견고한 장점이 있다. 이러한 특징은 무용수가 발목에 프로토타입을 착용하고 무용을 실연하더라도 스마트폰이 인체에 안정적으로 고정된다. 위와 같은 사항을 기초로 한 프로토타입 디자인 프로세스는 아래의 세단계로 구성되어 있다.

기존의 암밴드는 스포티한 디자인을 가지고 있어 무용수가 공연 상황에서 그대로 착용하기에는 전체적인 컨셉과 조화되지 않는 문제가 있다. 따라서 암밴드의 일부분을 흰색 면직물로 감싸는 작업을 통해 기존의 암밴드가 스포츠 상황에만 적용이 가능했던 한계점을 극복하고자 하였다.

또한 암밴드의 밴드 부분에 탈부착이 가능한 ‘추가 디자인 1’을 적용하여 여성스럽고 우아한 분위기를 더하고자 하였다. 다. 이 역시 탈부착이 가능한 것으로, 무용수가 불편함을 느끼거나 퍼포먼스의 컨셉에 맞지 않는다고 판단될 경우에 대비하기 위함이다. 흰색 쉬폰 소재를 양쪽 밴드를 넉넉하게 감싸도록 재단한 뒤 군데군데 주름을 잡아 시침질하고, 비즈 장식을 주름의 중심 부분마다 달아 여성적이고 우아한 분위기가 연출되도록 디자인하였다. 이러한 ‘추가 디자인 1’은 스냅 단추를 통해 탈부착이 가능 하도록 제작하여 퍼포먼스의 종류나 컨셉이 변경될 경우 다른 디자인의 적용이 용이하게 하였다. 또한 쉬폰 소재의 리본을 ‘추가 디자인 2’로 제작하여 발목 뒤쪽에 착용할 수 있도록 하였다.

Fig. 2.

Prototype concept design

3-3 프로토 타입 평가 방법

프로토타입 평가는 2014년 6월 14일, 한국과학기술원 다솜관 강당에서 충남대학교 무용과 현대무용전공 4학년 학생 6명을 대상으로 하였다. 피험자들은 온라인 사이트를 통하여 모집하였다. 연구자는 피험자가 프로토타입을 착용하기 전에 어플리케이션 기능에 대하여 사전에 충분히 설명하여 사용법을 익힐 수 있도록 하였다. 설명 이후에 피험자는 프로토타입을 착용하고 3분가량의 현대 무용 동작을 시연하도록 하였다. 프로토타입을 착용하고 퍼포먼스가 이루어지는 과정은 영상으로 기록되었다.

Fig. 3.

Prototype and wear example

피험자들의 무용 동작 시연이 종료된 후 기록된 정보를 어플리케이션을 통해서 보여주고 반구조화된 인터뷰(semi-structured interview)를 진행하였다. 시각화 어플리케이션은 무용수의 위치변화와 부착된 센서의 값 변화를 보여준다. 피험자는 이러한 정보를 애니메이션뿐 아니라 슬라이드 바를 활용하여 특정 시점의 위치 정보와 센서값을 확인할 수 있다.

인터뷰 질문은 프로토타입의 장단점, 개선해야 할 점, 제안할 점으로 구성되었다. 인터뷰는 각 피험자 개인별로 진행하였으며 약 20분간 수행되었다. 인터뷰 내용은 녹취되고 전사되었다.

Fig. 4.

Movement information visualization

3-4 프로토타입 평가 결과

인터뷰 결과, 웨어러블 디바이스를 활용하면 무용 동작을 기록하여 레퍼런스 데이터와 비교, 수정할 수 있어 좋았다는 피험자의 의견이 있었다. 또한 언제 어디서나 즉흥적인 무용 동작을 기록하여 향후 공연에 활용할 수 있어 좋았다는 의견이 있었다.

그러나 프로토타입을 착용할 때 생기는 무게감을 개선해야 한다는 개선 의견도 있었다. 이는 스마트폰을 사용한 프로토타입과는 달리 움직임을 포착하는 센서만을 달고 그 신호를 모바일 디바이스가 받거나 저장하는 형태로 제작한다면 해결할 수 있을 것이다.

또한, 프로토타입을 양발에 착용할 수 있는 형태로 개선해야 한다는 의견이 있었다. 이 연구에서의 프로토타입은 한발에만 착용할 수 있는 형태이지만 양발에 모두 착용한다면 골반의 움직임과 허리의 방향까지 더 입체적인 정보를 얻어낼 수 있을 것이다.

마지막으로, 사람과 장비의 도움 없이 리허설을 하는 경우 춤을 추고 동선을 확인하는 과정을 반복하는 것보다 동선을 입력해 놓는 방식에 대한 제안도 있었다. 무용수가 기존의 루트에서 일정 거리 이상 벗어났을 경우 진동 등의 약한 자극으로 즉각적으로 무용수에게 피드백을 해주는 상호작용이 가능한 디바이스를 고려해 볼 수 있다.