제스처 개념과 NUI 기술 기반의 인터랙티브 아트 유형 연구

인터랙티브 아트는 미디어아트 종류 중의 하나다. 관람자(Spectator)가 작품에 참여하고 소통하면서 완성하는 예술작품이다[3]. 과학기술과 미디어의 발달로서 가능하게 된 예술의 형태로, 넓게는 디지털 아트의 범주에 속하며 관람자가 직접 미디어를 활용한 작품에 참여해서 작품과 교감하는 형태의 예술을 의미한다[4]. 인터랙티브 아트는 과학기술 및 미디어 활용 이전인 관람자와 작품 관계가 감정이입에 의존하는 기존 미술과 차이가 있는 것으로 과학기술을 채용한 관람자의 적극적이고 주체적인 참가 행위로 성립한다[5]. 관람객 신체의 전부나 부분을 움직이는 동작에 따라 작품을 조작하는 인터페이스가 있다. 종합하면 인터랙티브 아트는 관람자가 단순 감상하기보다는 움직임 통해 작품을 제작하고 경험하는 예술 형태다. 따라서 예술작품에서 관람자의 움직임을 예상하고, 동작을 유도하는 방식이 중요하다.

현재 인터랙티브 아트 작가는 예술을 기술과 접목하는 과정에서 자신의 표현 방법 수단(technology)을 선택하게 되며 자연스럽게 작품과 관람자 상호작용을 위한 매개체, 인터페이스 역할을 하게 되고 커뮤니케이션 체계를 형성을 주장한다[6]. 인터랙티브 아트에서는 작품과 관람자의 자연스러운 상호작용이 매우 중요하다. NUI는 학습할 필요가 없어 쉽게 사용할 수 있고, 간접적인 입력 장치들을 이용하지 않기 때문에 사용자가 조작을 자유롭게 느끼며, 기술을 직접 지배하는 느낌을 받게 된다는 것이 특징이기 때문에[7] 인터랙티브 아트 작품과 관람자의 자연스러운 상호작용에 큰 역할을 차지한다고 볼 수 있다. 그러므로, 참여성은 인터랙티브 아트를 완성하는 필수적 요소다. 인터랙티브 아트 작품에서 상호작용시 관람자가 가장 자연스럽고 익숙한 행동으로 앞에 놓인 새 환경을 탐색하게 된다. 기술 발달로 인터랙티브 아트의 상호작용은 새로운 단계로 이루어진다. 현재 인터랙티브 아트 작품의 대부분은 다감각을 융합하여 제작된다. 주로 시각과 청각의 자극 하에서 관람자가 상호작용하는 데 본능적으로 익숙한 제스처 등 동작으로 새로운 환경에 반응한다. 특히 처음 작품을 체험할 때 관람자의 제스처는 대부분 자연스러운 리액션(reaction)이다. 따라서 관람자의 제스처를 이용하여 작가가 원하는 상호작용을 유도할 수 있는 연구가 필요하다. 이는 작가는 제스처 자체의 개념을 숙지하고 참가자 행동의 의미를 이해하는 것을 전제 조건으로 한다.

관람자는 제스처를 통해 더 풍부한 감정을 표현할 수 있다. 이와 관련하여 제스처 표현의 개념과 유형을 조사하고, 인터랙티브 아트 작품에서 제스처 표현의 특성을 분석하고자 한다. 제스처 표현의 가치와 구체적인 표현을 발견하고, 구체적인 사례를 분석하여 제스처 표현의 가치와 활용을 연구한다.

제스처(Gesture)는 타인에게 시각적인 신호를 보내는 여러 가지 동작을 대표한다. 모리스는 동작이 남에게 보여야 하며, 어떠한 정보를 전달해야 제스처가 된다고 한다[8]. 인터랙티브 아트는 사람이 미디어를 활용한 작품에 참여해서 작품과 교감하는 형태의 예술이다. 본 연구는 인터랙티브 아트를 연구 대상으로 하여 제스처 유형에 따른 NUI를 파악하기 위해 먼저 인간과 컴퓨터 인터페이스 관점에 제스처 유형을 살펴보고자 한다.

Table 2.

Classification of types of gestures

본 연구에서는 인간과 인간뿐만 아니라, 인간과 컴퓨터 관계에서 제시된 제스처 유형을 살펴보기로 한다. 맥닐(McNeill)은[9] 제스처를 기호 제스처(Iconicgestures), 은유 제스처(Metaphoric Gestures), 지시 제스처(Deictics Spatialize) 와 비트 제스처 (Beat Gestures) 네 종류로 분류한다. 캐롤라인(Caroline)은[10] 공간 제스처(Space) 제스처 경로(Pathicinformation) 기호 제스처(Symbols) 영향 제스처(Affects)로 나누었다. 맥닐과 캐롤라인은 제스처를 세분화하여 커뮤니케이션 목적에 따라 다양한 제스처의 형태를 제시했다. 이 중에는 약속된 제스처가 있고 감정을 표현할 제스처도 있다. 어떤 공간에서 방위를 지시하는 제스처도 있고 물건을 제어하는 제스처도 있다. 제스처는 매우 복잡하며 분류하는 방법도 다양하다. 또한, 퀙(Quek)은[11] 맥닐과 캐롤라인이 분류한 제스처 유형과 다르다. 퀙은 제스처를 제어 제스처(Manipulative Gestures)와 커뮤니케이션 제스처(Communicative Gestures) 두 가지로 정리하였다. 제어 제스처는 어떤 환경에서 물체를 움직이게 하거나 회전시키는 어떤 물체의 동작을 조작하는 데 사용된다. 일반적으로 2차원 환경에서도 나타날 수 있고 3차원 환경에서도 나타날 수 있으며, 인터페이스 요소를 직접 제어할 수 있다. 커뮤니케이션 제스처는 고유의 소통 목적을 포함하고 있으며, 대표적으로 사람 간의 교류 방식을 말한다.

인터랙티브 아트에서 적용되는 제스처는 관람자와 상호작용하기 위한 인터페이스이다. 이는 주로 관람자의 제스처를 통한 컴퓨터 혹은 인간과의 커뮤니케이션으로 이루어진다. 제스처 유형을 살펴본 결과 퀙의 유형이 관람자가 컴퓨터 또는 인간과의 상호작용에서 인터랙티브 아트에 더 적합하다고 판단하였다. 따라서 본 연구에서 퀙이 분류된 제스처 유형을 기준으로 삼아 다음 장에서 NUI 종류와 결합하여 NUI 기반 인터랙티브 아트 유형을 재정의한다.

NUI는 Natural User Interface의 약자로, 별도의 장치 없이 인간의 행동이나 제스처 등을 통해 상호작용하는 인터페이스의 종류를 지칭한다[12]. 현재 다양한 스마트 기기 및 디지털 디바이스에서 NUI를 사용하고 있으며 인식률과 범위, 사용자 경험을 향상시키기 위한 연구가 활발히 이루어지고 있다[7]. 인터랙티브 아트 또한 능동적인 창조적 주체가 되는 새로운 예술로서 작품과 관람자, 혹은 관람자와 관람자 간의 풍부한 커뮤니케이션을 통해 비물질적인 정보로 관람자의 행동과 관계를 맺을 수 있다[13]. 관람자의 가장 자연스러운 행위로 작품과 상호작용할 수 있는 인터페이스는 인터랙티브 아트 영역에서도 관람자 즉, 사용자 경험을 향상하기 때문에 NUI를 연구할 가치가 있다. 본 연구는 작품과 관람자 간의 커뮤니케이션을 하는 행동, 즉 인간의 행동이나 제스처 등을 사용하여 상호작용하는 인터페이스가 NUI 정의에 부합한다는 가정 하에 인터랙티브 아트의 활용성을 고찰한다.

NUI는 터치와 도구가 아닌 직관적인 인터페이스를 사용하는 기술로 1세대 CLI(Command Line Interface)와 2세대 그래픽 사용자 인터페이스(GUI, Graphic User Interface)에 이은 3세대 인터페이스라 보았다[14]. 인터페이스 발달 과정에 따른 재현 요소는 다음과 같다[7].

Fig. 1.

Reproduction factors according to interface development process

작품과 관객의 상호작용을 위한 매개체가 인터페이스(Interface)다[3]. NUI는 인간의 자연스러운 행동을 기반으로 개발되는 인터페이스 기술로서, 사람과 의사소통하는 것처럼 자연스럽게 컴퓨터와 의사소통하는 것을 일컫는다[15]. 인터랙티브 아트는 시스템과 인간의 상호작용이 NUI로 이루어지므로[1] 인간의 자연스러운 행동, 즉 NUI가 어떤 방식과 의미로 적용되며 가능성이 있을지 다음 장에서 고찰한다.

김선호는 NUI의 종류를 다섯 가지로 분류하였다. 첫째, 멀티 터치나 Force feedback, haptic 등 신체와 접촉하는 Physical 인터페이스, 둘째, 화상인식, 적외선, 초음파 등을 이용하여 움직임을 검출하는 제스처 인터페이스, 셋째, 음성인식 및 영상 출력 인터페이스, 넷째, 뇌파 등 생체 신호를 이용하는 생체 인터페이스, 그리고 다섯째, GPS, RFID 및 센서 노드 등 환경 인식을 기반으로 하는 환경 기반 인터페이스로 크게 나눌 수 있다[16]. 이정헌에 의하면 입력 기술의 관점에서 NUI 인터페이스의 분류는 표 3과 같다[17].

Table 3.

NUI input method

NUI는 기존의 인터랙티브한 사용자 인터페이스를 사용자 중심의 지능형 미래 사용자 인터페이스로 바꾸고 있으며, 전통적 응용 분야라고 볼 수 있는 교육, 사무, 게임 및 멀티미디어 분야 외에 보안, 의료, 로봇, 가전기기 및 소셜미디어 그리고 Assistive Technology에 탑재되어 사용자에게 보다 친숙하게 접근함으로써 해당 상품 가치를 높일 것이다[16]. 현재 인터페이스 기술의 발달로 인터랙티브 아트 영역에서도 많이 활용되고 있으며 아트 창작에 대해 더 많은 가능성을 주었다. 이에 따라 NUI는 전통적 응용 분야뿐만 아니라 아트 분야에서 어떻게 접근되어 있는지 연구할 필요가 있다. 대표적인 NUI를 인식 범주로 분류하자면, 다음 그림 2와 같이 분류된다.

Fig. 2.

Types of NUI

다음 장에서는 퀙이 분류된 제스처 유형과 NUI 종류를 기준으로 NUI 기반 인터랙티브 아트 유형을 도출한다.

관람자가 직접 물리적 도구를 제어하는 동작을 통해 작품을 작동하는 상호작용 방식이다. 각 사례에 대한 적용 기술과 참여 방식을 분석하여 목적 키워드를 제시한다.

Table 5.

Examples of artwork using objects as tools

The Lightwaves는 15개의 드럼으로 구성되며 관람자가 드럼을 칠 때 광파는 헬륨으로 채워진 공으로 전달된다. 관람자의 참여 인원과 관람자들이 드럼을 치는 속도, 강도에 따라 공으로 전달된 광파도 다양해진다. 드럼이 인터페이스로 되어 관람자가 드럼을 직접 쳐야 작동할 수 있는 작품이다. Musical Bikes는 인터랙티브 음악 장치다. 네 대의 고정식 자전거는 드럼, 베이스, 기타, 인성 등 네 가지 악기 트랙을 연결한다. 자전거를 밟으면 사운드 트랙의 음악이 울리며 네 대의 자전거를 동시에 밟으면 완전한 음악이 나온다. 자전거 차체는 사람이 밟는 리듬에 따라 빛과 소리를 유발하며 음악 스타일도 마음대로 바꿀 수 있다. 즉 자전거가 인터페이스로, 되어 관람자가 직접 자전거를 타야 작동할 수 있는 작품이다. Into The Wind는 기술적인 기법과 인간의 지각을 바탕으로 자연 공간에서 자연의 과정을 재현하려는 실험으로 시작되었다. 작가가 만드는 장치를 통해서 관람자가 장치 앞에서 입으로 바람이 불면 작동하는 작품이다.

이러한 작품들은 스마트폰, 태블릿 PC 등 기본 인터페이스뿐만 아니라 일상에서 보편적으로 사용되고 있는 다양한 도구도 포함된다. 즉, 센서(도구) 기반 컴퓨팅 기술을 활용하여 다양한 인터페이스로 관람자에게 상호작용되는 작품들이다.

Media wall 같은 단순한 스크린을 터치하는 입력 방식으로 작동되는 작품들은 터치 행위가 복잡한 의미가 있기 보다는 단순한 구동하는 행위로 볼 수 있다. 스크린에서 터치하는 위치나 터치한 후에 제시된 영상물은 다르지만, 터치 행위 자체가 촉발 행위로 해석된다. 사례에 대한 적용 기술과 참여 방식을 분석하여 도출된 키워드는 다음과 같다.

Table 6.

Examples of artworks using triggering screens

사례에 대한 적용 기술과 참여 방식을 분석하여 도출된 키워드를 제시한다.

Table 7.

Examples of voice output through a medium

SPIRALALALA는 슈체친 필하모닉(Szczecin Philharmonic)의 상징적인 나선형 계단을 사운드 악기로 만든 작품이다. 관람자가 공을 마이크에 투입하면 녹음이 시작되어 녹음된 소리가 공이 트랙을 따라 내리면서 다시 재생된다. 소리의 공간화를 실현하여, 소리가 공에 따라 '떨어지는' 착각을 창조하는 것이다. 사용자의 목소리를 기록하고 다른 형태로 변환하여 변환된 콘텐츠를 분석하며 의미를 이해하고 결과를 도출하는 작품 형태이다.

각 사례에 대한 적용 기술과 참여 방식을 분석하여 도출된 키워드를 제시한다.

Table 8.

Examples of works that use behavioral imitation

He jiang pavilion은 제시되는 특정 동작을 모방하는 작품이다. 친구나 커플과 둘이 같이 동작을 따라 하기 통해서 게임을 완성할 수 있다. Filming a webathon는 웹툰 주제에 맞게 슈퍼맨 등 애니메이션에서 나온 대표 동작으로 제시하여 관람자가 모방할 수 있도록 설계된 작품이다. 관람자들이 지정된 행위를 수행할 수 있도록 익숙한 상황을 설계하며, 작품의 콘텐츠와 모방한 동작의 출처 IP 콘텐츠에 관련성이 높은 것으로 파악된다. 또한, 재미를 높이기 위해 지정된 동작은 약간의 난이도가 있으며 시각적으로 구체적인 형태로 구현된다.

관람자가 같은 제스처로 참여해도 다양한 형태로 표현되는 작품 형태가 있다. First Knowing No True Color는 관람자가 손을 흔드는 위치와 방향에 따라서 영상이 반응한다. 인식된 위치에 시작점으로 관람자가 손을 흔드는 방향에 따라 연기가 퍼져 나가는 작품이다. 인식된 위치에 시작점으로 관람자가 손이나 발을 움직이는 방향에 따라 파도나 물의 흐름을 바꾸는 작품이다. (Busan)_Sealife는 관람자가 걸어가면서 바닥에 투사된 강의 흐름을 선헤엄처럼 반응하게 만드는 작품이다. 이러한 작품은 모션 캡처를 통해서 실시간으로 관람자의 행동을 입력하여 작품과 커뮤니케이션하게 하는 형태이다. 또한, 관람자의 제스처 모습이 작품에서 반응하게 만드는 형태도 있다. 40 Hz는 관람자들의 모습을 인식하여 그림자 형태로 영상에서 나타난다. 관람자가 마음대로 몸을 움직이며 체험할 수 있는 인터랙티브 작품이다. 관람자가 자신이 마음대로 몸을 이용하여 영상물을 읽을 수 있다. 관람자의 행위가 그대로 작품과 커뮤니케이션하는 형태다. The Actor와 Melting conciousness 등 작품도 같은 예이다. 관람자의 모습을 영상에서 맵핑(mapping)이 되어 작동하는 작품들이다.

각 사례에 대한 적용 기술과 참여 방식을 분석하여 도출된 키워드는 다음과 같다.

Table 9.

Examples of works using natural motion

사람의 목소리나 환경 사운드를 인식한 작품 형태로 나타난다. 각 사례에 대한 적용 기술과 참여 방식을 분석하여 도출된 키워드를 제시한다.

Table 10.

Examples of works using abstract voices

THE SHAPE OF LANGUAGE는 관람자가 마이크에 말을 하면 목소리를 디지털 악보로 변환하는 작품이다. 체험할 때 이전 관람자의 흔적은 남아 있었고, 언어는 시간이 흐를수록 변해간다. RECURSION VOICE2.0는 목소리로 디지털 꽃을 다양하게 변화할 수 있는 보이스 인터페이스를 활용한 작품이다. 보이지 않는 추상적 음성의 특성들이 사용자에게 잘 이해할 수 있도록 인식된 음파를 다양한 방식으로 시각화하여 출력해서 사용자가 음성의 에너지를 볼 수 있다.

음성은 보이지 않는다. 하지만 음성은 텍스트로 전환하여 눈으로 볼 수가 있다. 또한, 텍스트를 다시 음성으로 출력할 수 있다. Voice Activated Word Kicking Machine은 관람자의 말을 브라우저에 전송한 후 텍스트로 출력한다. 전환된 텍스트는 화면에 떨어지면 다시 음성으로 출력하는 작품이다.

Table 11.

Examples of text-to-speech