Korea Digital Contents Society
[ Article ]
Journal of Digital Contents Society - Vol. 24, No. 10, pp.2265-2275
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 31 Oct 2023
Received 06 Aug 2023 Revised 11 Sep 2023 Accepted 06 Oct 2023
DOI: https://doi.org/10.9728/dcs.2023.24.10.2265

제스처 개념과 NUI 기술 기반의 인터랙티브 아트 유형 연구

왕설청1 ; 유현정2, *
1이화여자대학교 일반대학원 조형예술대학 디자인학부 미디어인터랙션디자인전공 석박통합과정
2이화여자대학교 조형예술대학 디자인학부 교수
Classification of Interactive Art Based on Gesture Concept and NUI Technology
Wang-Xue Qing1 ; Hyun-Jung Yu2, *
1Master-doctoral’s, Media Interaction Design Major, The Graduate School, Ewha Womans University, Seoul 03760, Korea
2Professor, Division of Design, College of Art & Design, Ewha Womans University, Seoul 03760, Korea

Correspondence to: *Hyun-Jung Yu Tel: +82-2-3277-3920 E-mail: hyunjung@ewha.ac.kr

Copyright ⓒ 2023 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

본 연구는 인터랙티브 아트(Interactive Art)에서 관람자와 상호작용시 작가 의도에 따라 다양한 접근 방법을 제시함이 목적이다. 연구 방법은 제스처(Gesture) 개념과 NUI(Natural User Interface) 기술을 고찰하고 HCI(Human Computer Interaction) 제스쳐 이론을 근거로 최근 인터랙티브 아트 사례를 분석, 유형을 분류하며 특성을 제시한다. 연구결과, 제스처와 NUI 기술 기반의 인터랙티브 아트 유형을 첫째, 제어 제스처 기반 동작인식(물체를 통한 사물을 도구로 이용한 작품, 촉발식 스크린을 이용한 작품) 둘째, 커뮤니케이션 제스처 기반 동작인식(특정 동작 모방을 이용하는 작품, 자연스러운 동작을 이용한 작품), 셋째, 제어 제스처 기반 음성인식(매개체를 통한 음성 출력 작품), 넷째, 커뮤니케이션 제스처 기반 음성인식(추상적 음성을 이용한 작품, 텍스트 음성을 이용한 작품)으로 분류한다. 제어 제스처 유형은 사용된 기기와 입력방식 , 참여 공간에 대한 설계를 통해 다양한 콘텐츠와 재미있는 상호작용 방식으로 작품표현이 가능하다. 커뮤니케이션 제스처 유형은 관람자의 자유로운 동작과 다양한 기기의 사용으로 몰입 공간에 대한 작품표현이 가능하다. 이 연구가 관객과 상호작용하는 인터랙티브 아트의 다양한 경험을 설계하는 데 적용될 수 있기를 기대한다.

Abstract

This study present different approaches to interact with viewers in interactive art, based on the artist's intention to create a work. We review gesture concepts and NUI(Natural User Interface) technologies and analyze, categorize, and characterize the recent interactive art cases based on HCI(Human Computer Interaction) Gesture theories. We classify four types of interactive art, based on gesture and NUI technology: control-gestures–based gesture recognition and speech recognition and communication-gestures–based motion recognition and speech recognition. The control-gesture type enables the expression of interactive artwork in a fun and interactive way by presenting different content through the user device, the input method, and the design of the participation space. The communication-gesture type enables the expression of work in an immersive space through the free movement of the viewer and the use of various devices. With this classification, the artists hope to create a variety of interactive experiences between the viewer and the artwork.

Keywords:

Gesture, Natural User Interface, Interactive Art

키워드:

제스처, 내추럴 사용자 인터페이스, 인터랙티브 아트

Ⅰ. 서 론

1-1 연구 배경 및 목적

신체에 대한 담론은 시대에 따라 변해왔으며, 문화, 정치, 심리, 종교 등 수많은 요인이 있으나. 미디어와 기술의 발달은 가장 급격히 그 담론을 변화시켰다[1]. NUI(Natural User Interface)는 인간의 행동이나 제스처 등을 사용하여 상호작용하는 인터페이스의 종류로 인식률과 범위, 사용자 경험을 향상하기 위한 연구가 활발히 이루어지고 있는 분야이다. 미디어아트는 테크놀로지의 발달과 함께 세계와 지각을 연결하는 인터페이스로서의 신체의 의미를 실험할 수 있는 장이다. 인터랙티브 아트는 미디어아트 하위 개념 중 하나로서 관객이 작품에 참여하고 소통할 수 있는 예술 방식이다.

인터랙티브 아트에서는 관람자들의 참여 유도가 매우 중요하여 관람자의 행동에 관한 연구가 필수적이다. 그러므로, NUI의 중요성이 더욱 대두되었고 작품의 참여 방식도 중요하게 된다. 인터랙티브 아트 작품은 작가들의 의도에 따라 참가자의 동작과 참여 방식이 달라지므로, 작품을 설계할 때 제스처의 의미가 중요하다. 특히 인터랙티브 아트는 관람자가 참여하는 경험 형태로 관람자들이 자연스럽게 상호작용할 수 있는 제스처에 관한 연구가 필요하다. 인터랙티브 아트에서 NUI는 관람자의 행위이자, 참여이며 그 자체가 의미가 있는 매우 중요한 요소이다. 그러나, 인터랙티브 아트를 설계할 때 NUI에 대한 여러 가능성에 대한 자료가 부족하고 아직 연구가 많지 않다. 그러므로, 연구할 가치 및 필요성이 있으며, 본 연구는 인터랙티브 아트 작품 창작에 관한 방법론 연구로서, 제스처 NUI에 중요한 상호작용 하나로 사람 간의 의사소통을 돕는 대표적 인터페이스 연구이다.

본 연구는 인터랙티브 아트를 연구 대상으로 하고 제스처 유형을 기준으로 삼아 NUI 인터페이스 유형을 이론적으로 고찰하며 현재 인터랙티브 아트 작품 현황 따른 유형을 정리한다. 인터랙티브 아트를 NUI 종류에 따라 분류하고 기준을 살펴보고 재정의하는 목적으로 한다. 마지막으로 NUI 기반 인터랙티브 아트의 유형을 세분화하고 사례를 통해 작가와 관람자의 행동에 대한 이해도를 높이는 데 그 목적이 있다. NUI는 인터페이스로서 메시지 전달과 자연스러운 예술 경험을 도출, 상호작용을 높이는 데 효과가 기대된다. 유형별로 관람자의 행동을 설계하여 작품에서 활용하여 관람자들이 더 쉽게 참여하고 다양한 참여 방식을 유도할 것으로 예상한다.

1-2 연구 방법 및 범위

연구 방법은 다음과 같다. 첫째, 인터랙티브 아트의 개념을 이론적으로 고찰한다. 둘째, 제스처의 정의 및 유형과 NUI의 개념과 유형을 살펴본다. 셋째, 2017년부터 2021년까지 5년간의 동작이 주체가 되고 NUI로 상호작용 관련 사례들을 분석하며 인터페이스 유형을 살펴보고 세분화 분류한다. 분석을 통해 인터랙티브 아트의 유형별 작품의 특성을 제시한다.

인터랙티브 아트는 작품마다 구현 방식과 표현 형태가 매우 다양하다. 유형을 재분류하는 과정을 통해서 현재 인터랙티브 아트 영역에서 NUI 기반 인터페이스가 어떻게 적용되고 발전하였는지 살펴본다. 본 연구는 MANA[2] 글로벌 뉴미디어 예술 플랫폼 200개 베스트 작품에서 제일 많이 창작되는 2017년부터 2021년까지 총 167개 작품을 선별하였다. 사례를 정리한 결과, 미디어아트 작품이 많아지고 있지만 NUI 기술을 적용된 제스처 기반 인터랙션 작품은 총 미디어아트 작품 수에서 차지하는 비중이 감소하고 있다. 따라서 NUI로 적용된 65개 전시 및 공공 작품을 사례에서 앞 20개 작품을 연구 범위로 선정하여 분석한다.

Percentage of works 2017-2021


Ⅱ. 본 론

2-1 인터랙티브 아트

1) 인터랙티브 아트 정의

인터랙티브 아트는 미디어아트 종류 중의 하나다. 관람자(Spectator)가 작품에 참여하고 소통하면서 완성하는 예술작품이다[3]. 과학기술과 미디어의 발달로서 가능하게 된 예술의 형태로, 넓게는 디지털 아트의 범주에 속하며 관람자가 직접 미디어를 활용한 작품에 참여해서 작품과 교감하는 형태의 예술을 의미한다[4]. 인터랙티브 아트는 과학기술 및 미디어 활용 이전인 관람자와 작품 관계가 감정이입에 의존하는 기존 미술과 차이가 있는 것으로 과학기술을 채용한 관람자의 적극적이고 주체적인 참가 행위로 성립한다[5]. 관람객 신체의 전부나 부분을 움직이는 동작에 따라 작품을 조작하는 인터페이스가 있다. 종합하면 인터랙티브 아트는 관람자가 단순 감상하기보다는 움직임 통해 작품을 제작하고 경험하는 예술 형태다. 따라서 예술작품에서 관람자의 움직임을 예상하고, 동작을 유도하는 방식이 중요하다.

2) 인터랙티브 아트와 상호작용

현재 인터랙티브 아트 작가는 예술을 기술과 접목하는 과정에서 자신의 표현 방법 수단(technology)을 선택하게 되며 자연스럽게 작품과 관람자 상호작용을 위한 매개체, 인터페이스 역할을 하게 되고 커뮤니케이션 체계를 형성을 주장한다[6]. 인터랙티브 아트에서는 작품과 관람자의 자연스러운 상호작용이 매우 중요하다. NUI는 학습할 필요가 없어 쉽게 사용할 수 있고, 간접적인 입력 장치들을 이용하지 않기 때문에 사용자가 조작을 자유롭게 느끼며, 기술을 직접 지배하는 느낌을 받게 된다는 것이 특징이기 때문에[7] 인터랙티브 아트 작품과 관람자의 자연스러운 상호작용에 큰 역할을 차지한다고 볼 수 있다. 그러므로, 참여성은 인터랙티브 아트를 완성하는 필수적 요소다. 인터랙티브 아트 작품에서 상호작용시 관람자가 가장 자연스럽고 익숙한 행동으로 앞에 놓인 새 환경을 탐색하게 된다. 기술 발달로 인터랙티브 아트의 상호작용은 새로운 단계로 이루어진다. 현재 인터랙티브 아트 작품의 대부분은 다감각을 융합하여 제작된다. 주로 시각과 청각의 자극 하에서 관람자가 상호작용하는 데 본능적으로 익숙한 제스처 등 동작으로 새로운 환경에 반응한다. 특히 처음 작품을 체험할 때 관람자의 제스처는 대부분 자연스러운 리액션(reaction)이다. 따라서 관람자의 제스처를 이용하여 작가가 원하는 상호작용을 유도할 수 있는 연구가 필요하다. 이는 작가는 제스처 자체의 개념을 숙지하고 참가자 행동의 의미를 이해하는 것을 전제 조건으로 한다.

관람자는 제스처를 통해 더 풍부한 감정을 표현할 수 있다. 이와 관련하여 제스처 표현의 개념과 유형을 조사하고, 인터랙티브 아트 작품에서 제스처 표현의 특성을 분석하고자 한다. 제스처 표현의 가치와 구체적인 표현을 발견하고, 구체적인 사례를 분석하여 제스처 표현의 가치와 활용을 연구한다.

2-2 제스처

1) 개념 및 범위

제스처(Gesture)는 타인에게 시각적인 신호를 보내는 여러 가지 동작을 대표한다. 모리스는 동작이 남에게 보여야 하며, 어떠한 정보를 전달해야 제스처가 된다고 한다[8]. 인터랙티브 아트는 사람이 미디어를 활용한 작품에 참여해서 작품과 교감하는 형태의 예술이다. 본 연구는 인터랙티브 아트를 연구 대상으로 하여 제스처 유형에 따른 NUI를 파악하기 위해 먼저 인간과 컴퓨터 인터페이스 관점에 제스처 유형을 살펴보고자 한다.

Classification of types of gestures

2) 개념 유형

본 연구에서는 인간과 인간뿐만 아니라, 인간과 컴퓨터 관계에서 제시된 제스처 유형을 살펴보기로 한다. 맥닐(McNeill)은[9] 제스처를 기호 제스처(Iconicgestures), 은유 제스처(Metaphoric Gestures), 지시 제스처(Deictics Spatialize) 와 비트 제스처 (Beat Gestures) 네 종류로 분류한다. 캐롤라인(Caroline)은[10] 공간 제스처(Space) 제스처 경로(Pathicinformation) 기호 제스처(Symbols) 영향 제스처(Affects)로 나누었다. 맥닐과 캐롤라인은 제스처를 세분화하여 커뮤니케이션 목적에 따라 다양한 제스처의 형태를 제시했다. 이 중에는 약속된 제스처가 있고 감정을 표현할 제스처도 있다. 어떤 공간에서 방위를 지시하는 제스처도 있고 물건을 제어하는 제스처도 있다. 제스처는 매우 복잡하며 분류하는 방법도 다양하다. 또한, 퀙(Quek)은[11] 맥닐과 캐롤라인이 분류한 제스처 유형과 다르다. 퀙은 제스처를 제어 제스처(Manipulative Gestures)와 커뮤니케이션 제스처(Communicative Gestures) 두 가지로 정리하였다. 제어 제스처는 어떤 환경에서 물체를 움직이게 하거나 회전시키는 어떤 물체의 동작을 조작하는 데 사용된다. 일반적으로 2차원 환경에서도 나타날 수 있고 3차원 환경에서도 나타날 수 있으며, 인터페이스 요소를 직접 제어할 수 있다. 커뮤니케이션 제스처는 고유의 소통 목적을 포함하고 있으며, 대표적으로 사람 간의 교류 방식을 말한다.

인터랙티브 아트에서 적용되는 제스처는 관람자와 상호작용하기 위한 인터페이스이다. 이는 주로 관람자의 제스처를 통한 컴퓨터 혹은 인간과의 커뮤니케이션으로 이루어진다. 제스처 유형을 살펴본 결과 퀙의 유형이 관람자가 컴퓨터 또는 인간과의 상호작용에서 인터랙티브 아트에 더 적합하다고 판단하였다. 따라서 본 연구에서 퀙이 분류된 제스처 유형을 기준으로 삼아 다음 장에서 NUI 종류와 결합하여 NUI 기반 인터랙티브 아트 유형을 재정의한다.

2-3 NUI (Natural User Interface)

1) 정의 및 범위

NUI는 Natural User Interface의 약자로, 별도의 장치 없이 인간의 행동이나 제스처 등을 통해 상호작용하는 인터페이스의 종류를 지칭한다[12]. 현재 다양한 스마트 기기 및 디지털 디바이스에서 NUI를 사용하고 있으며 인식률과 범위, 사용자 경험을 향상시키기 위한 연구가 활발히 이루어지고 있다[7]. 인터랙티브 아트 또한 능동적인 창조적 주체가 되는 새로운 예술로서 작품과 관람자, 혹은 관람자와 관람자 간의 풍부한 커뮤니케이션을 통해 비물질적인 정보로 관람자의 행동과 관계를 맺을 수 있다[13]. 관람자의 가장 자연스러운 행위로 작품과 상호작용할 수 있는 인터페이스는 인터랙티브 아트 영역에서도 관람자 즉, 사용자 경험을 향상하기 때문에 NUI를 연구할 가치가 있다. 본 연구는 작품과 관람자 간의 커뮤니케이션을 하는 행동, 즉 인간의 행동이나 제스처 등을 사용하여 상호작용하는 인터페이스가 NUI 정의에 부합한다는 가정 하에 인터랙티브 아트의 활용성을 고찰한다.

2) 인터페이스 기술 발달과 NUI

NUI는 터치와 도구가 아닌 직관적인 인터페이스를 사용하는 기술로 1세대 CLI(Command Line Interface)와 2세대 그래픽 사용자 인터페이스(GUI, Graphic User Interface)에 이은 3세대 인터페이스라 보았다[14]. 인터페이스 발달 과정에 따른 재현 요소는 다음과 같다[7].

Fig. 1.

Reproduction factors according to interface development process

작품과 관객의 상호작용을 위한 매개체가 인터페이스(Interface)다[3]. NUI는 인간의 자연스러운 행동을 기반으로 개발되는 인터페이스 기술로서, 사람과 의사소통하는 것처럼 자연스럽게 컴퓨터와 의사소통하는 것을 일컫는다[15]. 인터랙티브 아트는 시스템과 인간의 상호작용이 NUI로 이루어지므로[1] 인간의 자연스러운 행동, 즉 NUI가 어떤 방식과 의미로 적용되며 가능성이 있을지 다음 장에서 고찰한다.

3) NUI 종류

김선호는 NUI의 종류를 다섯 가지로 분류하였다. 첫째, 멀티 터치나 Force feedback, haptic 등 신체와 접촉하는 Physical 인터페이스, 둘째, 화상인식, 적외선, 초음파 등을 이용하여 움직임을 검출하는 제스처 인터페이스, 셋째, 음성인식 및 영상 출력 인터페이스, 넷째, 뇌파 등 생체 신호를 이용하는 생체 인터페이스, 그리고 다섯째, GPS, RFID 및 센서 노드 등 환경 인식을 기반으로 하는 환경 기반 인터페이스로 크게 나눌 수 있다[16]. 이정헌에 의하면 입력 기술의 관점에서 NUI 인터페이스의 분류는 표 3과 같다[17].

NUI input method

NUI는 기존의 인터랙티브한 사용자 인터페이스를 사용자 중심의 지능형 미래 사용자 인터페이스로 바꾸고 있으며, 전통적 응용 분야라고 볼 수 있는 교육, 사무, 게임 및 멀티미디어 분야 외에 보안, 의료, 로봇, 가전기기 및 소셜미디어 그리고 Assistive Technology에 탑재되어 사용자에게 보다 친숙하게 접근함으로써 해당 상품 가치를 높일 것이다[16]. 현재 인터페이스 기술의 발달로 인터랙티브 아트 영역에서도 많이 활용되고 있으며 아트 창작에 대해 더 많은 가능성을 주었다. 이에 따라 NUI는 전통적 응용 분야뿐만 아니라 아트 분야에서 어떻게 접근되어 있는지 연구할 필요가 있다. 대표적인 NUI를 인식 범주로 분류하자면, 다음 그림 2와 같이 분류된다.

Fig. 2.

Types of NUI

다음 장에서는 퀙이 분류된 제스처 유형과 NUI 종류를 기준으로 NUI 기반 인터랙티브 아트 유형을 도출한다.


Ⅲ. 제스처 개념과 NUI 기술에 따른 인터랙티브 아트 유형

앞에서 살펴본 바와 같이, 인터랙티브 아트에서 제스처 개념은 관람자가 인간 혹은 컴퓨터와 상호작용을 주로 한다고 보았을 때, 제어 제스처와 커뮤니케이션 제스처로 구성될 수 있다. 인식 범주로 NUI 종류는 크게 동작인식, 터치 인식, 음성인식과 뇌파 인식, 네 가지로 분류된다. 첫째, 동작인식과 둘째, 터치 인식은 모두 신체의 일부를 움직임 통해 인식하는 방식이며 인터랙티브 아트에서는 동작인식과 터치 인식을 한 범주로 볼 수 있다. 마지막, 뇌파인식은 사용자 뇌파의 변화를 읽어 명령어로 인식하는 데 의료분야에서 집중력 장애 치료로 또는 컴퓨터나 휠체어의 인터페이스로 실험된다[18]. 인터랙티브 아트에서는 뇌파 인식을 적용한 작품은 초창기 몇 개의 사례 외에는 찾아보기 어렵다. 따라서 본 연구는 관람자가 작품과 상호작용하는 인터랙티브 아트를 연구하기 위하여, 퀙(Quek)이 분류한 제어 제스처와 커뮤니케이션 제스처가 NUI 인식 범주로 재분류한 동작인식과 음성인식 방법을 매칭되어 아래 표 4와 같이 4가지 유형으로 도출한다.

Interactive art type derivation research process

첫째, 제어 제스처 기반 동작인식, 둘째, 제어 제스처 기반 음성인식, 셋째, 커뮤니케이션 제스처 기반 동작인식, 넷째, 커뮤니케이션 제스처 기반 음성인식이다. 이 4가지 유형에 최근 인터랙티브 아트 사례를 대입하여 제스처 개념과 NUI 인식 범주에 따른 유형을 분류하고 조사한다. 이를 위해 MANA 베스트 리스트에서 5년간 국내외 NUI를 활용한 전시와 공공시설 인터랙티브 아트 사례들을 분석하였고, 이어서 관람자의 제스처가 작품에서 작동 및 입력 방식을 세분화하여 유형별로 구분하였다. 인터랙티브 아트는 관람자의 행위가 작품의 목적에 맞고, 작가가 의도하는 상호작용을 자연스럽게 실현할 수 있는 인터페이스로 연결되는 것이 매우 중요하다.

3-1 제어 제스처 기반 동작인식

제어 인터페이스 기반으로 동작인식을 활용한 인터랙티브 아트 유형은 제어하는 동작의 목적에 따라 '사물을 도구로 이용한 작품'과 '촉발식 스크린을 이용한 작품'으로 분류한다.

1) 사물을 도구로 이용한 작품

관람자가 직접 물리적 도구를 제어하는 동작을 통해 작품을 작동하는 상호작용 방식이다. 각 사례에 대한 적용 기술과 참여 방식을 분석하여 목적 키워드를 제시한다.

Examples of artwork using objects as tools

The Lightwaves는 15개의 드럼으로 구성되며 관람자가 드럼을 칠 때 광파는 헬륨으로 채워진 공으로 전달된다. 관람자의 참여 인원과 관람자들이 드럼을 치는 속도, 강도에 따라 공으로 전달된 광파도 다양해진다. 드럼이 인터페이스로 되어 관람자가 드럼을 직접 쳐야 작동할 수 있는 작품이다. Musical Bikes는 인터랙티브 음악 장치다. 네 대의 고정식 자전거는 드럼, 베이스, 기타, 인성 등 네 가지 악기 트랙을 연결한다. 자전거를 밟으면 사운드 트랙의 음악이 울리며 네 대의 자전거를 동시에 밟으면 완전한 음악이 나온다. 자전거 차체는 사람이 밟는 리듬에 따라 빛과 소리를 유발하며 음악 스타일도 마음대로 바꿀 수 있다. 즉 자전거가 인터페이스로, 되어 관람자가 직접 자전거를 타야 작동할 수 있는 작품이다. Into The Wind는 기술적인 기법과 인간의 지각을 바탕으로 자연 공간에서 자연의 과정을 재현하려는 실험으로 시작되었다. 작가가 만드는 장치를 통해서 관람자가 장치 앞에서 입으로 바람이 불면 작동하는 작품이다.

이러한 작품들은 스마트폰, 태블릿 PC 등 기본 인터페이스뿐만 아니라 일상에서 보편적으로 사용되고 있는 다양한 도구도 포함된다. 즉, 센서(도구) 기반 컴퓨팅 기술을 활용하여 다양한 인터페이스로 관람자에게 상호작용되는 작품들이다.

2) 촉발식 스크린을 이용한 작품

Media wall 같은 단순한 스크린을 터치하는 입력 방식으로 작동되는 작품들은 터치 행위가 복잡한 의미가 있기 보다는 단순한 구동하는 행위로 볼 수 있다. 스크린에서 터치하는 위치나 터치한 후에 제시된 영상물은 다르지만, 터치 행위 자체가 촉발 행위로 해석된다. 사례에 대한 적용 기술과 참여 방식을 분석하여 도출된 키워드는 다음과 같다.

Examples of artworks using triggering screens

3-2 제어 인터페이스 기반 음성인식

음성은 쉽게 말하고 들을 수 있지만, 문자나 그림처럼 쉽게 메시지를 기록할 수 있는 매체가 아니다. 음성은 녹음 기능이 있는 도구가 필요하고 녹음을 해야 음성 메시지를 저장할 수 있다. 문자는 종이에 기록하거나 벽이나 바닥이나 등 여러 재질에 있는 매체에 적을 수 있다. 같은 텍스트로도 재질에 따라 문자의 분위기가 다르게 된다. 따라서 만약 음성도 문자처럼 쉽게 일상 매체에 기록된다면 음성이 입력된 매체에 따라서 다양한 음성 형태로 출력할 수도 있다. 제어 인터페이스 기반으로 음성인식 작품은 주로 매개체를 사용해서 제어 도구로 삼는다.

1) 매개체를 통한 음성 출력 작품

사례에 대한 적용 기술과 참여 방식을 분석하여 도출된 키워드를 제시한다.

Examples of voice output through a medium

SPIRALALALA는 슈체친 필하모닉(Szczecin Philharmonic)의 상징적인 나선형 계단을 사운드 악기로 만든 작품이다. 관람자가 공을 마이크에 투입하면 녹음이 시작되어 녹음된 소리가 공이 트랙을 따라 내리면서 다시 재생된다. 소리의 공간화를 실현하여, 소리가 공에 따라 '떨어지는' 착각을 창조하는 것이다. 사용자의 목소리를 기록하고 다른 형태로 변환하여 변환된 콘텐츠를 분석하며 의미를 이해하고 결과를 도출하는 작품 형태이다.

3-3 커뮤니케이션 제스처 기반 동작인식

커뮤니케이션 제스처를 활용하여 관람자와 작품 간의 소통을 목적으로 하는 행위를 말한다. 이러한 작품들은 주로 관람자 본인의 행동이 그대로 작품에서 제시되거나, 작가의 요구에 따라 관람자가 행동하여 작품을 완성하는 방식이다. 관람자 중심으로 작품과 커뮤니케이션 형성을 할 수 있고 반대로 작품을 주도적으로 관람자와 커뮤니케이션하는 형태로 구성될 수가 있다. 시각적으로 다양한 제작이 가능하지만, 관람자가 행위가 실시간으로 재생되는 특성도 있다. 따라서 관람자가 아바타처럼 자신의 행위로 작품 속 형태와 커뮤니케이션 할 수 있다. 커뮤니케이션 인터페이스 기반으로 동작인식을 활용한 인터랙티브 아트 유형은 동작의 특성에 따라 '특정 동작 모방을 이용하는 작품'과 '자연스러운 동작을 이용하는 작품'으로 세분화하여 분류한다.

1) 특정 동작 모방을 이용하는 작품

각 사례에 대한 적용 기술과 참여 방식을 분석하여 도출된 키워드를 제시한다.

Examples of works that use behavioral imitation

He jiang pavilion은 제시되는 특정 동작을 모방하는 작품이다. 친구나 커플과 둘이 같이 동작을 따라 하기 통해서 게임을 완성할 수 있다. Filming a webathon는 웹툰 주제에 맞게 슈퍼맨 등 애니메이션에서 나온 대표 동작으로 제시하여 관람자가 모방할 수 있도록 설계된 작품이다. 관람자들이 지정된 행위를 수행할 수 있도록 익숙한 상황을 설계하며, 작품의 콘텐츠와 모방한 동작의 출처 IP 콘텐츠에 관련성이 높은 것으로 파악된다. 또한, 재미를 높이기 위해 지정된 동작은 약간의 난이도가 있으며 시각적으로 구체적인 형태로 구현된다.

2) 자연스러운 동작을 이용한 작품

관람자가 같은 제스처로 참여해도 다양한 형태로 표현되는 작품 형태가 있다. First Knowing No True Color는 관람자가 손을 흔드는 위치와 방향에 따라서 영상이 반응한다. 인식된 위치에 시작점으로 관람자가 손을 흔드는 방향에 따라 연기가 퍼져 나가는 작품이다. 인식된 위치에 시작점으로 관람자가 손이나 발을 움직이는 방향에 따라 파도나 물의 흐름을 바꾸는 작품이다. (Busan)_Sealife는 관람자가 걸어가면서 바닥에 투사된 강의 흐름을 선헤엄처럼 반응하게 만드는 작품이다. 이러한 작품은 모션 캡처를 통해서 실시간으로 관람자의 행동을 입력하여 작품과 커뮤니케이션하게 하는 형태이다. 또한, 관람자의 제스처 모습이 작품에서 반응하게 만드는 형태도 있다. 40 Hz는 관람자들의 모습을 인식하여 그림자 형태로 영상에서 나타난다. 관람자가 마음대로 몸을 움직이며 체험할 수 있는 인터랙티브 작품이다. 관람자가 자신이 마음대로 몸을 이용하여 영상물을 읽을 수 있다. 관람자의 행위가 그대로 작품과 커뮤니케이션하는 형태다. The Actor와 Melting conciousness 등 작품도 같은 예이다. 관람자의 모습을 영상에서 맵핑(mapping)이 되어 작동하는 작품들이다.

각 사례에 대한 적용 기술과 참여 방식을 분석하여 도출된 키워드는 다음과 같다.

Examples of works using natural motion

3-4 커뮤니케이션 제스처 기반 음성인식

인터랙티브 아트는 디지털 기술을 통해서 관람자가 작품과 서로 메시지를 주고받는 커뮤니케이션 과정이라 할 수 있다. 음성은 생활에 없어서는 안 되고 곳곳에서 사용되지만, 보이지 않는다. 그러나, 음성을 텍스트로 전환하면, 읽을 수 있고 눈으로 바로 말하는 내용을 볼 수 있다. 또한, 음성은 실효성이 있으므로 녹음되지 않으면 메시지가 사라진다. 하지만 문자는 오래 남아 있다. 음성을 텍스트로 전환하여, 다른 사람이 그 내용을 읽으면 바로 알 수 있다. 단, 이 과정에서 음성의 고유한 특성은 사라진다. 따라서 커뮤니케이션 인터페이스 기반으로 음성인식을 활용한 인터랙티브 아트 유형은 음성의 출력 형태에 따라서 '추상적 음성을 이용한 작품' 과 '텍스트 음성를 이용한 작품'으로 세분하게 분류하였다.

1) 추상적 음성을 이용한 작품

사람의 목소리나 환경 사운드를 인식한 작품 형태로 나타난다. 각 사례에 대한 적용 기술과 참여 방식을 분석하여 도출된 키워드를 제시한다.

Examples of works using abstract voices

THE SHAPE OF LANGUAGE는 관람자가 마이크에 말을 하면 목소리를 디지털 악보로 변환하는 작품이다. 체험할 때 이전 관람자의 흔적은 남아 있었고, 언어는 시간이 흐를수록 변해간다. RECURSION VOICE2.0는 목소리로 디지털 꽃을 다양하게 변화할 수 있는 보이스 인터페이스를 활용한 작품이다. 보이지 않는 추상적 음성의 특성들이 사용자에게 잘 이해할 수 있도록 인식된 음파를 다양한 방식으로 시각화하여 출력해서 사용자가 음성의 에너지를 볼 수 있다.

2) 텍스트 음성을 이용한 작품

음성은 보이지 않는다. 하지만 음성은 텍스트로 전환하여 눈으로 볼 수가 있다. 또한, 텍스트를 다시 음성으로 출력할 수 있다. Voice Activated Word Kicking Machine은 관람자의 말을 브라우저에 전송한 후 텍스트로 출력한다. 전환된 텍스트는 화면에 떨어지면 다시 음성으로 출력하는 작품이다.

Examples of text-to-speech

3-5 종합

앞장에서 살펴본 바와 같이 사례 분석을 통해 공통으로 언급되고 도출된 키워드의 의미를 토대로 NUI 기반 인터랙티브 아트 유형의 특성을 제시하고자 한다. 인터랙티브 아트 세분 유형을 분류하기 전에 NUI와 제스처 유형 기준으로 인터랙티브 아트 유형을 분류하였다.

Fig. 3.

Interactive art type layout

제스처 분류 기준을 크게 제어 제스처와 커뮤니케이션 제스처로 나눈다. NUI 기준으로 크게 동작인식과 음성인식으로 나눈다. 제어 제스처는 사물을 활용해야 하는 특성이 있다. 커뮤니케이션 제스처에 비해 가장 큰 차이점이다. 커뮤니케이션 제스처는 작품에서 다양한 제스처를 유발할 수 있다. 평소에 자주 하지 않는 제스처를 사용하거나 제한되지 않고 관람자가 원하는 방식대로 작품에 참여할 수 있다. 동작인식과 음성인식으로 세분화하여 분류하며 자세한 특성은 다음과 같다.

Fig. 4.

Interactive art type characteristic derivation process

본 연구는 2017년부터 2021년까지 5년간 인터랙티브 아트 사례를 4가지 유형에 적용한 후, 커뮤니케이션 제스처 기반 동작 인식한 것을 이용하여 상호작용한 것이 가장 많다다는 것을 발견했다. 그 중 특히, 자연스러운 동작을 이용한 작품이 다수이다. 두 번째로 많은 작품은 제어 제스처 기반 동작인식을 활용한 사물을 도구로 이용하는 것이다. 자세하게 분류하면 다음과 같다.

첫째, 제어 제스처 기반 동작인식은 사물을 도구로 이용한 작품과 촉발식 스크린을 이용한 작품으로 나눈다. 사물을 도구로 이용한 작품은 일상 도구를 활용하여 작품을 제어하는 방식이고, 촉발식 스크린을 이용한 작품은 스크린을 통해서 작품을 제어한다. 활용한 도구의 차이로 작품을 나눈다. 사물을 도구로 이용한 작품의 특징은 다음과 같다. 이러한 작품에서 활용한 동작은 대부분 일상에서 익숙한 행동이다. 도구를 보면 바로 직관적으로 사용법을 알 수 있고 작품에 참여할 수 있다. 또한, 사물을 도구로 이용한 작품은 협동 방식의 경험을 제공하는 것이 많다. 관람자가 혼자가 아닌 다른 관람자와 같이 동일한 목적으로 작품을 완성하게 되는 방식이다. 마지막으로, 사물을 도구로 이용한 작품은 관람자들이 특정 공간에 모여 작품을 감상한다. 관람자들의 행동이 실시간 작품에 반응되며 작품을 완성하기 위해 참가하는 모든 관람자의 역할이 매우 중요하다. 촉발식 스크린을 이용한 작품의 특징은 다음과 같다, 이러한 작품 대부분 게임 형식으로 나오기 때문에 작품에 참여하기 전에 제어 방법을 먼저 파악하는 것이 필요하다. 촉발식 스크린을 이용한 작품은 보통 관람자와 영상 간의 커뮤니케이션을 구성한다. 스크린을 통해 작품을 제어하는 인터랙티브 아트는 대부분 영상미디어를 많이 활동하고 각기 다른 영상 디바이스를 사용하기도 한다. 그러므로, 공간적인 특성에 있어, 관람자가 모이는 공간은 현실의 특정 공간뿐만 아니라 가상공간도 될 수 있다는 점을 보여준다. 관람자들도 같은 공간뿐만 아니라 각 다른 공간에서도 참여할 수 있다.

둘째, 커뮤니케이션 제스처 기반 동작인식은 특정 동작 모방을 이용한 작품과 자연스러운 동작을 이용한 작품으로 나눈다. 특정 동작 모방을 이용한 작품의 특징은 다음과 같다. 특정 동작 모방을 이용하는 작품의 형태는 대부분 놀이의 형태로 진행된다. 지정된 동작을 제대로 해야, 다음 과정으로 넘어질 수 있도록 단계별로 구성되어 있다. 따라서 시간에 대한 긴박감과 긴장감이 있어서 지정된 동작을 완성해야 하는 목적과 즐거움에 더 집중하게 된다. 자연스러운 동작을 이용한 작품의 특징은 다음과 같다, 이러한 작품에 해당하는 동작은 인간 고유의 행동으로 이어진다. 동작에 대한 규칙이나 기준이 없으므로 관람자가 동작 자체를 의미를 고려하기보다는 작품을 통해 사용자들 그 순간을 느껴지고 감각에 따라서 몸동작을 유발하게 한다. 따라서, 대부분 자연스럽게 반응되는 것이 특징이다. 실시간으로 변화되며 관람자가 같은 제스처로 작용해도 통일한 피드백을 받을 수 없으므로 관람자가 체험하는 동안 언제든지 유일한 피드백을 받는다. 자연스러운 동작을 이용한 작품은 제한된 행위가 없으므로 많은 관람자가 마음대로 행동하고, 즐기고 놀 수 있는 환경을 제공한다. 작가는 다른 감정을 유발하기보다 재미있고 관람자가 즐길 수 있는 체험을 통해서 다른 의미를 발견하는 것을 요구한다.

셋째, 제어 제스처 기반 음성인식은 매개체를 통한 음성 출력 형태다. 일상 도구들 이용하여 가상 환경을 만들고, 그 도구에 새로운 기능을 부여하며 관람자에게 새로운 경험을 제공해 줄 수 있다. 음성과 도구 간의 다양한 효과를 탐색할 수 있는 맞춤형 체험이다. 그러므로 매개체를 이용한 음성 출력 형태 작품은 활용한 도구와 부여된 도구의 기능과 참여 공간에 따라 다양한 콘텐츠를 만들 수 있다.

넷째, 커뮤니케이션 제스처 기반 음성인식은 추상적 음성을 이용한 작품과 텍스트 음성을 이용한 작품으로 나눈다.

추상적 음성을 이용한 작품은 음성을 그래픽화하는 형태이고 텍스트 음성을 이용한 작품은 음성을 텍스트로 바꾸는 차이점이 있다. 공통점은 보이지 않는 음성 메시지를 시각화해서 눈으로 볼 수 있는 것이다. 음성의 입력 방식보다는 어떻게 출력하는가 중요하게 된다. 이러므로 커뮤니케이션 제스처를 이용한 작품은 동작의 역할과 출력의 형태에 따라 작품의 효과에 영향을 줄 수 있다.

Change in number of cases by type by year

본 연구는 20개 사례가 4가지 유형이 연도별로 균일하게 분포되어 작품마다 고유의 특성을 보인다. 단, 전체적으로 봤을 때 코로나 이후로 2021년에 커뮤니케이션 제스처 기반 동작인식 작품이 급증으로 작품의 표현과 상호작용 방식이 비슷하여 체험의 다양성이 떨어진다.


Ⅳ. 결론 및 시사점

신체에 대한 담론은 미디어와 기술의 발달로 가장 급속한 변화가 된 요인이다. 사용자 경험을 향상하기 위한 NUI는 인간의 자연스러운 행동이나 제스처에 주목하였다. 따라서, 신체를 이용해 상호작용하는 인터페이스 연구가 활발히 이루어지고 있다. 그러나, 미디어아트 분야에서는 작품 수는 증가하고 있는 가운데 NUI 기술을 적용된 인터랙티브 아트 작품 수는 2017년 48.6%에서 2021년 34%로 떨어졌다. 인터랙티브 아트의 향후 발전과 방향을 위해, NUI 기반으로 제스처를 활용한 인터랙티브 아트를 연구할 필요가 있다. 따라서, 제스처 개념과 NUI 기술의 이론적 근거를 바탕으로 인터랙티브 아트 사례를 분석, 유형을 분류하며 해당 특성을 제시한다.

첫째, 인터랙티브 아트에서 적용된 제스처는 상호작용을 하기 위한 인터페이스다. 연구자의 제스처를 분류된 유형이 맞춰 살펴본 결과 퀙의 유형이 맥닐과 캐롤라인의 분류된 제스처 유형보다 인터랙티브 아트에 더 적합하다고 판단했다. 현재 미디어와 기술의 발달에 따라 NUI는 미디어아트 분야 창작에 많은 가능성을 주었다. 대표적인 NUI 영역의 인식 유형을 분류한다. 퀙이 분류된 제스처 유형과 UI를 기준으로 삼아 NUI 기반 인터랙티브 아트 유형을 분류하였다.

둘째, 인터랙티브 아트 유형은 제스처와 NUI 종류를 기준으로 제어 제스처 기반 동작인식, 커뮤니케이션 제스처 기반 동작인식, 제어 제스처 기반 음성인식, 커뮤니케이션 제스처 기반 음성인식의 네 가지로 구분하고 세분화한다.

셋째, 제어 제스처 기반 동작인식은 물체를 통한 사물을 도구로 이용한 작품, 촉발식 스크린을 이용한 작품으로 세분화된다. 커뮤니케이션 제스처 기반 동작인식은 특정 동작 모방을 이용하는 작품, 자연스러운 동작을 이용한 작품으로 나눈다. 제어 제스처 기반 음성인식은 매개체를 통한 음성 출력 작품으로 설명된다. 커뮤니케이션 제스처 기반 음성인식은 추상적 음성을 이용한 작품, 텍스트 음성을 이용한 작품으로 나눈다.

마지막으로 NUI 기반 인터랙티브 아트의 유형과 특성으로 인한 동작과 공간에 대한 시사점은 다음과 같다. 제어 제스처 유형은 활용한 도구와 부여된 도구의 기능 그리고 참여 공간에 대한 설계를 통한 다양한 콘텐츠와 놀이 형식의 상호작용 방식이 나타날 수 있다는 점이다. 본 연구에서 20개 사례로 4가지 유형이 연도별로 변화되는 추세를 분석하면, 2020년 코로나의 영향으로 몰입된 공간에 관한 관심이 높아진다. 따라서 관람자 체험에 높은 자유도가 있는 커뮤니케이션 제스처 기반 동작인식을 많이 활용하게 된다. 많은 전시장과 회사가 360도 몰입감을 주는 전시 방식을 선택한다. 그중, 특히 몰입감이 강하며 관람자의 인원 제한이 없는 자연스러운 동작을 이용한 작품이 가장 많이 나타난다. 관람자가 체험의 다양성 면에서는 부족한 감이 있어 제어 제스처 유형의 다양한 작품의 창작과 커뮤니케이션 제스처에 출력물 형태에 관한 후속 연구가 필요하다. 본 연구가 NUI 기반 인터랙티브 아트의 다양한 경험을 설계하는 데 적용할 수 있기를 기대한다.

References

  • K. E. Young and K. J. Deok, “The Philosophical Perspective on Discussion of Human Body in Digital Media Era-focused on new media art cases,” in The HCI Society of Korea, Seoul: Hongik, pp. 959-964, February 2008. https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE01885398
  • MANA: https//www.manamana.net/#!en
  • C. Y. Je, C. G. Oh, and K. H. Gi, “Sympathy Relationship with Mutual Participation in Interactive Art and Interfaces -Focus on Multi-User's Interaction in Interactive Art Works-,” Journal of Korea Design Knowledge, Vol. 25, pp. 249-258, March 2013.
  • Y. H. An, Dictionary of Modern Art, Mijinsa, p. 360, 2011.
  • K. E. Young, Interactive Art Study through Visual Sensory Experience, Master's thesis, Korea National University of Education, Seoul, 2010.
  • Y. H. In and K. H. Gi, "The Affordance Characteristics in Interactive Art Based Motion Recognition Interface,” Journal of Digital Design, Vol. 16, No.2, pp. 61-68, June 2016.
  • S. W. Choi, A Production of Interactive Art Applying Nui as a Representation of Audience's Experience : Focused on My Work <Horizon>, Master's Thesis, Chung-Ang University Graduate School of Advanced Imaging, Seoul, February 2018.
  • D. Morris, Peoplewatching: The Desmond Morris Guide to Body Language. Vintage Books, 2002
  • J. Cassell, Computer Vision in Human-Machine Interaction-A Framework for Gesture Generation and Interpretation, Cambridge University Press, pp. 191-215, 1998.
  • C. Hummels and P. J. Stappers, “Meaningful Gestures for Human Computer Interaction: Beyond Hand Postures,” In Proceedings Third IEEE International Conference on Automatic Face and Gesture Recognition, Nara, Japan, pp. 591-596, April 1998. https://ieeexplore.ieee.org/document/671012
  • F. Quek, Eyes in the Interface, Image and Vision Computing, Vol. 13, No. 6, pp. 511-525, August 1995.
  • K. H. Woo, “A Study on the Paradigm Shift of User Interface in the View of Remediation Theory,” Journal of Digital Design, Vol. 10, No. 2, pp. 209-218, April 2010.
  • P. S. Young, Digital Media and the Arts, Ewha Womans University Press, pp.139-140, 2016.
  • T. W. Hwang, Development of Architectural Design Support Tool Using Natural User Interface (NUI), Master's Thesis, Seoul National University of Science and Technology, Seoul, 2012.
  • J. H. Kim and H. Kim, “A Study on Direction for the Natural Interaction Design Based on User Experience,” Journal of the Korean Society Design Culture, Vol. 21, No. 2, pp. 175-186, June 2015.
  • S. H. Kim, Natural User Interface (NUI) to the Age of Intelligent User Interfaces That Understand Users and Their Surroundings, Kisti Market Report, Vol. 2, No. 10, pp. 7-10, October 2012. https://repository.kisti.re.kr/handle/10580/9616
  • L. J. Hyun, Smart UI/UX technology and industry trends, 2013 [Internet]. Available: https://www.slideshare.net/opendori/ui-ux-21842153
  • B. S. Hee and K. C. Hoon, “Natural User Interface Model of Digital Comics - Focus of Hand Gesture Interface -,” Journal of Digital Design, Vol. 13, No. 3, pp. 331-340, July 2013.
  • https://www.manamana.net/video/detail?id=70417#!en
  • https://www.manamana.net/video/detail?id=50016#!en
  • https://www.manamana.net/video/detail?id=1566768#!en
  • https://www.manamana.net/video/detail?id=235369#!en
  • https://www.manamana.net/video/detail?id=1757189#!en
  • https://www.manamana.net/video/detail?id=116318#!en
  • https://www.manamana.net/video/detail?id=7157#!en
  • https://www.manamana.net/video/detail?id=1540256#!en
  • https://www.manamana.net/video/detail?id=1573889#!en
  • https://www.manamana.net/video/detail?id=75373#!en
  • https://www.manamana.net/video/detail?id=1731529#!en
  • https://www.manamana.net/video/detail?id=1738407#!en
  • https://www.manamana.net/video/detail?id=1588292#!en
  • https://www.manamana.net/video/detail?id=1519588#!en
  • https://www.manamana.net/video/detail?id=1514845#!en
  • https://www.manamana.net/video/detail?id=1705378#!en
  • https://www.manamana.net/video/detail?id=1988#!en
  • https://www.manamana.net/video/detail?id=4752#!en
  • https://www.manamana.net/video/detail?id=4856#!en
  • https://www.manamana.net/video/detail?id=1248#!en

저자소개

왕설청(Wang-Xue Qing)

2020년:국립제주대학교 멀티미디어디자인전공 학사

2020년~현 재: 이화여자대학교 일반대학원 미디어인터랙션디자인전공 석박통합과정

※관심분야:인터랙티브 아트(Interactive Art)

유현정(Hyun-Jung Yu)

1991년:이화여자대학교 미술대학 생활미술과 학사

1993년:Boston University M.F.A

2001년~현 재: 이화여자대학교 조형예술대학 디자인학부 교수

※관심분야:인터랙티브 아트(Interactive Art), 에듀테인먼트(Edutainment)

Fig. 1.

Fig. 1.
Reproduction factors according to interface development process

Fig. 2.

Fig. 2.
Types of NUI

Fig. 3.

Fig. 3.
Interactive art type layout

Fig. 4.

Fig. 4.
Interactive art type characteristic derivation process

Table 1.

Percentage of works 2017-2021

Type Number of works Number of NUI works Percentage of all NUI works
2017 35 17 48.6%
2018 28 11 39.3%
2019 32 12 37.5%
2020 25 9 36%
2021 47 16 34%
Total 167 65 38.9%

Table 2.

Classification of types of gestures

Researcher Type Explanation Example Classification criteria
McNeill Iconic gestures The promised gesture Good Human Computer Interaction
Metaphoric gestures Presenting similar features Size description
Deictics spatialize Object or direction indication Pointing the way
Beat gestures Rhythmic movement Beat the beat
Caroline Space Interact with 3D objects Push Pull
Pathic information Unconscious behavior
Symbols The promised gesture Good
Affects Emotion and emotional expression
Quek Manipulative gestures Behavior that controls the interface Object movement
Communicative gestures Actions for communication purposes Traffic command

Table 3.

NUI input method

Input technology Detailed function
Computer vision Face Recognition, Space Recognition, Gesture (Motion) Recognition
Voice recognition Voice commands, Natural language, Environmental noise
Touch Single touch, Multi touch, Pan input
Sensor GPS, Brightness, Fingerprint, Iris recognition
Brain waves Mind control, Emotion recognition

Table 4.

Interactive art type derivation research process

By Type Type of interactive art
Gestures NUI
Control Gestures Gestures Recognition Control Gestures-based Gesture Recognition Using Objects as Tools
Artwork with Trggered Screens
Speech Recogniton Control Gestures-based Speech Recogniton Voice Output Through a Medium
Communication Gestures Gestures Recognition Communication Gestures-bassed Motion Recognition Works that Use Behavioral Imitation
Works Using Natural Motion
Speech Recogniton Communication Gestures-based Speech Recogniton Works Using Abstract Voice
Text-to-Speech

Table 5.

Examples of artwork using objects as tools

Example Picture Applied technology Participation method Purpose
[2020] The Lightwaves[19] Utilizing Drums Energy Drumming Visualize rhythm Collaboration, fun, and audience connection
[2019] Musical Bikes[20] Utilizing Bicycles Energy Bicycle Riding Visualize energy Collaboration, fun, audience connection
[2021] The Innovative Tea Lab[21] Goblet utilization, image mapping, motion recognition Exhibitions Tea ceremony experience Make Action Meaningful, Appreciate, Learn
[2020]Into The Wind[22] Sensors Whisk Exhibitions Calling the Wind Wind visualization Visualizing a phenomenon
[2021] Dandelion[23] Smartphone, QR Digital imaging Send each graphic Collaboration, beauty, human connection

Table 6.

Examples of artworks using triggering screens

Example Picture Applied technology Participation method Purpose
[2020] Baskinrobbins flagship store media wal[24] Screen touch In-Store Offers Game Play

Table 7.

Examples of voice output through a medium

Example Picture Applied technology Participation method Purpose
[2019] SPIRALALALA [25] Voice Recording, Recognition Recording Sound
Outputting sound along a path
Forward, store, Customize

Table 8.

Examples of works that use behavioral imitation

Example Picture Applied technology Participation method Purpose
[2021] He jiang pavilion[26] Motion Recognition, Gaming Playing events, collaboration Mimic behavior Connecting People, Collaboration, Fun
[2021] Filming a webathon[27] Motion Recognition, Capture, Gaming Playing Events, Mimic character havior Play,Fun, Announce

Table 9.

Examples of works using natural motion

Example Picture Applied technology Participation method Purpose
[2020]OricinalCode[28] Body recognition
Mapping
Exhibitions
Walk
Exploring nature
[2021]Dream In Star River[29] Body recognition
Mapping
Exhibitions
Body traces
Exploring nature
[2021]First Knowing No True Color[30] Body recognition
Mapping
Exhibitions
Waving your hand
Exploring nature
[2021]RED BOX[31] Body recognition
Mapping
Exhibitions
Body Movement
Polymorphic Experience, Virtual form
[2021]Melting conciousness[32] Body recognition
Mapping
Exhibitions
Body movements
Nature Exploration, Virtual Space
[2021]The Actor[33] Body recognition
Mapping
Exhibitions
Body movements
Virtual form
[2021]40 Hz[34] Body recognition
Mapping
Exhibitions
Body movements
Fun, Cute, Virtual experience
[2018](Busan)_Sealife[35] Body recognition
3D Characters
Exhibitions
Body movements
Avada experience Virtual form

Table 10.

Examples of works using abstract voices

Example Picture Applied technology Participation method Purpose
[2019]THE SHAPE OF LANGUAGE[36] Sound wave identification Exhibition Voice input Voice visualization Emotions, interpersonal connection, sharing
[2019]RECURSION VOICE2.0[37] Sound wave identification Exhibition Voice input The power of voice, sharing

Table 11.

Examples of text-to-speech

Example Picture Applied technology Participation method Purpose
[2017]Robotic Voice Activated Word Kicking Machine[38] Language identification, character derivation, rhyme identification Exhibition language Visualization Voice input Language transmission, interpersonal

Table 12.

Change in number of cases by type by year

Classification 2017 2018 2019 2020 2021
Control Gestures-based Gesture Recognition 1 3 2
Control Gestures-based Speech Recogniton 1
Communication Gestures-bassed Motion Recognition 1 1 8
Communication Gestures-bassed Speech Recogniton 1 2