액티비즘을 바탕으로 한 인터랙티브 예술 작품 제작 연구 : <디볼루션: 더 헤리티지>를 중심으로

1-1 연구 배경

인터랙티브 예술 작품에서 작가의 의도는 중요하다. 작가의 의도는 주제를 전달하는 방식에 있다[1]. 인터랙티브 예술 작품의 주제의 전달은 디지털 기술의 변화를 바탕으로 발전하고 있다[2, 3, 4]. 특히 A.I.나 가상현실 증강현실 기술들이 적용되면서 인터랙티브 작품들은 유희성과 스펙터클 중심의 유사한 형태를 보이고 있다[5, 6]. 최근 인터랙티브 예술 작품들은 데이터들 분석을 통한 시각적 표현과 스펙터클의 형상화가 트렌드가 되고 있다[7, 8].

또한 현재 제작 및 연구 되고 있는 인터랙티브 예술 작품의 경우 사람의 생체 데이터를 이용한 디지털 기술적인 이슈와 그로 인한 새로운 미학적 경험이 주요한 이슈였다[9, 10]. 기술적 이슈와 이를 적용한 제작 방법론에 초점을 맞추다보니 예술 작품에서의 메시지와 관객의 참여로 인한 메시지 전달등의 연구는 많이 수행되지 않았다. 최근 연구들에서 보다시피 예술의 작품에서의 핵심적인 미적 가치가 주요 관객들의 작가의 주제의식이 얼마나 잘 전달되었는가가 아닌 경험 분석에 이루어지기 때문이다[11, 12]. 예술 작품에서 작가의 주제 의식을 수행하는 관객 행동과 행동 결과에 따른 콘텐츠 결과에 대한 미학의 연구는 많이 다루어지지 않았다.

기존의 연구들에서 예술의 기본적인 속성인 미적인 행위의 행동적 가치를 제시하지 못하는 한계가 있다. 이러한 행동적 가치는 결국 인터랙티브 인스톨레이션을 통해 콘텐츠를 변화시키는 의지다. 이러한 의지가 디지털 콘텐츠를 통해서 미적 가치로 형상화될 때 예술 작품의 가치는 높아질 수 있다. 이렇듯 인터랙티브 예술 작품에서 관객들의 행동을 통한 기존의 미디어에 대한 저항적 속성에 대한 연구가 필요하다.

1-2 연구 목적

인터랙티브 예술 작품 본래의 특성에는 저항적 요소가 있어야 한다. 저항적인 요소와 행동은 관객들이 예술 작품의 의도에서 벗어나 자신의 주체적인 행동을 할 수 있게 한다. 그것은 아티스트가 설정해놓은 콘텐츠의 세계를 바꿀 수 있는 요소이기도 하다.

이러한 저항적 요소는 디자인 운동 중의 하나인 액티비즘(Activism)을 적용할 필요성이 있다. 액티비즘이 적용되면, 이러한 저항성을 인터랙티브 예술 작품의 행동을 통해서 사회가 변화할 수 있는 인터랙티브 예술 작품으로 창작될 수 있기 때문이다. 기존의 유희성과 스펙터클에 초점을 맞추었던 인터랙티브 예술 작품들과 달리 주제 의식과 목적성이 강화된 인터랙티브 예술 작품을 만들 수 있다. 단순히 디지털 인스톨레이션에 반응하는 인간이 아닌 액티비즘의 변화와 전복을 통해서 관객의 주체적인 행동을 발견하고, 그것이 콘텐츠와 연관이 될 수 있기 때문이다. 또한 개인의 인터랙티브 인스톨레이션에서의 체험이 사회적 가치로 확장될 수 있고, 또한 집단적인 가치로 나아갈 수 있는 장점이 있다.

이번 연구에서는 액티비즘의 요소를 실제 인터랙티브 예술 작품을 제작하는데 적용할 수 있는 방법론을 만들었다. 실제 인터랙티브 예술 작품 프로젝트 <디볼루션: 더 헤리티지> 버전의 프로토타입을 만들어서 기술 테스트를 진행했다.

2-1 선행 연구

현재 인터랙티브 예술 작품에서 미적인 경험을 확장하기 위한 다양한 제작 방법론이 제안되고 있다. 새로운 기술을 바탕으로 한 관객들에게 새로운 미적인 경험을 주는 것이다.

장윤제와 김형기의 연구에서는 모바일 기기를 활용 인터랙티브 예술 작품에서 관객 참여 유형 및 형상화에 관련된 연구를 진행했다[13]. 노진아의 연구에서는 대화형 인공지능 예술 작품의 제작 과정을 <진화하는 신, 가이아 (An Evolving GAIA)> 사례를 바탕으로 연구했다[14]. 이동호와 김현희의 연구에서는 흔들리는 오뚝이 제작 과정에 관련된 방법론을 제안했다[15]. 유정정, 임영훈 그리고 백준기의 연구에서는 작가의 예술적 의도에 따른 인간의 감각 기관에 대한 예술적 모델에 대해서 분석했다[16].

이렇듯 인터랙티브 예술 작품은 다양한 주제와 기술적 이슈로 연구 분석되고 있고 관객들의 행동과 경험을 확장하는 방향으로 나아가고 있다. 이러한 관객들의 행동과 경험에 대한 방향성을 좀더 명확하게 할 필요성이 있다. 기존의 관객들의 게임플레이(Gameplay) 행동을 통한 인터랙티브 예술 작품들이 유희성과 스펙터클한 콘텐츠에 초점을 맞추었는데, 이번 논문에서는 액티비즘 이론을 통한 작가의 주제 의식 전달에 초점을 맞추었다.

2-2 액티비즘 연구

인터랙티브 예술 작품에서 액티비즘의 기원을 찾아보면 플럭서스에서 그 시초를 발견할 수 있다[1, 17]. 플럭서스 이후로 액티비즘이 사회 전면의 운동으로 나타나게 된 것은 그 목적이 사회 디자인을 통해서 사회를 변혁하는 것으로 1960년대부터 시작되었다.

액티비즘은 적극적인 참여와 정치적 행동을 바탕으로 하는 운동으로 다음과 같이 정의된다[1, 18, 19].

• ① 디자인 액티비즘은 사회운동으로, 최근 신자유주의의 위기에 대한 대응으로 출현하게 되었다.
• ② 액티비즘은 변화를 촉진, 증가, 가져오기 위한 행동을 수행하는 것이다.
• ③ 행동주의를 수행하는 액티비스트들은 지역화되거나 분산되는 사회적, 환경적 또는 정치적 운동에 속할 수 있으며, 집단적 또는 개인의 행동에 기초한다.

액티비즘이 타 미디어 연구와 예술 분야 연구에 적용된 최신의 동향은 다음과 같다.

권호창의 연구에서는 미디어 환경과 콘텐츠의 변화를 살펴보고 이와 맞물려 있는 수용자의 변화 양상을 관련 연구를 액티비즘을 바탕으로 새로운 문제 해결 방안을 제시했다[20, 21]. 김희경의 연구에서는 콘텐츠 액티비즘이 다루고 있는 분야는 무엇이며, 어떤 단계로 진행되어 변화에 이르게 되는지 살펴봐서 향후 콘텐츠 액티비즘을 실질적으로 구현가능한 지에 대해서 연구했다[22]. 박상현의 연구에서는 에서 액티비즘의 변형된 형태인 핵티비즘을 바탕으로 브라우저 아트의 연구가 진행되었다[23]. 또한 유영재의 연구에서는 Graffiti Research Lab의 핵티비즘적 성격에 대한 연구로 그라피티의 액티비즘과 해커정신을 결합한 아트 그룹으로서 오픈소스 운동과 대중협력을 통해 새로운 형태의 도시 뉴미디어아트를 시도를 예술적 가치로 분석했다[24].

즉, 액티비즘은 정치적 목적으로 사람들의 직접적이고 적극적인 행동을 통해서 사회의 결과를 바꾸는 것이다. 액티비즘은 인터랙티브 기술과 소셜 미디어 기술의 발전으로 다양한 분야에 적용되고 있다. 액티비즘을 적용하기 위해서는 저항적인 목적이 있어야 하고, 주체적인 행동을 할 수 있어야 하며, 변화하는 콘텐츠가 있어야 한다.

2-3 액티비즘의 적용 방안

인터랙티브 예술 작품에서도 이러한 액티비즘을 통해서 관객의 행동이 더 강화될 수 있다. 관객의 참여는 인터랙티브 예술 작품의 의미와 가치를 확장할 수 있다. 그것은 인터랙티브 예술 작품이 관객들의 직접적인 참여로 이루어지기 때문이다.

앞선 연구들을 바탕으로 인터랙티브 예술 작품에 액티비즘이 적용되기 위해서는 다음과 같은 프레임워크가 필요하다[18, 19, 25].

① 저항성의 목적

무엇에 대한 저항인지에 대해서 알 수 있어야 한다. 액티비즘 디자인은 공공적인 장소가 주는 획일적이고, 권위적인 디자인을 파괴하는 것에서 시작되었다.

② 주체적 행동을 수행할 수 있는 미디어 인터페이스

관객들의 파괴적인 행동은 주체적으로 수행하는 것이고, 적극적인 행동이 유발될 수 있어야 한다. 누군가에 의해서 수동적으로 행동하는 것이 아니라 자신의 의지에 의해서 수행되어야 한다.

③ 변화하는 대상에 대한 콘텐츠의 형상화

관객의 행동에 의해서 대상이 변화해야 한다. 대부분은 파괴되거나 쓰임새가 달라지게 된다.

④ 변화에 따른 엔딩 생성

관객의 행동으로 변화된 엔딩이 생성되어야 한다.

3-1 기본 설정

디볼루션 프로젝트(deBallution Project)는 2014년부터 진행되어 왔고, 이번 버전은 액티비즘을 바탕으로 한 새로운 헤리티지 버전을 만들었다. 디볼루션의 기본적인 컨셉트는 문화유산에 관객들이 가상의 공을 던지는 행위를 통해서 콘텐츠에 저항하는 관객의 행동을 발견하는 인터랙티브 아트 작품이다[26]. 이번 작품에서는 이탈리아 이브레아의 <이브레아의 카니발 Carnival of Ivrea> 축제의 콘셉트를 주요 모티브로 설정하고, 액티비즘을 적용한 인터랙티브 예술 작품을 만드는 것을 목적으로 했다. <이브레아의 카니발>은 중세시대 성주와 시민들의 대결을 카니발적으로 표현한 글로벌 축제다[27]. 카니발 참여자들은 이브레아 방위팀 또는 주변 사람들에게 오렌지를 던지면서 화려한 축제를 경험할 수 있다. 이 축제의 의미는 과거로부터 유지되어온 성주와 시민들 간의 갈등을 식재료를 던지는 문화적 축제 놀이로 승화시킨 것이다. 서로 쌓여있는 갈등을 봉합하고, 카니발적인 주종 관계의 전복을 생각하며, 오렌지색으로 물들인 도시의 풍경을 감상하는 것으로 마무리 된다. 그림1은 이러한 <이브레아의 카니발>의 역동적인 최신 축제 장면을 보여준다[28].

Fig. 1.

Snapshot of <Carnival of Ivrea>[28]

이러한 축제적 던지기 놀이를 이번 버전에서는 한국의 신라 시대 대표적인 왕실의 유흥의 공간이었던 경주 월지를 설정해 제작했다. 던지기 행위를 통해 배경 이미지에 만화경 이미지를 생성해 스크린 안 풍경을 바꾸는 게임플레이적인 놀이를 수행하면서 동서양의 문화적 융합에 대해서 질문을 던졌다. 단순히 액티비즘이 환경이나 세계에 대한 파괴나 전복이 아닌 이를 통한 새로운 세계를 만드는 것을 의도한 것이다.

3-2 <디볼루션: 더 헤리티지> 버전에 액티비즘 요소 적용

<디볼루션: 더 헤리티지>의 기본 구성에 앞서 프레임워크로 제안했던 액티비즘 요소를 다음과 같이 적용했다.

① 저항성의 목적 적용

관객들은 던지기 행동을 통해서 한국의 랜드마크에서 새로운 경험을 하고 그에 대한 이미지의 변화를 시도한다.

② 주체적 행동을 수행할 수 있는 미디어 인터페이스 적용

관객들은 던지기를 수행할 수 있는 미디어를 통해서 자신의 의지를 인스톨레이션에 대해서 표현할 수 있다.

③ 변화하는 대상에 대한 콘텐츠의 형상화 적용

관객들의 던지기 행동에 의해서 랜드마크에 다양한 이미지 변화가 생기며, 이는 축제를 불러온다.

④ 변화에 따른 엔딩 생성

관객의 행동으로 변화된 엔딩이 생성되어야 한다.

3-3 액티비즘을 적용한 디자인

액티비즘의 요소 적용을 통한 디볼루션 프로젝트의 기본적인 스토리 구조는 다음과 같다.

• ① 관객들이 스크린 앞에서 섬.
• ② 스크린 배경인 경주의 월지 야간 이미지에 타겟 이미지인 스크래치가 생성됨.
• ③ 관객들 가상의 오렌지를 스크린의 타겟 이미지를 향해던짐.
• ④ 오렌지가 타겟 이미지에 맞을 경우 만화경 이미지가 생성되면서 점점 확대됨.
• ⑤ 만화경 이미지가 배경인 월지 이미지를 가득 채울 경우 이번 작품의 아키타입이었던 <이브레아의 카니발> 축제의 현장 이미지로 변화됨.

<디볼루션: 더 헤리티지>에서 디자인은 액티비즘 요소를 통해 다음과 같은 점에 초점을 맞추었다. 관객들은 스크린 배경에 가상의 볼을 던진다. 가상의 볼이 타겟인 스크래치에 맞을 경우 만화경이 생성되고, 그 만화경 이미지가 점차 확장되는 것을 통해 주변으로 퍼지는 효과를 의도했다.

<디볼루션: 더 헤리티지>의 콘텐츠 디자인은 다음과 같다.

그림2는 <디볼루션: 더 헤리티지>의 배경 디자인의 모습이다. 경주의 유적지인 월지를 설정해서 문화유산을 파괴하는 반달리즘적 성격을 강하게 했다.

Fig. 2.

Background design of <deBallution: The Heritage>

그림3은 <디볼루션: 더 헤리티지>의 타겟 이미지의 모습이다(점선 원형 안 참조). 경주의 유적지인 월지에 랜덤 위치에 타겟 이미지가 나타나고 이는 월지의 이미지에 스크래치가 나는 장면을 형상화한 것이다.

Fig. 3.

Target design of <deBallution: The Heritage>

그림4는 <디볼루션: 더 헤리티지>에서 관객들이 가상으로 던지 행동으로 오렌지가 스크린에 던져져서 깨진 모습을 형상화한 것이다 (점선 원형 안 참조). 깨진 오렌지를 형상화한 것은 앞선 <이브레아의 카니발>의 오렌지 던지기에서 모티브를 얻은 것이다. 관객들이 타겟을 맞추지 못하면 이러한 오렌지가 깨진 형상화가 나타나고, 타겟을 맞추면 그림5와 같은 만화경 이미지가 생성되어서 관객들이 타겟을 맞춘 것인지 인지하게 설정했다.

Fig. 4.

Crushed orange design of <deBallution: The Heritage>

Fig. 5.

Kaleidoscope image design of <deBallution: The Heritage>

그림5는 <디볼루션: 더 헤리티지>에서 관객들이 스크래치 난 타겟을 오렌지로 맞췄을 때 만화경 이미지가 생성되는 것을 형상화한 것이다 (점선 원형 안 참조). 그림5에서처럼 만화경 이미지는 왼편의 작은 이미지에서 시작해서 점차 주변으로 확장되어 가 큰 만화경 이미지로 변화된다. 만화경 이미지로 확장되는 문화의 유산을 표현한 것은 디볼루션 프로젝트의 기본적인 콘셉트가 다양한 문화의 융합을 통한 가치의 생성과 확장이기 때문이다. 작은 점에서 시작한 이미지가 제너레이티브 아트 (Generative Art) 처럼 점점 주변으로 확장되면서 여러 색과 문양으로 혼합된 만화경 이미지를 만들어지는 것을 주요 상징으로 형상화한 것이다.

그림6은 <디볼루션: 더 헤리티지>에서 관객들이 만화경 이미지로 화면을 가득 채웠을 때 오렌지 던지기 놀이의 한 장면 속으로 배경이 바뀐 것을 형상화한 것이다. 실제 오렌지 던지기의 축제 장면 속으로 들어간 것 같은 엔딩을 느낄 수 있는 엔딩으로 설정했다.

Fig. 6.

Ending scene design of <deBallution: The Heritage>

3-4 프로토타입 개발

<디볼루션: 더 헤리티지>의 프로토타입은 기본적인 기술 구현을 통해 실제 액티비즘을 인터랙티브 예술 작품에서 형상화가 가능할지 기능 테스트를 중심으로 제작되었다. 프로토타입은 그림7과 같은 구조를 통해서 구현되었다. 스크린에 배경인 월지 이미지가 재현되고, 관객들이 서면 타겟 이미지가 스크린에 랜덤의 위치에 생성이 된다. 관객들이 던지는 행동을 수행하면 가상의 오렌지가 던져져 스크린 안에서 터지는 것 같은 효과가 나타난다. 관객이 오렌지를 던진 위치가 타겟의 위치와 일치할 경우 만화경 이미지가 스크린에서 생성된다. 이 만화경 이미지가 배경의 하늘 전체를 덮으면 스크린의 배경이 이탈리아 이브레아 이미지로 변화되면서 수행이 끝나게 된다.

Fig. 7.

Flowchart of <deBallution: The Heritage>

<디볼루션: 더 헤리티지>의 프로토타입은 마이크로소프트 키넥트 (Kinect) 2.0과 오픈프레임웍스(openFrameworks) 프로그램으로 구현이 되었다. 관객들의 던지는 행동이 키넥트에 의해서 컴퓨터에 전달이 되고, 컴퓨터에 연결된 빔프로젝터를 통해서 스크린에 관객들의 행동이 구현된다.

<디볼루션: 더 헤리티지>의 개발적 이슈는 정확하게 관객들이 던지는 위치에 가상의 볼이 날아간 것처럼 보이게 표현하는 것이다. 그것은 관객들로 하여금 자신이 던진 행위가 직접적으로 콘텐츠에 영향을 주고 변화를 시키는 것을 목격할 수 있게 하기 위함이다. 그림8은 <디볼루션: 더 헤리티지>의 기본 프레임워크다.

Fig. 8.

Basic framework design of <deBallution: The Heritage>

<디볼루션: 더 헤리티지>의 프로토타입 기술 구현 테스트 대표 장면들은 다음과 같다.

그림 9의 이미지는 기술 구현 테스트를 위한 첫 시작 장면이다. 월지의 야간 이미지가 스크린에 재현되어 있다.

Fig. 9.

The opening scene of <deBallution: The Heritage> during implementation test

그림 10의 이미지는 신라 월지 배경 이미지에 스크래치와 같은 타겟이 만들어지는 장면이다. 이러한 스크래치를 통해서 관객들이 그 위치에 던지게 하는 동기를 부여하는 것이다.

Fig. 10.

Target image of <deBallution: The Heritage> during implementation test

그림 11의 이미지는 관객이 가상의 던지기 행동을 통해서 월지에 생성된 스크래치를 맞추는 장면을 구현한 것이다. 가상으로 던져진 오렌지가 타겟에 맞을 경우 만화경 이미지가 생성되는 것을 보여준다.

Fig. 11.

Crushed orange image of <deBallution: The Heritage> during implementation test

그림 12의 이미지는 만화경 이미지가 점점 확장되어 화면을 채우는 것이 구현된 장면이다.

Fig. 12.

Kaleidoscope images of <deBallution: The Heritage> during implementation test

그림 13에서는 액티비즘의 주요한 핵심인 관객들의 행동을 통해서 변화된 새로운 세계의 모습이다. 앞서 디자인 형상화에 대한 설정 챕터에서 설명한 것처럼 관람객이 <이브레아의 카니발>의 현장에 있는 것과 같은 효과를 주기 위함이다. 이는 결국 액티비즘의 설정을 통해서 콘텐츠를 변형시키는 과정에 대한 함축적인 상징적 장면 구성이다. 이러한 결말을 통해 관객들은 자신의 행위가 콘텐츠의 변화를 가져오는 액티비즘을 직접 인터랙티브 예술 작품에서 수행할 수 있게 한다.

Fig. 13.

Ending scene images of <deBallution: The Heritage> during implementation test

<디볼루션: 더 헤리티지>의 자체 기술 구현 테스트 후 다음과 같은 결론을 도출했다.

① 저항성의 목적

<디볼루션: 더 헤리티지>에서 설정한 저항성은 한국의 문화 유산이 외부의 틈입에 의해서 스크래치가 나는 것을 관객들이 던지는 행위를 통해 막는 것이다.

② 주체적 행동을 수행할 수 있는 미디어 인터페이스

관객들은 주체적인 행동을 통해 자신의 던지기를 수행하고 이 행동이 키넥트에 의해 스크린 콘텐츠에 반영이 되었다. 따라서 기술적 정확도가 중요한 이슈중의 하나로 인식되었다.

③ 변화하는 대상에 대한 콘텐츠의 형상화

원래 신라의 문화 유적지 월지가 파괴되고 그로 인해서 새로운 문명의 현장으로 나타나는 설정을 통해서 헤리티지에 대한 전복과 그로인한 카니발 축제의 의미를 관객들이 경험할 수 있게 되었다.

④ 변화에 따른 엔딩 생성

관객의 던지기 행동으로 만화경 이미지가 생성되고 이 만화경 이미지가 화면을 가득 채우면 엔딩 장면인 <이브레아의 카니발> 배경이 나타나는 것으로 관객들은 이 엔딩을 통한 자신의 던지기 행동에 대한 수행의 의미를 생각할 수 있다.

결론적으로 액티비즘을 통해서 문화 유산에 대한 카니발적 놀이가 만들어지고 이에 따라 관객들의 작품 속에서의 행동이 강화되고, 또한 콘텐츠의 변화가 만들어져서 끝맺음을 할 수 있었다.