무의식의 비물질적 가시화에 대한 오디오비주얼의 표현적 방법에 대한 연구

1-1 연구 배경

현대 미술은 테크놀로지의 발달로 시각 중심의 예술에서 다매체적 예술로 확장되었다. 사운드 아트(Sound Art) 또한 청각적 요소를 지니며 감각의 확장에서 예술을 바라볼 수 있다. 기존 순수예술(Fine Art) 분야에서 사운드 아트는 보고, 듣고 체험할 수 있는 형태로 예술을 변화시키고 있다. 특히 오디오비주얼(Audiovisual)은 실시간 오디오(청각적 요소) 기반 시각적, 촉각적 요소 등 다감각이 복합적으로 적용되며 현장감 있는 퍼포먼스(Performance)를 표현할 수 있다[1]. 회화와 같은 예술 장르는 2차원적 평면에 표현될 수 있다면 오디오비주얼 기반의 작품은 공간 안에서 시청각적 요소가 융합된 입체적 감흥을 생성할 수 있다. <그림 1>과 같이 유사한 작품 제목<The Arrival>의 회화와 오디오비주얼 작품이다.

Fig. 1.

Christopher Richard Wynne Nevision, The Arrival, Oil on the Canvas, 1913 / 404 zero, Arrival, Audiovisual Installation, 2019

먼저 크리스토퍼 리처드 웨인 네비슨(Christopher Richard Wynne Nevision)의 <The Arrival>은 형태와 색을 해체하며 전체 이미지를 구조화하였고, 404 제로(404 zero)의 <Arrival>은 같은 제목의 작품이지만 전혀 다른 개념적 접근을 한다. 404 제로의 작업은 조명, 금속프레임, 스피커가 설치된 작품으로 금속 프레임에 레이저가 통과하면서 시청각적 효과를 동시에 생성하는데, 이는 현실에서 미지의 세계로 움직임에 대한 방향성을 오디오비주얼 설치작품으로 연출한다. 이처럼 오디오비주얼 작품은 평면 회화의 물질적이고, 시각 중심의 단면적 소통방식에서 다감각적이고 현장성을 내포한 확장된 예술적 표현 가능성을 가진다.

최근 오디오비주얼 작품은 실시간 관객의 참여가 가능하며, 작품의 형태적 변형과 청각적 변화가 실시간 다변화될 수 있는 유형을 지닌다. 테크놀로지의 진보는 데이터 처리 기술을 발전시켰고, 예술로 장르를 정의하기 어려운 실험적 모색이 가능하게 되었다. 오늘날 오디오비주얼 작업은 비물질적 데이터를 활용하여 <그림 2>와 같이 거대한 화면과 높은 음량으로 순간적으로 압도당할 수 있는 크기로 실시간 변화되는 현장성을 지니는 것이 특징적이다. 알렉스 게베라(Alex Guevera)의 작품<Unit>는 사운드의 흐름에 따라 점과 선이 인터랙션(Interaction)하며 움직이는 이미지(Motion Image)가 생성된다. 그러나 오디오비주얼 작품은 일반적으로 짧은 순간 소리에 반응되는 이미지가 출력되기 때문에 움직이는 추상 이미지를 읽어내기에 한계가 있다. 작품<Unit> 또한 디지털 기반 무수히 많은 점과 선으로 이어지는 과정을 아직 끝나지 않은 혹은 아직도 계속 만들어지고 있는 작품으로 소리에 반응하는 지속적으로 생성되는 이미지는 현상을 제시할 뿐 의도는 모호하다.

Fig. 2.

Alex Guevera, Unit, Audiovisual Installation/Performance, 2018

이처럼 기술의 발달로 예술적 표현 도구가 다양화되어 작가가 전달하고자 하는 표현을 다각화할 수 있지만 작가가 전달하고자 하는 메시지, 예술이 공유될 수 있는 문화적 가치가 시각적 현란함과 자극성으로 인해 자칫 표현적 실험에 그치고, 이는 관객과의 소통의 부재로 이어질 수 있다. 본 연구에서는 비물질적 데이터 기반 오디오비주얼 작품이 효과적으로 표현하기 위하여 체계적으로 상징적 맥락성을 접근하고자 작품<The Complex Conflict>의 구현하는 과정을 사례로 제시하고자 한다.

1-2 연구 범위 및 방법

본 연구는 오디오비주얼 기반 작업의 시청각적 요소가 무엇을 어떻게 소통하고자 하는지에 대한 근본적인 질문에서 시작하고자 한다. 이를 체계적으로 살펴보고자 무의식에서 발현되는 상징성을 프로이드(Sigimund Schlomo Freud)와 융(Carl Gustav Jung)을 조사하여 작가의 의식 수준과 심리적 접근 방법에서 작업을 고민해 보고자 한다. 이와 같은 이론적 접근에서 예술적 표현을 분석하고, 오디오비주얼 작업으로 가시화하는 과정을 도출하며, 오디오비주얼 작품에 나타나는 비물질적 특성을 분석한다. 또한 오디오비주얼의 현황을 살펴보고자 오디오비주얼의 전개 및 현재 사례를 분석하여 표현 유형을 분류하였다. 이처럼 본 연구는 무의식에 대한 선행연구와 비물질적 가시성에 대한 사례연구를 기반으로 오디오비주얼의 발전적 전개 및 현황을 분석하며 작품<The Complex Conflict>의 구현 방향성을 구축하고자 하였다. 본 논문은 오디오비주얼 기반 작품에 대한 체계적인 접근 과정을 실증적으로 모색한 연구로 향후 인간의 의식과 무의식에서 발화되는 영감으로 오디오비주얼 작품으로 시각화되는 과정적 연구 사례로 제시되고자 한다.

2-1 무의식에 대한 개념적 접근

인간은 사회적 관계를 형성하며 문명을 발달시키는 과정의 역사를 가지고 있다. 또한 인간은 개인의 욕구와 소망이 억압되거나 표현되는 과정에서 사회화가 될 수 있다. 다양한 욕구에 발현되는 의식적 활동에서 내재된 무의식을 프로이드는 사람 안에 있지만 의식되지 않으며, 마음속 의식이 아닌 영역을 ‘무의식’이라 정의하였다[2]. 프로이드는 무의식에 대하여 인간의 의식적 합리적 행동이 아닌 의식 영역 밖의 세계가 있음을 주장하며, 인간의 본능적 욕구를 포함한 억압된 형태의 충동이 무의식적 행동과 정서를 만든다고 언급한다[3]. 프로이드는 인간의 정신세계를 무의식 중심에서 성적 욕망, 억압, 공격적 충동 등에 의해 발생하는 갈등을 분석했는데 그의 이러한 정신분석 이론은 <그림 3>과같이 빙산(Iceberg) 모델로 대표적으로 설명된다[4].

Fig. 3.

Perceptual disposition in Freud`s psychoanalytic theory

인간이 의식하는 것은 빙산의 일각이라 설명하며 수면 아래 잠겨있는 많은 부분을 전의식과 무의식으로 분류하고 인간의 마음 대부분을 차지한다고 설명한다. 또한 인간의 행동과정에서 발생하는 행위는 무의식에서 의식에 이르기까지 내향적 혹은 외향적으로 설명될 수 있다.

융은 집단 무의식, 개인 무의식, 자아로 인간의 정신 구조를 바라보았고, 집단 무의식은 인간으로부터 역사적 경험의 산물이자 기억의 흔적으로 ‘원형’이라 일컬어지는 본능적 행위이며 공통으로 일반적인 사람에게 적용된다고 한다[5]. 또한 개인 무의식은 억압된 콤플렉스로 이루어져 있으며, 자아는 기억, 사고와 감정, 의식적 지각으로 자기 자신에 대한 의식과 외부에 대한 지각을 포함한다. 융은 정신적 구조에서 무의식을 바라보는 확장적 시각에서 내재한 심리 유형을 분석하였다. 융의 입장에서 <그림 4>와 같이 정신 구조를 기능적 측면에서 사고, 직관, 감정, 감각적 유형으로 구분하고, 실제 경험을 바탕으로 사고형, 직관형, 감정형 그리고 감각형으로 분류할 수 있다[6].

Fig. 4.

Types of Psychology in Jung`s analytical Psychology

프로이드가 주장하는 인간의 의식을 융의 심리 유형의 시각에서 확장되어 해석될 수 있다. 프로이드의 인간의 정신적 구조에서 바라보는 기능적 측면을 <그림 5>와 같이 감각과 직관, 사고와 감정의 유형에 따라 접근될 수 있다. 이는 무의식으로 갈수록 감정형으로 의식될수록 사고형으로 바라볼 수 있다.

Fig. 5.

Freud and Jung`s Psychological Types at the Level of Self-Consciousness

인간의 내면적 모호함의 틈에서 발견되는 작품 세계는 예술가의 함의된 무의식을 반영한다[7]. 예술가의 행위는 무의식에서 존재하는 기표, 그리고 내면의 자아와 관계되어 드러나기까지 감각과 직관, 감정과 사고 사이에서 시각화된다. 본 연구에서 접근하고자 하는 무의식의 시각화는 예술이 인간의 의식과 무의식 사이에서 발화되는 영감의 지점에 접근하고자 한다. 인간의 실험적 모색은 예술이 인간의 의식과 무의식 사이의 생성되고[8], 테크놀로지의 발전은 이를 다양하게 시도할 수 있게 한다.

2-2 무의식에 대한 예술적 확장

테크놀로지의 진화는 예술적 표현을 초현실적이고 초감각적이며 능동적인 인터랙션이 가능하게 한다. 무의식적으로 시각화하는 작가의 작품에서 물질과 비물질로 매체가 변화되었을 때 생성되는 인터랙션을 살펴보고자 먼저 쿠사마 아요이(Kusama Yayoi)의 작품<With all my love for the tulips, I pray forever)을 분석하고자 한다. 켈리(Edward T. Kelly)의 글에서 그녀의 작품을 ‘정신이상자의 작품’이라 평가하듯이 전쟁 시대에서 겪은 고통과 불안이 환영과 강박 증세로 빨간 점이 온몸을 덮는 현상과 식탁보의 물방울 잔상이 보이는 환영을 경험하며, 점(dot)과 연결망(net)으로 대표되는 작가만의 시각 언어를 구축했다[9]. <그림 6>의 작품처럼 그녀의 반복적인 점과 연결된 공간적 구조는 기존 회화적 화면 구성의 원리와 차이를 보여주고 있으며, 작가의 이성적 사고보다는 감정적 표현으로 억압된 작가의 감정을 드러내고 있다.

Fig. 6.

Kusama Yayoi, With all my love for the tulips, I pray forever, 2013 / Jackson Pollock, No.5, 1948

또 다른 작가, 추상 표현주의의 대표적 작가인 잭슨 폴록(Paul Jackson Pollock)은 기존 붓으로 그리던 회화를 ‘액션 페인팅(Action Painting)’이라는 작가만의 행위, 즉 물감을 뿌리는 등 자유로운 형태로 자신의 의식 흐름과 무의식적 행동을 시각적으로 치환하려고 하였다. 폴록은 우울증과 알코올 중독을 겪고 있었고, 무의식에 내재한 감각적 감정을 매개로 예술로 표현하는 작가 중 한 사람이다. 쿠사마와 폴록 두 작가 모두 ‘영감’이라 말하는 무의식에 내재한 감각적 감정을 매개로 예술로 시각화한 사례이자 기존 그리는 방식이 아닌 동적인 행위가 개입한 표현적 시도로 볼 수 있다. 인간의 창의적 발상은 인간의 무의식에서 내재한 언어로 형상화된다. 자아의 기저에 잠겨있는 내면의 언어에서 출발한 무의식의 시각화는 단순히 개념적 단어의 형상화 이상의 내적 연관성을 내포한다.

테크놀로지는 작가가 가진 영감을 융합적으로 표현할 수 있는 진보적인 예술적 표현 도구이며, 다관점에서 내면을 형상화할 수 있는 다양한 시도를 가능케 한다. 본 연구는 무의식이 지닌 초현실적 감각을 가시화하고자 오디오비주얼의 표현적 요소를 기술적으로 정합하는 데 관심을 두고 진행한다. 오디오비주얼이 지닌 데이터의 비물질성이 생성하는 작품의 특징을 사례를 중심으로 분석하고자 하며, 이를 통하여 오디오비주얼에 대한 표현적 유형의 도출하여 작품<The Complex Conflict>에 적용하고자 한다.

4-1 오디오비주얼의 전개 및 현황

초기 오디오비주얼 역사는 1915년 이탈리아 미래주의 예술가, 데페로(Forunato Depero, 1892-1960)와 루솔로(Luigi Russolo, 1885-1947)의 소리와 움직임으로 다각적 경험을 창조할 수 있는 예술기계(Art Machine)로 논의된다[12]. 동시대 시각 중심의 예술 장르에서 데페로와 루솔로의 시도는 실험적인 예술의 모색이라 하겠다.

Fig. 10.

Luigi Russolo, Noise Machines, 1914-1915

1950년대 퍼포먼스 혹은 해프닝(Happening)은 시각적 요소 뿐 만 아니라 소리 등 다매체를 통하여 실험되었고, 이는 전통적인 예술에 대한 탈장르를 모색할 수 있게 되었다[13]. 1970년대 베르토이아(Harry Bertoia)는 작품<7점의 음향조각, Sound Sculptures>를 발표하였는데 <그림 11>처럼 작품은 물리적 힘으로 철재 조각을 마찰시키면 소리가 생성된다. 이 작품은 소리를 활용하여 복합적 감각을 경험할 수 있을 뿐 아니라 관객의 행위에 따라 소리로 전환되는 작업이다.

Fig. 11.

Harry Bertoia, Sound Sculpture, 1970’

조각가 폰타나(Bill Fontana)는 <그림 12>처럼 녹음과 반복 연주가 가능한 움직이는 조각을 시도하였다. 폰타나의 움직이는 조각은 소리를 이용하여 공간을 인식하는 방식으로 변화시키고자 사운드와 퍼포먼스를 사용하였고, 이는 오디오비주얼 영역의 초기 형태라 할 수 있다[13].

Fig. 12.

Bill Fontana, Harmonic Bridge, 2006

오디오비주얼이 예술적 장르로 정의되거나 범위를 명확히 설명하기에는 아직 다양한 시도들이 진행되고 있으므로 명확히 정의되어지지 않았다. 그러나 흔히 인터랙티브 미디어 아트(Interactive Media Art)의 사운드 아트 범주에서 연관 지어 동시대를 탐구하는 연구 분야로 이해되고 있다. 디지털 기반의 사운드 아트는 1980-1990년대 기계악기가 보급되면서 시작되었다[14]. 특히 1997년 인터랙티브 음악 저작도구 맥스(Max) 프로그램이 배포되면서 하나의 컴퓨터에서 실시간 영상 처리가 가능해 졌다. 이를 활용하여 사운드와 영상을 효과적으로 제어할 수 있어서 손쉽게 디지털 기반 오디오비주얼 구현이 가능해졌다[15]. 맥스 프로그램 이외에도 그래픽 인터페이스(Graphic Interface)기반 터치디자이너(Touchdesigner), 노치 (Notch), 리액터(Reaktor)등 멀티미디어(Multimedia) 제어가 가능한 프로그램과, 에이블톤 라이브 (Ableton Live)와 같은 사운드 기반의 프로그램이 함께 연동하여 활용할 수도 있다. 특히 터치디자이너는 에이블톤 라이브에서 사운드나 노치의 이미지를 연동하여 제어할 수 있는 통합적인 프로그램이다. 오늘날 디지털 기반 오디오비주얼 프로그램이 다양하게 상용화되고 있으며, 이제 오디오비주얼은 음악, 설치미술, 공연과 같은 퍼포먼스 등 복합적인 유형으로 표현되고 있다.

4-2 오디오비주얼의 표현 유형 분석

오디오비주얼은 컴퓨터 처리 능력이 점차 진화되면서 소리와 이미지를 실시간 변환이 용이해지고, 기존 사운드 아트의 확장적 실험이 가능해 졌다. 디지털 기반 오디오비주얼이 가진 비물질적 전환이 현실에서 시청각을 동시에 감각할 수 있으며, 이미지를 변형, 해체, 조합할 수 있을 뿐 아니라 소리를 실시간 변조, 변주할 수 있는 현장성이 있다. 현재의 오디오비주얼의 유형을 분석하기 위하여 대표적인 작가, 료이치 쿠로카와의 작품 사례를 <표 1>과 같이 분석하였다.

Table 1.

Analysis of work cases with Ryoichi Kurokawa

료이치 쿠로카와의 오디오비주얼 작품을 살펴보면 전반적으로 공간, 오디오비주얼적 요소, 물질적인 형태를 활용하여 구현한다. 그의 작업은 먼저 전시 공간에서 물질적 형태와 결합하는 오디오비주얼 조각적(Audiovisual Sculpture) 유형이 있으며, 전시 공간에 설치되는 작품, 즉 오디오비주얼 설치(Audiovisual Installation)가 있으며, 마지막으로 실시간 퍼포먼스를 기반으로 한 오디오비주얼 퍼포먼스(Audiovisual Performance)유형으로 분류할 수 있다. 이와 같이 료이치 쿠로카와의 작품을 유형별로 작가에서 관객에게 오디오비주얼 작업이 구동되는 구조를 다이어그램으로 설명하면 <그림 13>과 같다.

Fig. 13.

Work structure diagram of Ryoichi Kurokawa

무의식의 가시화(可視化)를 내재된 언어를 기호화하는 과정에서 오디오비주얼 기반 작품<The Complex Conflict>로 구현하고자 하며, 이는 이론적 기반 연구 뿐 만 아니라 비물질적 요소를 지닌 오디오비주얼의 매체적 특성과 장르적 유형을 분석할 수 있는 사례로 제시되고자 한다.

5-1 작품<The Complex Conflict>의 시각적 방향성

인간의 무의식에서 발현되는 내적 활동을 체계적으로 가시화할 수 있도록 의미 생성 과정을 내적언어로 기호화해 보고자 한다. 이는 소쉬르(Saussure)의 기표와 기의의 결합으로 기호화하는 그의 주장에서 내적언어로 추출될 수 있으며, 이를 본 작업의 시각적 접근 방향으로 활용하고자 한다. 무의식의 시각화를 위하여 내적언어로 지각할 수 있는 언어, 기표(signifier)와 개념적 의미, 기의(Signified)를 결합한 기호로 접근하고자 한다.

무의식의 시각화 과정에서 자아 원형이 내재된 자아의 형상화를 기표와 기의로 기호화함으로써 결과적으로 무의식에서 드러나는 시각적 은유에 대한 의미작용을 분석해 보고자 한다.

오디오비주얼이라는 비물질적 데이터의 예술적 표현 요소로 표현하기 위하여 <그림 14>과 같은 무의식의 가시화 과정을 통하여 작품<The Complex Conflict>의 설계 방향성을 도출하였다. 작품<The Complex Conflict>의 개념적 접근은 내재한 자아의 기호를 궁극적으로 시각적 가시화로 표현하여 자아를 형상화하는 것이다. 내재한 언어를 통하여 기표를 도출하고, 의미를 함의하는 상징성을 기의로 시각적 감각과 청각적 감각이 자극하고 반응하거나, 혹은 해체 또는 조합하는 인터랙션으로 가시화하고자 하였다.

Fig. 14.

The process of visualization of the unconscious in <The Complex Conflict>

따라서 작품<The Complex Conflict>에 나타난 오디오비주얼 요소는 <그림 15>와 같이 실시간 사운드에 대응하여 영상이 출력하며 퍼포먼스로 표현되거나 <그림 16>와 같은 설치 미술 형태로 선보일 수 있으며, 연출 방향에 따라 확장적으로 표현할 수 있다.

Fig. 15.

Performance of <The Complex Conflict>, 2022

Fig. 16.

Exhibition of <The Complex Conflict>, 2022 https://youtu.be/bnGlaCtOtDY

작품<The Complex Conflict>는 인간의 심연에 존재하는 혼돈, 그 무의식을 인지할 수 있는 감각에 집중하며, 감각 하는 과정에서 사고하는 행위가 무의식 기저에 있는 혼돈을 의식하고자 한다. 작품<The Complex Conflict>는 인지할 수 있는 혼돈에서 야기되는 기표, 즉 나무를 뿌리의 상실이 함의된 상징성을 가지고 자아를 드러내고자 하였다. 뿌리가 상실된 이미지는 청각적으로 해체되고, 조합되는 상태를 이루며 심연의 자아를 형상화하고자 하였다. 내재된 자아에 가라앉아 있는 복잡함, 혼돈 그리고 충돌의 과정을 나무라는 기표에 뿌리가 상실된 나무로 드러내고자 하였고, 청각적 요소에 의해 해체되고 조합되는 과정으로 시각적으로 형상화하고자 하였다.

5-2 작품<The Complex Conflict>의 구현 및 분석

작품<The Complex Conflict>은 오디오비주얼 기반으로 이미지가 소리신호에 반응하는 오디오비주얼 설치작품이자 실시간 퍼포먼스가 가능한 오디오비주얼 퍼포먼스 유형의 작업이다. 작가의 내면적 언어를 비물질적 데이터를 이용하여 오디오비주얼이라는 표현적 요소 활용한 작품으로 작업 그 자체를 설치작품일 수 있으나 작가의 실시간 퍼포먼스로 관객과 함께 라이브로 양방향 인터랙션이 가능한 작품인 것이다. <그림 17>과 같이 작가와 관객의 인터랙션은 작가의 내면적 자아에서 드러나는 순간이자 시청각적 이미지가 서로 다른 감성적 공유의 생성과정을 설명할 수 있다.

Fig. 17.

Work structure diagram of <The Complex Conflict>

작품<The Complex Conflict>의 구현은 우선 작품의 청각적 심상을 표현하기 위하여 에이블톤 라이브와 멕스 포 라이브 (Max for Live)를 활용하여 사운드를 채집하고, 샘플링 (Sampling)하는 과정을 통하여 리듬화(rhythm)하였다. 또한 어쿠스틱(acoustic)피아노 연주를 무작위 반복(Random Repeat) 효과를 입혀서 기본 화성 진행과 함께 잔향을 만들고, 직접 녹음한 소음(noise)기반의 소리를 리듬과 효과음과 함께 배치하였다. 사운드 작업 과정에서 뿌리를 상실한 나무가 어떠한 소리에 의해서 해체되고 조합될 수 있을지 의식적으로 혼돈과 충돌을 청각적으로 가시화하였다.

작품<The Complex Conflict>의 비주얼 작업은 노치를 이용하여 <그림 18>에서 표현된 것과 같이 뿌리가 상실된 나무와 숲을 데이터 입자(Particles)로 구현하였다. 이는 부유하는 혼돈이 청각적 자극에 의해 해체되고 조합됨으로써 시각적 은유를 표현하고자 하였다. 최종적으로 오디오와 비주얼의 작업을 터치디자이너 프로그램으로 연결한다. 이때 오디오에서의 움직임, 즉 각각의 프리퀀시(Frequency)와 악기 미디(Midi)신호 별로 분류하여 시각적 움직임을 소리와 함께 연동하도록 작업한다. 이를 통하여 작품<The Complex Conflict>는 뿌리가 상실된 나무와 숲, 자연이 왜곡된 이미지와 사운드를 정합하여 자기 내면에 있는 복잡함, 혼란, 충돌 등을 유추할 수 있는 오디오비주얼을 선보인다. 작품<The Complex Conflict>의 기존 자연 환경과 오브제의 변형성을 이용하여 시각화한다. 관객은 해체되고 변형되는 자연환경을 경험하며, 무의식적 가시화된 내재 언어를 기호화하는 과정을 체험하게 된다.

Fig. 18.

Detailed Motion Image of <The Complex Conflict>