클랑쿤스트의 감각적 구성 원리로 본 예술적 맥락의 몰입형 VR: 공간·신체·매체 차원의 감각 조직화 분석

1-1 연구 배경

20세기 이후 미디어 예술은 고정된 평면 스크린에 투사되는 이미지 중심의 표현 방식을 벗어나, 관객을 작품 내부로 편입시키는 공간과 환경 중심의 형태로 점차 확장되는 양상을 보여왔다. 이러한 변화는 감각 경험이 단일한 시각 정보의 전달이 아니라, 다양한 감각 요소가 상호작용하는 구조 속에서 형성된다는 점을 시사한다.

예를 들어 클랑쿤스트(Klangkunst)는 소리를 단순한 청각 신호로 한정하지 않고, 이를 통해 공간의 구조를 형성하고 관객의 신체적 지각을 유도하는 예술적 실천으로 전개되어 왔다[1],[2]. 이때 소리는 청각적 요소에 한정되지 않고, 공간의 방향성, 거리감, 이동성, 신체의 위치 감각과 결합하면서 복합적인 감각 경험을 조직하는 매개로 기능한다. 따라서 클랑쿤스트는 청각 중심의 예술 장르를 넘어 소리를 매개로 한 공간·신체·매체의 관계가 어떻게 구성되는지를 분석할 수 있는 이론적 관점을 제시한다[3]. 이러한 관점은 가상현실(VR; virtual reality) 환경 역시 공간, 신체, 매체 간의 상호작용을 기반으로 감각 경험을 형성한다는 점에서, VR 환경에서의 감각 조직화(sensory organization) 구조를 해석하기 위한 유의미한 분석 틀로 확장될 수 있다.

그러나 현재의 VR 환경은 시청각적 몰입과 신체적 상호작용을 동시에 수반함에도, 여전히 시각적 재현(representation) 중심의 설계에 치중하는 경향이 있다[4],[5]. VR은 사용자를 환경 내부에 위치시키는 몰입형 매체임에도 불구하고, 소리와 신체, 그리고 공간이 매체 시스템 안에서 어떻게 하나의 지각 구조로 조직되어야 하는지에 대한 이론적 정립과 구조적 분석은 아직 충분히 구체화되지 못하고 있다[6]. 이때 논의의 대상이 되는 VR은 사용자의 신체 움직임과 시청각 정보가 실시간으로 연동되어 몰입형 경험을 가능하게 하는 매체 환경을 의미한다.

VR이라는 용어는 관점에 따라 인문학적 개념(가상성, 재현), 기술 시스템(HMD, 위치 추적, 공간 음향), 사용자 경험(몰입, 현존감), 매체 환경(감각적 지각 구조) 등 서로 다른 층위에서 논의되어 왔다[7],[8]. 이 가운데 매체적·감각적 층위에 초점을 두어, VR을 사용자의 신체 감각과 매체 시스템이 결합하여 지각 경험을 구성하는 감각적 환경으로 이해한다. 이러한 환경에서 사용자의 지각이 어떻게 형성되는가에 대해서는 여러 이론적 논의가 축적되어 왔다. 제이슨 제럴드(Jason Jerald)는 인간 중심 설계(human-centered design)의 관점에서 지각, 감각 양상, 공간 지각, 그리고 지각과 행위의 연결을 체계적으로 고찰하며 몰입(immersion)과 현존감(presence)의 구분을 중심으로 VR 경험의 설계 원리를 정립하는 데 기여해 왔다[7]. 슬레이터와 산체스-비베스(Slater and Sanchez-Vives)는 VR 경험이 장소감(place illusion), 사건의 실재감(plausibility illusion), 신체 소유감의 결합을 통해 형성된다는 이론적 틀을 제시하였으며[8], 킬테니(Kilteni) 등은 가상체화(virtual embodiment)를 자기 위치감·행위 주체감·신체 소유감의 세 차원으로 구조화하여 VR에서의 신체 감각 구조를 정교화하였다[9].

다만 이와 같은 접근들은 감각을 주로 설계와 최적화의 대상, 또는 사용자의 심리적 반응으로 다루는 경향이 있어, 감각 요소들이 공간·신체·매체의 관계 속에서 어떻게 하나의 지각 구조로 조직되고 경험적 의미를 형성하는지에 대한 이론적 논의는 상대적으로 제한적이다. 클랑쿤스트의 감각적 구성 원리는 바로 이 지점에서 VR의 감각 조직화 구조를 분석하기 위한 보완적인 이론적 관점을 제공한다.

이상의 논의는 VR 환경에서 감각 경험을 단순한 시각적 몰입이나 개별 감각 자극의 결합으로 설명하는 데 한계가 있음을 보여준다. 특히 VR에서 사용자의 시선, 이동, 청각적 반응, 공간 인식은 분리된 요소가 아니라 매체 장치 안에서 실시간으로 연결되며, 이 과정에서 감각 경험은 공간·신체·매체의 상호작용 속에서 조직된다. 따라서 클랑쿤스트가 제시해온 소리-공간-신체의 감각 구성 원리를 바탕으로, VR 환경에서 감각 경험이 형성되는 구조적 과정을 분석할 필요가 있다.

1-2 연구 목적

몰입형 VR 환경에서 감각 경험이 조직되는 구조를 이론적으로 분석하기 위해, 클랑쿤스트의 감각적 구성 원리를 분석 틀로 설정하고 관련 사례를 고찰한다. 감각 경험을 공간, 신체, 매체 간의 상호작용 속에서 형성되는 구조적 과정으로 이해하고, 이를 바탕으로 VR 환경의 감각 조직화 방식과 매체적 의미를 해석하는 데 목적이 있다.

앞서 살펴본 VR 선행연구는 몰입, 현존감, 사용자 경험, 인터랙션 설계의 측면에서 VR 환경의 지각 경험을 설명해 왔다. 이에 비해 클랑쿤스트의 감각적 구성 원리는 VR 환경을 단순한 시각적 재현 기술에 한정하지 않고, 소리, 공간, 신체, 매체가 상호작용하며 지각 경험을 구성하는 감각 조직화의 장으로 해석할 수 있는 관점을 제공한다.

특히 클랑쿤스트가 소리를 시간적 배열의 대상에 한정하지 않고, 공간적·신체적 지각을 구성하는 매개로 다루어 왔다는 점에 주목하여, VR 환경에서 감각 경험이 형성되는 구조를 공간·신체·매체의 세 차원에서 분석하고자 한다.

이를 통해 가상 환경에서의 감각 경험이 파편화된 정보의 전달이 아니라, 공간적 맥락과 신체적 수행, 매체적 피드백의 관계 속에서 조직되는 과정임을 설명할 수 있는 이론적 관점을 제시한다. 이를 위해 다음과 같은 연구 질문을 설정한다.

첫째, 클랑쿤스트에서 소리, 공간, 신체의 관계는 어떠한 감각 조직화 구조를 형성하는가?

둘째, 클랑쿤스트의 감각적 구성 원리는 VR 환경의 기술적 조건과 결합하여 공간·신체·매체의 차원에서 어떻게 재구성되는가?

셋째, VR 환경에서 형성되는 감각 조직화 구조는 어떠한 특징과 매체적 의미를 지니는가?

1-3 연구 방법

이러한 연구 목적을 달성하기 위해 문헌 연구를 기반으로 한 이론적 사례 분석(theory-driven case analysis)의 방법을 채택하였다. 분석 절차는 분석 기준을 도출한 뒤 개별 사례를 검토하고, 이를 해석하여 결과를 종합하는 순서로 진행하였다. 먼저, 문헌 연구를 통해 클랑쿤스트에서 나타나는 핵심적인 감각 조직화 개념을 공간·신체·매체의 세 차원에서 정리하고, 이를 사례 분석의 기준으로 삼았다. 이후 이 기준에 따라 클랑쿤스트와 VR 환경에서 감각 조직화가 드러나는 주요 작품들을 질적으로 검토하였으며, 각 사례에서 확인되는 감각 조직화 방식을 해석하였다.

사례 분석에 사용된 자료는 학술 문헌, 작가와 전시 기관이 제공하는 공식 아카이브 및 작품 기술 자료, 작가 인터뷰 영상, 그리고 전시 기록과 언론 보도 등이다. 사례 선정은 클랑쿤스트의 소리-공간-신체 구성 원리를 감각 조직화의 관점에서 뚜렷하게 드러내는 작품을 대상으로 하였으며, 그 가운데 앞서 설정한 분석 틀인 공간·신체·매체의 세 차원을 각각 대표할 수 있는 사례와, 그 원리가 VR 환경으로 확장·재구성되는 대응 사례를 포함하였다. 반면 시각적 재현에만 집중되어 감각의 관계적 조직이 드러나지 않는 작품이나, 분석에 필요한 공식 자료와 관련 문헌이 충분히 확보되지 않은 작품은 제외하였다.

각 사례는 주요 감각 요소와 공간 구성 방식, 관객 또는 사용자의 신체적 행위, 매체 및 기술 장치, 그리고 행위와 감각 변화 사이의 피드백 구조를 공통 분석 항목으로 검토하였다. 작품의 기술적 구성과 전시 정보는 작가·제작자 및 전시 기관이 제공한 공식 자료를 우선하여 확인하고, 학술 문헌과 인터뷰, 전시 기록 및 언론 자료를 보조적으로 참조하였다. 이들 자료에서 직접 확인되는 사실과, 해당 사실이 감각 조직화 구조로 연결되는 방식에 대한 이론적 해석을 구분하여 기술하였다. 이를 바탕으로 사례별 분석 결과를 교차 비교하여, 공간 구성·신체 수행·매체 통합이 실시간 피드백을 통해 연결되는 감각 조직화의 구조적 특징을 종합하였다.

이와 같은 기준에 따라 선정된 사례는 다음과 같다. 공간 차원에서는 소리를 공간 구성의 핵심 재료로 활용한 베른하르트 라이트너(Bernhard Leitner)의 Soundcube와 Serpentinata를 분석 대상으로 삼고, 이 원리가 VR 환경에서 확장되는 사례로 Notes on Blindness: Into Darkness를 함께 검토하였다. 신체 차원에서는 관객의 수행적 이동을 감각 경험의 조건으로 전환하는 크리스티나 쿠비쉬(Christina Kubisch)의 Electrical Walks 시리즈를 중심으로 고찰하고, 이 원리가 VR 환경에서 확장되는 사례로 Marshmallow Laser Feast의 In the Eyes of the Animal을 함께 검토하였다. 매체 차원에서는 물리적 장소를 인터미디어적 사운드 환경으로 전환하는 에메카 오그보(Emeka Ogboh)의 Final Boarding Call을 분석하고, 이 원리가 VR 환경에서 재구성되는 사례로 로리 앤더슨(Laurie Anderson)과 황신젠(Hsin-Chien Huang)의 To the Moon을 분석하였다. To the Moon은 매체 차원을 중심으로 분석하되, 공간 음향과 가상 공간, 사용자의 신체 움직임, 위치 추적 및 실시간 시청각 피드백이 결합된다는 점에서 공간·신체·매체의 통합적 작동도 함께 검토하였다. 사례 선정 및 분석 기준은 표 1과 같다.

Table 1.

Case selection and analysis criteria

다만 분석 대상인 VR 사례는 대부분 예술적 맥락에서 구현된 몰입형 미디어아트 작품에 해당한다. 따라서 이들 사례는 VR 일반의 감각 조직화 구조를 실증적으로 규명하기 위한 대상이 아니라, 클랑쿤스트의 감각적 구성 원리가 VR 환경에서 어떻게 재구성될 수 있는지를 검토하기 위한 탐색적·이론적 참조 사례로 사용된다. 이에 따라 분석과 결론의 범위는 예술적 맥락의 몰입형 미디어아트 VR에 한정되며, 일반적 성격의 VR 콘텐츠 환경으로의 적용 가능성은 후속 연구의 과제로 남긴다. 이러한 범위 설정 위에서 클랑쿤스트의 원리가 VR의 기술적·환경적 조건과 결합하여 가상 환경 내에서 어떠한 감각 조직화 구조로 재구성되는지를 분석하고, 선정된 사례에서 나타나는 감각 조직화의 구조적 특성과 매체적 의미를 해석하였다.

2-1 클랑쿤스트의 개념 및 형성 배경

클랑쿤스트는 독일어 ‘소리(Klang)’와 ‘예술(Kunst)’의 결합어로, 전통적인 음악을 지칭하는 톤쿤스트(Tonkunst)가 주로 시간적 음의 배열을 중심으로 전개되는 것과 달리, 소리와 공간의 관계를 탐구하는 예술 형식을 의미한다[1].

이는 영미권에서 사운드 아트(sound art)라는 용어와 유사한 맥락에서 논의되어 왔으나, 독일의 클랑쿤스트 담론은 소리를 공간 속에서 물리적으로 확산·반사되며 지각되는 물질적 현상으로 이해하고, 이러한 특성이 장소 특정적(site-specific) 환경과 결합하여 형성하는 지각적 경험을 강조한다는 점에서 차별성을 지닌다. 특히 영어권 사운드 아트 담론이 음향 현상, 사운드 디자인, 일상적 사운드스케이프 등 보다 넓은 범위로 확장되는 경향을 보인다면, 독일어권 클랑쿤스트 담론은 소리 재료와 공간적 장소성의 관계, 사운드 조각과 사운드 설치의 문제를 상대적으로 중심에 둔다. 이러한 차이는 클랑쿤스트를 독립된 청각 예술이 아니라, 소리, 공간, 시각, 신체가 함께 조직되는 지각적 환경의 구성 원리로 이해할 필요가 있음을 보여준다[2].

클랑쿤스트는 소리를 공간과 신체의 관계 속에서 작동하는 물질적이고 환경적인 요소로 이해한다는 점에서 기존의 음악 개념과 구분된다. 이러한 관점은 매체를 통해 생성된 감각 요소가 물리적 공간 속에서 지각 가능한 경험으로 전환된다는 점에서, 이후 VR 환경에서 논의될 매체 장치의 구조와도 연결된다. 나아가 이는 빌렘 플루서(Vilém Flusser)가 언급한 장치(apparatus)의 작동 원리, 즉 프로그램된 가능성을 실제적 경험으로 출력하는 구조와 연관된다[10].

역사적으로 클랑쿤스트의 개념적 토대는 20세기 아방가르드 예술의 실험성과 미디어 기술의 발전 속에서 형성되었다[1]. 특히 루이지 루솔로(Luigi Russolo)의 소음 예술은 기존 음악 질서를 해체하고 소리를 독립적인 예술적 재료로 해방했으며, 이는 이후 소리가 공간적 요소로 확장될 수 있는 미학적 기반을 형성하였다[11]. 소음(noise)의 예술적 수용과 녹음 기술을 통한 소리의 객체화는 조각, 설치, 퍼포먼스 등과 결합하며 점차 인터미디어(intermedia)적 성격을 강화하였다[12].

인터미디어는 딕 히긴스(Dick Higgins)가 제시한 개념으로, 서로 다른 매체와 감각 영역의 경계를 넘어 결합함으로써 통합된 표현 구조를 형성하는 상태를 지칭한다[13]. 이와 같은 흐름은 감각 경험이 단일 매체가 아닌 관계적 구조 속에서 형성된다는 점을 시사한다. 이러한 미학적·기술적 토대 위에서 클랑쿤스트는 전후 유럽의 실험 음악과 현대 미술의 접점에서 점차 구체화되었다[14]. 톤쿤스트가 소리를 시간적 구조 속에 배치하는 방식이었다면, 클랑쿤스트는 소리를 공간 구성의 핵심적 재료로 인식하며 관객의 지각을 다감각적 영역으로 확장하는 방향으로 전개되었다[1],[2]. 즉, 소리는 단순한 감상의 대상만이 아니라, 공간의 깊이와 경계를 형성하며 신체적 반응을 유도하는 구성적 요소로 작동한다.

최근의 연구에서는 클랑쿤스트를 특정 예술 장르로 한정하기보다, 소리, 공간, 미디어, 신체가 상호작용하며 형성하는 감각 경험의 구조적 틀로 이해하는 관점이 제시되고 있다[1]. 이는 매체 환경 내에서 감각 요소들이 결합하고 조율되는 방식을 설명하는 구성적 원리로 확장될 수 있다. 따라서 클랑쿤스트의 감각적 구성 원리는 VR이라는 새로운 매체 환경에서 감각 경험이 조직되는 구조를 분석하기 위한 이론적 틀로 기능한다.

2-2 소리-공간-신체의 상호작용과 감각 조직화 구조

클랑쿤스트에서 지각 경험은 개별 감각 요소의 단순한 결합이 아니라, 소리-공간-신체의 상호작용 속에서 형성된다[1],[2]. 이때 클랑쿤스트에서의 ‘소리-공간-신체’라는 구체적 구성 원리는, VR 환경에서는 시각·청각·신체 감각이 통합되는 보다 확장된 ‘감각-공간-신체’의 상호작용 구조로 이해될 수 있다. 이는 각각의 감각 요소가 독립적으로 작동하는 것이 아니라, 서로 영향을 주고받으며 하나의 통합된 지각 경험으로 조직된다는 점을 전제한다. 따라서 클랑쿤스트는 감각을 분리된 요소로 이해하기보다, 상호작용을 통해 구성되는 구조적 과정으로 파악하게 한다.

여기서 감각 조직화란, 개별 감각 자극이 단순히 병렬적으로 합산되는 것이 아니라, 공간적 조건, 신체의 수행, 매체 장치의 피드백 구조 속에서 서로 관계를 맺으며 하나의 통합된 지각 구조로 구성되는 과정을 의미한다. 이는 감각을 독립된 입력 정보의 집합으로 보는 관점과 달리, 감각들이 배치되고 연결되는 관계적 구조 자체에 주목하는 개념이다[1].

우선, 감각 요소는 공간 구성의 핵심 요소로 작용한다. 클랑쿤스트에서 소리는 특정한 위치와 방향성을 가지며, 공간의 깊이와 경계를 형성하는 역할을 수행한다[1],[2]. 이는 시각적 요소가 물리적 형태를 통해 공간을 구성하는 것과 달리, 소리가 비가시적인 방식으로 공간을 조직한다는 점에서 차별적인 특징을 지닌다. 배리 블레서(Barry Blesser)의 청각적 건축(auditory architecture) 개념에 따르면[15], 소리는 물리적 경계가 없는 환경에서도 반사와 잔향을 통해 공간 지각을 구조화하며, 이를 통해 경험적 장소성을 형성한다. 이러한 특성은 소리가 단순한 청각적 정보가 아니라, 공간적 환경을 형성하는 감각적 매개로 기능함을 보여준다. 나아가 이러한 공간 조직화 원리는 가상 공간 내에서 다양한 감각 정보들이 배치되어 장소성을 형성하는 하나의 감각적 매개 원리로 확장될 수 있다.

이와 함께, 공간은 신체의 위치와 움직임을 통해 지각된다[3]. 관객은 공간 내부에서 이동하고 방향을 전환하며, 이러한 신체적 행위는 지각 경험의 변화를 유도한다. 즉, 신체는 수동적으로 감각을 수용하는 존재가 아니라, 공간과의 관계 속에서 지각 경험을 생성하는 능동적 매개로 작동한다. 이러한 신체의 역할은 지각이 신체의 행위와 결합한 수행적 과정임을 강조하는 메를로 퐁티(Maurice Merleau-Ponty)의 현상학적 관점과 연결되며[16], 지각 경험이 단순한 정보 수용이 아니라 신체적 개입을 통해 구성된다는 점을 시사한다. 이처럼 감각-공간-신체의 상호작용은 지각 경험을 하나의 통합된 구조로 조직한다. 이러한 상호작용 구조가 특정 매체의 특성에 따라 다양한 방식으로 구현될 수 있다는 점에서, 클랑쿤스트는 감각이 어떻게 조직되고 경험되는지를 설명하는 하나의 구조적 모델로 이해될 수 있다.

특히 이러한 감각 조직화 구조는 VR과 같은 몰입형 매체 환경에서 더욱 구체적으로 드러날 가능성을 지닌다. VR 환경에서의 위치 추적(position tracking) 기술은 신체의 움직임을 실시간 데이터로 변환하고, 이를 다시 시청각적 정보로 재구성함으로써 클랑쿤스트에서 나타나는 신체-공간 상호작용을 기술적으로 확장된 형태로 재구성한다[17],[18]. 이러한 구조는 청각 경험에 한정되지 않고, 시각적 요소와 공간 지각, 신체 감각이 결합되는 다감각적 지각 환경으로 확장된다는 점에서, 클랑쿤스트의 감각적 구성 원리를 VR 분석에 적용하기 위한 중요한 매체적 조건을 제공한다.

2-3 감각 조직화 원리로서의 클랑쿤스트

앞서 살펴본 바와 같이 클랑쿤스트는 소리와 공간, 그리고 신체의 상호작용을 통해 하나의 지각적 환경을 구축한다. 이때 중요한 점은 클랑쿤스트가 특정 장르나 매체에 고착되지 않고, 다양한 감각 요소들이 유기적으로 얽히는 인터미디어적 개방성을 지닌다는 사실이다. 클랑쿤스트의 담론에서 인터미디어는 소리, 공간, 신체, 시각적 요소가 개별적으로 병렬되지 않고 서로 관계를 맺으며 하나의 감각 환경을 조직하는 구조로 이해된다. 이러한 특성은 클랑쿤스트를 단순한 예술적 표현 방식을 넘어, 다감각적(multisensory) 경험을 구성하고 조직하는 구조적 원리로 이해할 수 있게 한다. 이는 예술적 지향점이 완성된 작품의 제시에 있기보다, 지각이 발생하는 관계적 상황 자체를 설계하는 데 있음을 의미한다.

클랑쿤스트의 감각 조직화 원리의 핵심은 개별 감각의 나열이 아니라, 각 요소 간의 관계 속에서 지각 경험이 형성된다는 점에 있다. 감각 요소들은 공간의 성격을 규정하고, 신체는 그 공간 속에서 능동적으로 상호작용하며 지각 경험의 형성에 참여한다. 이 과정은 미디어 환경 내에서 감각이 어떻게 배열되고 통합되는지를 보여주는 시스템적 조직화의 과정과 맞닿아 있다. 즉, 감각 경험은 개별 자극의 단순 합이 아니라, 특정한 상황 속에서 구성되는 관계적 지각 구조임을 의미한다[1]. 따라서 본 논문에서는 클랑쿤스트의 감각 조직화 원리를 공간·신체·매체의 세 차원으로 구분하고, 이를 VR 환경에서 감각 경험이 조직되는 방식을 분석하기 위한 기준으로 설정한다. 이러한 관점을 바탕으로, 톤쿤스트, 클랑쿤스트, 그리고 VR 환경에서의 감각 조직화 방식을 비교하면 표 2와 같다.

Table 2.

Comparison of sensory organization

한편 앞서 논의한 감각 조직화는 서로 층위가 다른 개념들을 포함하고 있어, 이를 구분하지 않으면 분석의 초점이 모호해질 수 있다. 특히 ‘다감각적 경험’, ‘멀티모달 통합’, ‘인터미디어’는 종종 혼용되지만, 각각 감각의 수용, 신호의 처리, 매체의 관계라는 서로 다른 층위를 가리킨다. 이 세 개념의 층위를 구분하면 다음 표 3과 같다.

Table 3.

Conceptual levels of multisensory experience, multimodal integration, and intermedia

이때 유의할 점은, 본 연구가 클랑쿤스트와 VR 사례를 직접적인 영향관계로 다루지 않는다는 것이다. 클랑쿤스트의 작가들이 VR 작품에 실질적 영향을 주었다거나, VR 사례가 클랑쿤스트를 계승하였다고 주장하는 것이 아니다. 오히려 두 영역은 감각을 관계적으로 조직한다는 점에서 이론적·구조적으로 대응하며, 클랑쿤스트의 감각적 구성 원리는 VR 환경의 감각 조직화 구조를 해석하기 위한 분석 틀로 기능한다. 따라서 이후의 사례 분석에서 클랑쿤스트 사례와 VR 사례를 나란히 검토하는 것은 양자의 계보적 연결을 입증하기 위해서가 아니라, 동일한 구성 원리가 서로 다른 매체 조건에서 어떻게 나타나는지를 대조적으로 드러내기 위한 것이다.

이상의 비교와 개념 구분은 제3장에서 수행될 예술적 맥락의 몰입형 VR의 감각 조직화 구조 분석을 위한 준거로 기능한다.

3-1 공간 차원에서의 감각 조직화: 감각적 건축으로서 VR

VR 환경에서의 공간은 더 이상 단순한 시각적 재현의 결과가 아니라, 감각 요소 간의 상호작용을 통해 구성되는 지각적 구조로 이해된다. 특히 클랑쿤스트의 관점에서 볼 때[1],[2], 공간은 고정된 물리적 배경이 아닌 다감각적 연동 속에서 조직되는 지각적 필드(field)로 작동한다. 이러한 관점은 공간을 시각 중심의 재현 체계로 환원하지 않고, 감각 간 상호작용을 통해 조직되는 경험적 구조로 재정의한다.

앞서 살펴본 바와 같이, 클랑쿤스트에서 소리는 단순한 청각적 정보가 아니라 공간을 형성하는 핵심적인 재료로 기능한다. 소리는 특정 위치와 방향성, 그리고 시간적 변화를 통해 공간의 깊이와 경계를 드러내며, 이러한 과정에서 공간은 고정된 형태가 아닌 감각적으로 조직된 구조로 인식된다. 즉, 소리는 공간 안에 존재하는 요소가 아니라, 공간을 인식하게 하는 조건이자 그 구조를 조직하는 감각적 매개로 작동한다.

이와 같은 특성은 VR 환경에서도 확인된다. VR은 물리적 공간이 아닌 디지털 환경 속에서 감각 경험을 구성하기 때문에, 공간의 형성은 시각적 모델링뿐만 아니라 청각적 요소도 중요한 역할을 한다. 예를 들어, 특정 방향에서 들리는 소리의 위치성, 거리 변화에 따른 음량과 잔향의 차이, 그리고 사용자의 이동에 따라 변화하는 음향적 반응은 가상 공간의 깊이와 구조를 결정짓는 중요한 단서로 작용한다. 이러한 점에서 소리는 가상 환경 내에서 공간의 부피와 경계를 조직하는 감각적 건축의 역할을 수행한다고 볼 수 있다[15],[19]. 감각적 건축의 개념은 베른하르트 라이트너의 Soundcube(1969)에서 구체적으로 확인할 수 있다(그림 2).

Fig. 2.

Bernhard Leitner, Conceptual diagram of the spatial organization of sound in Soundcube(drawing, 1969)

그림 2에서 확인할 수 있듯이, Soundcube는 다수의 스피커를 공간에 배치하고, 소리를 시간의 흐름에 따라 이동시키는 프로그램을 통해 보이지 않는 음향적 구조를 형성한다[1],[21]. 라이트너는 소리를 공간 형성의 건축적 재료이자 감각적 매개로 이해했으며, 이 작품에서 소리는 단순한 음향 요소를 넘어 공간을 조직하는 핵심 매개로 작동한다. 관객은 소리의 이동 경로와 분포를 따라 공간의 형태와 깊이를 청각적으로 인지하게 된다. 이와 같은 공간 구성 방식에서 중요한 점은, 청각이 단지 듣는 데 국한된 감각이 아니라 신체 전체를 통해 인지되는 감각으로 확장된다는 것이다. 소리는 청각뿐 아니라 신체가 느끼는 진동을 통해서도 전달되며, 이는 청각을 단순한 감각 입력이 아닌 신체적 지각의 과정으로 전환하게 된다[22].

이러한 특성은 소리를 통해 형성되는 공간 경험이 시각적 인지에 의존하지 않고 신체적 감각을 기반으로 구성될 수 있음을 보여준다. 이는 VR 환경에서 나타나는 몰입 경험의 구조를 이해하는 중요한 단서를 제공한다. 라이트너의 감각적 공간 구성 방식은 후기 설치 작업인 Serpentinata(2006, 2011년 재설치)에서 더욱 유기적이고 다감각적인 형태로 나타난다(그림 3)[1],[21],[23]. 이 작품은 48채널의 사운드 시스템이 내장된 두 개의 거대한 PVC 튜브를 통해, 관객이 공간 내부를 직접 통과하며 경험하는 감각적 환경을 형성한다. 특히 소리는 튜브를 따라 선형 혹은 곡선형으로 이동하며 공간의 부피와 밀도를 끊임없이 변화하게 하고, 관객은 이러한 음향의 흐름을 시각적으로 추적하거나 신체적 이동을 통해 감각적으로 인지하게 된다.

Fig. 3.

Bernhard Leitner, installation view of Serpentinata at Georg Kargl Fine Arts, Vienna(2011)

이 과정에서 청각은 단순히 듣는 것에 국한되지 않고 시각·촉각·신체 감각과 결합된 다감각적 경험으로 확장된다. 즉, 소리는 공간의 분위기와 깊이, 그리고 신체의 움직임을 조직하는 감각적 매개로 작동하며, 관객은 소리의 흐름 속에서 공간을 능동적으로 탐색하게 된다. 이는 소리가 비가시적이면서도 물질적인 방식으로 공간의 구조와 분위기를 형성할 수 있음을 보여준다.

이러한 라이트너의 작업 방식은 VR 환경에서 구현되는 공간 음향(spatial audio) 구조와 밀접한 유사성을 가진다. VR에서는 사용자의 머리 회전과 위치 이동에 따라 음향의 방향성과 반향이 실시간으로 변화하며, 이를 통해 물리적 구조가 없는 상태에서도 공간의 깊이와 경계를 인식할 수 있게 된다[24]. 이때 앰비소닉스(ambisonics)나 머리 관련 전달 함수(HRTF; head-related transfer function)와 같은 음향 처리 기술은 이러한 공간 지각을 정밀하게 구현하는 조건으로 작동한다[19],[24]. 앰비소닉스는 소리의 방향 정보를 삼차원 음장으로 부호화하고, HRTF는 사용자의 머리 움직임에 따른 양 귀 신호의 차이를 반영함으로써, 특정 방향에서 소리가 들리는 공간적 위치감을 형성한다[25]. 이러한 기술은 그가 스피커의 물리적 배치로 구현했던 음향의 이동과 분포를 디지털 신호 처리를 통해 재구성하는 기술적 조건이 된다. 즉, 물리적 튜브와 스피커 배치를 통해 구성한 음향 구조는 VR 환경에서는 디지털 음향 필드와 데이터 트래킹을 통해 재현되며, 최종적으로 사용자의 신체 감각과 결합하여 하나의 통합된 감각적 건축으로 기능한다.

소리가 공간을 조직하는 이러한 원리는 실제 VR 작품에서도 확인된다. 2016년 공개된 Notes on Blindness: Into Darkness는 시력을 잃은 존 헐(John Hull)의 음성 일기를 바탕으로, 바이노럴 오디오(binaural audio)와 실시간 3차원 렌더링(real-time 3D rendering)을 통해 시각 너머의 세계를 구현한 VR 경험이다[26]. 이 작품에서 공간은 사실적 시각 재현에만 의존하지 않고, 청각적 단서와 추상적 시각화의 결합을 통해 점진적으로 드러나며, 이러한 단서들에 의존하여 가상 공간의 깊이와 윤곽을 지각하게 된다. 즉, 소리가 공간을 형성하는 감각적 매개로 작동한다는 점에서, 이 작품은 앞서 살펴본 공간 구성 원리가 VR 환경에서 청각 중심의 공간 조직화로 확장된 사례라 할 수 있다.

라이트너의 작품과 Notes on Blindness: Into Darkness는 모두 소리를 공간 구성의 핵심 요소로 활용한다는 공통점을 지닌다. 반면, 라이트너가 물리적 공간에서 소리의 이동과 분포를 통해 공간의 부피와 경계를 조직하며, Notes on Blindness는 바이노럴 오디오와 실시간 3차원 렌더링을 통해 가상 공간의 깊이와 윤곽을 형성한다. 즉, 두 사례는 구현되는 환경과 기술적 방식에는 차이가 있지만, 소리가 공간을 조직하는 감각적 매개로 작동한다는 점에서 공통된 감각 조직화 원리를 보여준다. 이는 클랑쿤스트의 감각적 건축 원리가 VR 환경에서 청각과 시각이 연동되는 공간 조직화 구조로 재구성될 수 있음을 나타낸다. 또한 클랑쿤스트에서 공간은 고정된 배경이 아니라, 소리와 신체의 상호작용을 통해 지속적으로 재구성되는 관계적 환경으로 이해된다[1],[2]. 관객은 공간을 이동하고 선택하며 감각 경험을 능동적으로 형성하고, 이 과정에서 공간의 의미와 구조는 끊임없이 변화한다.

공간이 신체의 이동에 따라 재구성되는 이러한 특성 역시 VR 환경에서도 유사하게 나타난다. 사용자의 시선과 이동, 그리고 인터랙션에 따라 공간 경험이 달라진다는 점에서 가상 환경이 단순한 공간을 넘어 경험되는 장소로 인식되는 조건을 형성한다[27]. 결과적으로 VR 환경에서의 공간은 시각적 재현으로 완결되는 구조가 아니라, 소리와 신체, 그리고 매체적 조건이 결합하여 형성되는 감각 조직화의 결과로 해석된다. 따라서 VR 공간은 단순한 가상적 배경이 아니라, 소리와 신체 감각을 중심으로 조직되는 관계적 감각 구조이자 감각적 건축의 과정으로 정의된다. 이와 같이 공간 차원은 감각 요소가 배치되는 배경에 머무는 것이 아니라, 감각 요소 간의 관계를 조직하여 가상 공간의 깊이와 방향성, 지각적 장소성이 형성되는 조건으로 작동한다. 다만 이러한 공간적 구조는 감각 경험이 형성되는 조건을 설명할 뿐, 실제로 감각 경험이 어떻게 발생하고 변화하는지를 충분히 설명하지는 못한다. 즉, 감각 경험은 공간의 구성만으로 완결되는 것이 아니라, 이를 지각하고 탐색하는 신체의 행위 속에서 구체화된다. 따라서 이러한 공간적 조건 위에서 감각 경험이 어떻게 형성되는지는 신체의 역할을 중심으로 보다 심층적으로 분석해야 한다.

3-2 신체 차원에서의 감각 조직화: 수행적 지각 구조로서의 VR

앞 절에서 살펴본 감각적 건축이 공간을 감각적으로 조직하는 방식이라면, 클랑쿤스트에서 중요한 또 하나의 축은 이러한 공간이 신체를 통해 어떻게 경험되고 활성화되는가에 있다. 즉, 소리가 배치된 공간을 구성하는 것에서 나아가, 관객의 지각 방식 자체를 전환시키는 것이 핵심적인 문제로 등장한다.

크리스티나 쿠비쉬의 작품은 이러한 지점에서 주목할 만하다. 2003년부터 시작된 Electrical Walks 시리즈는 현재까지 전 세계 50개 이상의 도시에서 서로 다른 버전으로 지속되고 있는 장기 연작으로, 작가가 직접 제작한 헤드폰을 통해 전자기장을 청각화하여 도시의 비가시적 지층을 탐험하는 프로젝트이다. 특히 독일 켐니츠에서 진행된 Electrical Walks 89(그림 4)나 오스트리아 그라츠의 Electrical Walks 81 등의 사례에서 볼 수 있듯이, 관객은 대중교통이나 거리와 같은 익숙한 장소 속에서 평소 전혀 인지하지 못했던 전자기적 흐름을 청각적으로 경험하게 된다[1],[28],[29].

Fig. 4.

Christina Kubisch, experience scene of Electrical Walks 89 in Chemnitz, Germany(2022)

이때 관객이 겪는 감각은 소리가 특정 공간에 배치되는 것이 아니라, 관객이 도시의 특정 지점에 진입하거나 고개를 돌리는 등의 수행적 행위를 할 때 비로소 청각적 경험으로 변환된다는 점에서, 걷는 행동 그 자체가 감각 경험을 능동적으로 생성하는 구조를 보여준다. 즉, 클랑쿤스트는 기존 환경 속에 잠재되어 있던 감각을 신체를 통해 가시화하고 활성화하는 매개로 기능한다. 이러한 수행적 감각 구조는 그림 5의 Electrical Walks 77 감각 탐색 지도에서 보다 구조적으로 확인할 수 있다.

Fig. 5.

Christina Kubisch, sensory navigation map of Electrical Walks 77, New York, USA(2019)

이 지도는 도시 공간 내부에 분포된 전자기적 감각 지점을 시각화한 것으로, 관객은 특정 경로를 따라 이동하며 각 지점에서 서로 다른 전자기적 음향 환경을 경험하게 된다. 즉, 감각 경험은 고정된 형태로 주어지는 것이 아니라, 사용자의 이동 경로와 위치 선택에 따라 단계적으로 조직된다. 특히 지도에 표시된 감각 포인트들은 관객의 신체적 이동과 탐색 행위를 전제로 활성화된다는 점에서 중요한 의미를 지닌다. 관객은 걷기, 정지, 방향 전환 등의 수행적 행위를 통해 도시 내부에 잠재된 비가시적 전자기 환경을 감각적으로 경험하게 되며, 이 과정에서 도시 공간은 단순한 배경이 아니라 감각적 탐색의 인터페이스로 전환된다.

이러한 구조는 감각 경험이 공간 내부에 고정된 대상으로 주어지는 것이 아니라, 신체의 수행성과 상호작용 속에서 형성되는 과정적 구조임을 보여준다. 이러한 수행적 지각 구조는 실제 VR 작품에서도 확인된다. 2015년 공개된 Marshmallow Laser Feast의 In the Eyes of the Animal은 LiDAR 스캔과 360도 촬영 데이터를 바탕으로 재구성된 숲을 배경으로, 사용자가 잠자리, 개구리, 올빼미 등 다른 종의 지각 체계를 경험하도록 구성된 VR 작품이다[30]. 이때 LiDAR 스캔으로 획득된 점군(point cloud) 데이터는 숲의 형태와 구조를 입자화된 시각 정보로 재구성하여 인간의 시각과는 다른 지각 방식을 구성하는 기반으로 활용된다.

이러한 구성은 사용자의 이동과 시선 변화에 따라 서로 다른 감각 경험을 형성하는 조건으로 작용한다. 사용자는 이러한 전환을 통해 각 종의 감각 방식으로 전환되며, 이 과정에서 익숙한 자연 환경은 인간 중심적 지각을 벗어난 새로운 감각 지평으로 재조직된다. 즉, 이 작품은 신체의 이동과 시선 자체가 감각 경험을 조직하는 능동적 매개로 작동한다는 점에서, 클랑쿤스트의 신체 차원 원리가 VR 환경에서 수행적 지각 구조로 확장된 사례라 할 수 있다.

쿠비쉬의 Electrical Walks 시리즈와 In the Eyes of the Animal은 모두 신체의 이동과 수행을 감각 경험의 형성 조건으로 활용한다는 공통점을 지닌다. 그러나 쿠비쉬가 실제 도시 공간에서 전자기장을 탐색하는 수행을 통해 잠재된 감각을 활성화한다면, In the Eyes of the Animal은 머리 움직임과 시선 방향을 기반으로 한 VR 시스템을 통해 이러한 수행적 지각 구조를 가상 환경으로 확장한다. 즉, 두 사례는 구현 환경과 기술적 방식에는 차이가 있지만, 신체의 움직임이 감각 조직화를 활성화하는 핵심 매개라는 공통된 원리를 보여준다.

VR 시스템에서 구현되는 6자유도(6DoF; six degrees of freedom) 기반의 위치 추적 기술은 사용자의 시선과 이동을 실시간 데이터로 반영하며, 이에 따라 시청각 정보가 지속적으로 재구성된다[31],[32]. 구체적으로 사용자가 특정 방향으로 이동하거나 시선을 전환할 경우, 소리의 방향성과 강도, 공간의 깊이감이 함께 변형되며, 이는 사용자가 인식하는 환경 자체를 재조직하는 결과를 낳는다. 쿠비쉬의 산책이 신체의 이동을 통해 도시 내부에 잠재된 소리를 활성화하듯, VR 사용자는 자신의 움직임을 통해 프로그래밍된 가상 필드를 감각적 실체로 변환한다. 이는 신체를 통해 감각 경험이 형성되는 체화된 지각(embodied perception)의 구조를 보여준다[33]. 또한 사용자는 가상 공간 내에서 체류 시간을 스스로 조절하고, 각기 다른 이동 경로를 선택함으로써 서로 다른 감각 경험을 형성한다[27]. 이는 감각 경험이 고정된 결과가 아니라, 신체의 선택과 행위에 따라 생성되는 과정적 구조임을 시사한다.

결과적으로 VR 환경에서의 신체는 단순한 입력 장치가 아니라, 감각 조직화의 중심에서 작동하는 수행적 매개이다. VR 시스템이 사용자의 좌표와 시선의 방향을 실시간으로 추적하여 피드백을 제공하는 구조는, 쿠비쉬의 관객이 도시의 전자기 지도를 스스로 그려 나가는 과정과 구조적으로 유사하다[28],[29]. 즉, VR에서 형성되는 가상적 장소성은 매체 기술과 수행적 신체의 결합을 통해 비가시적 환경을 경험 가능한 실재로 전환하는 과정이다. 이와 같이 신체 차원은 사용자의 이동과 시선, 수행적 행위를 통해 감각 경험을 활성화하고 변화시키는 분석 차원으로 기능한다. 그러나 이러한 신체와 가상 공간의 상호작용이 실시간으로 조율되고 하나의 시스템으로 유지되기 위해서는, 이를 매개하는 매체 장치의 통합 구조가 뒷받침되어야 한다. 따라서 다음 절에서는 이러한 감각 조직화를 가능하게 하는 매체 차원의 통합 구조를 분석하고자 한다.

3-3 매체 차원에서의 감각 조직화: 상호작용 구조로서의 VR

VR 환경에서 감각 조직화는 단순히 공간과 신체의 상호작용에 의해 자발적으로 형성되는 것이 아니라, 이를 가능하게 하는 매체적 구조를 기반으로 작동한다. 이때 매체는 감각 요소들을 개별적으로 전달하는 수단에 머물지 않고, 소리와 공간, 신체의 관계를 통합하고 조율하는 시스템적 장치로 이해된다. 클랑쿤스트의 담론에서 매체는 단순한 표현 수단을 넘어, 감각 경험이 구성되는 조건을 조직하는 인터미디어적 구조로 작동해 왔다[1],[34]. 이러한 관점은 VR 환경을 분석하는 데 있어 중요한 이론적 기반을 제공한다.

매체가 시스템적으로 통합되는 구조는 2021년 개최된 손암비엔테 베를린 TXL(sonambiente berlin txl) 전시에서 구체적으로 나타난다. 코로나19 팬데믹 기간 중 운항을 종료한 공항이라는 특수한 시공간적 배경 속에서, 전시는 공항 내 1,000여 개의 스피커로 구성된 전관 방송 시스템(PA; public address system)을 하나의 거대한 매체 장치로 전환하였다[35],[36]. 특히 에메카 오그보의 작품 Final Boarding Call은 앰비언트(ambient) 음악과 실제 공항의 안내 방송을 결합하여[37], 공항이라는 기능적 공간을 하나의 거대한 감각적 사운드 환경으로 변환한다(그림 6)[38].

Fig. 6.

Emeka Ogboh, installation view of Final Boarding Call at Berlin Tegel Airport TXL(2021)

그림 6에서 보이듯, Final Boarding Call은 운항을 종료한 테겔 공항이라는 물리적 장소를 배경으로 삼는다. 이 공간에 울려 퍼지는 비행 안내 방송은 운항이 종료된 공항에 대한 상실감과 기억을 환기하는 비현실적 음향 경험을 형성하며, 관객이 공간과 시간, 그리고 기억의 층위를 감각적으로 경험하게 하는 매개로 기능한다[39].

이와 같은 손암비엔테 베를린 TXL의 시도는 특정 작품 내부에 감각 경험을 제한하는 것이 아니라, 공항 전체를 하나의 거대한 인터미디어적 환경으로 전환하였다는 점에서 의미가 있다. 이와 같은 구조는 고정된 건축 공간이 기술적 장치를 통해 가변적인 지각 환경으로 재조직될 수 있음을 보여주며, VR 환경이 시각 이미지와 공간 음향, 그리고 사용자의 신체 움직임을 통합하여 하나의 경험적 환경을 구성하는 방식과 구조적으로 연결된다. 따라서 손암비엔테 전시는 물리적 공간이 매체적 시스템으로 확장될 수 있음을 보여주는 사례이며, 이후 VR 환경에서 구현되는 감각 조직화 구조를 이해하는 중요한 이론적 참조점으로 기능한다.

손암비엔테 베를린 TXL이 물리적 공간에 배치된 PA 시스템을 통해 감각 요소를 통합하는 인터미디어적 환경을 구현하였다면, VR은 이와 같은 통합의 원리를 디지털 신호 처리와 실시간 위치 추적 기술로 전환함으로써, 디지털 가상 환경 안에서도 감각 조직화를 가능하게 하는 매체적 조건을 형성한다[40]. 로리 앤더슨과 황신젠의 작품 To the Moon(2018)은 이러한 매체 구조가 디지털 환경에서 구현된 대표적인 사례이다(그림 7).

Fig. 7.

Laurie Anderson and Hsin-Chien Huang, experience scene of To the Moon (2018) at Sonambiente Berlin TXL (2021)

그림 7에서 보이듯, 이 작품은 앞서 살펴본 클랑쿤스트 사례들과 달리, HMD(head-mounted display) 기반 VR 환경에서 구현된다. 이 환경에서는 시각 이미지와 공간 음향이 사용자의 시선과 움직임에 실시간으로 반응하며 하나의 감각 경험으로 통합된다. 물리적 장소에서 소리와 신체의 관계를 조직했던 클랑쿤스트의 원리는 이 작품에서 디지털 공간, 위치 추적, 시청각 피드백의 관계로 재구성된다. 따라서 이 사례는 클랑쿤스트의 감각적 구성 원리가 VR 환경에서 공간·신체·매체의 통합 구조로 전환되는 과정을 검토하기 위한 사례로 볼 수 있다.

사용자는 VR 장치를 통해 중력이 제어된 달의 표면을 비행하며 DNA 서열(A, C, G, T)의 문자 구조로 시각화된 공룡 골격 이미지와 우주 폐기물 사이를 유영하게 된다[41]. 여기서 DNA 서열은 멸종된 생명체의 정보를 담은 디지털 데이터이자, 가상 공간 속에 부유하는 기억의 흔적으로 기능한다. 이때 매체는 시각적 이미지와 입체 음향, 사용자의 신체적 움직임을 실시간으로 결합하여 비현실적 공간에 대한 몰입적 경험을 형성한다. 이는 매체가 단순한 영상 전달 도구를 넘어, 인간의 감각을 특정 구조 내에 배치하고 조율하는 장치로 작동함을 시사한다.

작품을 체험하는 과정에서 사용자는 달의 표면을 단순히 관찰하는 것이 아니라, 부유와 추락, 비행과 이동을 반복하며 공간 내부를 능동적으로 탐색한다[41]. 이 과정에서 사용자의 시선과 움직임은 실시간 위치 시스템과 연동되어 시각 이미지와 공간 음향의 변화를 지속적으로 발생시키며, 감각 경험은 고정된 재현이 아닌 상호작용적 과정으로 조직된다. 특히 작품에 등장하는 DNA 구조 기반의 공룡 골격 이미지와 우주 폐기물은 과학 기술과 환경 문제, 기억과 멸종의 이미지를 중첩하며 사용자가 비현실적 공간 속에서도 감각적 실재감을 경험하도록 유도한다[41]. 이는 VR 매체가 단순한 시청각 재현을 넘어, 공간과 신체 경험을 통합하는 인터미디어적 환경으로 작동할 수 있음을 드러낸다.

오그보의 Final Boarding Call과 To the Moon은 모두 매체를 통해 개별 감각 요소를 하나의 경험으로 통합한다는 공통점을 지닌다. 그러나 Final Boarding Call이 실제 공항 공간과 PA 시스템을 활용하여 공간과 소리, 기억의 관계를 조직한다면, To the Moon은 디지털 공간과 실시간 위치 추적, 시청각 피드백을 통해 이러한 공간과 신체, 감각 요소의 관계를 조직한다.

즉, 두 사례는 구현 환경과 기술적 방식에는 차이가 있지만, 매체가 개별 감각 요소를 하나의 경험으로 통합하는 조직 원리로 작동한다는 공통점을 보여준다. 이는 클랑쿤스트에서 인터미디어적 환경을 통해 구현되었던 감각 조직화가 VR 환경에서는 디지털 매체와 실시간 상호작용을 통해 재구성될 수 있음을 시사한다.

To the Moon에서 주목할 점은 앞선 사례들이 각각 공간, 신체, 매체의 특정 차원을 중심으로 분석되었다면, 이 작품에서는 세 차원이 하나의 경험 안에서 상호 연관되어 통합적으로 작동한다는 것이다. 공간 차원에서 중력이 제어된 달 표면과 그 사이를 부유하는 이미지들은 시각적 배경에 머무르지 않고, 사용자의 위치와 이동에 따라 깊이와 방향이 변화하는 가상의 필드로 작동한다. 신체 차원에서 사용자는 비행과 유영, 부유와 추락이라는 수행적 움직임을 통해 이러한 감각 필드에 능동적으로 개입하며, 6자유도 기반의 위치 추적은 이러한 신체 행위를 실시간 좌표로 변환한다.

매체 차원에서는 변환된 신체 데이터가 시각 이미지와 공간 음향의 변화로 즉각 환류되어 사용자가 지각하는 환경 자체를 지속적으로 재구성한다. 즉, 이 작품에서는 공간·신체·매체가 개별적으로 작동하는 것이 아니라 사용자의 행위와 매체의 실시간 처리, 그리고 감각 환경의 변화가 상호 환류하며 하나의 감각 조직화 구조를 형성한다. 이와 같은 통합 구조는 앞서 개별적으로 분석한 공간·신체·매체의 관계를 하나의 순환적 감각 조직화 메커니즘으로 이해할 수 있게 하며, 이러한 구조를 그림 8과 같이 도식화할 수 있다.

Fig. 8.

Sensory organization mechanism in a VR environment

그림 8의 도식은 앞서 분석한 세 차원이 하나의 순환 구조 속에서 작동하는 방식을 나타낸다. 상단의 가상 공간은 3-1절에서 논의한 감각적 건축으로서의 공간 차원에, 좌측의 사용자의 신체는 3-2절의 수행적 지각 차원에, 우측의 VR 장치는 3-3절의 인터미디어적 매체 차원에 각각 대응한다. 이 세 요소는 실시간 렌더링, 상호작용 데이터 입력, 감각적 피드백의 경로를 통해 서로 연결되며, 그 중심에서 감각 경험이 지속적으로 재조직된다. 즉, 그림 8은 공간·신체·매체의 개별 분석이 어떻게 하나의 통합된 피드백 구조로 수렴되는지를 시각적으로 종합한 것이다.

이러한 순환 구조에서 중요한 점은 공간·신체·매체가 독립적으로 작동하는 것이 아니라, 실시간 피드백을 통해 서로의 변화를 지속적으로 매개한다는 점이다. 공간은 감각이 형성되는 환경을 제공하고, 신체는 수행적 행위를 통해 감각 경험을 활성화하며, 매체는 이들 사이의 관계를 실시간으로 조정하여 하나의 통합된 감각 경험으로 조직한다[42]. VR 매체는 감각 요소를 단순히 병치하는 수준을 넘어, 신체의 입력을 공간과 소리의 변화로 변환하고, 이를 다시 감각 경험으로 환류(feedback)하는 순환 구조를 통해 지각을 조직한다[43]. 따라서 VR 환경에서의 감각 조직화는 개별 감각의 단순한 결합이 아니라, 세 차원이 상호작용하며 순환적으로 재구성되는 과정으로 이해할 수 있다. 결국 VR은 단순히 시청각 정보를 제공하는 디지털 기술이 아니라, 공간과 신체, 매체의 관계를 실시간으로 조직하고 조율하는 인터미디어적 환경으로 이해될 수 있다. 이는 클랑쿤스트가 추구했던 감각적 구성 원리가 디지털 환경에서 새로운 방식으로 확장·재구성될 수 있음을 시사한다.

본 장에서 살펴본 바와 같이, VR 환경에서의 감각 조직화는 공간·신체·매체라는 세 차원을 통해 구조적으로 형성된다. 라이트너의 사례는 공간 차원의 감각 조직화 원리를 제시하며, Notes on Blindness: Into Darkness는 이 원리가 VR 환경에서 청각 중심의 공간 조직화로 확장될 수 있음을 보여준다. 쿠비쉬의 사례는 신체 차원의 감각 조직화 원리를 드러내며, 오그보의 사례는 물리적 공간이 매체 시스템을 통해 인터미디어적 환경으로 전환될 수 있음을 확인시켜 준다. 앤더슨·황신젠의 To the Moon은 시각 이미지, 공간 음향, 신체 움직임, 실시간 피드백이 결합되는 VR 통합 구조를 구체화한다.

즉, 각 사례는 공간·신체·매체 가운데 하나의 차원을 중심으로 분석되었지만, 궁극적으로 세 차원이 실시간 피드백을 통해 하나의 감각 조직화 구조로 통합된다는 공통된 특성을 드러낸다. 이상의 분석은 VR이 단순한 기술적 매체를 넘어, 감각 경험을 조직하는 매체적 장치로 이해될 수 있음을 시사한다. 이를 종합하면, 각 사례는 공간·신체·매체의 세 차원을 기준으로 하되, VR 환경에서의 확장과 통합 양상을 함께 보여준다. 사례별 분석 결과와 VR 환경에서의 의미는 표 4와 같이 정리할 수 있다.

Table 4.

Summary of case analysis results

4-1 감각 조직화의 조건으로서의 매체 장치

제3장에서 분석한 감각 조직화 구조는 VR 환경에서의 감각 경험이 단순한 자극 수용의 차원을 넘어, 매체 장치와 사용자의 상호작용 속에서 조직되는 동적 과정임을 보여준다. 특히 실시간 피드백 구조는 매체가 감각 경험의 구조를 설정하는 동시에, 사용자의 신체적 행위가 그 구조를 구체화하고 완성하는 상호적 관계를 형성하는 점에서 중요한 의미를 지닌다. 이러한 구조는 감각 경험이 개별 감각 요소의 결합에 머무르지 않고, 매체가 설정한 체계적인 구조 속에서 능동적으로 조직된다는 점을 시사한다.

VR 환경에서 매체는 감각 조직화의 조건을 설정하는 장치로 작동한다. 클랑쿤스트에서 매체가 소리와 공간의 관계를 재구성하는 역할을 수행하였다면[1],[44], VR에서는 시각, 청각, 신체 감각을 통합적으로 조율하는 인터미디어적 시스템으로 확장된다. 이때 매체는 감각 요소를 단순히 전달하는 수단을 넘어, 지각 경험이 발생할 수 있는 환경적 조건을 구성하는 매체적 기반으로 기능한다.

이 지점에서 감각 경험은 자연발생적인 현상이라기보다, 매체 장치가 설정한 프로그램(program)의 작동 범위 내에서 조직되는 산물에 가깝다. 이러한 관점은 플루서가 제시한 장치의 개념과 긴밀히 연결된다[10]. 장치는 단순한 도구적 기능에 머무르지 않고, 이미 프로그래밍된 가능성의 범위 안에서 사용자의 선택과 행위를 유도하는 환경적 조건으로 작동한다. 따라서 VR 매체는 감각 요소를 전달하는 수단에 머물지 않고, 감각 경험이 발생할 수 있는 구조적 가능성과 한계를 동시에 규정하는 핵심 장치로 기능한다.

4-2 신체적 수행을 통한 감각 구조의 구체화

매체 장치가 설정한 프로그램의 범위가 감각 경험의 가능성을 규정한다면, 사용자의 신체적 수행은 그 가능성을 구체적인 지각 경험으로 전환하는 필수적인 매개로 작동한다. 이는 제3장에서 분석한 감각 조직화 구조가 매체의 조건 설정에 그치지 않고, 신체의 개입을 통해 비로소 구체화된다는 점을 의미한다.

VR 환경에서의 지각은 사전에 완결된 자극을 수동적으로 수용하는 과정이라기보다, 사용자의 시선과 이동, 그리고 인터랙션에 의해 실시간으로 형성되는 수행적 과정으로 이해된다[45]. 이 과정에서 신체는 단순히 장치를 조작하는 도구를 넘어, 매체 시스템과 결합하여 지각을 구성하는 중심적 매개로 작동한다. VR 시스템이 실시간으로 추적하는 사용자의 신체 데이터(시선, 위치, 움직임 등)는 가상 환경의 시청각 정보를 지속적으로 갱신하는 기반이 되며, 이는 사용자가 인식하는 환경이 신체의 행위에 따라 끊임없이 변화하는 유동적인 과정임을 보여준다[31],[32]. 즉, 신체적 수행은 매체가 설정한 추상적 구조에 감각적 구체성을 부여하는 과정이며, 이를 통해 감각 조직화는 잠재적 조건에서 구체적 경험으로 전환된다.

결과적으로 VR 환경에서의 신체는 감각 조직화의 조건을 활성화하는 수행적 매개로 이해될 수 있으며, 지각은 신체의 행위 속에서 형성되는 과정적 경험으로 이해될 수 있다.

4-3 실시간 피드백 루프와 동적 감각 경험의 생성

앞서 살펴본 매체 장치와 신체적 수행의 관계는 VR 환경에서 실시간 피드백 구조를 통해 구체화된다. 매체는 사용자의 행위를 감지하고 이를 즉각적으로 공간과 소리의 변화로 반영하며, 이러한 변화는 다시 사용자에게 감각적 피드백으로 전달된다(그림 8). 이러한 순환 구조는 감각 경험이 고정된 결과물이 아니라, 매체와 신체의 상호작용 속에서 지속적으로 변화하고 재구성되는 과정임을 의미한다.

매체가 감각 경험의 조건을 설정(4-1)하고 신체가 이를 구체화(4-2)한다면, 실시간 피드백 루프는 이 둘의 관계를 지속적으로 매개하며 경험을 형성하는 핵심 메커니즘으로 작동한다. 이러한 구조 속에서 감각 경험은 단일한 인식 결과로 고착되지 않으며, 사용자의 행위와 매체의 반응이 교차하는 과정에서 끊임없이 갱신된다. 즉, 감각 경험은 일회적으로 형성되는 결과물이라기보다, 시간적 흐름에 따라 재구성되는 과정으로 이해된다. 이는 전통적 예술에서의 감상이 고정된 작품을 중심으로 하는 감상 방식과 달리, VR에서는 감각 경험이 사용자와 매체 간의 상호작용 속에서 지속적으로 형성된다는 점에서 중요한 차이를 보여준다.

특히 이러한 감각의 구성 과정은 단순한 공간 인지를 넘어, 가상 환경이 사용자의 경험 속에서 구체적인 장소로 전환되는 조건을 형성한다. 즉, 사용자의 수행적 행위와 감각적 피드백이 상호작용함으로써, 가상 공간은 단순한 디지털 배경을 넘어 신체적으로 체화된 경험 환경으로 인식된다. 결국 실시간 피드백 루프는 감각 조직화를 단순한 반응 체계가 아니라, 매체와 신체가 결합하여 능동적으로 경험을 생성하는 동적 시스템으로 전환시키는 핵심 원리가 된다.

이러한 동적 피드백 구조는 제럴드가 논의한 몰입과 현존감의 형성 조건과도 맞닿아 있다[7]. 다만 인간 중심 설계의 관점이 이를 주로 사용자의 몰입도를 높이기 위한 설계 요소로 다룬다면, 클랑쿤스트의 관점은 동일한 피드백 구조를 감각이 관계적으로 조직되고 재구성되는 예술적 과정으로 해석한다는 점에서 구별된다.

나아가 VR 사용자는 단순히 가상 공간을 관찰하는 것이 아니라, 자신의 신체를 가상 공간 내에서 확장·재구성하는 경험을 하게 된다. 킬테니(Kilteni) 등에 따르면 이러한 경험은 가상체화(virtual embodiment)라는 개념으로 설명될 수 있으며, 자기 위치감(self-location), 행위 주체감(agency), 신체 소유감(body ownership)의 세 차원으로 구성된다[9]. 한편 슬레이터와 산체스-비베스(Slater and Sanchez-Vives)는 장소감(place illusion), 사건의 실재감(plausibility illusion)을 중심으로 VR의 현존감 형성 조건을 설명하였다[8]. 이러한 논의들은 VR이 단순한 시청각 재현을 넘어 감각·인지·행동을 아우르는 통합적 경험 환경으로 확장됨을 보여준다. 클랑쿤스트의 감각 조직화 관점에서 볼 때, 가상체화는 개별 감각 자극의 산물이 아니라 공간·신체·매체의 관계 속에서 조직되는 통합적 지각 구조로 이해될 수 있다.

4-4 VR 감각 조직화의 구조적 특징

이상의 논의를 바탕으로 VR 환경에서 나타나는 감각 조직화 구조의 핵심적인 특징을 다음과 같이 정리할 수 있다.

첫째, 매체는 감각 경험이 형성되는 구조적 조건과 기능 범위를 설정하는 장치로 작동한다.

둘째, 신체는 매체가 설정한 조건을 실제 지각 경험으로 전환하는 수행적 매개로 작동한다.

셋째, 감각 경험은 매체와 신체 간의 실시간 상호작용을 통해 지속적으로 재구성되는 동적 과정이다.

이와 같이 VR 환경에서의 감각 조직화는 공간·신체·매체의 상호작용 속에서 통합적으로 작동하는 구조적 과정을 통해 이루어진다. 따라서 VR은 단순히 감각을 재현하는 기술적 매체를 넘어, 감각 경험을 조직하고 재구성하는 매체적 장치로 이해될 수 있다.

5-1 연구 결과 및 의의

예술적 맥락의 몰입형 VR에서 감각 경험이 조직되는 구조적 과정을 분석하기 위해, 클랑쿤스트의 감각적 구성 원리를 핵심 이론적 준거로 설정하여 논의를 전개하였다. 특히 감각 경험을 개별 감각 요소의 결합이 아니라, 공간·신체·매체 간의 관계 속에서 형성되는 동적 구조로 파악하고, 이를 바탕으로 VR 환경에서 감각 조직화가 이루어지는 방식을 이론적으로 고찰하였다. 이론적 분석의 결과, VR 환경에서의 감각 경험은 매체가 설정한 조건 위에서 신체의 수행을 통해 구체화되며, 이 둘의 관계는 실시간 피드백 구조를 통해 지속적으로 상호작용하는 동적 과정으로 해석될 수 있다. 이는 감각 경험이 외부 세계를 재현하는 결과가 아니라, 공간·신체·매체의 관계 속에서 생성되는 과정적 경험임을 시사한다.

이러한 분석은 VR을 단순한 기술적 재현 매체가 아니라, 감각 경험을 조직하고 재구성하는 매체적 장치로 이해할 수 있는 이론적 근거를 제시한다는 점에서 의의를 지닌다. 기존 VR 연구가 주로 몰입, 현존감, 사용자 경험, 인터랙션 설계의 측면에서 지각 경험을 다루어 왔던 것과 달리, 본 연구는 클랑쿤스트의 감각 조직화 원리를 통해 VR을 재해석함으로써 감각 경험이 구성되는 관계적 구조에 주목하였다는 점에서 차별성을 지닌다.

아울러 클랑쿤스트에서 논의된 감각의 관계적 구성 원리를 VR 환경에 적용함으로써[2], 고전적인 예술 이론이 현대의 몰입형 디지털 미디어를 분석하는 데 있어 하나의 이론적 틀로 확장될 수 있음을 살펴보았다. 또한 감각 경험을 개별 자극의 단순한 집합이 아니라 공간·신체·매체 간의 유기적 상호관계 속에서 형성되는 경험으로 고찰함으로써, VR 환경에서의 지각 경험에 대한 보다 통합적이고 체계적인 관점을 제안하였다. 나아가 사용자의 수행적 행위를 통해 추상적인 디지털 공간이 경험 가능한 장소로 전환되는 과정을 검토함으로써, VR이 지닌 미학적 의미를 감각 조직화 관점에서 해석할 수 있는 이론적 가능성을 논의하였다. 이러한 과정은 가상 환경 내부에서 사용자가 감각적 주체로 기능하게 되는 가상체화(virtual embodiment)의 구조와도 긴밀히 연결된다. 또한 VR 환경에서의 지각 경험이 단순한 시청각 몰입을 넘어 신체적 현존감과 감각적 실재감(sense of reality)을 형성하는 과정으로 해석될 수 있음을 시사한다[9],[46].

5-2 연구의 한계

본 연구는 클랑쿤스트 이론을 VR 환경의 구조적 분석 틀로 적용한 이론적 고찰이라는 점에서, 실제 사용자를 대상으로 한 실증적 데이터 검증을 포함하지 못하였다는 한계를 지닌다. 또한 분석 사례가 예술적 맥락에서 구현된 작품에 집중되어 있어, 이러한 감각 조직화 구조가 다양한 성격의 VR 콘텐츠 환경에서도 적용 가능한지에 대해서는 추가적인 검토가 필요하다.

5-3 향후 연구 방향

향후 연구에서는 본 연구에서 논의한 감각 조직화 구조를 다양한 VR 콘텐츠 환경에 적용하여 그 구조적 특성을 비교·분석하고, 사용자 경험에 대한 정량적·정성적 연구를 병행함으로써 이론적 틀의 타당성을 검증할 필요가 있다. 아울러 생성형 AI 및 인터랙티브 시스템과 결합된 환경에서 감각 조직화가 어떻게 변화하고 확장되는지를 탐구할 필요가 있다.