겁에 질린 표정 : 브레인 센서 인터페이스를 활용한 바이오 아트

1-1 연구목표

본 연구는 바이오 아트의 작품 제작에 있어 신체 신호가 가지는 특징을 파악하고 특히 신체 중 몸과 정신을 모두 관할하는 중추적인 기관인 뇌가 가지는 특이점에 집중한다. 또한 비가시적인 정보의 물리적인 표현이 가지는 의미와 관람자의 경험에 대하여 연구한다. 이를 통해 신체 신호를 이용한 미디어 아트 표현의 방법적 가능성과 그 의미에 대한 새로운 해석을 제시하고자 한다.

1-2 연구방법

인간과 기술의 관계에 대한 작품 제작의 의의를 파악하기 위해 사이버네틱스와 포스트휴먼에 관한 이론적 의미를 파악하고 신체의 현상학을 통해 신체와 정신의 관계를 이해한 후 미디어아트에서의 물질성에 대한 이론적 배경 연구를 진행한다. 이후 실제적인 작품의 제작을 위하여 관련 작품을 분석하고 브레인 센서 인터페이스(BSI: Brain Sensor Interface)기술에 관한 연구를 진행 한다. 이를 바탕으로 <겁에 질린 표정> 작품을 기획 제작함으로써, 바이오아트에 있어 신체 신호가 가지는 특징과 정보의 물리적인 가시화의 표현이 가지는 의미와 경험에 대하여 분석해 보고자 한다.

2-1 포스트 휴먼 담론

20세기 말의 기술의 발전은 사회의 커다란 변화를 가져왔으며 이는 결국 기계와 생물체 사이의 경계를 흐리게 하여 기존의 존재하는 것과 새로운 것들 사이의 명확한 분리를 사라지게 했다. 이는 인간과 기계의 관계에 관한 ‘사이버네틱스(cybernetics)’, ‘사이보그(cyborg)’, ‘트랜스휴먼(transhuman)’, ‘포스트휴먼(posthuman)’ 등의 연구로 발전되었다.

그 중 사이버네틱스는 포스트휴먼 연구의 학문적 토대가 되는 학문으로서 본래 ‘키잡이’를 의미하는 그리스어에서 유래하였으며 1949년 노버트 위너(Norbert Wiener)에 의해 본격적으로 사용되었다[2]. 캐서린 헤일즈(Katherine Hayles)는 사이버네틱스 이론의 발전 과정을 시기별 단계별로 정리하였는데, 1세대는 ‘항상성’을 주요 개념으로 하며 시기적으로 1945년에서 1960년에 해당한다. 2세대는 ‘재귀성’이 중심이며 대략 1960년에서 1980년까지이며, 1980년부터 현재까지의 3세대로 ‘창발’, ‘가상성’, ‘몰입’, ‘현전’의 개념으로 특징지어진다[3].

포스트 휴먼은 ‘포스트(post)’와 ‘인간(human)’의 합성어로 20세기 말부터 사용되기 시작 했다. 포스트 휴먼 담론은 역사 속에서 인간은 발전해 왔으며 지혜를 가진 호모사피엔스에 해당하는 때와 오늘날의 인간에 대한 기준과 정의는 분명 다르게 설명되어져야 한다는 믿음에서 출발한다. 포스트휴먼은 인간의 본질에 대하여 동시대의 환경을 반영하여 설명하고자 하며, 기술 환경과 인간의 관계에서 새로운 인간에 대한 해석을 제시한다. 그리고 변화하는 인간의 상태와 그 속에서 발생하는 문제들이 다양한 사회 속에서 재현되는 모습들에 주목한다.

포스트 휴먼에 관한 입장은 크게 낙관론과 비관론으로 나뉜다. 이는 기술의 발전을 대하는 태도와 동일하게 적용된다. 기술은 인간의 생산성향상과 더불어 생활에 대한 태도와 삶의 방식에 많은 유용한 영향을 끼치고 있다. 반면 인간이 기존에 수행하던 일들을 대신하여 노동 영역의 감소를 가져오거나 인간을 넘어서는 능력을 발휘하게 되어 근본적인 인간의 실존을 위협하기도 한다. 이러한 상황들은 포스트 휴먼으로 변해가는 인간에 대한 기대와 공포를 함께 양립하게 한다.

비관론적인 태도로서 『기술에 대한 물음(The Question Concerning Technology)』에서 기술이 인간에게 줄 영향에 대한 우려를 간접적으로 나타낸 하이데거(Heidegger)가 있으며 프란시스 후쿠야마(Francis Fukuyama)같이 극단적인 인간의 종말에 대한 공포를 나타내기도 한다.

기술과 인간의 관계에서 생기는 존재론적 근본의 상실과 실존에 대한 위협에 대해 포스트휴먼 담론은 기술이 인간 존재의 일부이며, 기술 환경에 의해 형성되거나 변화된 ‘우리의 모습’과 ‘존재의 의미’를 모두 포함한다[4]. 즉 연속된 인간의 실존 속에서 존재하며 오히려 위협적인 단편적 상황보다는 과정에 해당하는 모습으로서 긍정적으로 바라보고 있다.

현대 기술 발전의 속도는 역사의 어느 때보다 빠르고 다양하게 전개되고 있다. 그러나 이러한 발전 양상에 대한 비판적 사유와 해석이 없다면, 그러한 발전은 무의미하거나 인류에게 무서운 결과를 가져올 수도 있다. 앞서 논의된 사이버네틱스와 포스트휴먼에 관한 양분화된 관점이 존재함에도 불구하고 오늘날의 삶은 자본주의의 논리 아래 기술의 유토피아를 지향한다. 막연한 공포도 많은 가능성을 놓치지만 무분별한 낙관도 후에 위험요소로서 부메랑이 되어 돌아올 수 있다. 빠른 발전을 쫒기 보다는 비판적 사유를 통해 적절한 균형을 가지고 인간과 기계의 관계를 점검하고 경계하는 태도가 필요하다.

2-2 신체와 정신의 경계 - 현상학적 체현인지 관점에서

고전적인 인지구조에서 주목하지 않았던 ‘몸’에 대한 주목은 탈 데카르트적 움직임으로서 17세기에 스피노자(Spinoza)를 거쳐 유럽의 현상학적 철학자들에 의해서 주로 이어져 왔다. 이들은 후설(Edmund Husserl), 메를로 퐁티(Maurice Merleau Ponty) 등이며 몸이 환경의 세상과 일체가 되어 적응하는 과정에서 몸의 행위 하나하나가 마음을 구성한다고 봤다[5].

클락과 차머스(Clark & Charmers, 1998)가 주장한 ‘확장된 마음’(extended mind) 또한 환경과 몸, 마음이 하나로 작동하는 상호작용을 강조한다. 몸과 환경을 제외하고 뇌만 연구하는 이전의 연구 방법이 잘못되었음을 지적하며, 데카르트 방식이 아닌, 공간적 확장을 통해 마음을 설명하고자 하는 이론이다. [6].

메를로 퐁티는 모든 지각대상은 ‘공간적 관점’과 ‘시간적 관점’을 통해서 경험된다고 말하며 이처럼 모든 지각대상이 다양한 관점에서 경험될 수 있는 이유는 바로 지각의 주체인 내가 신체를 가지고 있기 때문이라고 말했다[7]. 그의 주장에 따르면 신체는 현상학의 주체이면서 고유한 신체로서 마음과 분리 될 수 없고 신체의 지각에 의해 기억이 가능함을 알 수 있다.

이러한 메를로 퐁티의 지각의 현상학과 인지과학을 바탕으로 현상학적 체현인지(phenomenological embodied cognition)의 관점을 제시할 수 있으며 이는 기술매체와 신체의 인터페이스를 강조하는 인터랙티브 미디어아트의 해석적 틀로서 제시되기도 했다[8].

체화된 인지의 개념에서 뇌를 포함하는 신체와 환경의 통합이 마음을 개념화하는 데 있어 중요한 요소라고 말한다. 이는 데카르트의 심신이원론과 같이 정신과 신체의 명확한 경계를 반대하며 오히려 상호작용하는 관계에서의 마음의 의미를 파악하려 한다. 뇌는 정신과 신체에 모두 영향을 미치는 경계 없는 기관이다. 신체와 정신이 분리된 존재로서의 인식을 넘어 최종 작품 제작에서는 현상학적 체현인지의 관점에서 환경의 개념을 포함한 인터랙티브 미디어아트 작품을 제작할 것이다.

2-3 미디어아트의 물질성

미디어는 정보를 전달하는 매체로서 물질성과 비물질성을 동시에 가진다. 이중 비물질성에 대한 특징은 디지털이 삶에 직접적으로 변화를 가져오는 1990년대에 들어 더욱 두드러진다. 예술의 영역에서도 가상현실(VR, Virtual Reality), 증강 현실(AR, Augmented Reality), 혼합 현실(MR, Mixed Reality)에 주목했으며 현대의 많은 작품들도 가상성을 통해 현실과 결합한 비물질적인 체험을 여전히 제공하고 있다.

디지털 시대 이전에도 예술에서 가상성은 회화, 사진, 영화 등과 관련하여 지속적으로 논의 되었다. 회화에서 3차원의 물리적 공간을 2차원의 평면의 가상의 공간으로 옮기기 위해 사용된 원근법과 카메라 옵스큐라(camera obscura)가 대표적이며 이후 사진과 영화 또한 가상의 영역에서 재현된 이미지로서 만들어졌다.

이러한 가상의 이미지들은 르네상스의 이론가인 알베르티가 말한 ‘열린 창’ 처럼 틀을 가지는 스크린을 가지며 스크린은 이미지가 표상되는 영역으로서 역할한다. 공간은 틀을 경계로 하여 이미지가 존재하는 가상의 공간과 그 밖의 관람하는 자가 존재하는 물리적 공간으로 분리된다.

이 때 관람자는 물리적 공간에서 존재하는 주체와 스크린 내의 이미지로 구성되는 가상공간에 존재하는 주체로서 분열이 일어나며 이러한 분열된 주체의 위치를 레브 마노비치(Lev Manovich)는 ‘신체의 감금’으로 특징지었다[9]. 고정된 신체와 반대로 가상공간에서의 주체는 자유로운 시선의 이동이 가능하다.

오늘 날의 가상현실 기술을 이용한 미디어아트 작품에서도 인터페이스의 사용에 따른 신체의 감금이 나타난다. 헤드마운트 디스플레이(HMD, head-mounted display)를 예로 들면 보기엔 시선의 자율성 때문에 신체가 자유롭게 보이지만 오히려 신체는 거대한 물질성을 가진 인터페이스로서 역할을 하게 된다. 가상현실 속에서 신체는 더욱더 감금된다.

이렇듯 미디어아트에서 인터페이스의 사용은 물질성과 비물질성 간에 분리될 수 없는 관계를 보여준다. 가상현실에서는 현실의 물리적 상황에 영향을 받지 않고 신체나 물질성을 초월할 수 있을 것으로 보이지만 현실의 감각 재현을 위한 인공수단으로서 필연적으로 인터페이스를 사용한다.

가상공간에서 감각의 재현은 탈신체화 된 방식을 통해 신체의 감각과 물질성을 현전감 또는 현전성(presence)으로 느끼게 된다. 즉, 감각적으로 체현되는 것에 대한 경험은 물질적으로는 현실과 동일하지 않지만 기능과 효과의 면에서 마치 그러한 것처럼 체험을 할 수 있도록 한다.

이러한 현전성으로서의 물질성의 경험이 가지는 가능성이 있지만 기존의 미디어아트에서 관심을 가지지 않았던 현실 공간에서의 물질성을 직접적으로 결합한다면 현전성을 넘어선 현실의 경험을 가능하게 할 것이다. 신체와 인터페이스의 사용을 통한 현실의 물질적 경험은, 신체의 감금 상황을 극복하고, 강화된 물질성을 통해 신체의 감각이 공간과 실제 환경으로 확장되는 흥미로운 경험을 제공할 것이다.

3-1 뇌파의 정의

뇌파(brain wave)는 대뇌피질의 신경 세포군에서 발생한 뇌전기활동의 총화를 체외로 도출하고, 이를 증폭해서 전위를 종축으로 시간을 횡축으로 해서 기록한 것이다. 뇌파는 일종의 전기 흐름으로서 신경계와 뇌신경 사이에 신호가 전달될 때 생기며 다른 말로 뇌전도 (EEG, electroencephalogram)라고 한다. 이는 주로 측두엽과 전두엽에서 측정된다. 뇌파상의 변화를 주는 요인은 개인차, 연령, 의식상태의 변화, 정신활동 및 지각자극, 신체의 생리적 변화, 뇌내 병적 과정 혹은 질환 상태 등이 있다[10].

단채널 또는 다채널을 통해 원시 데이터(raw data)의 형식으로 수집되어진 정보들은 주파수에 따라 기준파인 알파파(α wave, 안정 상태)를 중심으로 델타파(δ wave,수면 상태), 세타파(θ wave, 안정 또는 수면 전 상태), 베타파( β wave, 의식 및 활동 상태) , 감마파(γ wave, 각성과 흥분상태) 까지 대표적인 5개의 파로 나뉜다[11].

3-2 브레인 센서 인터페이스(BSI)

미디어아트에서 인터페이스(interface)의 역할은 서로 다른 시스템 혹은 소프트웨어를 연결하는 장치로서 사용되어진다. 그 중 신체정보를 매개하는 도구로서의 인터페이스는 정보를 받아들이고 다시 피드백하기 위해 센서를 가진다. 이러한 센서들을 통해 인간의 신체는 감각의 확장을 가능하게 한다.

브레인 센서 인터페이스(BSI)는 이러한 뇌의 데이터를 감지하고 수집하는데 사용할 수 있다. 센서를 통해 수집된 데이터는 뇌파가 가지는 비가시성의 특징을 통해 다양한 방법으로 가시적 표현을 할 수 있는 가능성을 가진다.

Fig. 1.

Brain sensor interace(BSI) - Mindwave headset

4-1 바이오 아트와 신체 데이터

예술 그리고 과학과 기술이 발전하면서 미술가들은 질병의 진단과 치료에 필수적이며 궁극적으로는 생명을 연장시키기 위해 사용하는 과학적 장비들을 이용해, 이전에 결코 볼 수 없었던 매혹적이고 낯선 신체 내부 풍경을 포착한다. 미술가들이 강조하고자 하는 바는 인체의 기능을 향상시키기 위한 기술들이 이제까지 인간이 신체를 이해하고 재현해온 방식에 변화를 주고 있으며, 자아의 정체성과 개념의 변화에도 큰 영향력을 행사하고 있다는 점이다[12].

뇌파데이터를 측정하는 뇌파측정기도 의학적 목적으로 쓰이던 것이 최근 들어 간편한 제품 형태로 보급되며 새로운 접근방식과 표현방법을 통해 작품으로 제안되고 있다. 이러한 의학과 미술과의 관계를 전혜숙은 세 가지의 경우로 나누어 설명하고 있다[12]. 첫째는 IT분야의 기술과 의학의 융합으로 구체화된 신체 내부의 새로운 이미지를 미술표현의 일부로 이용하는 경우와 둘째는 과학자처럼 직접 DNA, 신체데이터와 연관된 실험을 일종의 퍼포먼스로 제시하는 경우다. 셋째는 신체가 과학기술과 결합되는 경우에 발생하는 인간 정체성의 변화와 윤리 및 철학적 쟁점에 초점을 맞추는 것이다.

이전의 미술가들이 신체를 이미지로 재현하거나 퍼포먼스의 도구로써 사용했다면 최근의 미술가들은 과학자처럼 실험을 통해 신체의 정보를 사용한다. 이는 20세기의 미술가들이 새로운 매체로서 사진, 비디오, 컴퓨터를 사용한 것과 흡사하며 DNA, 뇌전도, 심전도 등 생물학적 정보를 매체로 사용함으로써 미술 표현의 새로운 가능성을 제시하고 있다.

본 연구는 앞선 분류에서 개념적으로 두 번째의 구분에 속하며 뉴로피드백(neurofeedback) 기술을 이용하여 내면의 비물질화 된 생체데이터를 공간 표현을 통해 가시적으로 보여준다. 기술에 의한 유토피아적인 상황과 더불어 디스토피아적 상황의 경계를 몸과 기술로 보여주는 것은 ‘포스트휴먼’(posthuman)이라는 용어의 맥락과 맞닿아 있다. 전혜숙[12]은 이 용어가 현재 기술이 보이고 있는 다면적인 상황들과 함께 쓰이기 시작했으며 급속도로 변화하는 기술 분야와 인간의 결합과 관련한 체현 조건들을 재개념화 하려는 일련의 최근의 시도와 연관된다고 했다. 포스트휴먼 담론은 기술의 진화 앞에서 인간의 종말을 암시하거나, 신체의 한계를 넘어서는 가능성의 의미로 다뤄지기도 한다[13].

의학과 생물학을 이용한 바이오아트는 포스트휴먼을 가능하게 하는 모든 방식들에 동조하기도 하고 비판적 입장을 취하기도 한다. 인간의 한계를 극복하게 해주는 바로 그 기술이 잠정적 위험을 내포하고 있다는 이율배반적 논리는 예술가들의 작업에서도 도덕성을 비록한 정당한 예술적 가치여부들과 함께 되풀이 되고 있다. 이러한 논쟁들을 바탕으로 본 연구에서는 뇌파를 중심으로 제작된 다양한 분야의 작업들을 분석하여 개념적 접근과 구현의 적절성을 파악하려 한다.

4-2 뇌파 데이터 이용 사례

본 연구에서는 선행 연구로서 우선 뇌파데이터를 이용한 상업적 그리고 예술적 이용사례를 조사하여 현재의 동향과 신체데이터에 대한 접근법에 대해 분석과정을 거쳤다. 미디어아트 및 바이오 아트에서 설치와 퍼포먼스 작품들을 살펴보고, 상업적 측면에서 브랜드 홍보를 위한 기업 프로젝트와 제품으로 제작된 사례를 분석하였다.

2) 퍼포먼스 작품 사례

Fig. 2.

Cases utilizing brainwave data[14-17]

리사박(Lisa Park)의 <Eunoia>는 그리스어로 아름다운 생각이라는 뜻이며 작가 자신이 뇌파측정 헤드셋을 착용하여 감정 상태나 몸의 변화를 시각화 하는 작업이다. 뇌파데이터를 받아 음파로 변형 되어 퍼포먼스의 형태로 공연 된다. 음파는 물이 담긴 스피커 위에서 파동으로 가시화 되며 이는 곧 작가의 생각이 물에 실시간으로 반영되는 것이라 할 수 있다. 물의 사용은 음파의 가시화에 효과적으로 사용되며 물리적으로 물에 비친 퍼포머와 마음의 반영이라는 이중의미를 통해 작품의 맥락 안에서 의미를 가진다. 뇌전도 센서를 통해 감지된 뇌파는 명상, 집중, 각성 등의 상태로 분류된다. 각각의 상태와 정도에 따라 음파는 음량 ,음의 높낮이, 속도가 실시간으로 변하게 된다[16]. 작가 자신의 명상을 위해 제작되어진 본 작품은 퍼포먼스의 형식으로 공연되어 자신의 순간적인 마음을 뇌파, 물, 소리로 충실하게 반영하고 있다.

3) 기업 홍보 프로젝트 사례

유명 물감회사인 윈저&뉴톤(Winsor & Newton)는 뇌파 헤드셋을 이용해 장애인들과 함께하는 예술 프로젝트를 중국에서 진행했다[17]. 두 팔과 한쪽 다리를 잃은 장애가 있는 아티스트 조디 슝(Jody Xiong)과 함께한 이 프로젝트는 장애가 있더라도 마음을 통한 표현의 중요성을 뇌파와 연동시켜 표현하고자 했다. 장애인 참가자가 뇌파 헤드셋을 착용하고 집중력을 높이면 사면의 대형 캔버스 안에 있는 물감 풍선이 터지면서 개인마다 다른 그림을 만들어 내게 된다. 다양한 색의 조합과 예상 할 수 없는 다양한 이미지들은 흡사 잭슨 폴록의 액션 페인팅처럼 자유롭고도 강렬한 느낌을 준다.

신체의 움직임 없이 마치 신체의 율동감을 보여주는 작품들은 이미지를 만들어 낸 주체가 장애가 있는 사람이라는 점에서 의미를 가진다. 본 작품은 뇌파를 통해 육체의 물리적 한계를 넘어 신체의 불가능함을 가능함으로 전환시킬 수 있는 가능성을 보여준다.

Fig. 3.

NeuroSky - Necomimi, 2014 [18]

4-3 사례분석

아래의 표에 해당하는 작품들을 바탕으로 바이오아트 작품과 상업적 이용 사례 분석을 진행했다.

뇌파의 활용은 바이오아트 작품에서 부터 상업적 사례까지 다양 했다. 대부분의 작업들은 체험하는 이의 정보를 실시간으로 피드백 받아 상호작용 했으며 이는 변화하는 인간의 몸으로부터 생성되는 신호를 데이터로 사용하는 결과로 보인다.

바이오아트에서의 뇌파 데이터는 작가의 의도에 따라 퍼포먼스, 공간 설치 등 다양한 방법으로 가시화 될 수 있음을 알 수 있었다. 다채널의 의학적 뇌파 측정기구가 아니라 제품화된 간편한 헤드셋 사용을 통해 예술가가 쉽게 작품을 제작하고 사용할 수 있도록 했다. 다만 노이즈가 생기거나 충분한 정보가 제공되지 않아 데이터의 완전성이 확보되지 않는 어려움이 있기도 했다.

뇌의 데이터를 사용하는 만큼, 이들 사례에서 채택된 주제는 감정과 인지의 변화가 주요하게 다루어졌다. 이는 뇌가 곧 마음이라는 일반적인 인식의 결과로 뇌파를 활용한 작품을 가장 적절하게 표현 할 수 있는 주제인 동시에 한계가 되기도 했다. 또한 뇌를 포함하는 신체와 체험되는 공간의 상호작용을 유념하여 공간 구성 및 신체의 위치와 역할에도 유의가 필요함을 알 수 있었다.

Table 1.

Bio art works using brainwave data

Table 2.

Commercial cases of using brainwave data

상업적인 뇌파데이터의 사용 사례는 기업과 예술가의 협업을 통한 프로젝트와 제품화를 통한 뇌파데이터의 가시화 작업으로 나누어 접근하였다. 기업과 예술가의 협업을 통한 프로젝트의 경우 신체적 장애를 가진 아티스트가 마음으로서 그림을 그릴 수 있다는 공익적인 의미를 담아 기업의 이미지에 긍정적인 효과를 얻고자 했다. 제품의 경우 감정의 변화에 외양의 변화를 프로그램화시켜 출시했으며 고양이와 같이 친근한 형태를 활용하여 매력적인 제품으로서 보이도록 했다.

이렇듯 뇌파데이터는 예술의 다양한 방법으로 사용됨을 알 수 있었다. 하지만 뇌라는 신체가 가지는 지각과 인지, 감정과 마음의 특징만이 다수의 주제로서 다루어져 동일한 주제의 작품이 다수임을 알 수 있었다. 또한 관람객이 경험하는 환경의 구성이 단순화되어 있는 경우가 많았다. 주제의식의 확장과 더불어 공간의 구성의 다양성을 제시하여 다양한 감각의 체험이 가능하도록 새로운 형태의 공간구성의 시도가 필요한 때라 여겨진다.

5-1 기획 의도

센서, 로봇, 과학, 진보, 자동화에 대한 관심과 진화에 따라 사람의 신체와 정신은 어쩌면 반대로 자유로움과 새로운 가능성이라는 이름하에 감금되고 이성은 마비되어가고 있을지도 모른다.

뇌파는 신체의 가시적 움직임을 배제하고 데이터를 수집할 수 있으며 이러한 데이터를 바탕으로 다양한 오브제를 컨트롤 할 수 있다. 선풍기를 손으로 켜지 않아도 켤 수 있고 자전거 페달을 발로 굴리지 않아도 자전거를 가게 할 수 있다. 손과 발의 물리적 접근 필요 없이 행위를 실행 할 수 있다는 것이다.

기술의 진보 앞에서 기술이 우위가 되는 그때가 오면 신체는 사라져 버릴지도 모른다. 흥미와 편리가 보장되는 뇌파 기술이 실행되는 풍경의 장면은 기술에 대한 우리들의 불신과 두려움이 반영되는 겁에 질린 표정의 포착의 순간이 될 것이다. 본 작품은 기술의 발전이 가져 오는 유토피아적 이상과 디스토피아의 역설을 기이한 공간의 재현으로 표현하고자 한다.

5-2 작품 구성 요소

3) 아두이노-릴레이 컨트롤러

작품은 아두이노를 사용하여 마인드웨이브로 받은 신호가 메인컴퓨터에 전달 가능하도록 했다. 먼저 마인드웨이브 헤드셋으로 들어오는 뇌파의 값이 메인 컴퓨터에서 연구진이 개발한 소프트웨어에서 아두이노로 시리얼 통신으로 전송된다.

이때 동작해야할 오브제는 연결된 SSR 릴레이를 사용해서 아두이노에서 통제된다. 이는 5V로 제어 가능한 아두이노와 연동되는 4~32V까지 컨트롤이 가능한 릴레이를 사용하여 220V를 ON/OFF 하는 방식이다.

Table 3.

Operation steps and corresponding objects

무엇보다 소비전력이 높은 오브제들을 한꺼번에 다량으로 사용했기 때문에 안정적인 구동이 필수적이었다. 가장 높은 소비전력의 열풍기는 3000W에 달하는 소비전력을 필요로 했다. 릴레이 모듈 회로 제작에는 큰 무리가 없었지만 그만큼 큰 전력에는 높은 전류를 필요로 하기 때문에 발열이나 안전에 유의해 2.5mm의 두께의 전선으로 와이어링을 하고 혹시 모를 안전사고에 대비해 방열판의 추가적인 설치를 염두해 두어야 했다. 또한 최종 설치에 있어서도 안전하게 전력을 끌어오고 가능하면 오브제의 전력 배치를 전략적으로 하여 혹시 모를 전력 차단에 대비해야 했다.

Fig. 4.

The configuration of SSR relay modue and Arduino module

5-3 구현기술

1) 시스템 구성도

시스템의 구성은 크게 뇌파헤드셋인 마인드웨이브와 컴퓨터의 연결이 주가 되며 이것은 브레인 컴퓨터 인터페이스(BCI) 로서 역할을 하였다. 본 작업에서는 뉴로스카이사에서 제공하는 ThinkGear라는 연결 프로그램을 통해 기기와 컴퓨터간의 커뮤니케이션을 가능하게 하고 이렇게 받은 값을 다시 아두이노 보드를 통해 오브제에 전달하게 되는 시스템을 가지고 있다. 프로그래밍에서는 프로세싱을 사용하여 아두이노와 연결시킨다.

Fig. 5.

System configuration for <Petrified expression>

2) 프로그래밍

프로그래밍은 프로세싱(Processing)을 통해서 이루어졌다. 뇌파헤드셋을 통해 받는 값은 명상(meditation) 값을 주요 인풋 값으로 채택하여 이를 통해 기괴하고 어두운 공간에서 반대의 감정과 상태였을 때 이질적으로 오브제가 작동하도록 설계하였다. 명상값은 1단계부터 6단계로 오브제에 대응되게 나누어져 있으며 다음 단계로 갈 때 마다 앞의 단계를 포함하여 작동하게 된다. 최종적으로 마지막 단계에 이르렀을 때는 모든 오브제가 작동하여 공간에서의 신체데이터가 가시화됨으로써 공간으로의 확장을 목격하도록 하였다.

Fig 6.

<Petrified expression> Flowchart for programming

5-4 설치 다이어그램 및 시뮬레이션

전체적 오브제의 설치가 가변적이고 상황에 따른 변화할 여지가 있어 많은 제안과 시뮬레이션을 반복했다. 1차 설치 다이어그램의 경우 커다란 오브제가 많았고 특히 가변적으로 부풀어 오르는 낙하산이 포함되어 있어 가로 공간을 넓게 쓰는 설치를 할 수 밖에 없었다. 전체적으로 공간에 오브제가 자유롭게 흩뿌려져 있는 구성을 하고 있었고 관객의 관람의 시각은 높지만 위태로운 면적의 공간에서 관람을 하도록 했다.

Fig 7.

First draft of 3D installation diagram

Fig 8.

Installation simulation

1차 3D모델링을 바탕으로 빈 화이트 큐브에 시뮬레이션을 진행했다. 당시 실제 구하지 못한 오브제들은 소형화하여 테스트를 진행했다. 길이뿐 만 아니라 폭도 10M에 가까운 공간에 설치되어 전체적으로 탁 트인 풍경이 연출되었다. 다만 실제적으로 관람객이 관람을 할 때의 시야에서 전체적인 풍경이 충분히 조망이 가능하고 오브제를 파악할 수 있을지 의문이 들었고 높은 곳에서 안전장비 없이 관람되는 것에 대한 보안과 대비가 필요하다고 생각되었다.

5-5 전시

전시는 서울문화재단의 다빈치아이디어사업의 지원을 받아 2015년 9월 3일부터 9월 30일까지 금천예술공장에서 다빈치크리에이티브전의 일환으로 진행되었다[18]. 본 전시를 위해 연구자는 안성석, 양종석과 함께 협업을 진행했다.

Fig 9.

Final 3D installation view

최종적으로 총 17M에 해당하는 복도형식의 공간에 오브제를 배치하고 설치했고 이러한 형식은 관람객의 몰입과 안전하게 고립된 상태에서의 관람을 가능하게 했다. 설치를 하기 전 오브제를 확정 짓고 3D 모델링을 통해 전체적인 공간을 예상해 보았다.

공간은 전시장의 벽과 가벽을 설치하여 하나의 복도 공간을 만들었고 도입부에 5개의 계단을 설치하여 관람객의 접근이 용이하도록 하였다. 또한 의자를 비치하여 실제적으로는 바닥면보다 높은 위치지만 안정적인 자세로 관람하도록 했다. 내부는 검정으로 도색하여 전체적으로 어두운 분위기를 연출하여 작동되는 오브제가 집중되도록 하는 효과와 예상하지 못한 오브제를 관람객이 즉각적으로 만나게 하려했다.

복도식으로 길게 구성되어진 공간은 몰입을 강화시킬 수 있는 반면에 폭이 좁아 설치를 치밀하게 하지 않을 경우 뒷 단계에 해당하는 오브제가 상대적으로 보이지 않을 가능성이 있었다. 그러한 문제점의 해결로 점점 사선으로 오브제를 배치하거나 바닥면을 이용하여 다양한 방향과 방법으로 오브제의 작동을 관람객이 느끼도록 했다.

아무 값도 받지 않고 오브제들이 작동하지 않을 때에도 공간의 구성이 디스토피아의 풍경처럼 느껴지게 하기 위해 어두운 공간에 블랙라이트를 설치해 흰색 또는 형광에 반응하는 것들만 빛을 발하게 하여 최소한의 빛으로 낯선 공간을 만들어 내고자 했다. 그리고 멀리서 일부만 반짝이는 네온은 관람객으로 하여금 궁금증을 일으키는 것 이상으로 매력적인 풍경이 되도록 유도했다.

<겁에 질린 표정>에서 선택한 오브제들은 직접적으로 보기에는 논리적 연관성이 없어 보이는 그러나 이러한 기이한 상황들을 돋보이게 할 수 있는 것들이다. 공간 속 오브제는 공간을 구성하는 요소이자 뇌파와 일대일로 대응하여 작동되도록 배치되었다. 함께 협업을 한 팀원인 안성석에 의해 기존에 제작된 오브제(분수)나 기성의 레디메이드 오브제들 (램프, 선풍기, 싸이키 조명 등)을 구입해 사용했다. 오브제들은 각각 안정부터 혼란을 담는 맥락 속에 위치하며 바람, 빛, 소리, 동력 등 안정과 불안정을 넘나드는 상태를 관객을 통해 지속적으로 보이게 된다.

그리고 이 조형들은 설치 공간 안에 조형적으로 단계적으로 배치되었다. 단계로 나뉘어져있는 오브제들이 활성화될지 그렇지 않게 될지 착용한 관객의 상태나 노력에 달려 있다.

관람객과의 인터랙션의 단계는 아래와 같이 진행된다. 공간에 들어와서 전시장의 중앙에서 뇌파 헤드셋을 착용하면, 가장 낮은 단계의 작동부터 공간은 변화를 시작한다. 즉, 선풍기와 열풍기가 1 단계로 켜지고, 좀 더 마음이 평안했을 때 천장에 설치된 강풍기와 선풍기가 2단계로 공간에서 움직임의 시작을 알린다. 또한 3단계의 뇌파
값 상승에 따라 분수의 고저낙하 물 마찰 소리가 선풍기의 작동과 함께 변화하며, 4단계에서는 싸이키 조명이 켜지면서 선풍기가 돌아간다. 5단계에서는 마지막 4대의 열풍기가 돌아가며 붉은 색으로 공간을 채우고 마지막 6단계에서는 ‘DARK BODY BRIGHT MACHINE(어두운 신체 밝은 기계)’라는 문구의 네온이 켜지며 마지막 메시지를 전달한다.

Fig. 10.

Exhibition view of <Petrified expression> by Kimeunsolansungseokyangjongseok in the Davinci Creative 2015 – Before interaction

Fig. 11.

Exhibition view of <Petrified expression> by Kimeunsolansungseokyangjongseok in the Davinci Creative 2015 – After interaction

작품이 최종적으로 설치된 금천예술공장의 다빈치크리에이티브 전시 현장에서 관람에 참여하는 관객을 관찰했을 때, 사람에 따라 시간의 차이는 있었지만 대부분이 절반 이상의 단계까지 도달하였고 분위기에 익숙해질수록 마지막 단계까지 빨리 도달하였다. 물론 하나의 오브제도 작동시키지 못하는 경우도 있었다. 의도적으로 헤드셋 착용하는 방법을 친절히 설명해 주지 않아 관람객 중에는 작동이 되지 않는 풍경만 바라본 경우도 있다.

대부분의 미디어 작품이 그렇듯 설치 후 전시 기간 중 운영 및 관리에 있어 어려움을 겪었다. 작동이 멈추거나 인터페이스에 문제가 생겨 수정을 하거나 변경하는 경우가 있었고 이 때문에 지속적으로 신경을 쓸 수밖에 없었다. 전체적인 설치와 과정에 있어서는 고압의 전기를 다루는 위험한 부분과 공간의 설치에 있어 난해한 과정이 있었다.

5-6 작품 분석

<겁에 질린 표정>은 기술 시대의 인간의 모습을 보여준다. 기술의 발전은 인간의 모습과 정의를 달리하게 하고 새로운 형태를 만들어 낸다. 본 작품에서는 포스트 휴먼 담론에서 가지는 미래 인간의 모습에 대한 낙관적이고 비관적인 양면의 시각을 반영한다.

신체와 정신의 경계 없는 기관인 뇌의 정보는 BSI를 통해 손과 발을 물리적으로 사용하지 않고 물건을 움직일 수 있다. 작품에서 이러한 편리하고 흥미로운 상황은 비가시적인 신체의 정보를 실제의 현실 공간에서 확장되도록 한다. 뇌파기술에 대한 낙관적인 상황 이면에는 기술의 우위에 따른 신체의 소멸 같은 두려움과 경계의 상황들도 존재한다. 이러한 역설적 가능성을 가진 뇌파기술의 실행 장면은 작품에서 기이한 공간의 재현과 관람자의 상호작용을 포함하는 겁에 질린 표정으로 포착된다. BSI를 통한 관람자와 공간의 상호작용은 단순히 뇌파가 정신이라는 일차적인 해석을 넘어서 공간에 존재하는 관람자의 신체와 정신, 환경과 상호작용하는 풍경이 된다. 이러한 의미에서 공간에서 오브제들의 구성이 중요하며 작품에서는 익숙하지만 연관성 없는 것들의 배치를 통해 흥미로운 뇌파 기술과 반대되는 불편하고 낯선 체험을 가능하게 했다.

미디어아트 작업에 있어 미디어의 물질과 비물질의 특성에 대한 인식은 배제할 수 없으며 디지털 시대에 들어 비물질적인 가상성에 대한 관심은 높아졌고 여전히 많이 다루어지고 있다. 그 중 가상현실을 바탕으로 하는 미디어아트에서 인터페이스의 사용으로 감금되는 관람자의 신체는 탈신체화 된 경험을 통해 재현된 감각으로서의 현실을 체험하게 된다. 이는 가상의 체험일 뿐 현실의 효과와 기능만 가능하다. 본 작품에서는 현실 공간에서의 물질성 즉 물리적 인터페이스를 통한 실제 오브제와의 상호작용을 통해 현실을 넘어선 현실의 경험을 하도록 시도했다. 이로써 신체의 감각이 실제 공간으로 확장되는 경험을 통해 강화된 물질성의 새로운 체험이 가능하다.

현실에서 인간과 기술은 지속적인 영향을 주고받으며 공존하고 있다. 기술의 발전은 인간 신체의 확장을 가져왔으며 이에 따른 낙관적 가능성의 하나로서 본 작품에서는 뇌파 기술을 사용했다. 그리고 단순히 기술의 발현이 아닌 기술 시대의 양면을 동일하게 조망하고자 기이한 공간의 연출을 통한 관람자의 체험을 제안했다. 뇌의 역할에만 한정된 체험이 아닌 뇌를 포함하는 신체, 환경 그리고 마음이 상호작용하는 체험을 통해 본 작품은 기술의 발전에 따른 유토피아적인 세계만을 쫓기 보단 기술의 위험성을 경계하며 디스토피아적인 미래 또한 인지하고 목격하도록 했다.