ISEA2019의 디지털 미디어 전시기획과 인공지능, 데이터 작품 사례 분석

2-1 ISEA의 역할과 CFP (Call For Proposal)

3) 지난 CFP 리스트

본 연구에서는 지난 2009년부터 2018년까지 약 10여년간 CFP를 조사했다. 관련 자료는 ISEA 의 공식 아카이브 채널에서 얻을 수 있었다. [표 1]은 각 연도와 심포지엄의 대 주제를 살펴본 것이다. 대부분의 주제와 내용에 심포지엄이 열리는 지역의 특수성이 반영되었으며 특수성과 더불어 기술, 예술, 학문 모두를 한번에 어우르는 주제와 부주제가 선정된 것을 확인할 수 있었다.

Table 1.

2009~2018 ISEA CFP List

2-2 주제 CFP 설정

컨퍼런스의 기획과 작품 공모시에 자주 일어나는 실수는 전체적인 전시를 디렉터가 정한 특정 컨셉으로 제한하는 것이다. 컨퍼런스 전시 디렉터의 역할은 모든 작가가 작품을 제출하는데 어려움이 없도록 도움을 주며 본인의 작품이 이 전시에 어울린다는 생각이 들도록 설득하는 것이다. 즉 컨퍼런스 전시 디렉터는 보다 많은 작가의 작품 제출을 유도해야 하며 이 과정에서 모집된 풍부한 작품들을 관통하는 담론의 경향을 파악해야 한다. 분석된 경향은 현재 미디어 아티스트 집단이 무의식적으로 웅변하는 시대정신의 화두이며 이는 자연스럽게 주제로 드러나야 한다. 이를 위해 컨퍼런스 전시 디렉터는 주제를 제시하는 것에 한계를 두지 않아야 하며 작가의 자의적 판단이 장려되는 상황을 설계해야 한다.

일반적으로 이러한 유연한 접근은 통상적인 전시 기획에 어울리지 않는 방향이지만, 매년 정기적으로 열리는 국제전의 기획에 있어서 매우 중요한 요소이다. 디렉터의 역할은 작가의 조력자이며 경향 분석가이자 홍보주체이다. 디렉터는 스스로의 작품의 일환으로 전시회를 이끌어서는 안된다. 이러한 생각을 바탕으로 본 연구자는 ISEA 2019의 세부 CFP를 작성하였다.

ISEA의 대주제는 빛을 해석하는 다양한 관점으로 설정되었으며 총 네 가지 세부 영역으로 분류하여 작가가 스스로 작품과 논문에 대해 유연한 해석을 할 수 있도록 하였다. 또한 현재 이슈가 되고 있는 키워드들을 다양하게 제시하였고 이에 대한 해석 역시 작가의 의견에 따르도록 하였다. 이러한 기획을 통해 총 186편의 논문과 793점의 작품이 지원되었다. 최종적으로 논문 105편과 작품 77점이 선정되었으며 특별전에는 아트센터 나비에서 초청한 큐레이션 작품이 추가되었다. 이러한 과정으로 ISEA 2019는 단 하나의 전시 컨셉으로 설명할 수 없는 새로운 시대의 다양한 이슈를 확인할 수 있는 자리가 되었다.

3-1 특별기획전

특별 기획전은 국립 아시아 문화 전당 문화창조원 복합 5관에서 총 17개의 작품으로 진행되었다. 대표적으로 사랑, 권력과 같이 보이지 않는 가치의 형태를 형상화하고 이를 서로 교환함으로서 가치의 ‘가치’를 생각하는 인터랙티브 작품과 알고리즘을 통해 인공지능이 상상하는 인간의 모습을 실시간으로 보여주는 작품이 전시되었다[4].

Fig. 1.

LamX, Han Lee

Table 2.

ISEA 2019 CFP topics

Fig. 2.

Value of Values, Maurice Benayoun

Fig. 3.

Asia Culture Center Creation Space 2

3-2 공모전시

공모전시는 앞서 제시한 CFP를 기반으로 출품된 작품을 엄선했다. 전시는 복합전시관 2,3관 및 극장에서 진행되었고 총 48개의 전시, 12개 콘서트와 퍼포먼스, 11개의 스크리닝(Screening)으로 총 71개의 작품으로 구성되었다. 설치 및 미디어 작품으로 복합전시 2관이 가득 채워졌다.

3-3 퍼포먼스, 콘서트, 스크리닝

퍼포먼스와 스크리닝은 각 콘서트장, 복합전시 3관, 광주 아시아 문화원의 외벽 미디어 파사드에서 진행되었다. 해당 행사들은 미리 계획되어진 일정에 따라 진행되었고 시간표에 맞춰 관객이 참여하는 형식이었다. ISEA와 같이 국제적인 심포지엄인 아르스 일레트로니카(Ars Electronica)와 시그래프(SIGGRAPH)등의 아트갤러리에서는 퍼포먼스와 콘서트 같은 행사가 몇시간 간격으로 진행되고 반복된다. 그러나 이번 ISEA 2019 에서는 다량의 출품작과 전시 작품 수로 반복되는 행사는 거의 없었다. 이러한 특수성으로 매 콘서트와 퍼포먼스는 참여 가능 인원을 초과하며 관객들의 큰 호응을 얻었다.

Fig. 4.

Coding in Atypical places, Ivan Abreu, Malitzin Cortes

Fig. 5.

Morse ㅋung ㅋung, Tacit Group

Fig. 6.

Drunken Drone, Lee Lee Nam

4-1 전시의 경향 분석

ISEA는 디지털 아트, 미디어 아트 분야에 있어서 세계에서 가장 큰 학술대회이며 동시에 전시회이다. 유사한 행사로 비교되는 아르스 일레트로니카와 시그래프와 차이점이 있다면, ISEA에서는 미디어 아티스트의 실험적이고 학술적인 시도를 기록으로 남겨 체계적으로 정리하는 것이다. 매년 기록되는 ISEA 컨퍼런스 문서들은 그 당시의 사회에서 미디어 아트가 생각하는 가장 예민한 이슈의 단서를 준다. 비록 예술가들이 바라보는 사회에 대한 분석과 표현은 과학적으로 증명할 수 없고 일반화 할 수 도 없는 개인적인 느낌에 불과하다. 하지만 단 하나의 작가가 아닌 전체 전시에 흐르는 공통의 이야기가 있다면, 이는 우연이 아닐 것이다. 본 연구자가 학술 디렉터의 역할을 맡은 2019년도의 ISEA에서도 이런 경향이 발견되었다.

과거에 각광받았던 빅데이터와 크라우드 컴퓨팅 기술이 이미 어느정도 구축된 현대 사회에서는 자연스럽게 인공지능에 대한 담론이 이루어지고 있다. 따라서 자연스럽게 ISEA 2019에서는 작가들이 정의하는 인공지능에 관한 다양한 관점이 제시되었다. 이 담론들은 인공지능에 의해 우리의 삶이 규정될 것이라는 ‘인간을 규정하는 데이터’, 인공지능을 구성하는 세포단위의 데이터에 감정이입을 하는 ‘데이터라는 비생명체의 의인화’, 그리고 의인화 단계를 넘어 인공지능이 인간화 된 이후 인간과 소통하기 위한 의식인 ‘인공지능이 규정하는 인간’이라는 세 관점으로 해석된다. 본 논문에서는 전시에서 발견된 공통된 주제인 데이터, 인공지능에 연관된 대표적인 작품들을 앞서 본 연구자가 분류한 담론에 따라 분석한다. 또한 각각의 작품이 추구하는 의미를 살펴봄으로써 현대인이 예측하는 유토피아적, 디스토피아적 미래에 대해 이야기 해보고자 한다.

4-2 인간을 규정하는 데이터

‘가치의 가치’ (Value of Values)는 2019년 ISEA를 통해 첫 선을 보인 모리스 베나윤(Maurice Benayoun), 니콜라스 멘도자 (Nicolás Mendoza), 토비아스 클라인 (Tobias Klein) 의 작품이다. 이 작품을 구성하는 기술 요소는 EEG (electroencephalogram) 를 통한 데이터 입력, 블록체인을 사용한 데이터 변환과 소통을 위한 시각화로 매우 다양하다. 이러한 과정을 통해 작품은 관객의 개인 데이터를 정량적 결과물로 치환한다. 또한 데이터 시각화 기술은 작품의 실체를 관람객과 소통하기 위한 창구로 사용된다. 개인의 EGG는 큰 의미가 없는 재화처럼 여겨질 수 있다. 하지만 대중들의 소비라는 관점에서 살펴본다면 숨겨진 의미를 찾을 수 있다. 대중들의 소비는 필요에 의해서만 일어나지 않는다. 자신의 뇌파데이터를 복제 불가능한 블록체인을 통해 생성 및 거래에 관한 전 과정을 보증한다면 아무리 의미 없는 데이터라도 그 소유주의 가치가 반영되는 결과를 낳을 수 있다.

모리스 베나윤은 기존 작품인 <브레인 팩토리(Brain Factory)> 에서 이미 ‘생각’이라는 비물질의시각화를 진행한 바 있다. 그는 새 작품에서 생각이라는 추상적인 대상을 명명하기 쉽도록 우리에게 익숙한 감정의 개념으로 치환하여 표현하고 있다. 평화, 사랑, 힘, 돈, 자유 등 익숙한 대상으로 치환된 EGG시각화는 고유의 아이디를 부여 받게 된다. 이는 EGG의 주인을 지칭하는 정체성으로 해석하게 만든다. 이는 마치 컴퓨터 프로그래밍에서 일반 변수(normal variable: 직접 값을 보유)와 대비되는 포인터(pointer) 변수와 유사한 방식의 구현이다. 실제 ‘나’라는 데이터가 저장되지는 않지만 ‘나’를 지칭하는 가상의 주소가 저장되는 것이다. 그 값(value)을 직접 저장하는 변수는 내용이 바뀔 때마다 변수에 접근하여 수정을 해 주어야 하지만 포인터 형의 변수는 나의 변화와 관계 없이 항상성을 유지하고 있다.

이 전시에 참여하게 된 관람객들은 의도와 관계없이 자신을 평가하는 가치판단의 시장에 노출되게 된다. 물론 자신의 데이터에 대해 생성된 VoV데이터의 소유권은 관람객 자신이므로 법적으로 문제가 없다. 다만, 블록체인의 특성상 외부 암호화폐와의 변환이 가능하며 소유자는 자신의 VoV데이터를 이더리움을 통해 물물교환 할 수 있는 가치를 부여 받게 된다. 결국, 자신의 가치 자체가 화폐로 변환되는 것이다. 만일 이 작품의 데이터가 컴퓨터에만 보관되거나 무한한 복제가 된다면 거래라는 것은 이루어지지 않을 것이다. 그러나 복제 불가능한 블록체인 거래를 유도하는 본 작품에서는 자신이 생성한 데이터, 혹은 확대하자면 자신의 객관적 가치를 평가할 단위 기준이 설립되는 것이다. 이러한 전반적인 과정은 오히려 관객을 일반 예술품 시장에서 활동하는 큐레이터, 수집가 혹은 딜러로 활동하게 만든다. 이는 작가의 작품을 이해하고 홍보, 배치, 유통하는 큐레이터, 작품을 소유하여 미래의 가치를 기대하는 수집가, 다른 가치의 수집품과 교환하여 이익을 노리는 딜러의 역할이다.

인간이 생성한 데이터는 어떠한 방식으로든 인간의 행동양식에 대한 흔적을 남긴다. 이 작품의 놀라운 특성은 관객이 남긴 거래의 데이터에 의해서 새로운 작품이 창조된다는 점이다. 특히 거래는 화폐의 특성을 가진 가상의 존재이므로 1대 1의 교환이 아닌 쪼개진 단위, 즉 나의 0.5와 다른 사람의 1과 같은 비등 단위의 교환이 이루어진다. 수 많은 거래가 지속될수록 인간 가치에 대한 통계가 생성되고 이는 인간 가치의 상대적 보편 정보로 이어지게 된다. 예를 들자면 대륙, 인종간의 인간 가치에 대한 평균이 도출될 수 있고 상대적으로 낮은 가치에 속한 집단이 인간 사이에서 어떠한 지위를 얻고 있는지를 반영하게 된다. 인간이 만든 데이터에 의해 정의되는 인간의 가치는 마치 우리가 데이터를 생산하는 주체 라기 보다는 인간이 데이터에 종속되는 것이 아닌가 하는 의심을 불러일으킨다.

데이터가 인간을 규정하는 사회에 대한 불안감을 보다 직설적으로 나타낸 작품으로는 Timo Toots의 <Memopol-3>가 있다. 이 작품은 관람객의 스마트폰에 대한 데이터를 추출한다.

Fig. 7.

Value of Values, Maurice Benayoun

Fig. 8.

Memopol-3, Timo Toots

이 데이터는 개인적인 것이므로 다른 사람에게 공개하기 꺼려지는 정보 이지만 최대한 추상화하여 시각화 할 경우 직관적이지 않은 이미지와 사운드로 나타나게 된다. 이는 추상적인 표현으로 데이터 제공자의 익명성을 보장하는 듯 보이지만 실상은 결코 그렇지 않다. 추상적인 표현 역시 데이터이며 생성 방법의 설계에 따라 원래의 데이터를 역추적하는 것이 가능하기 때문이다. 우리가 평소 정보 유출에 대해 불안해하는 디지털 데이터의 저장 방식은 인간이 지각할 수 없는 이진수의 연속이다. 이것은 알고리즘에 의해 압축된 상태이며 암호화가 적용되어 변환된 상태로 저장된다. 이러한 데이터에도 우리는 불안감을 느끼는 것에서 본다면 추상적으로만 변경된 이 작품에서의 데이터는 보안에 취약할 수밖에 없다는 것이다. 작가가 의도 하는 것 역시 익명성의 보장이 아닌 우리의 데이터가 노출되는 것에 대한 불안감이다. 우리의 생활 습관, 동선, 기호를 무차별적으로 수집하고 있는 다량의 데이터를 소유하고 있는 기업들은 다양한 방법으로 ‘나’라는 존재를 새롭게 규정하려 한다. 이미 아마존, 유투브, 페이스북 등과 같은 기업은 개인 데이터를 통한 콘텐츠와 상품 추천 시스템이 구축되어 있다. 이러한 시스템은 우리가 좋아할 만한 대상의 추천이라는 본래의 목적이 변질되어 데이터 기관이 정해준 감정을 선별 된 정보로 강요당하기도 한다.

반면 앞서 언급한 작품들과 유사하지만 데이터 보다는 데이터의 이동을 더 중요하게 보는 관점 역시 존재한다. <공유된 감각>은 ISEA 전시에서도 관객 참여가 활발했던 전시 중 하나이다. 이 작품은 참여 관객 두 사람이 서로에게 포옹이나 키스를 할 때의 감정을 측정하고 이 데이터를 시각화 한다. 뇌파 측정은 전반적으로 노이즈가 많고 판독이 어려운 정보이다. 따라서 기존의 뇌파 관련 설치작품들은 집중하고 있는 상태와 아닌 경우를 판단하여 작품을 생성하는 것이 일반적이다.

Fig. 9.

Shared Senses – Karen Lancel, Hermen Maat

그러나 이 작품에서 권유하는 경험은 강력한 인간 상호작용에 관한 뇌파 데이터에 관한 것이다. 참여자는 실제 키스를 진행하는 키서와 관찰자인 두 그룹으로 나뉜다. 이 두 그룹은 실제 키스를 진행하는 사람들의 뇌파측정과 더불어 이를 관찰하는 사람의 뇌파도 측정된다. 이러한 과정에서 인간 감정의 공명이 이루어지는 순간을 파악하고 이를 시각화한다. 마지막으로 시각적 감각기관에 의해 생성된 뇌파의 데이터를 다시 시각화할 뿐만 아니라 소리로 재창조하는 소니피케이션이 행해진다. 작가는 이를 사운드스케이프라 명하여 작품의 일부로 구현하였다. 감각기관의 이동이 일어나도록 한 것은 데이터 시각화 보다는 데이터 지각화를 추구한 결과인 것이다.

이 작품에서 보여지는 데이터에 관한 작가의 태도는 명확하다. 작가는 데이터를 생성하는 기관으로의 인간에 대해 이야기한다. 이러한 시각으로 인간이 이해되고 있는 현실에서 인간 본연의 감정마저 데이터화 된다고 가정할 때 인간의 감정에 대한 의미는 무엇인지를 질문한다. 감정이라는 데이터는 그 자체로 의미가 있다기 보다는 인간이라는 개체 노드를 연결하기 위한 수단으로 판단된다.

4-3 데이터의 의인화

데이터라는 비생물체가 어떻게 생명적인 활동을 하게 되는가?

과거 데이터를 바라보는 태도는 개인정보의 유출과 권력기관의 정신적 장악 등 디스토피아적 예측이 다수 존재하였다. 하지만 데이터의 수집은 이미 현실이 되었고 권력 기관 보다는 상업 기관의 활동으로 초점이 바뀌어져 있다. 이러한 사회의 변화에 따라 과거의 데이터를 바라보는 태도는 다른 관점이 생겨나며 다양해 졌다.

Fig. 10.

Cyma {Fos} - Kranidiotis Yiannis

이러한 관점은 크게 두 가지로 나뉠 수 있다. 첫번째는 인간 정보의 집합이 가지고 있는 인간 본질에 관한 질문이며 두번째는 비인간적인 사물을 대상으로 이들이 가지고 있는 생물적인 움직임에 관한 관찰이라 볼 수 있다. 이는 인공지능을 바라보는 태도와도 연계된다. 이는 인공지능이 야기시킨 인간의 본질에 관한 질문과 데이터 자체가 가지고 있는 유기적 성질에 관한 것이다. 특히 데이터를 이해하면서 데이터의 구조와 통신을 함께 생각한다면, 마치 생명체가 가지고 있는 생명 활동과 유사한 인상을 주게 된다. 이러한 태도는 전반적인 ISEA 전시의 흐름과도 연계된다.

그 중 하나의 흐름은 우리가 정의하는 생명체에 대한 질문이다. 우리가 항시 남기고 있는 데이터는 인간이라는 생명체가 당연히 생명체로서 가지고 있을 만한 활동의 패턴을 보여준다. 이러한 패턴이 과연 생명체 고유의 것일지 질문하는 작품이 ISEA에서 전시되었다. 대표적으로 이안니스 크라니디오티스(Yiannis Kranidiotis) 의 사이마(Cyma)는 태양풍에 관한 데이터를 설치 작품이 있었다. 태양은 생명체가 아니지만 태양이 생성하는 태양풍은 마치 생각이 있는 생명체와 같이 낮은 예측가능성을 보인다. 이를 설치물로 표현되어 직관적인 결과를 보여주었다.

또 다른 데이터의 의인화의 예로 솔리만 로페즈(Solimán López)의 림보올로지(Limbology)(2018) 이있다. 이 작품은 발사된 탐사선의 위치를 GPS로 추적하였으며 그 궤도를 우주를 여행하는 여행자라는 감성을 부여하였다. [7] 이 외에도 <뉴 오더 / 사이렌 콜?> (New Order / Siren Call?) 은 암호화폐, 전자화폐를 대상으로 인간이 획득한 새로운 속성과 신용에 대해 이야기 한다. 마치 인간사회의 생태를 비유하는 존재로 가상화폐를 이야기 하는 것처럼 보이지만 실제로는 무기적인 블록체인 기술이 인간의 자유의지를 위협할 존재가 될 수 있음을 경고한다.

4-4 인공지능이 규정하는 인간

인공지능이 인간과 소통하기 위해 인간이라는 존재를 어떻게 규정하는가?

인간이 다른 인간을 구분하기 위해 가장 먼저 학습하는 것은 얼굴과 목소리일 것이다. 한 사람을 정의하는 데이터 셋(Data set)이 있다면 가장 우위에 있는 데이터는 얼굴과 목소리일 것이다.

Fig. 11.

How Computers Imagine Humans? - João Martinho Moura

물론 컴퓨팅의 입장에서는 아이덴터티 부여를 위한 지문, DNA, 홍채 등 과 같은 명확한 방법이 있을 것이다. 그러나 인간에게 있어서 이러한 데이터는 인지하기 어려운 데이터이다. 이러한 시각에서 보자면, 아무 편견없이 데이터 만으로 판단하는 얼굴과 목소리의 조합은 어떠한 것인지 의문점이 든다. 작가는 이런 의문에서 출발한 기계 학습의 결과물을 작품으로 표현하였다.

작가는 기계 학습을 통해 인간의 목소리와 얼굴의 매칭 학습을 지속해 신뢰할만한 데이터 셋을 만들었다. 작가는 하나의 단계를 넘는 질문을 던진다. 만약, 인간의 목소리가 아닌 다른 형태의 데이터가 입력될 경우에는 어떤 형상을 구체화 할 것인가? 작가의 실험으로는 일반적인 음악은 여성의 형상으로 표현되지만 테크노뮤직의 경우에는 남성의 형상으로 표현된다고 한다. 이것은 퓨리에트랜스폼(Fourier transform)으로 얻어진 데이터의 저역음대에 관한 영향일 수는 있지만 기계학습의 특성상 구체적인 구동방식은 파악하기 힘들다.

가정을 발전 시켜 보자. 만약 인간이 아닌 다른 존재의 목소리를 듣게 된다면, 우리가 이해하는 인간의 형상의 변형에서 이를 구현하려고 할 수 밖에 없다. 인간의 형상과 목소리의 연계라는 것은 일종의 패턴 분류 텍사노미이자 인간의 본질이지만, 동시에 인간이 가지고 있는 편견의 원천이기도 하다. 데이터 자체는 중립적이다. 그러나 이것을 다른 데이터와 연결하고 판단의 과정을 거치면 더 이상 중립적이지 않아 질 수도 있다.

실제 한국에서도 데이터에 관한 법률이 진행중이다. 데이터의 수집은 당연히 대단한 자산이며 미래 정보사회에서는 그 자체가 국가의 경쟁력을 높일 수 있는 자원이 될 것이다. 하지만 동시에 두려움 역시 존재한다. 데이터가 존재하는 한 이를 편견의 영역으로 이동시키려는 움직임이 존재할 수 밖에 없기 때문이다.

언급한 작품들보다 직접적인 질문을 던지는 작품으로 João Martinho Moura 의 <How Computers Imagine Humans?>(2017) 가 있다. 이 작품은 두 대의 컴퓨터가 서로 대화하는 과정을 보여준다. 한 컴퓨터는 다른 컴퓨터에게 시각적 노이즈를 보여주고 안면 인식 알고리즘이 있는 다른 컴퓨터가 이를 인식하고자 노력한다. 오직 카메라만을 통해 서로 소통하는 이 과정에서 인간의 얼굴이라는 컴퓨터에게 있어서는 단순히 데이터에 불과한 것을 서로 이해하고자 한다. 그 결과 인간의 형상이라 볼 수 없는 유령과 같은 존재가 시각화 된다. 작품명에서 알 수 있듯이 컴퓨터가 보는 인간은 가치 중립적인 데이터이며 그 데이터가 생산하는 데이터이다. 즉, 목소리, 창작물, 심지어 사고 자체 역시 데이터인 것이다. 안면 인식 기술은 인간이 인간을 보기 위해 기계에 심은 ‘의지’에 가깝다. 컴퓨터의 입장에서 안면을 인식하는 과정은 인간을 위한 서비스일 뿐이지 대상인 인간의 본질로 접근하기 위한 최단거리는 아닐 수 있다.