오브제 움직임에 반응하는 프로젝션 매핑 연구
Copyright ⓒ 2021 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
초록
뒤샹의 레디 메이드 개념의 출현 이후로 예술에서 오브제에 대한 탐구는 다양한 기법과 매체에 영향을 미쳤다. 이와 함께 과학기술이 발달하면서 프로젝터가 출현했고, 오늘날 프로젝션 매핑의 발전을 이끌었다. 프로젝션 매핑이 객체에 영상을 투사함으로써 대상이 원래 지니고 있던 속성을 바꾼다는 점에서 오브제 이론을 적극적으로 도입한 분야라고 할 수 있다. 이에 본 논문에서는 오브제 이론에 입각한 프로젝션 매핑, 특히 최근 발전하고 있는 동적 프로젝션 매핑을 사례를 들어 연구하고자 한다. 동적 프로젝션 매핑은 다양한 센서와 기기로 제작되고 있는데, 그중에서도 모션을 이용한 사례를 연구한 결과 동적 프로젝션 매핑의 특성은 유동성, 실시간성, 상호작용성이라는 특징이 나타남을 알 수 있었다. 본 연구는 현시점의 동적 프로젝션 매핑을 연구함으로써 그 발전 가능성을 고찰하고자 하는 것에 의의가 있다.
Abstract
Since the readymades of Marcel Duchamp appeared in art, studies on objet has influenced various techniques and media. Science and technology greatly advanced along with it. It can be said that the field of projection mapping actively introduced the object theory, since it it changes the original property of an object by projecting videos and images on to it. Thus, in this paper, a study on projection mapping based on the object theory will be made, with the examples the dynamic projection mapping. Dynamic projection mapping is created by various sensors and devices. Studies on using motion cases revealed that the characteristics of dynamic projection mapping are fluidity, real-time, and interactivity. This study in significant in that it seeks to consider its potential in the present point.
Keywords:
Media-Art, Objet, Dynamic-Projection Mapping, Motion, Body-Objet키워드:
미디어아트, 오브제, 동적 프로젝션 매핑, 모션, 신체-오브제Ⅰ. 서 론
오브제 이론이 등장하기 이전, 객체의 의미로서의 오브제는 미술사와 함께 해왔다. 회화와 조각 등의 예술에서 재현의 대상으로 여겨져 왔던 오브제를 보는 시각이 달라진 것은 19세기 이후이다. 19세기 이전에는 예술이란 예술가들의 전유물로만 여겨져 일부 계층에서만 즐기는 문화로 한정된 재료와 협소한 범주에서 이루어졌다. 19세기에 들어서 입체주의로 대표되는 브라크와 피카소에 의해 소재에 대한 인식이 재현으로의 대상이 아닌, 소재 그 자체를 중시하는 시각의 전환을 불러옴으로써 오브제 그 자체의 물질성에 관심을 갖게 되었다. 그러나 입체주의에서 발견되는 오브제는 재질과 표현 기법의 확장일뿐, 표현양식으로의 의미는 아니었다. 전통적인 방식의 예술을 지향하는 다다이스트들에 의해 기성품은 본래 가지고 있던 일상성에서 벗어나 그 자체로서 예술적으로 가치 있는 오브제가 된다. 이러한 예술의 확장은 예술의 소재를 인간 중심적인 것에서 재료 중심적인 방향으로의 전환을 가져왔다.
과학기술의 발달로 시대는 변화했고 현대 사회와 예술 역시 많은 변화를 겪었다. 이후 프로젝터가 등장하면서 미디어아트의 일종인 프로젝션 매핑이 등장하게 되었다. 프로젝션 매핑은 관객의 시선에서 투영된 영상이 잘 보일 수 있도록 사전에 프로젝터의 위치를 설정하고 영상을 만들어 투영시키는 기술인데, 이에 따라 대상체 혹은 프로젝터의 상태가 변화할 경우 영상과 내용이 맞지 않는 오류가 발생한다는 단점이 있다. 이를 보완하기 위해 발전된 방식이 동적 프로젝션 매핑과 인터렉션 매핑이다. 프로젝션 매핑의 초기에는 고정된 객체에 프로젝터로 영상을 투사하는 정적 프로젝션 매핑이 주를 이루었으나, 형태나 상태가 유동적인 동적 객체에 투사하는 방식에 대한 관심이 높아지면서 동적 프로젝션 매핑도 점점 증가하고 있는 추세이다. 따라서 동적 프로젝션 매핑은 필연적으로 객체의 속성에 주목하게 된다. 동적 프로젝션 매핑에서 정적 프로젝션 매핑과 가장 구분되는 특징은 모션을 더 자유롭게 다룰 수 있다는 점이다. 정적 프로젝션 매핑에서 다룰 수 있는 모션은 오브제에 투영하는 영상에서가 전부였으나, 동적 프로젝션 매핑으로 확장되면서 객체에 포함된 모션을 인식하여 투영할 수 있게 되었다. 키네틱 아트는 움직이는 조각적인 성향인 반면 동적 프로젝션 매핑은 동세가 있는 회화적인 성향이라고 할 수 있다. 본 논문에서는 모션이 적용된 동적 프로젝션 매핑의 사례를 연구했는데, 이를 통해 현 동적 프로젝션 매핑의 작품의 특성을 고찰하고자 했다. 또한 모션이 들어가는 작품의 특성상 간접적이든, 직접적이든 신체의 정보를 필요로 한다는 점에서 동적 프로젝션 매핑과 신체-오브제의 연관성을 연구할 필요성을 느꼈다. 따라서 본 논문에서는 동적 프로젝션 매핑을 신체-오브제적인 시각에서 분석하고, 최종적으로 모션이 적용된 동적 프로젝션 매핑의 특성과 전망에 대해 연구하고자 한다.
Ⅱ. 오브제를 이용한 예술
2-1 오브제의 의미
미술사에서 오브제란 재현의 대상으로만 여겨져 왔으나 20세기 초 입체주의에 의해 그 의미가 확장되었고 다다이즘 등을 거쳐 새로운 예술 양식으로 인정받았다.
어떤 물체가 우연적이거나 필연적 효과에 의해 소재가 될 때 원래의 용도나 기능을 잃고 새로운 물체로 해석되면, 이 물체를 오브제라고 한다. 우리가 체험해보지 않은 연상작용이나 기존에 의도하지 않았던 효과까지도 얻을 수 있는 상징적 기능의 물체가 된다.[11] 즉, 미술에서의 오브제가 되면 원래의 용도나 기능이 사라지고 새로운 의미나 다른 연상작용을 일으키는 작품으로 탄생하는 것이다.
오브제가 미술에 등장한 것은 1912년 종합적 입체주의가 만연한 시기로, 브라크와 피카소는 3차원의 물체를 2차원의 회화의 세계로 표현하고자 다양한 표현 기법을 모색했다. 파편화된 신문지나 악보, 차표나 상표 등의 인쇄물과 같은 평면 매체를 리얼리티를 부여하는 수단으로써 직접 회화에 부착하였는데, 콜라주(collage)의 일종인 파피에콜레(papiercolle)기법이다. [12]
파피에콜레 기법으로 만들어진 대표적인 작품은 브라크의 [과일접시와 유리잔(1912)]과 피카소의 [등나무 의자가 있는 정물(1912)]이다. 브라크의 과일접시와 유리잔은 나무 무늬가 인쇄된 벽지를 포도가 접시에 담겨 있는 정물화와 결합시킴으로써 다양한 시점을 캔버스 위에 구현한 작품이다. 브라크는 3차원의 오브제를 물체를 회화 속에 표현하고자 했다. 이 방법을 통해 관객들은 2차원의 회화 작품을 보며 물체가 지닌 3차원적인 특성을 인식한다.[13]
등나무 의자가 있는 정물에서 피카소는 두 개의 레몬 조각과 신문, 유리잔 등을 그린 정물화에 등나무 의자 무늬를 인쇄한 천 조각을 부착시켜 제작했다. 현실의 조형과 유화를 혼합한 것이다. 이때 천 조각에 유리잔의 그림자를 그려 넣는 방식을 취하고, 현실의 밧줄을 액자의 프레임처럼 배치하여 일상용품과 예술의 경계를 허무는 시도를 했다.
이처럼 입체주의는 오브제를 재료로써 이용한 파피에콜레 기법을 통해 표현의 깊이감과 물체의 질감을 강조하는 새로운 기법을 만들어냈고 이는 현대미술의 근간이 되었다.
2-2 오브제의 발전
입체주의에서 표현되는 오브제는 표현요소로만 쓰여진 것으로, 본격적으로 오브제가 독립적인 표현양식으로 발전한 것은 다다이즘을 거친 후라고 할 수 있다. 다다이즘 이전의 예술가들에게 있어 오브제란 객체 그 자체로 의미가 있는 것이었다. 그러나 산업혁명으로 생산품이 넘쳐나고, 제1차 세계대전이라는 큰 전쟁을 겪으면서 사람들의 인식이 달라짐에 따라 서구 미술은 허무주의에 입각한 반예술적인 성향을 띄게 되었다. “다다는 온갖 것을 거부했다. 이들의 부정정신은 반예술적, 반 부르주아적 태도이다.”[1]
이러한 부정정신에 따라 다다이즘은 문명을 거부하고, 전통적인 것에 대한 반감을 표출하는 방향으로 발전했다. 다다이즘의 미술가들은 기존의 재료나 형식적인 것을 넘어선 표현과 사물에 대한 고정 관념을 벗어나는 시도를 하였고, 이미 존재하는 기성품에서 일상성을 배제하고 그 자체를 예술작품으로 승화시키는 뒤샹의 레디 메이드 개념이 등장하면서 오브제는 기존의 의미에서 벗어나 하나의 표현양식으로 변모하게 되었다. 뒤샹의 레디 메이드 가운데 가장 유명한 작품인 샘에서, 화장실이라는 장소성이 배제된 변기는 기존의 기능을 상실하여 고정 관념에서 벗어난 사물이다. 고전적 미학 가치가 없는 변기를 뒤샹은 전혀 새로운 물질, 즉 예술작품으로 평가받게 한 것이다. 뒤샹의 이 시도가 현대미술의 발전에 갖는 의의는 다음과 같다.
첫째, 기성품 따위의 오브제가 미적 가치 판단의 대상이 되었다는 것이다. 과거 예술이라는 것은 예술가들의 전유물이자 일부 계층에서만 즐길 수 있는 문화로서 인식되어왔으나, 그 이후 화폭을 벗어나 일상에서 흔히 볼 수 있는 사물로도 작품이 가능하다는 시각의 전환으로 대중문화와 뒤섞이는 계기가 되었다. 후에 등장한 팝아트에서 가장 중요하게 여긴 것이 일상에서 나온 생활양식이 담긴 부산물이자 결정체인 것을 보아도 오브제가 미친 영향이 크다는 것을 알 수 있다.[2] 즉 오브제의 등장은 진정한 의미에서의 캔버스의 확장으로 볼 수 있다.
둘째, 예술이란 예술가가 혼자서 모든 과정에 참여해야만 하던 사고의 전환을 가져오는 데 중요한 역할을 했다는 것이다. 산업혁명 이후 장인의 역할은 축소되고 기계가 생산 활동의 주된 역할을 하면서 분업화가 이루어진 것처럼, 예술가들의 예술활동 역시 예술가가 혼자서 모든 활동을 담당하지 않게 되었다. 즉, 전통적으로 한 명의 예술가가 조각 작품이나 회화 작품을 혼자서 모두 그려내던 과정을 탈피하여 다른 누군가가 예술로 의도하지 않고 만든 오브제를 작품으로 승화시킬 수 있다는 인식의 전환은 미술의 소재를 인간 중심에서 재료 중심적인 방향으로 나아갈 수 있는 토대가 되었다.
2-3 프로젝션 매핑에서의 오브제
프로젝션 매핑(Projection Mapping)은 대상물의 표면에 빛으로 이루어진 영상을 투사하여 변화를 줌으로써, 현실에 존재하는 대상이 다른 성격을 가진 것처럼 보이도록 하는 기술이다. 즉, 대상물의 표면에 빛으로 이루어진 영상을 투사함으로써 착시를 일으키는 영상 기술인 셈이다. 영상이 투사되는 객체는 단순히 복원, 강조하거나 오브제 이론의 역할을 하는 것 두 가지 성격으로 구분된다.
2010년에 진행된 프라하 천문 시계 매핑 작품은 600주년을 기념하기 위해 만들어진 것으로, 높이 약 70m의 거대한 탑에 10분 동안 기하학적인 무늬가 천문 시계를 꾸미고 탑이 지나왔을 역사를 영화처럼 상영한다. 이 작품은 천문탑을 복원, 강조하는 역할에 치중한 것이다.
그런가하면 오브제적인 특성이 제대로 드러나는 경우도 있다. 김형기의 <Tetra>는 정사면체(tetrahedron) 중에서 등변 사면체이며 세 꼭지점이 90도를 이루는 형태를 사용하였다. 즉 정육면체에서 대각선으로 자른 형태라서 상부 꼭지점은 수학적으로는 원점이 된다. 정사면체의 오브제에 매핑한 작품이다. 이 작품은 실재와 재현되는 영상이 공간 속 오브제에서 동일한 효과를 보여주어 관객들에게 입체감과 실제감을 느낄 수 있게 의도되었다.[14] 움직이는 육체가 바닥의 조명에 의해 경사진 삼면의 삼각형 아크릴에 투사되어 2차원 그림자 정보로만 이루어진 이미지를 형성하게 된다. 이때 정사면체는 단순히 투사의 대상으로서의 객체가 아닌, 공간이라는 성격을 가진 오브제로 탈바꿈된다. 본 논문에서는 이러한 오브제의 성격을 가진 프로젝션 매핑을 오브제 매핑으로 정의하고자 한다.
Unzi-Kim, <Tetra>, 2000
Ⅲ. 모션과 동적 프로젝션 매핑의 이해
3-1 모션을 활용한 예술
예술에서 역동적인 작품을 만드는 것에 대한 열망은 회화나 조각 등 분야를 가리지 않고 고대로부터 이어져왔다. 특히 신화의 한 장면을 표현한 라오콘 군상 등 조각 작품에서는 얼마나 사실적으로 동작을 디테일하게 묘사하는가가 미적 가치를 판단하는 기준이었다. 그러한 성향은 기술이 발달한 오늘날 키네틱아트나 모션캡처를 이용한 그래픽 등 다양한 분야에서 나타나고 있다. 키네틱아트는 한순간의 동세를 표현한 작품들과는 달리 작품 자체가 부분적으로, 또는 전체적으로 움직이는 예술이다. 프로젝션 매핑이 움직임이 있는 회화라면, 키네틱아트는 움직임이 있는 조각이라고 할 수 있다.
최초의 키네틱아트로서 인정받은 작품은 1913년 만들어진 마르셀 뒤샹의 <자전거바퀴>이다. 뒤샹은 이 작품을 만들 때 자전거 바퀴를 부엌용 걸상에 올려두고 그것이 회전하는 장면을 보고 싶어서 제작했다고 밝혔는데,[7] 뒤샹의 이 생각은 후에 레디-메이드 작품인 <샘>으로 이어진다. 이처럼 키네틱아트는 관중이 작품과 직접 교류함으로써 움직임이 생기는 작품과, 자체적으로 동력을 내장하여 작품이 움직이는 것 두 가지로 구분된다. 작품이 움직이면서 소리가 나거나, 조명에 따른 변화가 나타나는 등 작품의 움직임만이 아닌 다른 여러 요인도 키네틱아트로 취급한다는 특징이 있다. 키네틱아트는 예술의 경계가 사라져가는 현대미술의 한 부분을 차지하고 있다.[15]
Marcel Ducham, <Bicycle Wheel>, 1913
최근에는 관객과 상호작용이 이루어지면서, 내장된 동력으로 작동하는 방식으로 키네틱아트 작품들이 발달하고 있다. 텐저블 미디어 그룹(Tangible Media Group)에서 제작한 인폼(InFORM)은 디지털 정보 및 콘텐츠를 원격으로 상호작용 할 수 있는 동적 다변형 디스플레이로 된 작품이다. 인폼에서 눈여겨 볼만한 것은 일반적인 상호작용이 아닌 물리적인 상호작용을 구현해냈다는 것이다. 30×30 크기로 이루어진 핀이 컴퓨터의 신호를 받으면 4인치까지 늘어나며, 이를 이용하여 실제의 물질을 직접 손대지 않고도 조작할 수 있다. 디지털로 입력받은 정보를 입체적인 형상으로 변형시킴으로써 디지털 정보와 사용자가 상호접촉할 수 있는 이 장치를 연구진은 동적 형상 표시장치(Dynamic Shape Display)라고 설명한다. [17]
Tangible Media Group, <InFORM>, 2016
예를 들어, 손을 모은 사람의 행동을 키넥트 모션 센서를 이용해 디지털 신호로 바뀌어 전송하면 명령받은 핀이 형상을 이루어 실물로 구현하는 것이다. 이를 통해 원격으로 공을 들고 있는 손에서 다른 손으로 넘기는 등의 조작을 할 수 있는데, 외과적인 시뮬레이션이나 간접적인 접촉이 가능해지는 등의 방향으로 발전될 수 있는 방향성을 제시한다. [3],[18]
모션캡처는 센서를 통해 객체의 상태를 분석 가능한 디지털 형태로 기록하는 과정으로, 원래 생물역학 연구에서 광도계 분석에 사용하기 위해 개발되었으나, 최근에 이르러서는 영화 그래픽, 의학, 스포츠, 게임, 미디어아트 등 다양한 분야에서 활발하게 이용되고 있다.[19] 초기의 모션 캡처 구현에 사용된 기기는 행동에 제한이 많고 받아들일 수 있는 정보의 양이 적었기에 후가공이 용이한 영화 산업의 그래픽 분야에서 주로 사용되었으나 다양한 센서가 개발되면서 좀 더 자유로운 행동 반경을 확보하고 빠르게 정보를 처리할 수 있게 되면서 미디어아트에서도 모션캡처를 이용한 다양한 작품이 나오고 있다. 후술할 동적 프로젝션 매핑에서도 인터렉션 아티스트들이 적극적으로 모션캡처를 이용하여 작품을 만들고 있다.
모션캡처는 동적 객체의 정보 수용에 사용되는 센서의 종류에 따라 기계식, 음향식, 자기식, 광학식 네 가지로 분류되어 있으나 최근 가장 각광 받고 있는 기술은 광학식 모션캡처이다. 광학식 모션 캡처의 원리는 대상의 몸에 자기장을 감지하는 센서 대신 적외선을 감지하는 마커를 단다. 이 센서는 여러 대의 적외선 카메라에서 대상의 몸을 스캔하게끔 역할을 한다. 스캔한 데이터를 디지털에서 3차원 정보로 조합하여 모션이 캡처되는 원리다. 즉, 적외선 광원을 가진 카메라가 빛을 대상의 몸에 투사하면 그 빛이 부착된 마커에 반사되어 돌아오는 것을 측정하여 모션을 캡처한다는 것이다. 표식은 빛을 반사하는 소재로 되어 있어 필터를 통해 얻어진 사진은 표식을 제외한 나머지가 검정색으로 녹화된다. 한 개의 표식을 다른 위치에 있는 카메라에서 동시에 관찰하면 표식의 3차원 좌표를 삼각 함수로 계산할 수 있다.[4] 마커가 촬영되어야 데이터를 얻을 수 있다는 조건이 있어, 카메라의 수량이 화질보다 중요하다. 그래서 광학식 모션 캡처의 경우 해상도와 프레임 레이트가 높은 한 대의 카메라보다 여러 대의 저 해상도의 카메라가 있는 것이 더 정밀하고 캡처 범위도 넓게 데이터를 얻을 수 있다. 광학식 모션캡처는 다른 방식에 비해 몸을 자유롭게 움직이기 좋으며 역동적이고 빠른 동작도 캡처하는데 유용한 방식이다. 하지만 장비가 워낙 고가이고 주변 광원에 영향을 많이 받는다는 단점이 있다. 최근에는 인체에 부착하는 센서의 크기가 매우 작거나 거의 없다시피 발전했다. 이러한 사람 인식에 특화돼 있다는 장점에 인터렉션 아티스트들에게 사용되기 시작하여 다양한 분야에서 사용되고 있다.
3-2 동적 프로젝션 매핑의 이해
프로젝션 매핑은 대상물에 따라 투사되는 영상 콘텐츠가 변화하는데, 이를 본 논문에서는 편의상 정적 프로젝션 매핑과 동적 프로젝션 매핑으로 분류한다.
정적 프로젝션 매핑은 고정된 위치에 있는 프로젝션 매핑 대상물에 이미지나 동영상을 프로젝터로 투영하는 일반적인 프로젝션 매핑 유형으로, 가장 기본적인 프로젝션 매핑이다. 고정된 위치에서 특정한 영상이 투사된다는 특징이 있다. 평면 형태의 건물 외벽에 투사하는 미디어 파사드나 연극 무대 등에 사용되고 있다. 정적 프로젝션 매핑이 이루어지기 위해서 필요한 요소는 두 가지로 영상 콘텐츠를 제작하기 위한 컴퓨터 소프트웨어와 만들어진 영상을 투사하는 프로젝터 등으로 이루어진 하드웨어이다.
일반적으로 프로젝터를 통해 투사된 영상은 프로젝터의 범위를 벗어나면 매핑에 오류가 발생한다. 다시 말해 정적 프로젝션 매핑에서는 기하학적 형태의 객체나 정형적 형태에 매핑하는 것은 가능하나 유연한 형태에 매핑하는 것에는 어려움이 따른다는 것이다. 유연한 형태를 갖는 객체는 실시간으로 위치가 변화하거나 형태가 변형되는 등 수학적으로 예측하기 어려운 불연속적인 실루엣을 갖추고 있는 것을 뜻한다.[8] 본 논문에서는 이를 편의상 동적 객체로 정의한다. 고정된 객체에 투사하는 방식에 초점이 맞춰져 있는 정적 프로젝션의 방법으로는 동적 개체에 매핑하는 것에 한계를 느낀 예술가들은 동적 객체에 이미지를 투영시킬 수 있는 새로운 방안을 찾기 시작했고, 이를 해결하기 위해 개발된 것이 동적 프로젝션 매핑이다. 따라서 동적 프로젝션 매핑은 정적 프로젝션 매핑과는 달리 객체나 프로젝터가 움직인다는 특징이 있다.
최근 각광 받고 있는 드론 기술로 프로젝터가 설치된 드론이 연구되고 있다. 드론에 프로젝터 기능을 탑재한 기술인데, 현재 드론이 비행할 때 발생하는 흔들림이 프로젝터에도 전달되어 투사되는 영상에 왜곡이 발생한다는 단점이 있어 상용화되지 못하고 있다. [9] 즉, 기술적으로 정지 비행이 불가능하여 투사된 영상이 불완전하게 재현된다는 것이다. 2016년 2월 디즈니는 드론 기반의 새로운 쇼 연출에 관련된 특허를 공개했는데, 그 이름은 ‘무인항공기를 이용한 프로젝션 장치(Projection assemblies for use with Unmanned Aerial Vehicles)’ 이다. 이처럼 드론형 프로젝터에 대한 연구는 계속 되고 있다. [16]
프로젝션 매핑이 발전한 이후 움직이는 객체에 대해 매핑 해오는 것은 키네틱 아트와 연계하는 등의 다양한 시도가 있었다. 초기에 동적 객체에 매핑 하는 방식은 일정한 움직임을 계산하여 만든, 정적 프로젝션 매핑의 연장선이었다. 그러나 기술의 발달로 정보 처리 속도가 증가하면서 좀 더 매핑 할 수 있는 대상이 늘어남에 따라 기존의 프로젝션 매핑과는 완전히 다른 성격을 가지게 된다. 매핑하는 방식에 따라 실시간으로 객체의 상태를 계산하여 영상을 매핑하는 실시간 프로젝션 매핑(Real-time projection mapping)과, 사용자 중심의 방법론이 등장하면서 인터렉션이 반영된 인터렉티브 프로젝션 매핑(Interactive projection mapping) 등이 있다.[10]
이와같이 동적 프로젝션 매핑은 프로젝터가 움직이는 경우와 객체가 움직이는 경우로 두 가지가 있으나 본 논문에서는 사례의 범위를 실시간 동적 객체 추적 및 매핑 기술이 적용된 것으로 제한하고자 한다. 그중에서도 사람의 행동과 상태에 관련된 기술이 적용된 사례에 대해 연구하고자 한다.
Ⅳ. 동적 프로젝션 매핑에서 나타나는 오브제의 특성
일본의 아사이 노부미치 및 팀원의 작품 <Project OMOTE>에서 얼굴이라는 신체는 프로젝션 매핑에 의해 가면을 연상시키는 오브제로 표현된다. 예술에서 신체에 대한 관심사는 고대로부터 계속 이어져왔으나 오브제로서 신체 그 자체에 주목하기 시작한 것은 소비사회 문화 이후라고 볼 수 있다. 전후 경제성장과 함께 소비사회로 변모하면서 신체는 대중화되고 상품화되었으며 동시에 인간의 욕망과 욕구를 담아내는 오브제화 되었다.[5] 즉, 신체를 꾸민다는 행위를 통해 자신을 표현함으로써 자아 정체성을 표출하는 것은 오브제로 본다는 것이다. 프로젝트 오모테는 이러한 ‘표현하는’ 심리에서 더 나아가 ‘감추는’ 성격을 얻었다. 작품에서 모델 얼굴의 움직임에 따라 기계 장치 같은 얼굴이 되기도 하고 얼굴을 반으로 가르는 등의 신체라고는 생각되지 않는 기괴한 장면이 연출되는데, 감독의 인터뷰에 의하면 경이로운 속도로 계속해서 진화해나가는 기술이 불러올 미래에 대한 불안감을 느끼도록 의도한 것이다. [20]
Asai Nobumichi, <Project OMOTE>, 2015
프로젝트 오모테에서 작가는 실시간으로 상태가 변화하는 정보를 추적하기 위해 광학식 모션 캡처를 이용하여 마커를 탐지한다. 그 원리는 얼굴에 부착한 마커를 외부에 설치해둔 적외선 카메라의 센서에서 인식하여 캡처하고, 그 데이터를 기반으로 얼굴 위치와 방향을 추정하며, 애니메이션 텍스쳐가 있는 CG를 렌더링하여 그 영상을 프로젝터를 통해 모델에 투사하는 방식이다. 더 빠른 렌더링을 위해 페이스 매핑 소프트웨어 Live Mapper를 개발하여 실시간으로 얼굴 추적과 매핑이 동시에 이루어지는 프로세스를 하나의 프로그램으로 통합했다. 이를 통해 기존의 동적 프로젝션 매핑이 가지는 딜레이를 줄일 수 있었다고 한다.
2004년 아르쓰 일렉트로니카에서 공개된 클라우스 오버마이어의 <아파라시옹>은 인터렉티브 미디어 퍼포먼스로, 실시간으로 이미지를 생성하고, 프로젝션 매핑하며 사운드와 인터렉티브 시스템을 결합한 작품이다. 인터렉티브와 퍼포먼스를 결함함으로써 인터렉티브 미디어아트의 경계를 확장시켰다. 이 작품은 참여자의 참여에 초점을 맞추어 이루어지고 있는 대화형 설치 작품과는 달리 정교한 계산된 미디어 프로세스를 통해 배우가 움직이는 영역의 실루엣 정보를 토대로 배경과 신체를 구분지어 투영한다. 배경과 신체에 적절하게 투영을 배분한 프로그램은 몰입형 가상 구조를 통해 배우의 움직임이나 그 밖에 공연에 영향을 주는 것들에 대응하여 투영되는 영상을 확장 및 수축, 파급, 굽힘, 왜곡한다.[21]
Klaus Obermaier, <Apparition>, 2004
현대에 들어서면서 단순한 행위나 퍼포먼스 외에도 신체를 매체로 활용하고자 하는 예술 작품이 등장하면서, 신체를 단순히 꾸미거나 작품을 만들기 위한 도구적인 성격이 아닌 신체를 작품의 일부로 재인식하는 시각이 등장한다. 고충환에 의하면 “바꿔 말하면 신체 오브제가 말하는 몸의 담론은 종래의 이성중심의 지배를 거부하는 한편, 보다 직접적이고 감각적이며 촉감적인 세계의 복권을 주장한다.”고 한다.[6] 신체는 표현을 전달할 뿐 아니라 매핑이 이루어지는 캔버스의 기능을 담당하고 있다. 배우들의 움직임과 배경의 역할을 하는 프로젝션 매핑이 상호작용을 이루며 전개되어간다는 것은 배우의 신체가 감각적인 오브제로서 재해석되는 것이다.
2015년에 공개된 <SandBox>는 증강현실 기법으로 제작된 미디어 작품으로, 관객의 참여를 매개로 작품이 진행되는 대화형 인터렉티브 미디어아트이다. 모래 테이블과 스캐너와 프로젝터로 구성되어있으며 키넥트 3D로 된 스캐너가 분지 내의 모래가 쌓인 높이와 형태를 감지하고, 그에 따른 적절한 투영 영상을 배치하여 프로젝터에 정보를 전송한다. 이를 통해 모래에 높이에 따른 등고선과 색상을 투사한다. 관객이 모래를 쌓거나 치우는 것만으로 매핑의 내용은 실시간으로 변화된다. [17] 이러한 참여형 미디어아트에서 중요한 것은 관객과의 소통을 이끌어내는 점인데, 매체에서 신체를 오브제화 했다는 것은 단순히 신체나 신체와 관련된 부속품을 객체로 바라본 것이 아니라 신체를 이용하는 행위에서 우연성을 개입시킨 것, 즉 행위 자체를 오브제화 시킨 것 또한 포함한다.[5] 일반적인 작품에서 관객은 작품과 철저하게 분리된 상태에 놓여있으나, 참여형 인터렉티브 아트에서 관객은 작품의 일부로서 다뤄진다. 이때 관객을 자아를 표출하기 위한 수단이나 단순한 투사할 객체로의 대상으로 다루는 것이 아닌 관객의 우연한 움직임을 내용 그 자체로 삼는 인터렉티브 아트는 신체-오브제의 논리와 상통한다.
Gary Glesener, <SandBox>, 2015
Ⅴ. 결 론
본 논문은 오늘날 발전하고 있는 동적 프로젝션 매핑 분야를 오브제 이론에 입각하여 분석을 진행하였다. 먼저 오브제가 어떻게 주목받고 이론이 되었는지 미술사적 관점에서 정리하였다. 오브제는 뒤샹의 레디메이드 개념의 출현 이후 기존에 가지던 객체의 의미를 벗어나 새롭게 오브제 이론을 확립하며 현대 예술의 토대가 되었다. 프로젝션 매핑이 영상을 투사할 때 객체를 필요로하는데, 매핑된 객체는 단순히 객체의 특징을 강조하는 역할과, 매핑된 영상에 따라 기존에 가지고 있던 성격을 버리고 새로이 오브제화되는 것이 있다. 3장에서는 예술에서 나타나는 모션에 대해 먼저 연구하고, 프로젝션 매핑을 정적 프로젝션 매핑과 동적 프로젝션 매핑으로 분류하여 동적 프로젝션 매핑의 특성에 대해 분석하였다. 예술에서 모션을 담아내는 것에 대한 열망은 분야를 가리지 않고 표현되어왔다. 특히 조각에서 모션을 얼마나 세밀하게 묘사하는지에 대한 것은 미적 가치 판단의 대상이었다. 그러한 성향은 오늘날 프로젝션 매핑 분야에도 이어져, 동적 프로젝션 매핑의 발전을 이끌었다. 기존의 고정된 객체에 투사하는 방식에서 형태나 상태가 유동적인 객체에 투사하는 방식으로 발전된 것이 동적 프로젝션 매핑인데, 이를 통해 미디어아트에서 인터렉티브가 추가되는 등 동세에 대한 표현력이 넓어지고 있다. 4장에서는 3장에서 정리한 모션이라는 요소가 적용된 동적 프로젝션 매핑 작품 세 가지를 신체-오브제의 관점에서 분석했다. 각각의 사례에서 필연적으로 신체는 원래의 특성을 버리고 오브제화 되는데, 자아를 표출하는 수단이 되거나, 환경과 배우의 구분이 모호해지는 감각적인 오브제가 되거나, 사용자의 행위의 우연성이 오브제가 되는 모습을 보인다. 따라서 사례분석을 진행한 4장에서는 신체-오브제적 특성이 동적 프로젝션 매핑의 해석에 큰 영향을 준다는 결론을 얻었다. 또한 동적 프로젝션 매핑의 특성은 객체의 정보를 얻음과 동시에 매핑이 이루어지고, 고정된 객체에 투사하는 정적 프로젝션 매핑과는 달리 객체의 상태가 계속해서 변화한다는 것, 동적 객체와의 상호반응으로 나타난다는 점도 중요하게 다뤄진다. 즉 동적 프로젝션 오브제 매핑은 실시간성, 유동성, 상호작용성이라는 특성을 가진 것을 알 수 있었다. 동적 프로젝션 매핑은 계속해서 발전하고 있는 분야이며 시간이 흘러 기술의 수준이 높아지면 더 다양한 작품을 만들 수 있을 것으로 기대된다. 다만 현시점에서 기술적으로 소프트웨어의 한계 등으로 사전에 정밀하게 계산된 정보가 아니면 매핑의 범위나 속도가 실시간으로 나타나게끔 만드는 것은 아주 어렵다. 결국 동적 프로젝션 매핑의 추후 목표는 관객의 몰입을 방해하지 않는 기술까지 발전하는 것이라고 할 수 있다.
Acknowledgments
이 논문은 2019년도 중앙대학교 연구장학기금 지원에 의한 것임.
References
- W. W. Lee, A Study on the direction of fashion display by objet production technique, MA dissertation, Chung-Ang University, Seoul, 2000.
- S. H. Ha, A thesis submitted in partial fulfillment of the requirement for the degree of Master of Fine Arts, MA dissertation, Cheju National University, Cheju, 2004.
- J. Y. Kang, "A Study on the Changes of Processive and Characteristic Object in modern Art, MA dissertation, Changwon University, Changwon, 2003.
- G. H. Jeong, “A Study on the Object of Dadaism”, Art Journal, Vol. 5, No. 0, pp. 93-111, December 2003.
- S. G. Kang, “A Study on Trend of Object Represented in Pop-Art”, Korea Society of Basic Design & Art, Vol. 7, No. 1, pp. 37-48, 2006.
- H. Richter, Dada Art and Anti-Art, Thames & Hudson, pp. 93, 1997.
- Wikipedia[Internet].Available: https://ko.wikipedia.org/wiki/%ED%82%A4%EB%84%A4%ED%8B%B1_%EC%95%84%ED%8A%B8
- Hani[Internet]Available: https://www.hani.co.kr/arti/PRINT/622367.html, .
-
S. D. Hong, "Development of Chameleonic Multi-Surface Display with Dynamic Projection Mapping", Digital Contents Society, Vol 18, No. 1, pp. 123-132, 2017.
[https://doi.org/10.9728/dcs.2017.18.1.123]
- Tangible[Internet].Available:https://tangible.media.mit.edu/project/inform/
- Wikipedia[Internet].Available: https://ko.wikipedia.org/wiki/%EB%AA%A8%EC%85%98_%EC%BA%A1%EC%B2%
- J. H. Lee. “Motion capture : Past, Present and Future”, Journal of Computing Science and Engineering, Vol. 21, No. 7, July 2003.
- J. W. Lee, “Realtime Projection Mapping on Flexible Dynamic Objects”, The HCI Society of Korea, Gangwon-do, pp. 187-190, February 2014.
- E. B. Choi, and Y. H. Park, “Stabilization Assessment of Drone-Projected Image based on Sensor Information”, The Korean Institute of Broadcast and Media Engineers, Jeju, pp. 264-266, June 2019.
- Disney, which is preparing for a drone air show with its patents at the forefront, offers the potential to use drones in entertainment.[Internet].Available:http://tradenavi.or.kr/CmsWeb/resource/attach/report/[203]Trendreport_1%20%EB%94%94%EC%A6%88%EB%8B%88.pdf
- H. J. Kim, J. K. Shu, “Category Analysis of Dynamic Projection Mapping Content”, Korea Information Processing Society, Busan, pp. 903-906, November 2018.
- S. H. Park, "A Study on Body-Objet in Contemporary Art", Journal of Basic Design & Art, Vol. 11 No. 6, pp.263-271, December 2010.
- Project-Omote[Internet].Available: http://www.project-omote.com/
- Exile[Internet].Available:http://www.exile.at/apparition/background.html
- C. H. Co, the understanding of Fetishism and objects, Arts Council Korea, pp. 17-20, 2001.
- [Internet].Available:http://www.topobox.co/?_vsrefdom=adwords&gclid=Cj0KCQjw6s2IBhCnARIsAP8RfAgBn4jgrZXEmNQsCBAEpfks0-prKzKelf1wxncyBWd0d6R9P2Bvd_UaAtryEALw_wcB
저자소개
2019년 : 가천대학교 (학사)
2006년～현 재: 중앙대학교 첨단영상대학원 영상학과 석사과정
※관심분야：미디어아트, 프로젝션 매핑, 오브제 아트 등
1991년 : Multimedia Art from l’Ecole Nationale Superiure des Beaux-Arts de Paris (D.N.S.A.P.)
2001년 : Multimedia and Media from Conservatoire National des Arts et Metiers (D.E.A.)
2009년 : 숭실대학교 대학원 (공학박사 - 멀티미디어)
2004년～현 재: 중앙대학교 첨단영상대학원 영상학과 교수
※관심분야：프로젝션 매핑, 인터렉티브 미디어 아트, 미디어 파사드, 미디어 퍼포먼스 등등