물리적 보이드 디스플레이 시스템 및 제어 기술 연구

1-1 연구의 배경

최근 전시, 광고, 공연에 사용되는 장치들은 기존의 아날로그 방법에서 점차 디지털 기술 적용, 최근에는 로봇 자동화 기술까지 적용하는 사례가 전 세계적으로 나타나고 있다.

이러한 기술은 고객의 니즈가 평면적인 정보전달에 한계가 나타나고 있고, 이를 극복하기 위해서 입체적으로 물리적인 형태의 정보전달을 요구하고 있다. 따라서 전시산업의 기술 발전의 일환으로 다수의 블록들이 체결되어 효과적인 정보 전달이 가능한 물리적 보이드 디스플레이가 요구된다. 전시, 광고 산업의 발전은 기술의 진보를 수용하면서 전시의 목적을 달성하기 위한 방안으로 콘텐츠 측면을 강화하는 추세에서 디스플레이에 대한 수요는 증가할 것으로 예측된다. 이에 물리적 디스플레이 (Physical Display)의 전망은 매우 밝게 보고 있다.[1]

시장의 초기단계라 표준화 및 신뢰성이 아직 정립이 되지 않았고, 특수한 광고전시나 공연 등의 목적에 따른 주문 생산방식으로 산업으로서 시장의 규모를 선점하기에는 아직은 한계가 있는 상황이다. 수요의 증가와 표준화될 수 있는 대표상품의 개발을 통해 일정 규모의 시장을 형성시키는데 있어서는 이전에 개발된 플립디스플레이와, 현재 개발된 보이드 디스플레이(Void Display)가 중추적인 역할이 될 것으로 전망된다.

물리적 디스플레이가 광고전시/공연시장에 적극적으로 적용되고 나면 다른 소재의 물리적 디스플레이에 대한 신시장진입이 용이할 것으로 전망되며, 물리적 디스플레이의 새로운 신시장의 분야가 나타날 것으로 판단된다.

물리적 디스플레이의 기반이 되는 메카트로닉스 기술은 전자, 기계설계, 제어, 임베디드시스템, SI 등의 요소 기술들이 융복합하여 오래 전부터 디스플레이 파트에 적용되어 왔으며, 특히 최근 해외 유명 작가들에 의해 전시콘텐츠로 선도 되고 있으나 국내는 아직 초보단계의 모방성 물리디스플레이 수준이다. 따라서 아직 초기인 단계를 감안하여 신문화산업에 적합한 콘텐츠가 융합된 솔루션을 개발하여 새로운 미디어 기기로 물리적 디스플레이와 소프트웨어 콘텐츠가 결합된 토탈 솔루션으로 시장에서 진입이 가능하다.

디스플레이가 적용되는 융복합산업의 특징은 개별 산업기술을 기반에서 응용된 기술과 콘텐츠, 그리고 서비스를 융복합하여 탄생된 제품군으로 발전하는 산업에 파급효과가 점진적으로 커질 것으로 판단된다.[2] 특히 광고전시 산업은 완만한 성장 속에 최근 아시아를 중심으로 뚜렷한 성장세를 보이고 있으므로, 테마파크, 옥외광고시장에서 자리매김이 가능할 것으로 기대한다.

1-2 연구의 목적

물리적 보이드 디스플레이 블록 모듈에 필요한 요소기술을 개발하여 디스플레이의 플랫폼을 살펴본다. 그리고 각도, 회전동작이 가능한 모듈을 개발하며, 최종 보이드 디스플레이에 3차원 카메라를 사용하여 인터랙션이 가능한 제어 기술을 적용함으로써 관객과 상호작용이 가능한 작품으로 표현한다.

2-1 물리적 보이드 디스플레이 소개

보이드 디스플레이는 대변위 위상제어 기술을 이용하여 가변형 디스크 모듈에 물리적 움직임을 주어서 정보 및 화상을 표현하는 디지로그(digilog) 물리적 디스플레이이다. 그 핵심 기술은 다중 대변위 서보모터 제어로써 토크제어, 속도제어, 위상제어로 구분하고 각각의 제어는 폐루프(Close-Loop) 구성을[3] 하며 이를 통해 회전운동, 직선운동 등으로 제어하는 시스템이다. 전력 제어의 기법은 입력 전압 파형의 도통각을 조절하여 부하에 공급되는 전력을 제어하는 것으로 위상을 바꿈으로써 전압, 전류 혹은 에너지의 양을 제어하는 기술로 모터가 탑재된 블록 모듈하나가 화상을 표시하는 픽셀을 담당한다.

Fig. 1.

Void Display Module Block

형태와 재질에 의하여 각 블록이 결합되어 디스플레이가 구성되며, 블록모듈을 감싸고 있는 프레임의 모양에 따라서 평면과 입체, 임의형상까지 정보표현이 가능한 입체 디스플레이로 구성된다. 보이드 디스플레이는 모듈의 기능에 따라서 회전운동, 직선운동 적용이 가능한 블록모듈이 탑재되어 고정된 조명을 반사되어 해당 블록모듈은 명도가 바뀌는 물성(physical properties)의 형태를 보인다.

2-2 물리적 보이드 디스플레이 사례

1999년에 최초로 시도된 작품 다니엘로진(Daniel Rozin) 나무거울(wooden Mirror) 은 수백 개 타일모양의 삼나무 조작이 회전할 수 있도록 스태핑 모터로 제어된다.[4] 나무 조각 하나가 카드섹션처럼 움직이며 전면에 등장하는 사람의 모습을 마치 거울처럼 이미지로 만들어내는 작품이다. 카메라와 컴퓨터, 모터 그리고 다양한 재료로 관람객의 형상을 표현하는 방식은 동일하다.

Fig. 2.

DANIEL ROZIN, ‘Wooden Mirror’, 1999

나무 타일 뒤에 숨겨진 카메라가 실시간으로 대상의 이미지를 컴퓨터로 전달하고 이미지는 영상신호로 변화된다. 작가가 직접 설계한 소프트웨어가 영상처리를 통하여 다시 모터로 보내어 앞에 서 있는 관객의 이미지와 움직임에 따라 똑같이 반사하고 움직이는 원리이다.

Fig. 3.

DANIEL ROZIN, ‘PomPom Mirror’, 2015

‘폼폼미러’(Pom Pom Mirror) 작품은 털실 같은 폴리아세탈 소재로 만든 작품이다.[5] 이 작품은 작품 위 카메라가 움직임을 인식해 인식 정보를 보내면 모터가 작동하며 464개의 털 뭉치를 움직이는 방식으로 모터의 움직임이 재료의 방향을 정하고 빛에 반사한 그 재료들의 그림자가 모여 관람객의 형상을 완성하는 것이다. 디스플레이 화면에 픽셀들이 모여 우리가 이해할 수 있는 디지털 영상을 보는 것과 같은 방식이지만, 작품을 마주하는 우리들의 감상은 다르다.

Fig. 4.

DASCON lnc. ‘Orchestra Automation player, 2017

(주) 다스콘 기업에서 개발된 오케스트라(Orchestra) 로봇연주 시스템은 고성능 서보모터와 미디(MIDI) 통신 프로토콜을 활용하여 자동화 연주 시스템을 개발되었다. 현재 국립 어린이 과학관에 설치되어 관객들에게 체험을 공유하고 있다.[6]

오케스트라 로봇연주기는 42개의 서보모터를 콘트롤 보드를 통해 제어하는 시스템으로 구성되어 있으며 프로그래머블 로직 컨트롤러(PLC: programmable logic controller) 프로그램을 이용하여 프로그래밍을 하였고 인터렉티브를 위한 악기 개별연주 모드가 있어 사용자가 직접 악기를 제어할 수 있도록 구성되었다.

오케스트라 자동 연주기는 마림바, 드럼 등 타악기에 서보모터의 토크와 속도로 악기의 강약과 리듬에 맞추어 프로그래밍을 하였으며 상용 서보 콘트롤러를 사용하여 RS485의 제어 방식을 사용되었다. 개발 시 통합 프로그램의 임베디드화로 호환성에 대한 부분과 다량의 서보연결 시 최대 64개의 제약사항 및 연결방식의 국산화 통신프로토콜 표준화에 대한 개선이 필요한 부분은 단점으로 남는다.

Fig. 5.

Akishima Lab., ‘AMOEBA’, 2007

오사카 대학의 시게루 나이토(Shigeru Naito) 교수와 연계 작업한 아키시마 랩의 연구자들은 물의 표면에 파동을 이용하여 텍스트와 이미지를 만들어내는 장치를 개발하였다.[7]

아베마(AMOEBA)라 불리는 이 장치는 30cm 높이에 1.6m 지름을 가진 둥그런 물탱크에 물의 파동을 만들어내는 50개의 발진기로 구성되었다. 파장발진기는 픽셀과 같은 역할을 하는 여러 개의 둥근 파장을 동시에 만들어내기 위해 위, 아래로 움직이며 물의 파동을 제어한다. 지름 10cm 높이 4cm 픽셀들은 선과 형태를 만들도록 합쳐진다. 아메바는 전체 영문 알파벳뿐 아니라 몇 가지 단순한 간지체를 표현할 수 있다. 각각의 글자와 이미지가 순간 동안 물의 표면 위에 남겨지게 된다. 이 장치는 베셀함수로 알려진 알고리즘을 통해 물의 파동을 조절하는 방법을 사용하였다.

아메바의 기계적 제어는 물의 파동을 만들어내는 발진기를 이용하는 것이다. 파장을 만들어내는 발진기를 통하여 물을 제어하는데, 마주보는 발진기에 의해 발생하는 물의 파장이 부딪히는 지점에서 물의 형태가 만들어진다는 점에 착안하였다. 진동기의 오르내림의 속도 및 횟수 제어를 통해 파장의 길이를 조절하고 파장이 상쇄되거나 충돌하는 지점들을 계산해내는 방식을 이용한다. 여기서 텍스트는 형태로 데이터화 된다. 물의 표면 좌표 위에서 텍스트의 형태를 파장에 의해 만들어진 물의 융기 지점과 매칭 시킴으로써 시각화한다. 아메바 역시 물의 파장과 텍스트의 형태를 디지털로 데이터화하여 처리한 후 물리적 텍스트를 만들어내는 원리를 이용한다.

Fig. 6.

MOMA, Julius Popp, ‘Bit fall’, 2005

독일 미디어 아티스트 쥴리어스 폽이 제작한 ‘비트폴(Bitfall)'은 작품에 연결된 컴퓨터가 인터넷으로부터 다양한 뉴스 웹사이트를 검색한 후, 뉴스 웹사이트의 헤드라인 상에 보이는 텍스트를 실시간으로 가져와 물방울의 조절을 통해 텍스트를 이미지로 보여주는 인스탈레이션이다. 128개의 노즐이 동기화된 전자석 밸브에 의해 조절된다. 이에 의해 물방울이 이미지의 형태를 만들며 바닥으로 떨어진다. 시각 정보는 물방울이 다시 바닥의 수조 안 물로 합쳐지기 바로 전 일초 동안 가시화 된다.[8]

쥴리어스 폽이 물방울을 텍스트로 가시화한 방법은 컴퓨터 모니터에 이미지가 보이는 방법과 유사하다. 모니터의 이미지는 가로 세로로 배열된 수백만 개의 픽셀들로 이루어지는데 128개의 노즐이 모니터의 가로 픽셀 역할을 하고 중력에 의해 세로로 떨어지는 물방울의 연속성이 세로 픽셀의 역할을 한다. 텍스트나 이미지를 픽셀처럼 데이터화 한 후 처리된 데이터를 노즐에 일치시키고 노즐로부터 나오는 물을 전자 밸브로 on, off 제어하여 물방울 픽셀을 만들어 내는 것이다. 이를 통해 떨어지는 물방울은 텍스트 뿐 아니라 이미지를 만들어 내게 된다. 텍스트 미디어가 디지털로 픽셀 데이터화 되어 다시 물리적인 텍스트 미디어로 픽셀 처리되는 과정은 이 작품이 만들어지는 기본 원리가 된다. 이는 디지털 미디어의 메타 미디어적 속성을 여실히 드러내는 특성을 갖는다. 다양한 사례에서 보여준 작품들은 물리적 속성은 지니고 있지만, 실내에서 구현해야하는 단점과 범용 적이지 못한 문제점을 담고 있다. 따라서 본 연구에서 개발되는 보이드 디스플레이는 실외에서 가능한 방수방진과 낮과 밤에도 가능한 연구가 필요하다.

3-1 보이드 디스플레이 시스템

그림 8은 보이드 디스플레이 블록모듈 동작 체제로 서버모터를 이용한 회전 운동 변환과 직선 운동 전환에 대한 체제다. 입력된 256단계의 영상 데이터를 신호변환이 가능한 제어보드를 통하여 서보모터를 구동하고 회전축 변이 제어를 통하여 회전운동과 직선운동이 동시에 가능한 체제로 변환하고, 형상 어드레스 값과 맵핑되는 과정 제시하고 있다.

Fig. 8.

Universal Block Module Operation Mechanism

본 장치의 특징은 회전운동을 하는 서보의 동작을 직선운동과 회전운동을 동시에 제어가 가능하도록 모듈을 개발하는 것이다. 실제 입력된 영상 데이터를 이용 동작이 가능하도록 PWM(Pulse Width Modulation) 신호로 변환하는데 8비트의 데이터를 0 ~ 256단계로 변환하여 서보 모터를 실시간으로 제어한다. 그러나 두 가지 운동을 하는데 다양한 오류 범주가 속해있어서 직선운동을 얻기 위해서 팔걸이(arm) 형태의 구조로 수정하여 개발되는데 그 이유는 원의 회전 운동 구조로 변화하는 과정에 약간의 오차가 발생하였다.

그림 9처럼 끝부분으로 갈수록 운동 체제에 손실을 생기므로 이 부분의 동작을 보상해야 한다. 구심점의 역할은 힘의 회전운동요소를 없애주고 직선으로 갈수 있도록 고정 파이프 형태로 제작하여 최종 와이어의 방향을 직선으로 전달한다. 즉 회전운동의 특성상 레디안 운동을 하므로 양쪽 끝으로 갈수록 직선운동의 움직임이 적어진다. 이런 특성을 서보모터 제어부분에서 신호를 재정리가 필요하다. 즉 PWM 신호를 선형(Liner) 그래프에서 엑스포넨셜 그래프(exponential graph)로 변화하는 보정이 필요하다.

Fig. 9.

Linear and Rotary Motion Module Design

Fig. 10.

Pulse Control According to Rotational Motion

데이터가 “0”인 경우는 움직임을 더 주어야 직선운동의 손실을 보상이 가능하며, 중간단계는 움직임을 덜 주어 양쪽 끝단의 움직임을 동일하게 보상한다. 마지막으로 데이터가 “256인 경우 이 부분의 움직임을 더 주어 직선운동의 손실을 보상한다. 결론적으로 0 ~ 255개의 데이터를 PWM으로 변환할 때 이 펄스를 변형시켜야 직선 운동 시 정형화된 직선운동을 얻을 수 있다. 또한 실외 적용에 필요한 방수방진 기능을 모터, 금형에 고무브라켓을 이용한 처리하였다.

Fig. 11.

linear and rotary motion mixing configuration

위 그림처럼 다량의 서보모터를 제어하다면 형상데이터와 구동제어데이터간의 맵핑 등이 필요하다. 따라서 이러한 데이터 맵핑을 위하여 형상정보와 구동제어정보를 분리하는 특별한 프로토콜을 만들어 구동하게 되는데, 먼저 형상정보의 시작점을 X,Y지점을 지정하여 제어보드에 형상정보를 다운로드하여 펌웨어에 입력한 후 구동데이터를 연속으로 데이지체인방식으로 전송하다. 이렇게 전송된 구동데이터는 시프트레지스터 형식으로 자기데이터를 읽고 시프트 시킴으로서 각 도트의 형상 지점에 정확한 데이터를 실시간 전송이 가능하다. 이렇게 함으로써 실시간 전송이 가능하고 무한확장이 가능한 제어방식을 채택하여 개발 하였다.

3-2 보이드 디스플레이 보드개발

메인 제어보드로 부터 받은 영상 이진화 데이터를 서보제어에 맞게 펄스로 변화하여 서보를 제어하는 역할을 담당한다. 서보를 제어하기 위한 제약사항으로 전원 분배기능을 포함하게 된다. 그림 12에 보시는 것처럼 개발된 보드는 제어보드 1EA 당 총 64개 서보모듈 연결이 가능하다. 연결 구조가 간단하여 고장부위 보수가 용이한 구조로 개발되었다.

Fig. 12.

Void-Display Control Board

이는 기존의 풀칼라 LED 제어방식을 차용하여 개선된 보드로써 보드와 보드가 연결이 가능한 병렬방식의 멀티보드의 기능을 담고 있다. 또한 기가바이트 통신이 가능한 광포트 체결방식으로 각 연결보드는 최대 8개의 연결포트가 있으며, 1포트당 모듈(8×8) 64개 연결, 최대 32,768개의 도트 연결 가능하도록 연결보드를 개발하였으며, 연결보드는 지속적인 확장이 가능하여 최대 무한정 연결이 가능하도록 개발되었다.

Fig. 13.

Binarization Image Processing Data Pulse Conversion

개발된 보드에 맞추어서 영상데이터를 이진화 부호화한 시간을 측정하여 메인 제어보드 영상 처리 속도의 확인이 필요하다. 실시간 이진화 처리된 데이터를 모터를 구동하기 위한 펄스변화 테스트를 진행하여 30 FPS 이상의 속도가 나오는 단계를 거치야 한다. 물론 사람의 눈으로 확인하는 단계는 약 12 FPS가 적당하나 세부적인 다양한 응용 작품에 대한 부분으로 그 이상의 목표치를 계획하여 개발되었다. 그러나 다니엘 로진 작가의 ‘우든 미러“ 작품의 경우는 제품으로 접근한 것이 아니라 작품으로 생산되어 제어보드에 대한 개념보다는 커스텀으로 사용할 수 있는 모터 드라이버를 통한 임의적 제어방식을 채택하여 상시적으로 작동할 시에는 신뢰성에 대한 부분이 문제가 되었다.

3-3 실시간 인터랙션 영상 제어 기술

관객과 상호작용을 위하여 사용자의 외형 및 움직임을 보이드 디스플레이에 반영하기 위한 제어 기술로써 실시간으로 3차원 영상정보를 취득하여 사용자의 위치뿐만 아니라 동작까지 인식이 가능하도록 개발되었다. 획득된 영상 데이터는 RGB 영상데이터 값을 보유하는데 이를 흑백 영상데이터로 변환한다. 영상깊이 256단계 음영 및 2진화 데이터 표현된다. 음영의 단계를 조절하는 제어방식 적용하여 보이드 디스플레이 메인보드로 영상데이터 전달하는 구조이다.

기존 물리 디스플레이는 0, 1의 영상 표현으로 데이터를 처리한다. 반면에 보이드 디스플레이는 0~255단계의 영상 표현으로 데이터를 보여준다. 0, 1의 표현을 0~255의 표현으로 확장된 형태로 개발이 되었다.

Fig. 14.

Void Display Address Mapping Control

실시간 영상 데이터 어드레스 매핑 제어는 실시간 영상 프레임 픽셀 분할 기본 8*8 모듈이며, 무한대로 병렬연결이 가능한 상태이다. 픽셀값 어드레스(X,Y)로 형상화를 기준으로 영상을 표현하는 화면 음영의 중심 깊이 값 보정하도록 확장되었다.

영상데이터 음영화 및 데이터 매핑 절차는 다음과 같다. 키넥트(Kinect), 리얼센스(Realsense) 등의 3D 카메라를 이용하여 초당 15~30프레임으로 획득된 RGB 영상 데이터는 각 픽셀별 RGB 영상데이터 값을 보유하고 있다.[9] 이를 0~255의 표현을 위한 그레이스케일(GrayScale)로 RGB 영상데이터 값을 변경한다. 본 연구에서는 RGB영상데이터를 그레이스케일로 하기 위한 방안으로 색의 밝기 정보를 포함한 YCrCb 디지털 색표현 방법을 활용한다. 픽셀별 RGB 영상데이터 값을 그레이스케일하기 위한 Y값을 구하는 수식은 1)과 같다. RGB항목에 곱하는 값은 사람의 눈에 더 민감한 색에 더 많은 가중치를 주어 계산한다.[10]

추후 실내외 조명에 따른 영상 데이터 음영화를 위해 그레이스케일 영상 데이터의 중심값을 기준으로 영상 데이터를 보정(+5, -5)해준다. 그레이스케일 영상데이터를 픽셀값 어드레스(X, Y)로 형상화시키고, 추후 실내외 조명에 따른 영상 데이터 음영화를 위해 그레이스케일 영상 데이터의 중심값을 기준으로 영상 데이터를 보정(+5, -5)해준다. 픽셀별로 추출된 데이터는 통신규약에 맞게 서보모듈로의 데이터 전송을 위해 회선 부호화(Line Coding) 방식을 활용한다. 어드레스로 형상화된 픽셀데이터는 이진 비트 데이터로 변환되고, 복호화를 통해 디지털 신호로 변경되어 서보모듈로 전송된다.

보이드 디스플레이는 유니티3D(UNITY3D) 환경에서 대기모드에서 활용 가능한 물리적 보이드 영상 전용 플레이어와 리얼센스 기기를 활용하여 실시간 입력되는 영상을 제어하기 위한 인터랙티브 UI/UX로 개발하였다. 보이드 영상 전용 플레이어는 영상이 표출되는 좌표 설정, 해상도 설정, 영상 재생 속도 제어, 영상 스케줄링 제어가 가능하도록 개발되었으며, 실시간 입력 영상 제어 모듈은 RGB영상, 이진화 영상, 깊이 영상, 그레이스케일 영상을 실시간 제어 가능하도록 개발되었다.

3-5 보이드 디스플레이 시현

Fig. 15.

“Void Matrix_R”, Seokyeong Univ., 2018

2018 카멜레온 서피스 시범전시는 ‘과학과 예술의 협업’은 기술이 발달하는 사회에서 예술과 과학의 협력이 산업단계까지 이르는 과정을 보여주는 전시이다. 특히 키네틱 아트 장르로써 다양한 작품을 구성한 국내 최초로 볼 수 있다. 본 전시는 작가만이 아니라 기관들이 참여하여 새로운 융합콘텐츠를 실험적으로 선보이는 자리이다.

본 연구의 결과물이 회전과 각도 모양의 보이드 디스플레이도 전시를 꾀한다. 관객의 상호작용을 위하여 3차원 뎁스 카메라인 리얼센스를 탑재하였고, 관객이 없을 때는 이진화된 영상이 스크린세이버처럼 구동되는 설정이 되어있다. 특히 관객이 작품 앞에서 다가서면 즉흥적으로 거울 형식으로 관객의 모습을 보이드 모듈이 조합되어 디스플레이 형식으로 표현된다.