다면영상을 위한 동기화 시스템 구현에 관한 연구

Ⅰ. 서 론

우리는 디지털 기술의 발전에 힘입어 다양한 형태의 미디어(사진, 영상)를 이용한 환경에서 살아가고 있다. 대표적인 영상 미디어 환경의 예로 대형 화면을 통한 미디어의 표현을 이야기할 수 있는데 이것은 광장에서의 TV 중계, 대형 전시공간에서의 몰입도 높은 영상 전시, 건물 벽면의 대형 미디어 파사드 등으로 우리에게는 쉽게 다가서고 있는 것이다. 이러한 활용 예들은 사이니지 디스플레이와 프로젝터를 활용한 거대한 화면으로 구성된 환경이 대부분을 차지한다고 볼 수 있다.[1][2] 이러한 환경을 표현하기 위해서는 이미지를 기반으로 거대한 이미지를 만들기 위해서 촬영된 영상이나 이미지 소스를 후반 작업을 통하여 거대한 이미지나 영상을 만들어 표현하는 것이 대부분의 작업을 차지하고 있었다. 이러한 기술은 스티칭 기법과 파노라마 영상 등을 통해서 사용자에게 다가가는 형태의 작업이었다.[3][4] 하지만 이러한 카메라 장치의 하드웨어 기술이 발전하게 되면서 작업에서 얻어지는 소스보다 더욱 고해상도의 이미지나 영상을 쉽게 사용하게 되었다. 이는 카메라 기술의 발달과 저장 장치의 소형화 그리고 저장용량의 대형화에 힙입어 발전하고 있다. 이러한 영상 미디어의 발달로 인해서 우리 주변에서는 높은 해상도의 품질 좋은 영상을 쉽게 접할 수 있게 되었다.[5]

대형화된 이미지나 영상은 우리에게 많은 정보를 제공해 주고 제공하는 영상의 다양화로 사람이 눈으로 볼 수 있는 시야에서 벗어나 더욱 많은 공간의 정보나 이미지를 획득 할 수 있다. 그림 1에서 이를 확인해 볼 수 있는데, 공간에서 여러 대의 디스플레이 패널을 이용해서 대형화된 이미지나 영상을 표현하고 이를 통해서 사용자에게 정형화된 사각형의 디스플레이 장치에서 벗어나 다양한 의미를 전달할 수 있는 하나의 요소로도 발전 할 수 있다. 우리는 오랜 시간동안 이러한 사각 프레임 안에 정형화된 영상에 갇혀서 미디어를 바라보는 틀에 갇혀있는데 이러한 형태를 통해서 더욱 다양한 생각과 표현이 가능하게 된 것이다. 첨단 기기들과 새로운 기술들이 접목된 사회를 살아가고 있는 현대인에게 다양한 디스플레이 장치는 남녀노소 가릴 것 없이 영상 미디어를 통한 학습 및 여가의 도구로 사용되고 있다. 작은 스마트폰 사이즈의 디스플레이에서 시작해서 HMD(Head Mounted Display)를 통해서 가상공간에서 대형 이미지를 접하고, 현실세계에서는 100인치가 넘는 대형화된 디스플레이를 통해서 다양한 정보를 습득하고, 여가를 즐기는 것이다.

Fig. 1.

Example of applying large content using a multi-sided display

Fig. 2.

Synchronizing images on a multi-sided display in daily life

본 연구에서는 우리 주변에 산재한 다양하고 많은 디스플레이들을 이용하여 각각의 개별 콘텐츠 영상이 아닌 하나의 영상 또는 연관이 있는 영상을 보여주고 연동하기 위한 연구를 진행하고자 한다. 점차 대형화 되는 스크린에 하드웨어의 한계에 의해 다수의 디스플레이를 조합해서 대형화된 영상을 보여주고 이를 활용하여 대형 화면에 다양한 콘텐츠 영상을 종합해서 보여주는 등의 제한된 공간에서 연관성 있는 다양한 정보를 전달하고자 하는 것이다. 이를 위해서는 각각의 영상의 연계성과 동질성이 필요하게 되는데 이 작업의 기본이 되는 중요한 부분이 영상의 연동 부분이 된다. 개별 장치들은 서로 연동되지 않고 자신의 콘텐츠를 보여주게 되는데 이렇게 되면 앞에서 이야기한 연결성이라는 부분에 상반되는 것이다. 그러므로 이를 해결하기 위해서 다양한 디스플레이들의 연동을 통해서 하나의 주제를 가지고 대중에게 전달할 수 있는 것이다.

Ⅱ. 본 론

2-1 다면영상

다면영상을 구현하기 위해서는 여러 가지 방식이 존재하고 있다. 하나의 서버에서 다중 디스플레이를 연결하는 방식과 여러 개의 서버에서 다중 디스플레이를 연결하는 방식이다. 첫 번째 방식은 다중 디스플레이의 연결 개수의 한계가 존재하기 때문에 두 번째 방식인 여러 개의 서버에 디스플레이를 연결하는 방식이 많이 사용되고 있다. 이때, 다면 디스플레이를 사용하기 위해서는 개별의 서버가 네트워크를 이용해서 하나로 연동되어야 한다. 다면 디스플레이를 위한 모듈이나 PC에 디스플레이가 연결되어서 영상을 받아와야하는데, 디스플레이의 수량이 늘어나게 되면 이들 장치가 하나가 아닌 다수가 되고 이를 연동하기 위한 네트워크가 연결되어야 한다. 이를 통해서 하나의 영상 또는 개별 영상을 사용자가 원하는 위치가 영역에 보여주게 되면서 공간 안에서 원하는 디스플레이의 모양을 구성 할 수 있게 되는 것이다. 구성된 하드웨어 시스템을 하나의 정확한 묶음의 형태로 원하는 영상을 같이 재생하고 보여주는 것은 동기화 기술이 필요하다. 이 동기화 기술은 각각의 영상 재생 장치간의 네트워크를 이용해서 같은 시간대의 영상을 보여줄 수 있는지를 구현하는 작업이다.

그림3은 1대의 서버 PC에서 다중 디스플레이를 연결해서 구성하는 방법을 나타낸 것이다. 이 경우 서버의 그래픽의 성능에 따라서 연결 가능한 디스플레이의 수량이 결정되게 된다. 또한, 영상 소스의 용량과 해상도에 따라서 처리능력의 한계점에 도달할 수 있기 때문에 성능 체크가 필수적으로 필요하다. 하지만 독립적인 서버 운용이 가능하기 때문에 영상간의 동기화에 대한 문제는 발생하지 않는다. 하지만 디스플레이의 수량이 현저하게 늘어나는 경우는 1대의 서버에서 처리할 수 있는 한계를 벗어나기 때문에 그림 4와 같이 다수의 서버를 네트워크를 통해 연결하게 된다. 각각의 서버에서 처리하는 그래픽 연산이 분산되기 때문에 대형화된 디스플레이를 구현할 수 있게 된다.

Fig. 3.

Single Multi-Plane Image System Configuration Diagram

Fig. 4.

Multi-player Video Synchronization System Configuration Diagram

2-2 디스플레이 융합 방식

디스플레이를 연결하는 방식은 첫 번째로 서버의 출력과 디스플레이를 1:1로 연결하는 직접연결 방식이다. 서버나 플레이어가 다중 출력을 지원하는 범위 내에서는 직접적으로 연결이 가능하다. 하지만 여러 개의 케이블을 이용해서 연결해야하는데 그 길이가 길어지고 많아지게 되면 케이블의 수량만 해도 엄청 많아지게 되는 단점이 있다. 두 번째 방법은 다수의 디스플레이 장치를 하나로 묶어서 영상을 전송하는 방식이다. 이 방식은 2X2(4개), 3X3(9개), 4X4(16개)의 디스플레이에 묶음을 이루는 디스플레이 장치를 하나로 연결해서 영상을 전송하는 방식이다. 이 방식을 사용하게 되면 디스플레이와 디스플레이 간에 연결되는 케이블이 존재하고 서버에서는 묶은 단위의 케이블만이 연결되면 된다. 이 묶음은 2X2를 예로 보면 1개의 케이블만 서버에서 4개의 디스플레이의 1번째 디스플레이와 연결하면 된다.[6]

Fig. 5.

How to connect the display (a) Direct Connect (b) Daisy Chain

Ⅲ. 영상 동기화 시스템

다면 디스플레이를 구성하는 것은 하드웨어 적으로 구현되어질 수 있는 부분이다. 하지만 이를 하나의 정확한 묶음의 형태로 원하는 영상을 같이 재생하고 보여주는 것은 동기화 기술이 필요하다. 이 동기화 기술은 각각의 영상 재생 장치간의 네트워크를 이용해서 같은 시간대의 영상을 보여줄 수 있는지를 구현하는 작업이다.[7]

그림 6은 영상 동기화 시스템으로 사용되고 있는 Dataon社의 Watchout과 Christie社의 Pandoras Box의 구성도이다.[8][9] 두 가지 제품모두 여러 가지 디스플레이 연동이 가능하게 제작되어있다. (a)에서는 사이니지 디스플레이에 연결하는 구성도를 나타내고 있으며, (b)에서는 프로젝터를 연결해서 구성하는 것을 나타내고 있다. 그리고 (c)에서는 프로젝터와 사이니지 디스플레이가 복합적으로 연동되는 모습을 나타내고 있는데 이는 두 가지 제품 모두 가능한 부분이다. 이들은 모두 네트워크로 공유되고 이를 통해서 각각의 서버에서 재생되고 있는 영상, 사운드 그리고 여러 가지 신호들을 체크하고 제어하게 구성되어있다.

Fig. 6.

Server synchronization system (a)(b) Watchout (c) Pandoras Box

그림 7은 영상 동기화 테스트 작업을 위해서 55인치 사이니지 디스플레이 4개를 2X2로 연결해서 테스트 환경을 구성하였다. 이들 4개의 사이니지 모니터는 다이렉트 연결과 데이지 체인 연결이 가능하다. 이는 그림 8과 같이 2가지 방식으로 서버와의 연결이 가능하게 되고 영상을 연결해서 실시간 출력을 통한 테스트를 진행하였다.

Fig. 7.

2X2 Signage Display

Fig. 8.

2X2 Signage Display (a) Daisy Chain (b) Direct Connect

다면 시스템에서 네트워크 관리는 매우 중요한 요소이다. 그림 6과 같이 네트워크를 이용한 동기화 시스템에서는 영상이 끝나고 새로 시작하는 과정에서 네트워크가 동시에 트래픽이 걸리는 문제가 발생 할 수 있는데 이를 보완하기 위해서 영상의 프레임이 끝나기 전에 각각의 서버 역할을 하는 시스템에서 메인 서버에 신호를 보내서 연결 상태를 체크하고 시간을 동기화 시킨 후 메인 시스템에서 전체 서버에 카운트 신호를 보내서 다음 시작을 같이하고 네트워크가 끊어지더라도 카운트에 의해서 동시에 시작할 수 있는 과정을 추가해서 많은 서버를 연동하는 경우에 생길 수 있는 재생의 문제를 해결하고자 한다. 이를 위해서 가각의 서버는 고유한 IP 주소를 가지게 되며 이를 기반으로 각각의 서버에 원하는 신호를 전송해서 다양한 작업을 진행 하게 된다.

네트워크를 이용한 서버 제어를 위해서 그림 9와 같이 개별 IP 설정을 통해 원하는 디스플레이 서버를 지정할 수 있게 세팅되었다. 이러한 작업을 통해서 네트워크 신호를 통해서 원하는 동작 제어 및 동기화 신호를 주고받을 수 있게 된다. 또한 그림 10과 같이 네트워크 연결을 통해서 개별 콘텐츠 전송 및 관리도 가능해진다. 내부 네트워크를 구성해서 소켓 통신 기반으로 데이터를 영상 콘텐츠를 전송하게 되는 것이다. 이를 기반으로 그림 11을 보면 개별로 연결된 서버들의 모니터링 및 제어 화면이다. 각각의 서버에 콘텐츠들이 정보를 보여주고 상태를 체크할 수 있게 되어있다. 여기에서 서버의 재생상태, 네트워크 신호 속도, 영상의 재생 시간, 상태 등의 전반적인 상황을 체크할 수 있다.

Fig. 9.

Network connectivity (a) IP setting (b) Waiting for server connection (c) Two server connections

Fig. 10.

Uploading files using a network

Fig. 11.

Client Server Control Screen

Ⅳ. 결 론

대형화되는 디스플레이 영역과 관련해서 프로젝션 맵핑과 더불어서 사이니지를 이용한 다면 디스플레이 기술은 지속적인 연구 분야로 알려져있다. 기술의 발전에 힘입어 우리 주변의 다양한 공간에서 다면 디스플레이 기술은 사용되고 있는데, 다양한 영상 동기화 장비와 기술의 발전으로 다양한 공간에 디스플레이의 설치가 가능해지고 이를 활용한 대형 영상을 보여주는 미디어 파사드 형태의 영상상영이 시작되고 있다. 이러한 기술의 발전으로 사용자에게 대중화가 시작되면서 다면 디스플레이 기술은 급속한 발전을 보이고 있고, 다양한 콘텐츠의 개발도 이루어지고 있는 추세이다. 지하철역, 복합 문화 공간, 쇼핑몰 등 우리가 접하는 모든 곳에서 이러한 형태의 미디어가 노출되고 있다. 대중화가 지속적으로 진행되면 앞으로 장비의 발전과 더불어 콘텐츠의 개발 시장도 크게 발전할 것이다.

우리는 이러한 연구를 기반으로 미디어 기반의 사회라고 할 수 있는 지금의 세대에서 다면 영상 시스템을 통한 대형화된 콘텐츠의 제작 및 적용이 가능한 기술의 개발로 국내 콘텐츠 기술 산업의 발전 및 이를 통한 해외 진출이 가능하다. 또한 다면 시스템 기술개발 및 확산을 통해 다양한 디스플레이의 구성을 통한 창의적인 적용과 산업의 지속적인 성장 동력이 될 수 있다. 이를 통해서 차별화된 대형 디스플레이 콘텐츠의 적용 및 이를 통한 공간 구성과의 접목으로 영상과 사운드 더 나아가서 공간과 상호작용 기술과의 접목으로 모든 산업 부분과 융합이 가능하다. 이러한 부분은 화면의 거대함을 통해서 관련 콘텐츠가 개개인이 원하는 부분을 전체적인 부분과 여러개로 나누어진 개별적인 부분을 하번에 보여주거나 나눠서 보여줄 수 있기 때문에 이를 통한 만족도 향상으로 반복적인 콘텐츠의 재생산을 줄일 수 있다.

Acknowledgments

This paper was supported by the Semyung University Research Grant of 2018

참고문헌

• N. Davies, S. Clinch, and F. Alt, "Pervasive displays: understanding the future of digital signage", Synthesis Lectures on Mobile and Pervasive Computing, 8(1), p1-128, April), (2014. [https://doi.org/10.2200/S00558ED1V01Y201312MPC011]
• D. H. Moon, "Reconstitution of Digital Multi planar Images based on Cinerama System", Journal of Digital Contents Society, 14(4), p439-445, Dec.), (2013. [https://doi.org/10.9728/dcs.2013.14.4.439]
• S. Mann, and W. P. Rosalind, "Virtual bellows: Constructing high quality stills from video", Proceedings of 1st International Conference on Image Processing, 1, p363-367, Nov.), (1994. [https://doi.org/10.1109/ICIP.1994.413336]
• L. Juan, and O. Gwun, "SURF applied in panorama image stitching", Proceedings of 2nd International Conference on Image Processing Theory, Tools and Applications, p495-499, July), (2010. [https://doi.org/10.1109/IPTA.2010.5586723]
• D. Bäumer, V. Stefan, and V. Bernhard, "Determination of the visibility using a digital panorama camera", Atmospheric Environment, 42(11), p2593-2602, April), (2008. [https://doi.org/10.1016/j.atmosenv.2007.06.024]
• T. Hoshino, M. Miyauchi, Y. Kawaguchi, H. Yamaguchi, and A. Harada, "Daisy chain necklace: Tri[2]rotaxane containing cyclodextrins", Journal of the American Chemical Society, 122(40), p9876-9877, Sep.), (2000. [https://doi.org/10.1021/ja0018264]
• H. T. Jung, J. S. Lee, Y. J. Jeong, and K. S. Yoon, "Digital signage system for supporting high quality resolution", Proceedings of 7th International Conference on Computing and Convergence Technology(ICCCT), p1277-1280, June), (2012.
• Watch Out Solution [Internet]. Available : https://www.dataton.com/products/watchout
• Christie Pandoras Box [Internet]. Available : https://www.christiedigital.com/en-us