플로팅 홀로그램을 활용한 인터랙티브 멀티미디어 콘텐츠 제작 연구

Ⅰ. 서론

현재의 멀티미디어 콘텐츠는 첨단 테크놀로지와 결합하여 다양한 방식의 표현과 새로운 시스템이 구성되고 있다. 제4차 산업혁명시대라고 부르며 가상현실(VR), 증강현실(AR)에 이은 혼합현실(MR)의 등장으로 실감형 콘텐츠가 더욱 주목받고 있다. 특히 홀로그램은 가상을 현실로 인식하게 하는 차세대 영상 기술로서 많은 연구와 개발이 이루어지고 있으며 다양한 분야에서 홀로그램 기술을 적용하고 있다.

VR과 AR은 멀티미디어 콘텐츠에 많이 사용 되고 있으나 체험하기 위해서는 전용기기를 사용하여야 하는 제한성을 가진다. 그러나 홀로그램은 전용기기를 착용하지 않고 입체적인 영상 효과를 볼 수 있는 장점을 가지고 있기 때문에 전시, 콘서트, 광고, 뮤지컬등 다양한 분야에 접목되어 사용되고 있다.

본 연구는 플로팅 홀로그램 중 박스 형태의 홀로그램을 인터랙티브 멀티미디어 콘텐츠에 적용함에 있어 동작 인식 센서를 통해 홀로그램 영상과 사운드를 제어하여 실시간 상호작용이 이루어지는 기술 연구를 통해 작품 표현 방법의 다양화에 기여하고자 한다.

Ⅱ. 홀로그램 구현방식과 종류

2-1 홀로그램의 구현 방식

홀로그램은 완전하다는 ‘holos’와 그림이라는 ‘gram’의 합성어로 1948년 영국 물리학자 데니스 가보르(Dennis Gabor)에 의해 발견되었고, 그림 1과 같이 레이저에서 두 개의 광을 투사하게 되고 기록 필름에 직접 비추는 기준광과 물체에 직접 비추는 물체광이 한 필름에서 만나게 되면 위상 차이에 의해 간섭무늬들이 필름에 기록되는 현상을 홀로그램이라고 한다.

Fig. 1.

Principle of holograms

2-2 유사 홀로그램의 종류

빛의 회절과 간섭효과를 이용하여 생성된 영상을 360°에서 볼 수 있는 방식을 리얼 홀로그램이라 한다. 하지만 이 방식은 수많은 데이터 처리와 광학 기술의 한계로 상용화가 어려워 홀로그램과 비슷한 효과를 나타내는 방식인 유사 홀로그램을 사용하고 있다. 유사 홀로그램은 투사와 설치 방식에 따라 프리 포맷(free format) 홀로그램 방식과 플로팅(floating) 홀로그램 방식으로 나눌 수 있다.

1) 프리 포맷 홀로그램

프리 포맷 홀로그램은 그림 2와 같이 투명한 재질을 가진 특수 필름으로 제작된 화면을 사용하고 후면에서 영상을 투사하여 상이 맺히는 방식으로 플로팅 홀로그램 방식에 비하여 설치가 편리하여 다양한 방면에 사용이 가능한 장점이 있으나 영상을 투사하는 기기와 빛이 관객에게 보이게 되는 점과 화면을 보는 위치가 정면에서 보아야 제대로 된 영상을 감상할 수 있다는 단점이 있다.

Fig. 2.

Free format hologram method

2) 플로팅 홀로그램

플로팅 홀로그램은 1862년 영국의 발명가 헨리 더크(Henry Dirk)가 고안한 ‘페퍼의 유령’(Pepper’s Ghost)¹⁾ 이라는 연극에서 시작되었다. 이 방식의 핵심은 상이 맺히게 되는 투명한 필름인 포일(Foil)을 사용하며, 그림 3과 같이 프로젝터가 바닥을 향해 영상을 투사하면 반사판에 반사되어 투명한 포일에 상이 맺혀 허공에 물체가 떠 있는 것처럼 보이게 하는 방식이다.

Fig. 3.

Floating hologram method

플로팅 홀로그램의 원리를 사용하여 해외에서는 2014년 마이클 잭슨 추모 공연을 비롯하여 2013년 국내에서는 가수 소녀시대의 공연 등을 비롯하여 홀로그램 전용관들이 만들어지면서 싸이, 2NE1 등 유명 가수들의 공연이 이루어지고 있다. 전시 및 광고 등의 콘텐츠도 플로팅 홀로그램 방식을 활용하여 그림 4의 왼쪽과 같이 투명한 재질의 판을 45° 기울어진 피라미드 형태로 만들어 영상을 투사하면 원본 이미지가 반사되어 세워진 4개의 판 중심 허공에 영상이 떠 있는 것처럼 이미지를 보게 되는 형식이다. 또 다른 플로팅 홀로그램 방식은 그림 4의 오른쪽과 같이 박스 형태의 구조를 가지고 있으며 45°의 각도로 투명한 판을 기울여 설치하면 영상이 반사되어 허공에 떠 있는 것처럼 보이게 된다. 이 두 종류의 플로팅 홀로그램 방식은 콘텐츠를 보는 시야의 방향성과 작품 구조물의 제작방법이 서로 다르며 나타내고자 하는 목적과 장소에 따라 다르게 선택되어야 한다.

Fig. 4.

Example of contents using floating hologram method2)

Ⅲ. 인터랙션 적용 연구

3-1 작품 제작 개요

이 연구를 위하여 플로팅 홀로그램 방식을 사용한 박스 형태의 유사 홀로그램을 방식을 사용하였으며, 그림 5와 같이 작품이 작동되면 홀로그램 영상이 허공에 나타나도록 제작하여 사용하였다.

Fig. 5.

Comparison of before and after of hologram image

3-2 시스템 구성

전체적인 시스템 구성은 그림 6과 같이 실시간으로 모션 센서가 인식한 데이터를 Max³⁾를 통해 데이터를 변환하여 Osci Studio⁴⁾에서 영상과 사운드를 생성 및 제어하고, Oscilloscope⁵⁾ 소프트웨어를 사용하여 이미지를 출력하게 되며, Ableton Live⁶⁾를 통해 동작에 의한 사운드 효과를 제어하여 최종 출력하는 방식이다.

Fig. 6.

System flow of data tracking

1) 영상시스템 활용

영상은 플로팅 홀로그램 방식을 사용하기 위하여 그림 7과 같이 홀로그램 박스 상단에 모니터 화면을 바닥을 향해 설치하고 관객의 시야에 모니터의 화면이 들어오지 않는 높이로 설치한다. 투명 아크릴판을 45°로 기울여 설치하여 실시간 반응하는 영상이 맺히도록 하였다. Osci Studio를 사용하여 영상을 생성하고 Oscilloscope를 통해 최종 출력하였다.

Fig. 7.

System configuration of hologram image

2) 모션 인식 센서 활용

손동작 움직임 데이터를 얻기 위해 그림 8과 같이 립 모션(Leap motion)⁷⁾ 센서를 사용하였다. 립 모션의 작동 원리는 2개의 전하결합소자 카메라와 3개의 적외선을 통해 반사파를 감지하고 양손의 위치 및 10개의 양손가락을 인식할 수 있으며, 조도가 낮은 상황에서도 동작 인식률이 높아 낮은 조도를 필요로 하는 홀로그램을 활용한 콘텐츠 작품에 적절하다.

Fig. 8.

Hand motion of tracking with Leap motion

립 모션을 통해 인식된 손동작 트래킹 데이터는 그림 9와 같이 Max의 익스터널(External)인 leap motion 오브젝트를 통해 영상과 사운드의 제어에 필요한 데이터로 변환되어 전달된다.

Fig. 9.

Data process of Leap motion and Max

3) 사운드 시스템 활용

Osci Studio를 통해 생성된 사운드는 Ableton live로 전달되어 제어 및 출력된다. Max를 통해 받은 손동작 데이터는 표 1과 같이 pitch shifter, LFO(Low Frequency Oscillator)등 각 플러그인의 파라미터에 적용되어 사운드를 변화시킨다. 또한 손이 센서 감지 범위 안으로 들어오면 볼륨의 값이 서서히 증가하고 센서 감지 범위 밖으로 나가면 볼륨 값이 내려가게 되어 관람객이 참여 할 때만 반응하게 된다.

Table 1.

Application of plug-in parameter of hand motion recognition data

3-3 인터랙션 적용 효과 연구

사운드와 영상의 실시간 상호작용은 인터랙션 멀티미디어 콘텐츠 작품에 매우 중요한 부분이며, 관객의 손동작과 영상 및 사운드 간의 직관성 표현에 대하여 연구하여 표 2와 같이 나타내었다.

Table 2.

Image and sound interaction effect by recognizing hand motion

립 모션은 양손 모든 관절을 인식하여 동작과 위치를 데이터화하는 것을 바탕으로 관객이 영상을 잡는 동작을 하면 영상도 가운데로 모이면서 사운드도 강하게 표현되고, 두 개의 손가락을 이용하여 영상을 비트는 동작을 취하면 영상도 비틀어지며 두 손가락의 비틀어지는 각도에 따라 사운드가 변화하며 손의 좌우상하 이동에 따라 영상의 위치도 따라 움직이게 되는 등 손동작과 손의 위치에 따라 영상과 사운드가 직관적으로 나타나도록 하였다. 그림 10은 완성된 작품의 테스트를 진행한 것으로 다양한 손동작에 의해 영상과 사운드가 제어되는 것을 보여준다.

Fig. 10.

Interaction test of works

Ⅳ. 결론 및 향후계획

멀티미디어 콘텐츠들은 기술의 발전과 더불어 다양한 방법으로 함께 성장하고 있으며, VR, AR과 같은 기술의 융합으로 새로운 콘텐츠들을 만들어 내고 있다. 홀로그램도 영상 기술 분야의 새로운 기술요소로서 현실과 가상세계의 융합을 목적으로 많은 연구가 진행되고 있다. 본 연구는 실시간 인터랙션 멀티미디어 콘텐츠에 플로팅 홀로그램 방식을 접목하여 표현함에 있어 다양한 표현방법을 얻기 위하여 진행되었으며, 몇 가지 결과를 얻을 수 있었다.

첫 번째, 플로팅 홀로그램 방식을 활용한 실시간 인터랙션 멀티미디어 콘텐츠는 조도가 낮은 상황에서 영상의 표현 효과가 높아 적외선 감지 기능을 가진 모션 센서를 활용하여 관객 동작의 실시간 데이터를 받았을 때 효과적이었다. 하지만 요즘엔 다양한 모션 인식 센서들이 개발되고 새로운 기술들이 발전함에 따라 콘텐츠와의 융합을 연구하여 콘텐츠에 적용함으로써 작품의 다양화에 기여하여야 한다.

두 번째, 홀로그램을 활용한 인터랙티브 요소의 중요성은 기술적 요소만이 아니라 관객의 반응에 따라 영상과 사운드가 얼마나 직관적인 표현을 하는가에 대한 것이다. 관객은 자신의 행동과 영상, 사운드가 서로 직관성을 가질 때 작품을 더 잘 이해할 수 있었다. 앞으로 관객의 실시간 반응에 대한 기술과의 상호작용 간의 직관성에 대해 연구하여 가상현실과 현실의 혼합 리얼리티를 표현하여야 할 것이다.

실시간 인터랙션 멀티미디어 콘텐츠는 기술의 발전에 따라 새로운 기술과의 융합이 중요 요소가 되었으며, 관객의 참여가 늘어남에 따라 관객과 기술의 상호작용에 의한 콘텐츠 기술의 발전과 가상현실을 현실로 받아들일 수 있도록 표현하는 직관성에 대한 연구가 이루어져야 할 것이다.

References

• Perry R. Cook, “Music, Cognition, And Computerized Sound, Psychoacoustics”, p21-35, (1999).
• Chang-Bum Son, “Study on Image Representation in Floating Hologram”, illustration forum, 52, p77-87, Sep), (2017.
• Jung-Hee Lim, Jean-Hun Chung, “A study on the Expressional Characteristics and Elements of Contents Using Hologram”, Journal of Digital Convergence, 15(4), p405-411, Apr), (2017. [https://doi.org/10.14400/JDC.2017.15.4.405]
• Sanghyun Hwang, “A Study on the Visual Image Expression of Hologram Considering the Existing Condition”, Master dissertation, Pusan National University, Pusan, Aug), (2017.
• Jun-Hwan Choi, “Interactive multimedia producing study based on recognition of dance gestures”, Master dissertation, Graduate School of Digital Image and Contents Dongguk University, Seoul, Feb), (2014.
• Paiva, Rui C., Ferreira, Milton S., Mendes, Ana G., Eusébio, Augusto M. J., “Interactive and Multimedia Contents Associated with a System for Computer-Aided Assessment”, Journal of educational computing research, 52(2), p224-256, (2015).
• Ju-Young Ha, Yang-Kyu Lim, Jin-Wan Park, “Study of interactive Art Work for Audience Participation – Based on ‘Touch’”, Journal of korean Society of Media & Arts, 14(5), p37-52, Oct), (2016.
• Kyoo-Jin Oh, Soon-kak Kwon, “Real time Implementation of Character Movement by Floating Hologram based on Depth Video”, The Journal of multimedia information system, 4(4), p289-294, Dec), (2017.
• Juyoung Nam, “A Study on using Leap motion and Motion Detection for interactive media projects”, Master dissertation, Graduate School of Digital Image and Contents Dongguk University, Seoul, Feb), (2014.
• Cai, X. O., Lai, X. J., “Study on the theoretical limit of information content of display hologram”, Optik-Stuttgart, 123(24), p2260-2263, (2012). [https://doi.org/10.1016/j.ijleo.2011.10.033]
• Iwaze, Y., Sakamoto, K., “Virtual revolving lantern: kaleidoscopic floating images by interactive tabletop hologram”, Progress in Biomedical Optics and Imaging, 6391(-), p63910, (2006).
• Nakatsu, R., “Contents Creation for Interactive Media”, Lecture Notes in Computer Science, 1554, p397-405, (1998).
• Martin Ritter, Alyssa Aska, “Leap motion as expressive gestural interface”, Proceedings of the international computer music conference, 2014(1), p659-662, (2014).
• Valentini, P. P., Pezzuti, E., “Accuracy in fingertip tracking using Leap Motion Controller for interactive virtual applications”, International journal on interactive design and manufacturing, 11(3), p641-650, (2017).