저속촬영 기반의 초고화질 다면 영상 구현

2-1 저속촬영의 개요

저속촬영은 1897년 조르쥬 멜리어스에 의해 영화 발전 초기부터 존재하였으며, 타임랩스(Time lapse)라고 불리기도 한다. 그 어원을 살펴보면 시간(Time)과 일정 시간의 경과(lapse) 의미를 조합한 용어로 ‘시간의 경과’로 해석할 수 있다. 카메라를 고정해 연출자가 의도한 시간 간격을 두고 장시간 피사체를 프레임 촬영하고, 후 보정 작업을 통해 얻은 독특한 영상을 말한다. 과거, 과학 다큐멘터리에서 사용되었던 저속촬영은 다양한 영상 콘텐츠에서 짧고 강렬한 시각 효과가 필요한 곳에 사용되었으며 이러한 기법은 하나의 특수 촬영 영역으로 일반 대중들이 쉽게 접근하기 힘든 영상이었으나, 2010년을 전후해 디지털카메라가 대중화되면서 저속촬영을 쉽게 구현할 수 있게 되었다.

촬영 시 표준 속도(1초당 24프레임 촬영) 이하로 촬영되는 저속촬영의 기술적 원리는 초당 24프레임 속도로 이미지를 기록하며 매초 24장의 이미지가 화면에 나타난다. 투사 속도와 녹화 속도가 동일하면 화면 이미지는 일반 속도의 영상으로 보인다. 카메라가 더 느린 속도로 촬영하도록 설정된 경우에도 초당 24프레임의 속도로 화면에 투사하면 화면상의 이미지가 더 빨리 움직이는 것처럼 보인다[3].

저속촬영기법은 영화, 광고, 드라마, 다큐멘터리, 기획 영상 등에서 폭넓게 사용되고 있으며 DSLR 카메라의 고화소를 바탕으로 4K 이상의 UHD급 타임랩스 영상을 만들 수 있어 최근 다양한 장르에서 사용되고 있다. 새로 출시되는 디지털카메라 대부분은 저속촬영 기능이 기본 탑재되어 있어 제작과정 측면에서 예전과는 비교할 수 없을 만큼 다루기가 쉬워져 사진을 좋아하는 일반인들도 쉽게 접근할 수 있다. 더불어 Adobe Photoshop, Lightroom 등을 이용하여 후 보정 프로세스가 가능하며 디지털 미디어적 접근도 가능하게 되었다.

2-2 다면 영상의 기원

1950년대 다면영상 시스템 ‘시네라마’는 영화 산업이 텔레비전과의 경쟁에서 개발 되었다. 컬러필름의 등장처럼 영화 화면의 와이드와 대형화는 역시 TV 때문에 발생한 것이다. 그 당시 TV에게 시청자를 빼앗긴 영화계는 시청자들을 극장으로 끌어들일 새로운 영화 기술이 필요했었다. 미국은 1952년 극장을 가야할 새로운 이유를 발표했다. 프레드 월러(Fred Waller)에 의해 TV에서 재현 불가능한 시네라마 시스템이 탄생되었다. 프레드 월러(Fred Waller)는 1938년 11개의 다중 카메라 시스템을 만들었고, 2차 세계대전 때에는 사격 훈련을 위해 5개 카메라로 구성된 시스템으로 개조한 후, 1952년 3대의 카메라를 세로로 촬영하여 촬영된 영상을 옆으로 3면 배치해 “This is CINERAMA.”라는 기획영화를 만들었다. 이 영화에 응용된 시네라마 시스템은 3대의 카메라를 이용하여 48도 각도로 나란히 촬영되어 인간의 눈으로 볼 수 있는 시야의 폭과 유사한 55~146도의 영상으로 상영되어 2.59:1의 화면비율인 와이드 영상을 구현한 것이다. 크게 굽은 화면은 수천 개의 슬레이트 셀룰로이드로 되어 있어 빛을 골고루 분산 시킬 수 있었고 필름을 돌리기 위해 3대의 대형 영사기가 설치되었다. 시네라마는 특수 장비를 갖춘 200개의 극장에서 14년간 상영되었으나 복잡한 시네라마 시스템은 제작과정이 실용적이지 못해 할리우드에 큰 주목을 받지 못했다. 그 후 시네라마는 70mm 필름으로 대처 되면서 역사의 뒤안길로 사라졌다[4].

Fig. 1.

cinerama system filming device and scene

시네라마가 시도한 것처럼 3대의 디지털 시네마 카메라와 상영관 중앙 전면 스크린, 좌우 벽면을 스크린으로 활용한 다면 영상 시스템이 CJ CGV와 한국과학기술원(KAIST)에서 공동 개발되어 2013년에 상용화 되었다. 이 시스템은 영화 제작을 위한 연출의 한계는 있지만, 제작과정이 일반 영화 제작과 유사하여 스토리 전달이 가능한 장점을 가지고 있다[5].

또한, 2015년 시네라마와 비슷한 멀티스크린 비디오 형식의 Escape 시스템이 Barco NV에 의해 개발되어 2016년 7월까지 6개국에 24개의 영화관을 설치하였으나 애석하게 2018년 2월 Barco는 Barco Escape 사업 중단을 발표하였다[6]. 다면 영상 시스템은 시원한 개방감과 몰입 감을 제공하고 있으며 차세대 실감 영상의 하나로 자리매김할 것이라 기대된다.

Fig. 2.

Screen X filming device and screen

2-3 초고화질 영상 기술의 동향

초고화질 영상은 지상파 UHD 방송을 통해 점차 대중화되고 있다. UHD 방송은 2017년 2월을 시작으로 2021년까지 전국으로 서비스될 예정이며 기존 HD 방송은 2027년에 종료할 계획을 방송통신위원회에서 발표하였다[7]. UHDTV는 대화면에서 초고화질 비디오와 다채널 오디오로 사실감과 현장감을 제공하는 차세대 실감 영상 플랫폼으로 발전하고 있다.

4K/8K UHD는 현재의 HD보다 4~16배 선명한 초고화질과 10채널 이상의 서라운드 음향을 동시에 제공하는 차세대 실감 방송 서비스이다. 기존 HDTV의 30° 시야각이 80인치 이상의 초대형 8K UHDTV에서는 약 100° 정도가 되어, 화면 전체가 시청자의 시야각을 압도하여 현장감을 느낄 수 있어 자연스러운 실감 영상 시청 효과를 즐길 수 있다. 이러한 UHD 영상서비스에 대한 사용자의 요구가 높아지고 있는 상황에서 비디오 데이터의 특성상 고효율의 압축 기술은 필연적으로 필요하여 미래 비디오 표준화 및 초고효율 비디오 압축 기술에 관한 연구도 활발히 진행되고 있다[8]. UHD 영상에서 압축효율을 염두에 둔 코덱(CODEC)이 표준화되면서, 다양한 유사 기술 간의 통합화를 통해 유지보수의 편의성을 증대시킬 뿐만 아니라, 하드웨어와 소프트웨어를 통한 고화질 영상구현으로 시청할 때 체감할 수 있는 실감 효과가 더욱 향상되리라고 기대된다.

Table 1.

The main characteristics of the UHDTV

Fig. 3.

Wide screen screening system(Lotte Tower)

3-1 기술적 한계와 문제점

한 대의 고화질 디지털카메라로 가로 해상도가 11,520 픽셀을 커버해주는 고해상도 카메라를 사용하기는 쉽지가 않다. 간단하게 설명하면 가로 해상도 11,520 픽셀은 4K급 카메라 3대를 합한 가로 해상도이다. 다면 영상 제작을 위한 이러한 포맷의 단점을 장점으로 만들려면 3대의 카메라로 촬영하여 스티칭 작업을 통하여 어색하지 않은 부분을 붙여보며 절충점을 찾아 하나의 이미지로 만들어야 한다.

다면 영상의 기술적 문제점을 분석하면 과거 1950년대 시네라마가 가지고 있는 문제점이 현재에도 되풀이 되고 있는 부분이 있다. 시네라마 시스템과 Screen X에서 발생되는 가장 큰 문제점은 다면 영상 촬영을 위해 카메라 설치 구조상 그림4와 같이 각 카메라의 위치 값 설정을 동일하게 셋업 하는 것이 불가능하여 나타나는 시점 차이로 인해 그림5와 같이 화면과 화면 사이의 부정합 현상으로 피사체가 다르게 보이는 것이다[9]. 그나마 저속촬영에서는 이러한 문제점을 후반 작업 편집과정에서 어느 정도는 수정할 수 있지만, 일반 동영상 촬영에서는 매우 주의해야 할 부분이다.

Fig. 4.

Location and filming range of camera

Fig. 5.

Image distortion phenomenon occurring at the joint between screen and screen

3-2 저속촬영 기반의 초고화질 다면 영상 촬영

1952년에 등장한 시네라마 시스템을 위한 촬영장비의 무게는 360kg 이었으나 이번 실험을 위해 구성한 카메라는 그 당시에 비해 무척 경량화 되었다. 이번 실험을 위해 3대의 DSLR 카메라를 그림6과 같이 화각을 150~180도로 셋업 하여 타임랩스 기법을 이용해 촬영한다.

Fig. 6.

The configuration of the release of the camera and interval timer

실험에 사용되는 카메라는 같은 제조사의 똑같은 모델로 구성하며 렌즈 초점거리의 특성을 고려하여 왜곡 현상이 최소화된 초점거리 50mm로 셋업하고 화이트 밸런스, 노출, ISO, 셔터스피드 등 카메라 설정 값을 동일하게 구성한다. 이번 실험에 사용한 각각의 DSLR 카메라의 촬영 기록 화소 수는 2,200만 화소를 얻을 수 있게 5,760 가로 픽셀 x 3,840 세로 픽셀의 Large 파일로 설정하고 파일을 RAW 혹은 JPEG 포맷 형식을 택한다. RAW파일 포맷으로 촬영하면 넓은 Dynamic Range값을 가지고 있어 촬영 후, 후반 작업에서 색 보정을 통해 디테일한 이미지 보정이 가능하다. 디테일한 이미지 보정은 가능하지만 파일 용량이 커서 jpg파일 대비 메모리에 담을 수 있는 장면 수가 적다는 것이 단점이다. 메모리 용량이 충분하면 제시한 2가지 포맷을 동시에 추출할 수 있게 셋업 하여 촬영하는 것을 권장한다. 또한, 3대의 카메라로 촬영을 하였어도 한 화면에서 하나의 이미지 영상으로 보이게 큼 스티칭 작업의 최적화 방법과 저속촬영 시 3대의 카메라 동기화 방안을 찾아야 한다.

저속촬영을 위해서 인터벌 타이머 릴리즈를 이용하게 되는데 그림6과 같이 한 대의 인터벌 타이머 릴리즈를 통해서 3대로 동시에 신호를 보낼 수 있는 장치로 개조해서 타임랩스 시간에 대한 촬영 횟수와 간격조절을 콘텐츠와 운영자의 의도에 맞게 인터벌 타이머 릴리즈 값을 설정한다. 화면상의 이미지 속도 변화는 다음과 같이 투사 속도를 카메라 속도로 나누어 시간 경과 장면을 연출한다[10].

장면의 구도는 가급적 클로즈업보다는 전경 장면 위주로 구성하여 촬영한다. 클로즈업 화면 사이즈로 촬영할 때는 스티칭 작업에 무리가 없게 화면의 구도를 잘 파악하여 촬영해야 하는데 이러한 구도 구성은 아무래도 많은 데이터를 통한 경험에서 나온다고 볼 수 있다. 3대의 카메라로 촬영된 이미지는 하나의 화면에서 상영될 수 있게 최종 영상 이미지는 큰 이미지로 제작해야 하는데 그림7과 같이 A Cam은 화면 오른쪽 부분 약 1,000~1,400픽셀 정도를 B Cam으로 촬영 된 왼쪽 부분과 겹치게 촬영하고, C Cam의 왼쪽 부분도 약 1,000~1,400픽셀 정도로 B Cam으로 촬영된 오른쪽 부분과 겹치게 촬영하여 후반 작업 스티칭 작업 시 화면과 화면 사이의 접합 부분의 정합 과정을 고려하여 최상의 영상을 얻을 수 있게 촬영한다. 기본적인 설정 값이 마무리되면 카메라 배터리와 메모리 카드 용량이 충분한지 점검하고 주위의 장애적인 요소가 될 만한 부분을 최소화한 후 촬영 한다.

Fig. 7.

Shooting range of 3 cameras

3-3 다면 영상구현을 위한 스티칭 작업

철저한 촬영 준비와 테스트를 진행 하여도 촬영 환경과 방법, 화면 구도, 연출, 캐릭터 형태 등의 여건으로 원하는 촬영 결과물을 얻기는 쉽지 않다. 그렇다고 무조건 만족스러운 결과물이 나올 때까지 재촬영하면 제작 예산 및 다양한 제작환경에 많은 무리가 따르게 된다. 또한, 같은 제조사의 같은 모델의 카메라와 렌즈를 사용하더라도 미세한 초점거리 차이가 발생하며 카메라 설치 구조상 발생하는 화면과 화면 사이의 부정합 현상, 미세한 기울기, 원근감, 거리감 등이 발생하게 된다. 고가의 장비를 사용하게 되면 이러한 현상을 최소화할 수는 있지만 촬영 수단만을 가지고 완전히 해결하기는 어렵다.

3대의 카메라로 촬영된 타임랩스 영상은 화면 종횡비가 5.3:1의 고화질 와이드 영상으로 상영할 수 있게 후반 작업에서 정합 보정 과정을 통해 다면 영상을 구성해야 한다. 저속촬영 기반으로 촬영된 이미지는 동영상 제작에 사용되는 다양한 소프트웨어를 이용하여 그림 8과 같이 화면을 병렬로 구성한 후 스티칭 작업으로 다면 영상을 구현해야 한다. 촬영된 3개의 타임랩스 영상의 다면영상 제작 방법은 다음과 같다.

Fig. 8.

Filming scene before matching correction

디지털 후반작업을 위한 저작 도구의 발전은 초고화질 다면영상 구현을 보다 쉽게 제작 할 수 있다. 이번 실험에 사용된 후반 작업 프로그램은 Adobe After Effects와 Adobe Premier Pro CC를 이용하여 촬영 영상의 스티칭 작업과 영상을 편집한다. 3개의 화면을 하나의 화면으로 만들기 위해 스티칭 작업은 필수적이고 이 작업은 Adobe After Effects을 이용한다.

Composition Settings 값은 그림 9와 같이 화면 해상도를 11,520 x 2,160 Pixels, Frame Rate는 24 frames per second, Pixel Aspect Ratio는 Square Pixels로 세트 업하고 촬영장면의 길이에 맞추어 프로젝트 duration을 설정한다. 이러한 설정은 촬영에 사용한 값을 토대로 한다.

Fig. 9.

Composition Settings using Adobe After Effects

촬영된 데이터는 낱장 이미지들로 구성되어 있으며 이러한 사진 이미지들을 Sequence 형식으로 프로젝트로 불러들여야 동영상 파일이 된다. 촬영 포맷에 따라 RAW Sequence나 JPEG Sequence로 파일을 불러 온다. 불러온 3개의 촬영 데이터를 좌측, 가운데, 우측 순으로 나란히 배열하면 각 화면과 화면 사이에 중복된 이미지가 있다. 이러한 중복 이미지는 촬영 시 스티칭 작업을 위해 의도적으로 겹치게 촬영한 부분이다. 이미지의 중복된 부분을 영상 상황에 맞게 스티칭 작업을 하는데, 세 면을 스티칭 할 때 어색하지 않은 부분을 붙여보며 최적화된 정합부분을 찾아 작업을 한다. 영상 클립의 transform의 position, rotation, scale을 이용하여 화면을 구성하고 다음 작업으로 마스크를 이용해 필요 없는 부분을 crop하고 정합 범위를 구성한 후 mask feather값을 이용한 블렌딩 과정을 통해 최적화된 스티칭 작업을 한다. 이러한 과정으로도 정합보정이 되지 않으면 mersh warp, Bezier warp와 같은 Distort 계열의 플러그인을 사용하여 세밀한 스티칭 작업을 진행한다. 완성된 결과물에 Text Animation, visual effects, color collection 등의 작업을 추가하면 그림10과 같은 결과물을 얻을 수 있다[11].

Fig. 10.

Match-corrected Images

3-4 3면 영상 콘텐츠 편집 및 상영 과정

Adobe After Effects을 이용한 스티칭 작업으로 그림 10과 같이 픽셀 해상도가 11,520 x 2,160 pixels인 렌더링 파일을 얻었다. Non Linear Editing System에서 편집하기 위해서는 완성된 파일과 동일한 화면 사이즈로 프로젝트를 셋업한 후 편집 작업을 진행해야 한다.

영상편집 과정은 일반 영상 콘텐츠 편집과 동일한 방법으로 진행되나, 현재 5.3:1의 화면종횡비를 하나의 프로젝트로 상영할 수 있는 고해상도의 상영시스템은 없기 때문에 추출된 고해상도의 영상을 화면 열화 없이 상영하기 위해서는 완성된 편집 데이터를 3개의 파일로 분할 렌더링 하여 3개의 영상을 추출해서 상영해야 한다. 이러한 상영방법은 과거 시네라마시스템과 현재 상용화된 Screen X와 같은 시스템에서도 유사한 방법으로 사용되고 있다.

분할 렌더링을 위해 Non Linear Editing System에서 그림 11과 같이 4K로 셋업 된 3개의 Sequence를 만든다. 각각의 Sequence의 화면사이즈는 3,840 x 2,160 픽셀로 설정하고 완성된 파일을 좌측, 정면, 우측으로 위치시킨 후 H.265 코덱으로 렌더링을 진행하여 그림 12와 같이 4K급 파일 3본을 얻는다. 렌더링 포맷은 HEVC (high efficiency video coding)로 진행되는데 H.264/MPEG-4 AVC 대비 동일 주관적 화질에서 50%의 압축률 향상을 제공할 수 있도록 설계 되었으며 멀티프로세서 기술을 최대로 활용할 수 있게 병렬 화를 고려하여 설계되었다.

Fig. 11.

Projects Sequence Settings using Non Linear Editing

Fig. 12.

Divided rendering file for 3 sides organization

대부분의 다면 영상 상영 시스템의 구성은 3대의 스크린에 미디어 서버를 병렬로 연결하여 싱크서버에서 제어하여 상영된다. Screen X Solution (System of generating images for multi-surface display), 멀티스크린 솔루션인 Dataton Watchout, Immersive Display Pro 등 각 회사마다 기술적인 차이는 있지만 기본적인 시스템 구성은 유사하다[12][13].

이번 실험에서는 H.265 환경을 지원하는 UHD급 플레이어를 이용하여 실감영상을 재생하기 위해 그림13과 같이 3대의 영상서버와 UHDTV, 1대의 싱크 서버로 구성을 한다. 제작된 4K 사이즈 영상은 각각의 영상서버에 탑재하여 H.265인코더를 통해 동시에 재생한다. 이때 각 영상서버의 H.265인코더는 싱크 서버를 통해 동시 재생을 수행할 수 있다[14].

Fig. 13.

Hardware organization for 3 side image screening