Korea Digital Contents Society
[ Article ]
Journal of Digital Contents Society - Vol. 21, No. 1, pp.89-97
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 31 Jan 2020
Received 19 Nov 2019 Revised 31 Dec 2019 Accepted 23 Jan 2020
DOI: https://doi.org/10.9728/dcs.2020.21.1.89

HEVC REC.2020 기반 VR 360 HDR 마스터 제작 작업흐름

김철현
나사렛대학교 방송·영상콘텐츠학과 조교수
VR 360 HDR master production workflow based on HEVC REC.2020
Chul-Hyun Kim
Assistant Professor, Department of Broadcast and Image Content, Korea Nazarene University, Cheonan-si, 31172, Korea

Correspondence to: *Chul Hyun Kim Tel: +82-41-570-1876 E-mail: acts@kornu.ac.kr

Copyright ⓒ 2020 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

본 논문은 HEVC 코덱을 기반으로 REC.2020 색역을 가지는 HDR 실사 VR 콘텐츠의 마스터 제작을 위한 작업흐름을 제안한다. HDR 블루레이 콘텐츠는 헐리우드 디지털 시네마를 중심으로 소비자에게 사랑받고 있고, HDR TV와 모니터도 많이 보급되었다. 최근 HDR을 지원하는 스마트폰이 출시됐으며 HDR을 지원하는 VR 전용 패널도 발표되었다. 하지만 아직 실사 VR 영상은 HDR 마스터링이 어렵다. 우선 VR 촬영장치가 이를 지원하지 않기 때문에 그 후의 작업이 힘들다. 본 논문에서는 원규격 촬영을 이용해 16bit HDR 영상을 획득하고 이를 가공해 HEVC 코덱과 REC.2020 색역을 이용하는 마스터 포맷을 제작하는 제작흐름을 설명하고 있다. 원규격을 지원하는 카메라를 이용해 실험적으로 촬영과 편집을 실시해 시네마급의 후반작업에 더 적합하다는 것을 입증하였다. 시네마급 후반작업은 HDR로 색역을 확장할 수 있었다. 실험적으로 제작한 VR 영상은 기존 SDR 영상보다 명부와 암부에서 개선을 보였다.

Abstract

This paper is to describe a workflow of HDR actual image VR content with REC.2020 color space based on HEVC codec. Hollywood digital cinema centered HDR Blu-ray content and HDR TV monitors are popular among many consumers. Recently, a smartphone supporting HDR was released and HDR supporting panel for VR device was announced as well. However, it is still difficult to master HDR in VR actual image because VR shooting camera does not support HDR, making post work complicated. According to the experiment conducted recently, an image showed better improvement in bright and dark area than SDR through the method of 16-bit HDR image using raw format shooting and processing raw format into a master format using HEVC codec with REC.2020 color space. The experiment shooting and ediging proved that a raw format support camera is more suitable for cinema type post-production. A cinema type post-production colud extended to HDR color gammut. The experimentally produced VR video showed better improvement in bright and dark area than SDR.

Keywords:

VR, HDR, raw-format, 360 shooting, workflow

키워드:

가상현실, 하이다이나믹레인지, 원규격, 360 촬영, 작업흐름

Ⅰ. 서 론

미국 라스베가스에서 매해 연초에 개최하는 세계 최대 가전 전시회 'International CES 2015'에서 소니, 파나소닉, LG 등 기업이 키워드로 HDR(high dynamic range)기술을 제시했다[1]. 이후 HDR 관련 시장은 TV수상기, 컴퓨터 모니터 그리고 콘텐츠까지 여러 분야에서 크게 성장하였다. 2019년말 HEVC(high efficiency video coding) 기반 HDR 지원 블루레이 타이틀은 천개 이상이며 국내에서 구입 가능한 HDR TV수상기도 70여종이 넘는다. 이들 수상기는 HDR10, 돌비비전, HLG(hybrid log-gamma) 그리고 테크니컬러 인증을 모두 받은 제품 기준이며 이중에 하나 이상의 인증 혹은 HDR 패널만으로 지원하는 제품은 800종 이상 된다.

이같은 HDR 시장의 급성장에는 이를 지원하는 콘텐츠가 있기 때문이다. 이 콘텐츠는 대부분 헐리우드 영화이다. 2005년 헐리우드 주요 6개 영화사가 결성한 벤처회사 DCI(Digital Cinema Initiatives)가 디지털시네마 규격1.0(DCI Specification V1.0)을 발표하면서 XYZ 채널당 12bit를 표준으로 결정하였다. 이후 제작된 DCP(digital cinema package)는 채널당 12bit의 MXF(material exchange format)로 제작되어 지금의 HDR 콘텐츠로 쉽게 변형할 수 있다 [2].

최근 급성장한 또 다른 콘텐츠는 가상현실 콘텐츠이다. 가상현실이란 현실과 비슷하지만 현실이 아닌, 프로그램 내의 특정 환경이나 상황을 의미한다[3]. 실제 유통 되는 콘텐츠는 실사 획득 콘텐츠가 대부분이며 유튜브에서 VR 콘텐츠를 배급하는 가상현실 채널의 가입자는 300만명이 넘는다. 2014년 구글이 카드보드를 발표해, 스마트폰만 있으면 누구나 손쉽게 360 재생장치를 구현 가능하도록 지원하면서부터 촉발되었다. 구글 카드보드는 별도의 비용없이 상업용, 비상업용 모두 사용가능하다. 이를 바탕으로 여러 가지 스마트폰에 대응하는 다양한 HMD가 저렴한 가격에 출시되었다. 이같은 HMD(head mounted display)의 보편화와 더불어 유튜브에 많은 콘텐츠가 배급되면서 대중화에 성공하였다. 이후 다양한 교육용 앱과 게임이 나오면서 사용자 층을 점차 넓혀가고 있다. 조사기관별로 상이하지만 시장분석기관 IDC는 VR, AR 관련 시장 전 세계 매출액이 2017년 87억 달러에서 2022년 1,223억 달러로 증가할 것으로 예측하였다[4].

오늘날 VR 재생장치는 카드보드처럼 스마트폰에 종속되지 않는 별도의 독립 재생장치 방식과 PC에 연결해 사용하는 고급 장치 방식으로 양분되어 발전하고 있다. 현재 PC 기반 고급 장치는 HTC사와 오큘러스(Oculus)사가 선도적이다. 고급 장치는 360 재생은 기본으로 6DoF(six degrees of freedom)를 지원하며 룸스케일에 대응하는 양방향 반응형 조정기를 지원한다. 이 장치들은 사용자가 직접 가상현실 공간을 걷거나 뛰면서 게임을 즐길 수 있다[5]. 2017년 7월 세계 최초 VR 테마파크로 세워진 일본 동경 신주쿠의 VR Zone은 모두 HTC사의 Vive와 전용 트래커를 이용해 구축되었다. 그림 1에 VR Zone에서 HTC Vive를 활용한 시설이 보인다.

Fig. 1.

Thema park VR Zone at Tokyo Shinjuku

현재 실사 VR 콘텐츠 촬영에서 리그를 활용할 경우 액션캠을 주로 사용한다. 일부 디지털 카메라를 사용하는 경우도 있으나 대부분은 액션캠이다. 최근에는 일체형 VR 카메라가 양산되면서 액션캠보다 일체형 카메라 촬영을 더 선호한다. 그러나 아직 일체형 카메라와 액션캠에서 HDR 영상 획득이 어렵고 HMD가 HDR을 지원하지 않아 HDR VR 콘텐츠 제작은 일반화되지 못했다. 이에 본 논문은 실사 촬영 VR 콘텐츠의 HDR 마스터링을 구현하고 영상제작자를 위한 효율적인 제작흐름(workflow)을 제안하고자 한다. UHD 영상 표준 부호화 포맷인 HEVC와 REC.2020 색역으로 마스터링되는 콘텐츠 제작 흐름을 찾고, 이 제작흐름이 기존 실사 VR 콘텐츠 제작보다 더 많은 색상정보를 제공해 향상된 콘텐츠 감상을 제공하는 것을 입증하고자 한다.

이를 입증하기 위해 실험적으로 6.5mm 화각 렌즈로 HDR을 지원하는 원규격(raw format)으로 촬영하고 스티칭 작업을 실시하였다. 6.5mm 렌즈는 190도까지 영상을 획득할 수 있으며 이를 가공하면 180도 VR 콘텐츠 마스터링이 가능하다. 스티칭 실시한 이미지는 색보정 프로그램에서 HDR 색역으로 확장한 뒤 HEVC 10bit HDR과 H.264 8bit SDR로 마스터링후 비교하였다. 비교 결과 HDR 모니터가 아닌 일반 SDR 모니터에서도 HDR 마스터링의 영상 정보가 다소 우위에 이었다. 이를 바탕으로 촬영-편집- 마스터링에 이르는 전체적인 작업흐름을 제안하였다. 작업흐름은 영상제작에서 기술적 검증을 위해 반드시 필요한 영역이다.

논문의 각 장은 다음과 같다. 2장에서는 기존 VR 콘텐츠 제작 기술과 HMD의 현황을 제시하고 3장에서 전통적인 HDR 촬영 기술과 제작 방법 등을 고찰하고 있다. 4장에서 VR 콘텐츠 가공에서 HDR 색역을 유지해 최종적으로 표준 포맷인 HEVC 코덱 기반으로 REC.2020 색역을 갖는 VR콘텐츠를 제작했다. 제작한 콘텐츠는 HDR을 지원하는 재생장치에서 ST 2084 LUT(look-up table) 적용시 기존 방법보다 우월한 색재현력을 보였으며 SDR 모니터에서도 우위를보였다. 5장 결론에서는 제작한 콘텐츠를 바탕으로 효율적이고 필수적인 작업흐름을 제안하고 있다.


Ⅱ. 기존 VR 콘텐츠 제작 상영 기술

2장에서는 기존 VR 콘텐츠 제작에서 주로 사용되는 방법을 소개하고 있다. 먼저 콘텐츠 제작에서 중요한 촬영장치에 대해 알아보고 이어서 HMD에 대해 제시하고 있다. 아직 HMD중 HDR을 지원하는 제품은 없지만 최근 스마트폰의 출시 경향 등을 고려할 때 고가의 고급형 HMD 제품에서는 곧 HDR 기능이 탑재될 것으로 예측된다.

2-1 일체형 촬영장치

현재 가장 활발하게 사용되는 콘텐츠 획득 장치는 일체형 VR 카메라이다. 일체형 VR 카메라는 저가형 제품까지 100종 이상 있는 것으로 추정된다. 19년 7월 기준 아마존에서 판매중인 360 촬영 가능 카메라는 50종이 넘으며 최근 중국 저가 제품까지 포함하면 100 여종 이상의 일체형 카메라가 있을 것으로 추정된다. 대부분 저가 일체형 카메라는 2개의 렌즈를 앞뒤로 장착하고 있으며 스마트폰 앱을 통해 구동된다. 국내에는 삼성전자의 기어 360 카메라가 있으며, LG 역시 360 카메라를 출시했으나 지금은 단종되었다.

저가형 카메라는 카메라 조정, 스티칭 작업 등을 스마트폰 기반으로 실행해 저가로 소비자들에게 판매된다[6]. 삼성전자 기어 360의 경우 아마존에서 180달러부터 판매되고 있다. 대부분 저가형 카메라는 HD 혹은 UHD 동영상을 지원하지만 UHD의 경우 30FPS 이상을 제공하지 않는다. 360 영상의 특성을 고려할 때 30FPS는 낮은 수치이다. 또한 동영상에서 HDR 모드를 지원하지 않는 단점이 있다. 일부 카메라에서 정지 사진의 경우 어도비(Adobe)사의 DNG(digital negative) 포맷을 지원해 원규격 촬영을 지원한다. 액션캠의 대표 제품인 고프로(GoPro)사의 최신 모델 Hero8은 gpr이라는 원규격을 지원한다. 이 파일은 DNG형식을 기반으로 만들어졌다. 하지만 시네마급 카메라처럼 정확한 노출의 범위, LUT 등을 제공하지 않아 편집자 개인의 능력에 따라 작업물에 큰 차이가 생긴다.

이보다 더 심각한 문제는 불안한 결과물이다. 두 렌즈의 색상차가 나타나기도 하며 일정한 영역에서는 불안한 스티칭 결과를 보인다[6]. 그림 2에 일체형 카메라로 획득한 영상의 오류가 보인다.

Fig. 2.

Stitching error image shooted by intergrated VR camera

이에 비해 고가의 전문가용 카메라는 UHD 이상의 해상도와 60FPS 이상을 지원한다. 중국 남경대학 출신들이 창립한 인스타360(Insta360)사의 가장 상위모델인 Insta360 Titan은 비디오 모드에서 최대 11K 단안, 10K 양안까지 지원한다. 마이크로포서드(micro four thirds, MFT) 센서 8개에 200도를 지원하는 어안렌즈 8개를 탑재하고 있으며 공식 가격은 17,180달러이다. 이 카메라들은 고화질 VR 콘텐츠를 요구하는 촬영 현장에서 카메라 보정(calibration)없이 즉각적으로 사용할 수 있다. 단점은 영상제작 전문가 집단, 특히 촬영 감독에게 일체형 카메라는 기존 영상 연출에서 중요하게 생각하는 세밀한 노출 조절을 할 수 없다는 점이다[7]. 로그값을 가지는 원규격은 일부 모드에서 지원하지만 정확한 규격을 제공하지 않는다.

2-2 두 대 이상 카메라를 이용한 촬영

이 방법은 VR 영상 콘텐츠 초창기부터 활용된 방법이다. 리그를 이용해 여러 대의 액션캠을 연결 촬영하는 방식으로 단안식 360 콘텐츠의 경우 5~8대 정도 운영하고 양안식의 경우 최소 12대 이상 연결한다. 초창기 이 방식은 영상 제작자들에게 크게 인기가 있었다. 전용 리그는 수십만원에서 수백만원까지 판매되었다[8]. VR 실사 콘텐츠 제작 초기 다른 대안 없이 이런 장비를 도입할 수 밖에 없었다. 이후 3D 프린팅 기술의 보급, 저가형 리그 개발 그리고 일체형 카메라가 양산되면서 리그 가격은 폭락하였다. 그림 3에 3D 프린팅 기술을 이용해 제작된 리그와 VR전용 촬영 렌즈를 탑재한 액션캠이 보인다. 90도 각도로 두 대씩 8대의 카메를 이용해 360도 S3D를 획득할 수 있도록 제작되었다. 이 시스템은 국내 실사 VR 콘텐츠 제작사로 유명한 벤타VR에서 초창기에 개발한 리그이다.

Fig. 3.

Multi action cams with VR dedicated lens mounted on a 3D printed rig

리그와 액션캠은 초창기에 많이 사용되었으나 동기화 문제, 원규격 획득 제한의 문제 그리고 시네마급 화질 구현의 문제 등이 있다. 이런 이유로 현장에서 고비용이 들어도 시네마급 카메라를 이용해 싱크 문제를 해결하고 원규격을 획득하려는 다양한 시도가 있어왔다. 이들 시네마급 촬영 장비는 200도 이상을 획득할 수 있는 VR 전용 렌즈와 동기화 장치(sync generator)로 연결해 액션캠이 가지는 문제를 해결하였다. 그림 4에 레드(RED)사의 시네마급 카메라를 이용해 180도 입체 VR을 촬영하는 장면이 보인다. 이들 촬영 장치는 원규격 획득이 가능하며 이를 바탕으로 HDR 작업이 가능하다.

Fig. 4.

180 degree S3D VR shooting with RED cinema camera

2-3 기존 HMD 장치

소비자들이 저비용으로 접할 수 있는 HMD는 스마트폰과 구글 카드보드를 이용하는 방식이다. 이들 기기들은 가격면에서 강하지만 품질면에서 낮다. 삼성의 최신 기종은 3040 x 1440 해상도에 550PPI(pixels per inch)이므로 양안에 나누어 배치할 경우 1560 x 1440이 되어, PC 모니터와 비교했을 때 상대적으로 시각화에 사용 가능한 면적이 좁다[9]. 이런 한계를 극복하기 위해 삼성은 자사 제품에 최적화된 HMD인 삼성 기어 VR 시리즈를 스마트폰 버전과 같이 출시했다. 전용 플랫폼까지 구축해 다양한 콘텐츠도 제공한다. 하지만 삼성의 기어는 S9까지 출시되고 S10은 출시되지 않았다. 최신 기종인 갤럭시 S10은 스마트폰으로는 세계 최초로 HDR10+를 지원하며, DCI-P3 색역을 충족하는 제품이다. 향후 고급형 스마트폰들은 HDR 지원이 더욱 가속화될 것으로 예측된다.

PC 기반의 고급형 HMD로 유명한 HTC사의 바이브 초기 모델은 한쪽 눈당 1080 x 1200 해상도를 지원해 모기장 현상(screen door effect)이 발생했다. 최근 모델은 한쪽 눈당 1440 x 1600 해상도에 615PPI를 지원해 개선을 보였다. 재생장치로 AMOLED 3.5인치를 각각 탑해하고 있으나 HDR 지원은 발표하지 않았다. 오큘러스의 최신 기종 리프트S는 1280X1440으로 다소 떨어진다.

최근 HMD 재생 장치 기술이 큰 발전을 보였다. 지난 5월 대만의 디스플레이 회사 AUO는 HMD 전용 LCD를 발표했다. 개당 3456 × 3456 해상도, 1,688 PPI를 가진 이 장치는 미니 LED 백라이트를 이용해 최대 2,304 디밍 영역을 지원해 HDR 구현이 가능하다[10].

이상과 같이 살펴본 VR 촬영장치와 HMD장치에서 상용화된 HDR 콘텐츠 구현하기에는 아직 어려움이 있다. 하지만 SDR(standard dynamic range) 재생장치에서도 HDR 기반 후반작업 콘텐츠가 최종 상영에서 우월할 경우가 있으며 향후 HMD가 HDR로 진보할 것으로 예측한다면 실사 획득 기반 VR 콘텐츠도 HDR로 마스터링되어야 한다.

기존 콘텐츠 제작은 원규격 촬영까지 도입하고 있지만 아직 HDR 마스터링은 사례를 찾기 어렵다[7]. 이유는 앞서 소개한 것처럼 HMD에서 HDR이 지원되지 않으며 360 콘텐츠 플랫폼으로 가장 큰 유튜브에서 HDR 지원하지 않기 때문이다. 그러나 향후 HMD기술을 고려한다면 HDR 콘텐츠 제작은 요구된다. 다음 장에서 콘텐츠의 HDR 관련 기술과 전통적인 개념에 대해 살펴보고 HDR이 가능한 원규격 VR 콘텐츠 촬영에 제시하고 있다.


Ⅲ. 전통적인 HDR의 개념과 실사 촬영

3장은 전통적인 HDR 개념과 구현 원리, 오늘날 촬영 관련 기술 등을 정리하고 이를 바탕으로 VR 콘텐츠 촬영에 적합한 HDR 획득 방법을 제안하고 있다.

3-1 영화 필름에서 노출 스톱의 확장과 HDR 구현

인류 최초의 영상인 달리는 말은 16FPS로 임계융합주파수의 최저치를 기준으로 제작되었다[11]. 이후 영상 제작 기술은 발전을 거쳐 오늘날 VR 촬영까지 이르렀다. 이런 영상 촬영 기술의 발전에는 영화 촬영 기술이 선도적 역할을 했다. 전통적으로 영화는 사람의 시지각을 5스톱으로 구분하는 방식이며, 필름의 촬영과 현상에 있어서는 안젤 아담스(Ansel Easton Adams)가 1930년대 고안한 존시스템(zone system)을 사용하고 있다. 이 개념은 필름의 노출이 사람의 시지각 노출을 따라갈 수 없으므로 촬영 구간을 영상의 정보가 없는 순수 흑색(pure black)인 0에서 순수 백색(pure white)인 10으로 모두 11단계로 나누는 방식이다[12].

이중 흑색과 백색에 가까운 명부와 암부에서 필름의 노출 특성을 압축하는 방식을 이용해 전체적인 노출 영역을 확장한다. 필름은 촬영과 현상이라는 2단계법을 사용함으로 후반에 색보정(color timming) 작업이 필수적이다. 촬영 단계에서 더 많은 영상의 정보를 획득하고 후반 작업에서 기본 색보정을 통해 명부와 암부를 확장하는 방식으로 HDR을 구현하였다. 그림 5에 영화용 코닥 5218 컬러 필름의 특성 곡선이 보인다. 이 곡선은 적색, 녹색, 청색의 노출에 따른 농도 변화를 나타낸다. 필름의 특성 곡선은 최소농도(D-min), 토우(toe), 직선영역(straight-line portion), 숄더(shoulder) 그리고 최대농도(D-max) 5개 영역으로 이루어져 있다. 토우, 숄더 영역은 직선영역에 비해 완만한 곡선으로 명암을 기록한다[13]. 이후 영화는 필름을 스캔하고 디지털 처리를 거친후 다시 필름 레코더로 저장하는 방식으로 발전하였다. 코닥에서는 이같은 작업의 표준적인 작업흐름을 위해 KODAK Digital LAD Test Image를 1990년부터 사용하였다. 이 영상도 명부와 암부가 압축된 형식을 사용한다.

Fig. 5.

Characteristic curves of KODAK 5218 color film

디지털 시네마 촬영에 선도적 역할을 한 레드(RED)사의 원규격도 명부와 암부를 압축하는 전통적 영화 촬영 방식을 그대로 사용하였다. 일반적인 비디오가 촬영과 송출이 1단계 방식이라면, 영화는 항상 촬영과 현상이라는 2단계를 사용했고 시네마 카메라를 표방하는 레드사는 이런 방식을 그대로 사용하였다. 비선형편집(non-linear editing, NLE)에서 사용가능한 여러 가지 편리한 정보를 제공했으며 가격면에서 경쟁사 제품보다 우세하였다. 그림 6에 레드사의 레드원 카메라로 촬영된 HDR 원규격 영상(위)과 LUT와 화이트발란스를 적용한 영상(아래)이 보인다. 원규격 영상은 전체적으로 대비가 없는 영상으로 시각적으로 불쾌하다. 그러나 이는 명부와 암부에서 더 많은 정보를 획득하고 가공하여 관객에게 제공하기 위한 것이다.

Fig. 6.

RED raw format & LUT applied image (top) RED raw format R3D (bottom) After LUT applied and white balance adjusted

디지털 시네마 시대에도 전통적인 명부와 암부의 압축을 사용하는 것은 필수적으로 색보정을 거치는 2단계 제작이 표준적으로 자리를 잡았기 때문이다. 최근 제작 동향은 영화뿐만 아니라 국내 드라마도 대부분 색보정 단계를 거치고 있다. 이같은 제작 흐름은 소비자 중심의 8bit 기반 영상 포맷으로 대응하기 어렵다. 하지만 고가의 고급 DSLR부터 시네마 카메라까지 자사의 로그값을 가지는 원규격을 지원해 전통적인 HDR 제작 방법을 구현할 수 있다. 그림 7에 소니카메라의 원규격인 S-Log의 특성 곡선이 보인다. 같은 10bit 처리값으로 Rec.709는 18% 그레이카드 기준으로 2.5 스톱 정도의 기록이 가능한 반면 S-Log3는 7스톱을 넘는 기록이 가능하다. 물론 이는 이론적 수치로 실제 촬영 현장에서는 조명 여건에 따라 이보다 낮은 노출을 보인다.

Fig. 7.

Sony Raw format S-Log 3 characteristic curve compare with Rec.709

3-2 HDR을 지원하는 VR 원규격 촬영

앞절에서 살펴본 것 처럼 HDR 촬영을 위해서 HDR을 지원하는 원규격 포맷 촬영이 필수이다. 실험적으로 소니 A7s과 메이케(Meike)사의 MK6.5mm F2.0 렌즈를 사용하였다. 이 렌즈는 카메라 촬상장치에 착란원 전체를 획득할 수 있어 180도 VR영상을 얻을 수 있다. 촬영 관련 정보를 표1에 제시하였다. 촬영시간대는 일몰 직후로 하늘의 변화가 심해 기존 SDR 영상은 취약한 환경이다. 그림 8에 190도로 획득한 영상이 보인다. 원규격 촬영은 색온도, 노출 등 다양한 값을 후처리할 수 있지만 본 과정에서는 원규격 기본값을 그대로 적용하였다. 이는 실험에서 최대한 인위적 요소를 제거하고 순수히 촬영과 기본색보정만으로 판단하기 위해서 이다.

Shooting information

Fig. 8.

Confusion shooted circle image by Sony A7s

원규격 처리한 영상은 어도비 포토샵CC(Photoshop CC V.20.0.7)에서 스티칭 작업에 해당하는 렌즈 왜곡 보정을 거쳐 180도 VR 파노라마 이미지 형식으로 변형하였다. 변형후 영상이 그림 9에 보인다.보정한 영상은 3가지 포맷으로 변환해 비교하였다. 첫 번째 Adobe Photoshop PSD 포맷으로 채널당 16bit 저장하였다. 이는 포토샵 변환후 어도비 제품군에서 원규격으로 작업할 수 있는 장점이 있다. 두 번째는 채널당 32bit로 TGA 포맷으로 저장하였으며 TGA는 범용적인 그래픽 포맷으로 사용하는 장점이 있다. 세 번째는 JPEG 포맷으로 채널당 8bit로 설정했으며 HDR 구현에 적합하지 않은 포맷이다.

Fig. 9.

180 degree VR panorama image

변형 영상은 동영상 기반 후반 색보정 작업을 위해 애플(Appel)사의 퀵타임(Quicktime) 프로레즈4444 (ProRes 4444)를 사용했다. 애플사의 프로레즈는 현재 우리나라에서 촬영과 후반작업의 주요 매개코덱(intermediate codec)으로 사용중이다. 이 코덱을 이용해 채널당 16bit로 출력하였다.


Ⅳ. HDR 색역 확대와 일차색보정후 비교

HDR 기반 색보정 프로그램은 국내에서 블랙매직(Blackmagic)사의 다빈치 리졸브(Davinci Resolve)를 많이 사용하고 있다. 이 프로그램은 색보정 작업 중 다양하고 정확한 색역을 선택할 수 있는 특징이 있다[14]. 기존 색보정과 관련된 연구와 작업은 경쟁사 제품보다 다빈치 리졸브가 우위에 있다. 그러나 VR 프리뷰, 메타데이터 삽입 지원이 안되는 단점이 있다.

VR이 지원되는 색보정 프로그램으로 최근 지상파 방송국의 주요 NLE로 주목받는 어도비(Adobe)사의 프리미어 프로CC(Premiere Pro CC 2019 V.13.1.2)를 사용하였다. 프리미어가 제공하는 루미트리 컬러(Lumetri Color Correction)는 SDR, HDR 선택 색보정이 가능하며 10,000nit 웨이브폼까지 제공한다. 그림 10에 루미트리 컬러의 웨이브폼으로 측정한 HDR 색역 확장 전후를, 그림 11에는 색보정 전후를 제시하였다. 전체적인 색감과 밝기를 조절하였고 이차색보정은 하지 않았다.

Fig. 10.

Compare Waveforms (a) Raw format Waveform based on Rec.709 (b) Waveform extended to HDR (c) Waveform after primary color correction based on HDR

Fig. 11.

Comparison before and after color correction

색보정후 영상은 HEVC main10 프로파일을 이용해 출력하고 비교를 위해 H.264도 출력하였다. 각각의 출력 관련 사항을 표2에 정리하였다. 비트율(bitrate)은 H.264 대비 효율을 고려해 HEVC를 70% 정도로 정하고 양쪽을 동일하게 CBR로 부호화하였다. 최종 출력 파일을 그림 12에 비교하였다. 좌는 H.264 SDR로 출력, 가운데는 HEVC HDR로 출력, 우는 ST2048 감마를 적용한 것이다. SDR과 비교하면 전체적으로 암부 표현이 낮고 세부 영역 정보를 좀 더 획득할 수 있다.

H.264 SDR and HEVC HDR expoting options

Fig. 12.

Comparison after HDR, SDR color correction

명부 영역도 SDR은 백색영역으로 보이지만 HDR은 색정보가 있음을 확인할 수 있다. 그림 12 노랑 원 영역안은 건물 안테나가 있는데 SDR에서는 보이지 않지만 HDR 영상에서는 볼 수 있어 차이가 난다. 이러한 차이는 영상의 히스토그램과 웨이브폼에서도 확인할 수 있다. 그림 13에 각 영상의 히스토그램이 보인다. 위는 SDR은 청색 채널이 제일 낮아 75IRE 이상에서 정보가 없으며 가장 높은 적색 채널도 약 94IRE 이상에서 정보가 없다. 반면 HDR은 100IRE까지 정보가 있으며 백색영역 끝까지 확장된 것을 볼 수 있다. 16bit TGA 파일, PSD 파일 그리고 8bit JPG 파일은 노출과 관련된 부분에서는 큰 차이를 보이지 않았다. 하지만 영상의 정보 면에는 차이를 보였다. 16bit 영역과 8bit 영역의 PSNR은 ST2084 적용전 49.33dB, 적용후 43.25dB로 감마 적용 이후 더 낮아진 것을 알 수 있다.

Fig. 13.

Histogram comparison SDR & HDR images (top) SDR (bottom) HDR


Ⅴ. 결 론

이상과 같이 살펴본 VR 영상의 HDR 마스터링 과정을 그림 14에 작업흐름으로 제시하였다. 기본적인 흐름을 제안한 것으로 실제 작업에서는 이를 바탕으로 확장이 가능하다. 영상 획득은 반드시 원규격으로 촬영하며 채널당 최소 10bit 이상 기록하여야 한다. 획득 영상은 채널당 16bit 이상 지원하는 스티칭 프로그램에서 스티칭 작업을 거치게 된다. 현재 국내에서 많이 사용되는 일부 스티칭 프로그램들은 8bit 이상을 지원하지 않기 때문에 작업자는 이 부분에서 주의하여야 한다. 이 과정에서 S3D의 경우 광학 보정 작업이 추가될 수 있으며 특수효과도 추가될 수 있다. 이후 매개코덱은 12bit 이상으로 작업하며 HDR 색공간을 지원하는 NLE와 색보정 프로그램이 필요하다.

Fig. 14.

Proposed workflow for VR HDR mastering based on HEVC and REC.2020

현재 HDR 콘텐츠는 주로 헐리우드 영화의 블루레이 타이틀이 주종을 이루고 있다. 아쉽게도 우리나라는 블루레이 시장이 형성되지 못했다. 지금까지 소수의 4K 블루레이가 만들어진 것이 전부이며 그나마 지금은 판매하지 않는다. 일부 4K HDR 블루레이는 국내 제작사가 아닌 외국 제작사가 제작, 판매하는 상황으로 국내 타이틀이 아니라 해외 타이틀이다.

2008년 워너브라더스의 비디오ㆍDVD사업 부문인 워너홈비디오코리아가 철수했다. 이를 마지막으로 국내 헐리우드 주요 영화사의 비디오 DVD사업은 모두 포기 상태이다. 인기있는 영화 시장에 비해 블루레이 시장은 거의 형성되지 못했으며, 이런 이유로 HDR을 지원하는 우리나라 콘텐츠가 드물다. 이런 상황은 VR 콘텐츠에도 영향을 미쳐 HDR 지원 VR 콘텐츠 제작이 주목받지 못하고 있다. VR 콘텐츠에서 고화질 경쟁은 하고 있지만 HDR은 그렇지 못한 편이다.

우리나라가 세계 최초로 5G를 상용화하면서 이를 기반으로 하는 VR 사업에도 관심이 높다. 좀 더 몰입감 있는 VR 콘텐츠는 HDR 요구를 만족시켜야 한다. 그러므로 향후 제작되는 실사 기반 VR 영상은 제안한 작업흐름을 초석으로 HDR 포맷으로 마스터링할 필요가 있으며, 이를 기반으로 VR 콘텐츠 중심의 스토리텔링과 연출법 개발도 중요하다[15].

Acknowledgments

본 연구는 2019년도 나사렛대학교 교내연구비 지원으로 이루어졌음.

참고문헌

  • AV Watch. What is the major trend of CES 2015 video technology “HDR”? [Internet]. Available: https://av.watch.impress.co.jp/docs/series/avt/682696.html, .
  • DCI, Digital Cinema Initiatives, Digital Cinema System Specification, v1.0, 2005.
  • J. Jeong, S. Kim, S. Park, J. Jang and S. Kim, “Design and verification of VR gamification contents for cooperative thinking,” Journal of Digital Contents Society, Vol.19, No.5, pp.853-860, May 2019. [https://doi.org/10.9728/dcs.2018.19.5.853]
  • IDC, Worldwide Semiannual Augmented & Virtual Reality Spending Guide, 2018.
  • J. Kang, “A Study on Emotionally Responsive Interactive VR Films Using Wearable Band,” Journal of Digital Contents Society, Vol.20, No.4, pp.707-715, April 2019. [https://doi.org/10.9728/dcs.2019.20.4.707]
  • C. Kim, “A Comparative Study for Virtual Reality 360 Contents Shooting Equipments Based on Real World,” Journal of Broadcast Engineering, Vol.21, No.5, pp.714-725, September 2016. [https://doi.org/10.5909/JBE.2016.21.5.714]
  • C. Kim, “A Study for Virtual Reality 360 Video Production Workflow with HDR Using log Shooting,” Journal of Broadcast Engineering, Vol.23, No.1, pp. 53-73, January 2018.
  • 360RIZE shop [Internet]. Available: https://shop.360rize.com/, .
  • H. Song, “Spatio-temporal Data Visualization Survey for VR and AR Environment,” Journal of Broadcast Engineering, Vol.23, No.1, pp.36-44, January 2018.
  • Road to VR. AUO to Showcase 1,688 PPI Display with HDR for VR Headsets [Internet]. Available: https://www.roadtovr.com/auo-showcase-1688-ppi-display-hdr-vr-headsets/, .
  • S. Han, HD Shooting for Becoming Professional Cinematographer, Korea Creative Content Agency, Seoul, pp.60-61, 2007.
  • Balin Brown, Cinemtography theory and practice, Focal Press, New York, pp.119-124, 2002.
  • Glenn Kennel, Color and Mastering for Digital Cinema, Focal Press, New York, pp. 9 - 14, 2007. [https://doi.org/10.1016/B978-0-240-80874-1.50008-2]
  • K. Kim, S. Choi, Y. Tae, S. Lee, and S. Kim,“A Study of Effect on Lens Selection in UHD HDR Color Space - Based on Comparison of BT.709 and BT.2020 -,” Journal of the Moving Image Technology Associon of Korea, Vol.27, pp.5-20, December 2017. [https://doi.org/10.34269/mitak.2017.1.27.001]
  • J. Kim, J. Kim and B. Rhee, “A Study on the Directing Method of VR Animation : Focusing on 〈DreamTherapy〉,” Journal of Digital Contents Society, Vol.20, No.9, pp.1789-1798, September 2019. [https://doi.org/10.9728/dcs.2019.20.9.1789]

저자소개

김철현(Chul-Hyun Kim)

1995년 : 침례신학대학교 신학과

2007년 : 중앙대학교 첨단영상대학원 (예술공학석사)

2005년 : 중앙대학교 첨단영상대학원 (첨단영상학박사-예술공학)

2004년~2011년: 서울여대 언론영상학부 시간강사

2009년~2011년: 콘텐츠진흥원 전문강사

2009년~2013년: 나사렛대학교 언론미디어학부 대우교수

2013년~현 재: 나사렛대학교 방송·영상콘텐츠학과 조교수

※관심분야:디지털시네마, 입체영화, VR, 실감미디어

Fig. 1.

Fig. 1.
Thema park VR Zone at Tokyo Shinjuku

Fig. 2.

Fig. 2.
Stitching error image shooted by intergrated VR camera

Fig. 3.

Fig. 3.
Multi action cams with VR dedicated lens mounted on a 3D printed rig

Fig. 4.

Fig. 4.
180 degree S3D VR shooting with RED cinema camera

Fig. 5.

Fig. 5.
Characteristic curves of KODAK 5218 color film

Fig. 6.

Fig. 6.
RED raw format & LUT applied image (top) RED raw format R3D (bottom) After LUT applied and white balance adjusted

Fig. 7.

Fig. 7.
Sony Raw format S-Log 3 characteristic curve compare with Rec.709

Fig. 8.

Fig. 8.
Confusion shooted circle image by Sony A7s

Fig. 9.

Fig. 9.
180 degree VR panorama image

Fig. 10.

Fig. 10.
Compare Waveforms (a) Raw format Waveform based on Rec.709 (b) Waveform extended to HDR (c) Waveform after primary color correction based on HDR

Fig. 11.

Fig. 11.
Comparison before and after color correction

Fig. 12.

Fig. 12.
Comparison after HDR, SDR color correction

Fig. 13.

Fig. 13.
Histogram comparison SDR & HDR images (top) SDR (bottom) HDR

Fig. 14.

Fig. 14.
Proposed workflow for VR HDR mastering based on HEVC and REC.2020

Table 1.

Shooting information

Camera model Sony A7s
Size of CMOS 17.3 x 13.0 mm
(in 4:3 aspect ratio)
Size of confusion confusion Approx. 1850 px
Raw format Sony ARW
Lens Meike MK6.5mm F2.0
Viewing angle 190
Shutter Speed 1/60s
ISO 1000
Exposure bias value 0.00eV

Table 2.

H.264 SDR and HEVC HDR expoting options

Codec H.264 SDR HEVC HDR
Size 3840 X 2160 3840 X 2160
Frame Rate 29.97 29.97
Profile High10 Main10(High Tier)
Level 6.2 6.2
Bitrate CBR 50Mbps CBR 35Mbps
Rec.2020 None Supported
High Dynamic Range None Supported
VR meta data Injected Injected