전망상자 기법을 이용해 일체형 360 카메라 영상에 6DoF 유사경험 방법 제안

Ⅰ. 서 론

오늘날 가상현실(virtual reality, VR) 콘텐츠 산업은 지난 몇 년간 과열된 분위기를 지나 다소 침체한 듯하다. 작년 초 본격적으로 시작된 5G 서비스와 함께 가상현실 산업도 상승할 것이라 예상했지만 기대만큼 성공적이지 못하다. 오히려 일각에서는 양안식 3D(stereoscopic 3 dimensional, S3D)처럼 곧 사라지리라 예측한다. 하지만 S3D는 사라진 것이 아니라 영화 시장을 중심으로 안정적으로 자리를 잡았다고 보는 것이 옳다. 미국영화협회(The Motion Picture Association, MPA)가 올해 3월에 발표한 보고서에 따르면, 2019년 전 세계 영화 수익 중 15%가 S3D에서 발생했고, 이를 기반으로 할리우드 영화 수익은 2015년 이후 매해 증가세이다[1].

마찬가지로 S3D처럼 VR 콘텐츠산업도 지난 몇 년간 과열의 기간을 지나 점차 안정된 자리로 잡아가는 중이라는 견해가 옳다. VR 콘텐츠가 안정적으로 자리잡기 위해서는 해결해야 할 몇 가지 난제들이 있다. 기기 간의 호환성과 이를 해결하기 위한 표준화, 실사 촬영 영상의 시야 한계와 왜곡, 고급형 장치의 가격 그리고 가장 잘 알려진 멀미 문제 등이 대중화를 위해 해결해야 할 단점들이다. 본 논문에서는 이들 문제 중 실사 촬영 360 VR 영상의 시야 한계 문제를 부분적으로 개선해 6DoF와 비슷한 경험을 제공하고자 한다.

오늘날 VR 콘텐츠 제작 방식은 크게 세 가지로 구분할 수 있다[2]. 첫 번째, 실사영상을 촬영 후 스티칭 작업과 후반편집을 통해 360도 파노라마 영상으로 구현하는 것이다. 이 방식은 360 촬영 전용 카메라를 사용하거나 여러 대의 카메라로 나누어 촬영 후 스티칭 작업을 통해 하나의 파노라마 이미지로 만드는 방식이다. 이 방식은 비용면에서 가장 우수하다. 두 번째는 컴퓨터 생성 이미지(computer-generated imagery: CGI)를 이용하는 방식이다. 게임 영상, 애니메이션 등이 이 방식을 이용해 VR 콘텐츠로 제공되고 있다. 세 번째는 게임엔진을 기반으로 VR 게임 콘텐츠를 배급하는 방식이다. 게임엔진은 유니티 3D(Unity 3D)와 언리얼(Unreal)이 주로 이용된다. 최근에는 CGI와 게임엔진이 점차 통합되는 추세이다.

이들 방법 중 몰입감이 뛰어난 것은 CGI와 게임엔진이다[2]. 몰입감이 좋은 양질의 콘텐츠를 제작하는 방식이지만 제작 비용이 많이 든다는 단점이 있다. 비용은 콘텐츠 제작에서 심각한 문제점이다. 이런 비용문제로 인해 VR 관련 업계의 사업 축소가 종종 일어났다. 2013년부터 모토로라와 구글이 공동으로 설립한 VR 콘텐츠 전문 스튜디오 Spotlight Stories는 19년 4월 사업 종료를 선언했고 삼성 역시 기어VR을 갤럭시 노트10부터 지원하지 않는다[3]. 이처럼 대기업들의 VR 관련 사업 철수는 비용 대비 효율이 낮기 때문이다. CGI와 게임엔진의 또 다른 단점은 기존 촬영, 편집 중심의 2D 영상 콘텐츠 제작자가 접근하기 어렵다는 점이다.

이런 이유로 상대적으로 제작이 쉽고, 비용이 저렴한 실사 영상 촬영 방식이 가장 선호되고 있으며, 유통되는 360 VR 콘텐츠는 대부분 실사 촬영 영상이다. 유튜브 공식 VR 채널인 가상현실 채널 목록 중 "Recently Popular"에 선정된 50개 콘텐츠를 조사한 결과, 이 중 38편이 실사 촬영물이며, 11편은 게임엔진 혹은 CG이며, 1편은 실사 촬영 합성한 형식이었다. 조사한 50개 콘텐츠를 표 1에 정리하였다. 실사 촬영이 차지하는 비율이 76%로 상당히 높다.

Table 1.

Analysis of Recently Popular at YouTube VR channel

하지만 양질의 VR 콘텐츠에서 실사 촬영은 몇 가지 한계가 있다. 일반적인 저가의 360 카메라는 S3D를 지원하지 않는다. 실감형 미디어로서 VR의 입체시는 필수적이지만 소비자용 일체형 카메라는 입체가 지원되지 않는다. 이런 단점을 보완하기 위해 인스타360사(Insta360 Inc.)는 두 개의 렌즈를 접거나 펼쳐서 사용할 수 있는 제품도 출시하였다. 펼칠 경우 180도 입체시 촬영이 가능하다.

고가의 전문가용 일체형 360카메라는 대부분 입체시를 지원한다. 그림 1에 보이는 인스타360사의 프로2는 8K 해상도 입체시를 30fps로 촬영 가능하다. 200도 초광각 촬영 카메라 6개 탑재했으며, 단안시의 경우 8K 해상도로 60fps 영상을 얻을 수 있다. 또한, 라이브 전송기능도 제공한다.

Fig. 1.

Pro 2 of Insta360 Inc.

그러나 촬영으로 획득된 콘텐츠는 VR 구현에 있어 시야각 운동에 제한이 있다. 일반적으로 촬영 후 관객이 보는 방식은 3DoF로 제한된다. 시야각에서 머리의 위아래, 좌우, 회전이 가능하지만 공간의 이동은 불가능하다.

일본 동경의 VR Zone은 양질의 VR 전문 콘텐츠로 유명한 곳이다. 이곳에서 제공되는 모든 콘텐츠는 6DoF를 지원한다. 사용자는 다양한 VR 기기를 장착하고 이동하며 콘텐츠를 감상한다. 이런 감상을 위해서 관객의 위치 추적, HMD의 각도와 운동 등을 파악해야 한다. 그림 2에 VR Zone에서 사용하는 위치 감지 센서동작 캡처 카메라, HMD 등 다양한 VR 관련 기기가 보인다.

Fig. 2.

VR Zone at Tokyo Japan

양질의 VR 콘텐츠를 위해 이 같은 장비와 게임엔진 기반 콘텐츠 개발이 필수적이다. 하지만 비용면에서 모든 VR 콘텐츠의 이런 제작은 어렵다. 특히 기존 영상콘텐츠가 2D 제작 중심이라는 점을 생각하면, VR 영상콘텐츠도 실사를 촬영하고 편집, 배급하는 방식이 우세하다.

본 논문에서는 이러한 차이를 상호 보완할 방법을 제안하고자 한다. 저가의 소비자형 카메라에서 획득된 360 파노라마 영상을 게임엔진을 통해 재생하고, 고급형 VR 장치를 이용해 간단한 공간감을 적용해, 6DoF 운동을 제한적으로 사용할 수 있도록 지원하고자 한다. 사용자는 제한된 영역이지만 위치를 이동하는 느낌을 가질 수 있어 기존 360 영상과 달리 임장감을 좀 더 얻을 수 있다. 이 방식을 전망상자(Observatory Box)방식이라 명명하였다.

논문의 2장에서는 3DoF와 6DoF의 차이점과 콘텐츠를 분석하고 실사 영상의 한계점을 제시하고 있다. 3장에서는 이를 극복하기 위한 전망상자 방식의 구현방법을 제안하고 4장에서 실제 구현과 결과물에 대한 차이를 설명하고 있다. 결론에서 이 방식의 의의와 향후 VR 콘텐츠의 발전 방안 등을 제안한다.

Ⅱ. 3DoF 와 6DoF 콘텐츠의 차이

2장에서는 3DoF와 6DoF의 차이를 콘텐츠 감상과 사용자 중심에서 설명하고 있다. 6DoF 콘텐츠 획득에 사용하는 light field(LF) 방법을 소개하고 장단점을 제시한다.

2-1 3DoF와 6DoF의 정의와 차이

전통적 2D 혹은 S3D 영상은 시야각에 제한을 가지고 있다. 관객은 극장에서 스크린에 집중해야 하고, TV는 화면에 집중해야 한다. 화면과 스크린이라는 제한된 영역에 시각 영상 스토리텔링(visual storytelling)을 해나가는 것이 전통적인 2D 영상이다. 이를 위해 제작자는 영상문법에 따라 기획-촬영-편집한다. 하지만 360 파노라마 영상은 관객에게 제한된 영역이 아닌 관객의 시야 어디나 볼 수 있도록 제공하며, 이는 기존 영상문법과 전혀 다른 이질적인 것이다. 이런 특성을 가진 360 영상 제공 플랫폼 중 제일 많은 콘텐츠를 가진 곳은 서론에서 소개한 유튜브 가상현실 채널이다. 이곳 영상 중 80% 가까이 실사 촬영 360 영상이다.

실사형 VR의 첫 번째 문제점은 낮은 화질이었다. 기존에는 8K 이상의 고해상도 촬영이 가능한 카메라로 찍은 영상이라도 HMD의 화면 자체의 낮은 해상도 때문에 화질이 선명하지 않다. 하지만, 최근 코덱 관련 영상처리 기술과 HMD 디스플레이 기술의 발달로 화질이 개선되었다. 고해상도 카메라로 촬영한 영상을 HMD를 통해 입체감 있는 VR S3D 형태로 감상할 수 있는 서비스가 지난 몇 년 사이에 가능해지고 있다[4].

하지만 화질과 입체시를 넘어 실사 영상의 가장 큰 단점은 임장감이 떨어진다는 점이다. 그리고 이로 인해 멀미를 유발하기도 한다. 임장감은 HDTV 개발 초기부터 사용자 경험에 중요한 파라미터였다[5]. 이는 실사 촬영 영상의 시점이 3DoF로 제한되기 때문이다. 그림 3(a)에 3DoF의 움직임이 보인다. 머리의 위아래 운동을 감지하는 pitch, 좌우 운동을 감지하는 yaw 그리고 회전을 감지하는 roll로 나누어진다. 3DoF는 사용자의 머리 움직임은 360도로 인지하고 움직이지만 이동은 불가능하다. 그림 3(b)에는 6DoF의 운동을 제시하였는데, 사용자의 머리뿐만 아니라 위치까지 상하좌우 앞뒤로 이동 가능하다[6].

Fig. 3.

Comparison 3DoF and 6DoF

이러한 자유도의 차이는 콘텐츠 감상에도 영향을 준다. 3DoF는 현장에서 보는 느낌을 줄 수 있지만 6DoF는 현장에 가 있는 느낌을 부여할 수 있다. 그림 4에 3DoF와 6DoF의 콘텐츠 감상의 차이를 제시하였다.

Fig. 4.

Difference between 3DoF and 6DoF

전문가형 VR 기기인 HTC사의 바이브, 오큘러스사의 리프트 같은 기기들은 밸브사(Valve Corp.)의 유명한 게임 플랫폼 스팀 VR(Steam VR)을 사용하고 있으며, 제공되는 VR 게임 콘텐츠는 6DoF를 지원한다. 밸브사가 HTC 바이브를 출시하면서 제공한 더랩(the Lab)은 6DoF 기반 콘텐츠 제작 기법을 보여주는 좋은 사례이며, CES 2017에서 혁신상(Innovation Award)을 수상한 구글의 틸트브러쉬(Tilt Brush)는 기존 2D 드로잉과 페인팅을 넘어 입체공간에서 6DoF 기반으로 작업할 수 있다. 이런 사례는 VR 콘텐츠에서 6DoF의 중요성을 의미한다.

2-2 구글 스포트라이트 스토리 Age of Sail 사례 분석

전통적인 2D, 3DoF 그리고 6DoF를 하나의 콘텐츠로 비교하기위해 구글이 VR 스토리텔링을 위해 만든 스포트라이트 스토리 프로덕션의 콘텐츠를 사용하였다. 이 프로덕션은 모바일 360, 모바일 VR, 룸스케일 VR 헤드셋에서 구동되는 콘텐츠를 제작하였다[7]. 이 프로덕션 대표적인 작품 중 하나인 에이지오브세일(Age of Sail)은 아카데미시상식 단편애니메이션상을 수상한 존 카스(John Kahrs)가 직접 연출을 맡아 큰 주목을 받았다.

에이지오브세일은 유튜브에서 2D 형식의 애니메이션, 아이폰과 안드로이드폰에서 사용할 수 있는 VR 전용앱 그리고 스팀 VR 3가지 플랫폼에서 감상할 수 있다. 그림 5에 에이지오브세일의 2D 장면과 앱 화면이 보인다. 사용자는 스마트폰과 카드보드를 이용해 VR로 감상할 수 있고 전통적인 2D 형식으로도 감상할 수 있다. 2D 형식은 다양한 숏 사이즈와 리듬있는 편집으로 전통적인 방식에 충실하다. 스마트폰 VR은 그림 6 위처럼 주인공인 선장의 배 오른편 가운데, 선장이 앉아있는 눈높이로 시선이 고정되어 있어 관객의 자리 이동이 불가능하다. 그림 3(a)처럼 360도로 보여주지만 현장에 있는 듯한 임장감은 떨어진다.

Fig. 5.

2D screen shot and app screen of Age of Sail

Fig. 6.

Differences between smartphone VR and Steam VR

6DoF를 제공하는 스팀 VR은 관객의 시점 이동이 자유롭다. 관객이 원할 경우 선장이나 여자 주인공의 얼굴을 좀 더 가까이 볼 수 있으며 보는 각도도 자유롭게 선택할 수 있다. 그림 6 아래를 보면 관객은 주인공과 무관한 배의 외부, 지나가는 배경으로 이동도 가능하다.

콘텐츠 감상에서 이같은 움직임은 중요하다. 관객은 360 파노라마 이미지를 보는 동안 머리가 미세하게 상하좌우, 위아래로 운동을 하는데 3DoF는 이에 대응할 수 없는 한계가 있다. 360 실사 영상은 이같은 시점 고정의 단점을 가지고 있다.

2-3 실사 획득 영상의 한계

실사 촬영 카메라는 두 개의 카메라 혹은 그 이상의 카메라를 이용해 촬영한다. 촬영 위치에서 360도 파노라마 영상 획득은 가능하지만 위치값을 비롯한 정보는 얻을 수 없다. 관객의 시야각에 자연스러운 원근 표현을 위해서는 시점 이동이 가능 해야 하지만 촬영된 360 영상은 기존 2D 영상과 유사해 형식면에서 큰 차이가 없다. 이런 이유로 유튜브가 특별한 플랫폼의 변화없이 360영상을 쉽게 제공할 수 있는 것이다[8].

실사 촬영에서 6DoF를 구현할 수 있는 기술로는 Light field(LF) 영상 획득, 재현 방법이 있다. LF 기술은 카메라 촬상장치에 닿는 빛의 강도, 방향 정보를 획득해 이를 재생할 수 있는 장치를 통해 다시 재현하는 기술이다. 이 기술은 시각적으로 왜곡이 없고 S3D 정보값 획득이 가능하다. LF 영상 획득을 위해 고밀도의 공간 및 방향 성분이 필요하며, 이를 위해 여러 대의 카메라를 사각형으로 배치하여 획득하는 방법과 마이크로렌즈 어레이(Microlones Arrays)를 이용한 카메라로 획득하는 기술 등이 있다. 다중 카메라를 이용한 LF 영상 획득은 여러 대의 카메라를 동시에 작동시켜야 하고, 정렬 및 보정 등 후처리가 어렵다는 단점이 있다. 마이크로 어레이 기술은 단일 촬상장치에 영상의 정보와 방향성을 동시 획득할 수 있는 강점이 있으나 공간 해상도가 감소하는 단점이 있다. 특히 방향 해상도가 증가할 수록 공간 해상도는 더 줄어들게 된다[9]. LF 기술을 이용해 상업적으로 가장 성공한 라이트로(LYTRO Co.,LTD)사의 illum 카메라도 2D 정지영상 기준으로 가로 2450 화소, 세로 1634 화소의 해상도를 제공한다.

구글은 2018년 5월에 LF기술을 이용해 VR콘텐츠 플랫폼 스팀 VR에 Welcome to Light Field라는 무료 콘텐츠를 공개했다. 그림 7(a)에 구글 이 개발한 구형 LF 카메라가 보인다[10]. 회전형 LF 카메라를 이용해 촬영한 VR 이미지를, 스팀 VR을 지원하는 HTC 바이브, 오큘러스 리프트 그리고 마이크로 소프트의 혼합현실(mixed reality, MR)을 이용해 감상할 수 있다. 사용자는 LF가 제공하는 구형 볼륨(light field spherical volume)안에서 6DoF의 시각을 그림 7(b)처럼 경험할 수 있다. 현재 대부분 실사 6DoF 획득은 LF 기술을 사용하고 있다.

Fig. 7.

Multi camera for recording a light field

또한 가장 대표적인 동영상 기술 표준화 단체 MPEG은 6DoF지원과 고해상도의 360VR 서비스를 제공하기 위한 영상 포맷, 부호화 등 요소기술에 대한 MPEG-I(Immersive) 표준화를 진행 중에 있다[11] .

하지만 LF 촬영 장비와 기술은 기존의 콘텐츠 제작자가 사용하기에는 단점들이 있다. 의미있는 콘텐츠를 만들기까지 기술적으로 습득해야할 영역들이 아직은 많다. 촬영의 경우 카메라 보정과 랜더링, 그리고 콘텐츠 배급에서는 제공하는 플랫폼과 관련 기술 등 넘어야할 기술적 장벽들이 있다. 지금의 방송, 영화 같은 2D 영상콘텐츠는 이미 50년대부터 표준화되어 기술적으로 큰 어려움이 없다.

실사 촬영 LF 기술은 이러한 문제들을 해결해야 한다. 현재 관련 기술 표준이 MPEG-I에서 진행중이며 2021년까지 순차적으로 완성한다는 계획을 가지고 있다. 이 표준에 맞추어 개방형 LF 콘텐츠 재생 플랫폼이 만들어진다면 향후 LF 기반 몰입형 VR 콘텐츠는 지금과 다른 수준의 시지각 경험을 관객에게 제공할 것으로 예측된다.

LF가 제공하는 장점은 사용자의 머리 운동에 적절히 대응한다는 것이다. 관객은 LF 구형 볼륨에서 제한적이지만 6DoF 운동이 가능해 이질감 없이 콘텐츠를 관람할 수 있다. 본 논문에서는 3DoF 촬영한 실사 영상을 기반으로 6DoF와 유사한 경험을 제공하자고 한다.

다음 장에서는 일체형 360 카메라로 획득한 영상을 스팀 VR을 지원하는 전문가형 VR 장치에서 LF 혹은 6DoF와 유사한 경험을 할 수 있는 방법을 제안하고자 한다.

Ⅲ. 제안 방법

실사 촬영 360 영상에 6DoF를 구현하기 위해선, 지원VR 장비가 필요하다. 스팀 VR을 지원하는 장비는 여러 종류가 있다. 오큘러스와 HTC 바이브는 많은 소비자를 점유하고 있다. 이들 회사가 정확하게 판매량을 공개하지 않지만 엔비디아(Nvidia)의 CEO 젠슨 황(Jensen Huang)은 CES 2019에서 400만대 판매를 달성했다고 발표했다[12]. 본 논문에서는 HTC 바이브를 이용해 유사 6DoF를 구현하고자 한다.

게임 엔진은 유니티 3D를 사용했다. 구글 트렌드에서 최근 5년간 유니티와 언리얼 게임엔진 검색어 검색 결과 유니티3D가 항상 우위에 있었다. 실사 촬영은 최근 사용자가 많아지고 있는 인스타360의 OneX 모델을 이용했다. 표 2에 제작에 사용한 기기 목록을 정리하였다.

Table 2.

Equiments list for production

촬영 소재는 사람들이 많이 찾는 명소로 하고, 촬영 후 360 파노라마 영상을 유니티 3 D에서 구체(sphere)에 투사되도록 구현한다. 구 중심에 카메라를 위치시키고 이를 VR 기기와 연동해 사용자의 HMD로 전송한다. 사용자의 머리 움직임에 따라 카메라의 방향과 위치를 일치시켜 간단하게 6DoF의 움직임을 구현하고자 시도했다. 그러나 이 방법에는 단점이 있었다.

구형 파노라마 영상의 특징상 시각적 왜곡이 필수적으로 동반된다. 현재 대부분 실사 360 영상은 등장방향도법 방식(equirectangular format)을 사용하고 있는데 대표적으로 유튜브 가상현실 채널도 사용 중이다. 이 방식은 간편하게 파노라마 이미지를 획득할 수 있는 장점이 있으나 거리감이 왜곡된다. 그림 8에 거리감 왜곡 이유를 제시하였다. 실제 세계에서 관찰자는 그림 8 (위)와 같이 바닥면에 서서 세상을 관찰한다. 하지만 360 실사영상의 실제 바닥은 하늘과 같은 거리로 그림 8(아래)처럼 떨어져 있다. 바닥에 대한 이동이 느껴지지 않는 것이다. 이로 인해 관객은 이동시 시각적 불일치로 시야 투쟁을 경험한다.

Fig. 8.

Difference viewpoint between real world and 360 panorama image

이같은 문제를 해결하기위해 관객이 서는 위치에 바닥면을 제공해서 시각 왜곡을 줄이는 방법을 사용했다. 관객이 관람하는 영역을 지정하는 전망상자를 제공하는 것이다. 전망 상자위에서 관객은 바닥에서 분리되는 시각적 불편 없이 360 파노라마 영상을 관람하며, 6DoF와 유사한 경험을 하게 된다.

제안한 방법이 그림 9에 보인다. 그리고 전체적인 제작 흐름을 그림 10에 제시하였다.

Fig. 9.

Arrangement of Observatory Box at Unity 3D

Fig. 10.

Proposed workflow for 6DoF similar experience at actual 360 panorama image

Ⅳ. 실험 영상 제작

첫번째 촬영 단계에서 영상은 천안 독립 기념관에서 촬영하였다. 이는 많은 사람들에게 알려진 명소이기 때문이다. 독립기념관에서 촬영한 영상을 그림 11에 제시하였다.

Fig. 11.

360 panorama image shooted at Cheonan Independence Hall

이후 촬영한 영상과 구체를 유니티 3D 엔진에서 맵핑시켰다. 맵핑된 영상은 노멀이 구형의 외부를 향하고 있다. 360 영상 관람을 위해서 구체 안으로 노멀이 향하도록 쉐이더에서 Flip Normals라는 C# 코드를 작성해 노멀을 180도로 반전 처리하였다. 노멀을 반전시키면 영상의 좌우 위치도 반전된다. 이를 처리하기 위해 이미지를 영상 편집 프로그램에서 수평 반전 처리한다. 처리된 영상은 구체 내부에서 정상으로 보인다. 기본 제공하는 Directional Light는 구체 내부에 균일한 조명 처리를 못해 얼룩이 생기는 문제가 발생한다. Directional Light 기능을 제거하고 Point Light를 구체 중심에 위치시켜 구체에 조명이 균일하게 닿도록 조정했다. 그리고 제안한 관람 상자와 VR 카메라인 [CameraRig]를 구 중심에 위치시킨다. [CameraRig]의 위치를 구 중심에 잡고 관람 상자는 이에 맞게 조절해야 한다. 처리된 유니티 3D 장면이 그림 12에 보인다.

Fig. 12.

Arrangement of objects at Unity 3D game engine

그림 13에 최종 상영 단계가 제시되었다. 관람 상자 유무의 차이를 비교하기 위해 같은 위치에서 그림 14와 비교 촬영하였다. HMD 영상의 직접적인 촬영은 어려워 유니티 엔진의 게임 뷰를 캡쳐 제시하였으며, 실제 HMD로 감상하면 더 큰 효과를 얻을 수 있다. 그림 13은 관람 상자 위에서 HMD를 장착하고 독립기념관 탑을 향해 2미터 정도 이동한 장면이다. 2미터라는 짧은 거리지만 관람 상자 바닥 이동 시각 효과로 6DoF 유사 경험을 제공한다. 반면 관람상자가 없는 그림 14는 원경 피사체가 조금 확대됐지만 바닥면의 이동이 거의 없어 시각적으로 불편함을 유도한다. 원안 아래 블록을 보면 2미터 이동에도 불구하고 벽돌 한 장, 약 20Cm 정도의 이동만 바닥에서 나타난다.

Fig. 13.

Movement on the Observatory Box

Fig. 14.

Movement without the Observatory Box

Ⅴ. 결 론

이상과 같이 살펴본 전문가용 HMD에서 실사 360 영상 감상은 기존 스마트폰과 비교했을 때 시야투쟁이 줄어든다. 우선 시각적으로 불편을 일으키는 바닥을 전망 상자로 차단했으며, 전망 상자위에서 적절한 거리를 이동할 수 있어 6DoF와 유사한 방향 이동을 느낄 수 있다. 그림 15에 바닥 이동을 제시하였다. 관객이 2.5m 거리를 이동했으며 각각 시작, 중간, 끝 과정을 바닥만 캡춰하였다. 관람상자가 없을 때 2.5m 이동은 바닥에서 거의 느낄 수 없다. 하지만 관람상자는 바닥 무늬가 확연히 이동하는 것을 관객이 육안으로 볼 수 있었다. 실험 장면은 동영상으로 제작해 https://youtu.be/7APh4HIB2vA에 제시하였다.

Fig. 15.

Comparation of bottom movement position

제안된 전망 상자 기법은 촬영한 영상위에 설치되어 약간의 공간적 이질감을 느끼게 한다. 이런 문제를 해결하는 가장 좋은 방법은 촬영 공간을 CGI 기술을 활용해 3차원으로 재구성하는 것이다. 그러나 이런 처리는 많은 비용이 들어가 360 실사 촬영이 가지는 저비용의 장점이 사라진다. 그러므로 실사와 저비용의 효율을 생각하면 전망상자 기법은 손쉬운 방법으로 6DoF를 구현하는 강점이 있다.

최근 실사 360 촬영 관련 장비와 기술이 좀 더 전문적으로, 좀 더 안정적으로, 좀 더 저렴하게 발전하고 있다. 몇 년전만해도 구글이 제안한 점프와 같은 360 촬영 장치는 2만불 이상의 고가 장비였다. 하지만 최근 전문가용 360 카메라는 HDR(high dynamic range)과 HEVC(high efficiency video coding)를 지원하면서 수천불대로 가격이 내려갔으며, 수백불대의 소비자용 제품도 HDR을 지원한다[13]. 이같은 촬영장비의 발전에도 불구하고 360 영상 관람은 여전히 불편하다. 무엇보다 6DoF 장비의 장점을 살리지 못한다.

향후 모바일 장비에서 라이다(LiDAR)가 보편화되면 포인트 클라우드 데이터를 편리하게 획득할 수 있다. 포인트 클라우드 데이터와 실사 촬영 영상의 발전은 가상 현실 구현을 획기적으로 개선시킬 것으로 예측된다. 관객은 지금보다 양질의 실사 6DoF 콘텐츠를 감상하게 될 것이다. 이를 위해 콘텐츠 제작자가 이와 관련된 기술과 정보를 학습해야 할 것이다.

Acknowledgments

본 연구는 2020년도 나사렛대학교 교내연구비 지원으로 이루어졌습니다.

References

• MPA, THEME REPORT : A comprehensive analysis and survey of the theatrical and home entertainment market environment (THEME) for 2018, 2019, The Motion Picture Association Inc., Washington, D.C., March 2020.
• C. Kim, “A Study for Virtual Reality 360 Video Production Workflow with HDR Using log Shooting,” Journal of Broadcast Engineering, Vol.23, No.1, pp. 53-73, January 2018.
• Leo Sun, Google Abandons Big-Budget VR Films and Closes Spotlight Stories [Internet]. Available:https://www.fool.com/investing/2019/03/18/google-abandons-big-budget-vr-films-and-closes-spo.aspx, (accessed September 30, 2020)
• H. Cho, K. S. Han, Y. J. An and S. H. Hong, “A Study on the Factors Affecting the Satisfaction and Usage Intention of Ultra High Definition VR Music Performance Video,” The Journal of Digital Contents Society, Vol. 21, No. 3, pp. 539-549, 2020. [https://doi.org/10.9728/dcs.2020.21.3.539]
• S. Han, HD Shooting for Becoming Professional Cinematographer, Korea Creative Content Agency, Seoul, pp. 60-61, 2007.
• Qualcomm Technologies, “On-device motion tracking for immersive mobile VR ,” Qualcomm Technologies, Inc., San Diego, CA, August 2017.
• Google Spotlight Stories [Internet]. Available: https://atap.google.com/intl/ko_ALL/spotlight-stories/, (accessed September 30, 2020)
• D. H. Kwon, “A Study on The Characteristics of VR Animation in Trans media Content - Applying The Concept of Implicit Editing,” The Journal of Digital Contents Society, Vol. 21, No. 8, pp. 1555-1565, Aug. 2020 [https://doi.org/10.9728/dcs.2020.21.8.1555]
• W. Jeong, K. Lee, J. Yoon, K. Yoon and J. Seo, “Trend of Light Field Media Technology and Standardization,” Broadcasting and Media Magazine, Vol. 23, No. 1, pp. 33-45, 2018.
• Experimenting with Light Fields [Internet]. Available: https://www.blog.google/products/google-ar-vr/experimenting-light-fields/, (accessed September 30, 2020)
• K. Yun, J. Jung, W. Cheong, and J. Seo, “Design and Verification of Omnidirectional 6DoF supported 360VR Image Format,” 2019 The Korean Institute of Brpadcast and Media Enginners Summer Conference, pp. 242-243, 2019.
• U.S. Virtual Reality (VR) Headset Market Trends [Internet]. Available: http://news.kotra.or.kr/user/globalAllBbs/kotranews/album/781/globalBbsDataAllView.do?dataIdx=175494, (accessed September 30, 2020)
• C. Kim, “VR 360 HDR master production workflow based on HEVC REC.2020,” The Journal of Digital Contents Society, Vol. 21, No. 1, pp. 89-97, 2020. [https://doi.org/10.9728/dcs.2020.21.1.89]