Journal Archive

입체영상 기술은 다양한 방식으로 구현될 수 있으며, 그 중 가장 기본적인 형태는 양안 시차를 활용하는 스테레오 영상 기술이다. 이 기술은 두 카메라를 사용하여 각각 다른 위치 및 각도에서 촬영한 두 이미지를 활용, 뇌가 두 이미지의 차이를 해석함으로써 3D 효과를 인지하게 한다. 최근 연구에서는 스테레오 영상으로부터 추출한 뎁스맵을 이용하여 보다 정교한 운동 시차 효과를 지원하고 있다. 이는 관찰자의 시점 변화에 따라 보다 사실적인 3D 이미지를 생성할 수 있게 해 준다[7]. 현대에 산업계에서 가장 많이 활용되고 있는 볼류메트릭 기술은 영상 내 객체의 3차원 표면 정보를 정밀하게 캡처하고 이를 기반으로 실시간으로 입체영상을 생성할 수 있는 능력을 갖추고 있다. 이 기술은 양안 시차와 운동 시차를 모두 지원하며, 사용자의 시점 변화에 따라 다양한 각도에서 객체를 관찰할 수 있는 유연성을 제공한다. 볼류메트릭 기술은 반짝이는 금속이나 투명한 물체 등 특정 재질의 정확한 표현에는 한계가 있다. 또한, 머리카락이나 손끝 같은 미세한 구조의 디테일이 손실될 수 있다는 단점도 있다[8].

입체영상에서 관람자의 시각 경험은 학계의 지속적인 관심사였다. 초기 연구들은 관람자의 실재감, 입체감, 자연스러움, 그리고 부정적 효과를 중심으로 구성하여, 실험적 방법을 통해 이런 감각들이 강조되는 조건들을 식별하고자 하였다. 연구 방법은 주로 관람자에게 다양한 조건의 입체영상을 시청하게 한 뒤, 어떤 조건에서 실재감과 입체감이 강조되고, 부정적 효과가 최소화되는지를 탐색하는 실험적 접근이었다[9].

McIntire, Havig, & Geiselman은 2D 영상과 비교하여 3D 영상의 효과를 검증한 184개의 논문을 리뷰했다[10]. 이 리뷰는 실험 내용을 위치 및 거리 판단, 대상의 인식·동일화·분류, 대상의 공간적 조작, 내비게이션, 공간 이해 및 기억, 학습·훈련·계획의 6개 분야로 분류하여, 3D 영상의 효과 유무를 집계하였다. 전체 분야에서 거의 60%의 논문에서 3D 영상이 2D 영상보다 효과적이라고 보고되어 일반적으로 3D 영상의 우위가 인정되었다. 표 1은 McIntire 등에 의한 3차원 영상과 2차원 영상의 비교 논문을 요약한 것이다.

입체영상에서 관람자의 시각 경험은 여러 기술적 진보에도 불구하고 여전히 한계와 도전 과제를 안고 있다. 최근 일본의 연구에서 소니의 ELF-SR1 공간 재현 디스플레이 등은 입체감과 실재감을 높이는 새로운 시도들을 제시하고 있지만, 이러한 기술들은 아직도 사용자의 다양한 시각적 요구와 완전히 부합하지 않는 경우가 많다. 특히, 관람자가 경험하는 시각적 피로나 부정적 효과 최소화에 관한 문제는 여전히 해결되어야 할 주요 과제로 남아 있다[11].

또한 국내에서 입체영상의 시각 경험을 다룬 실험 연구도 매우 드물며[12],[13], 진행된 연구들은 영상 제작 과정에 대한 정보 없이 기존 영상을 사용하여 수행되었다. 이러한 접근 방식은 연구의 신뢰도에 의문을 제기하고, 입체영상 제작 기술의 발전에 기여하지 못하는 한계를 가지고 있었다.

본 연구는 기존의 한계를 극복하기 위해 6자유도 입체영상 기술의 특징을 최대한 살려 활용하여 유아 요가 관련 입체영상 프로토타입을 제작하고, 다수의 유아들을 대상으로 입체영상의 인식과 지각을 조사하였다. 이는 국내에서 매우 드문 실증적 연구라 할 수 있다.

그림 1에서 나타난 것 같이 입체영상을 인식하는 데는 여러 요소가 영향을 미치지만, 특히 양안 시차와 운동 시차가 중요한 역할을 한다. 3D TV와 영화 등에서 사용되는 스테레오 입체영상 기술은 단일 시점에서의 양안 시차만을 지원한다. 이러한 기술적 한계로 인해 관람자가 정해진 위치를 벗어나게 되면 입체감을 제대로 느낄 수 없고, 머리를 움직여도 현실에서 경험하는 것처럼 운동 시차를 경험할 수 없다. 이로인해 여러 사람이 동시에 시청할 경우, 설정된 위치에 있는 사람만이 최적의 입체감을 느낄 수 있다.

Fig. 1. 
Principles of stereoscopic videos

스테레오 입체영상의 이러한 한계를 극복하기 위해 다양한 연구가 진행되어 왔다. 특히 스테레오 영상에서 깊이 지도를 추출하고, 이를 이용해 운동 시차를 구현하는 연구가 있었다. 이 방식에서는 사용자의 시점 변화에 따라 깊이 지도를 투영하여 새로운 영상을 생성하고, 정보가 부족한 부분은 영역 채우기 기법을 활용하여 완성한다. 그러나 정확한 깊이 지도를 만드는 것은 여전히 어려운 문제로, 이는 영상 왜곡 및 낮은 사용자 경험으로 이어진다.

최근에는 관련 하드웨어 및 소프트웨어 기술의 발전으로 라이트필드 디스플레이 혹은 시선 추적 방식을 포함하는 입체영상 디스플레이가 시장에 등장하고 있다. 이러한 기술은 보다 자연스러운 3차원 영상을 표현할 수 있게 해 기존의 스테레오 입체영상 기술의 한계를 넘어서고 있으며, 응용 분야의 확장 가능성을 보여 주고 있다.

또한 홀로그래피나 라이트필드 디스플레이의 기술적 진보와 함께, 플렌옵틱 기술 역시 입체영상 획득 및 콘텐츠 제작 발전에 크게 기여하고 있다.

플렌옵틱 기술은 마이크로 렌즈 어레이 또는 카메라 어레이를 활용하여 다양한 시점에서 4차원에서 7차원의 빛의 정보를 획득하고, 보다 풍부한 3D 이미지의 복원을 가능하게 한다. 이러한 접근법은 양안 시차와 운동 시차를 모두 지원하며, 광선의 경로를 계산하는 수학적 모델을 기반으로 새로운 시점에서의 영상을 생성할 수 있다[14].

플렌옵틱 기술과 관련하여, Japan Display의 라이트 필드 디스플레이는 고해상도의 3D 영상을 제공하는 새로운 기술로 주목받고 있으나, 아직 몇 가지 한계를 드러내고 있다. 예를 들어, 이미지 해상도와 관련된 기술적 제약과 비용 문제는 상용화에 있어서 중대한 장애물이 될 수 있다.

최근에는 딥러닝 기술의 발전으로 여러 시점의 이미지나 비디오를 학습하여 다양한 형태의 메타데이터(예: 코스트 볼륨_ Cost Volume, 다중 평면 이미지 _ Multi Plane Image)를 생성하고, 이를 바탕으로 새로운 시점의 영상을 만드는 기술들이 개발되었다. 이러한 기술들은 대규모로 학습된 딥러닝 네트워크를 필요로 하며, 이는 대규모 영상 데이터와 고급 학습 시스템을 보유한 소수의 대기업들이 주로 활용할 수 있었다. 그러나 최근에는 Neural Radiance Fields(Nerf) 기술이 등장하면서, 대규모 사전 학습 없이 입체로 생성하고자 하는 다중 시점의 이미지로부터 임의 시점의 영상을 생성할 수 있게 되었다. 이 기술의 등장으로 시점 생성 기술이 일반화되었으며, 다양한 개선 알고리즘들이 개발되고 있다. 2023년까지는 상업용 콘텐츠 생성에 사용하기에는 영상 품질이 다소 부족했지만, 2024년 이후로는 영상 품질과 렌더링 속도가 급속도로 향상되고 있고, 최근에는 가우시안 스플래터(Gaussian Splatter) 기술이 특히 주목받고 있다.

2023년도에 프로토타입 콘텐츠를 제작할 당시 Nerf와 같은 심층 학습 기반의 영상 생성 기술이 아직 초기 단계였기 때문에 영상 품질이 낮았다. 본 연구에서는 이 한계를 극복하기 위해 6자유도 입체영상 콘텐츠를 생성하는 과정에서 메타데이터 기반의 시점 생성 및 저작 기술을 활용하였고, 이를 통해 향상된 입체감과 시청자 경험을 제공할 수 있었다.

본 연구는 유아들의 3D 입체영상에 대한 인식 및 지각을 탐구하기 위해, 유아들의 관심과 동기를 유발할 수 있는 ‘요가 타이틀송’ 콘텐츠를 초기 단계에서 개발하였다.

이 프로세스는 단순한 학습 도구를 넘어 실험적 매체로서, 유아들의 흥미와 호기심을 유발하고, 그들의 집중을 유지하게 하여 깊이 있는 데이터를 수집할 수 있는 데 초점을 맞추었다. 이러한 접근은 어린이들이 2D 및 3D 영상을 보며 보여 주는 반응을 관찰함으로써, 입체영상에 대한 효과적인 반응을 이끌어 내는 중요한 매개체로서 기능하도록 설계되었다.

프로토타입 시나리오는 교육전문가, 요가 전문가, 일러스트레이터, 디자이너를 포함하여 캐릭터 개발과 타이틀송의 작사, 작곡, 노래 및 안무 작업에 각 분야 최고의 전문가들이 참여하여 이루어졌다. 그리고 어린이들에게 호기심과 즐거움을 제공하는 디지털 콘텐츠 개발과 관련된 선행연구를 기반으로[15], 전문가들과의 논의 과정을 거쳐 유아들에게 교육적이면서도 흥미로운 경험을 제공할 수 있도록 시각적 및 감성적 반응을 자극할 수 있는 시나리오를 도출해 냈다.

본 연구는 다중 요소 동영상 카메라를 사용하여 유아 요가 프로그램의 입체영상 촬영 및 생성을 목표로 하였다. 프로토타입 제작을 위해, 동기화된 60fps의 4K 해상도를 지원하는 16대의 카메라로 구성된 두 시스템을 사용하였다.

이 시스템들은 각각 영상의 정면과 좌측 45도 각도에서 촬영을 수행하여, 공간적 깊이와 다양한 시점에서의 영상 데이터를 획득하였다. 이러한 방법은 다차원의 시각적 정보를 포착하고, 더욱 풍부한 시청 경험을 제공하는 데 기여한다. 그림 2는 다중 요소 동영상 카메라를 사용한 입체영상 콘텐츠 획득 모습이다.

Fig. 2. 
Stereoscopic video content acquisition with multi-camera array

입체영상의 생성 과정에서는 딥러닝 기반으로 메타데이터를 생성하고 이를 기반으로 한 시점 생성 기술을 적용하였다. 이 기술은 다수의 요소 영상을 분석하여 입체감을 높이고, 각 시점에서 촬영된 영상 간의 일관성을 유지하며 입체영상을 구성한다. 구체적으로는 다음과 같은 단계를 거쳤다.

4) 시점 생성

본 연구의 사용자 실험을 위해서, 48시점을 제공하는 15인치 무안경 입체영상 디스플레이를 사용하였다. 각 디스플레이의 시점 수와 가시화 정보는 고정된 값이므로, 각 디스플레이에 맞게 앞 단계에서 생성한 메타데이터를 기반으로 다시점 영상을 생성하고 이를 MOV 형식의 동영상으로 제작하였다.

관찰자는 머리를 움직임에 따라 위치에 맞는 45 혹은 48 시점의 영상 중 한쌍을 양눈으로 보게 되며, 이를 통해 양안 시차를 경험하고, 머리의 움직임에 따라 운동 시차를 경험하게 된다. 해당 디스플레이는 디스플레이 패널의 해상도를 나누어 시점 영상 가시화에 사용하기 때문에 전체적인 해상도가 낮아지는 단점을 가지나, 동시에 2명 이상의 사람이 동일한 영상 콘텐츠를 경험할 수 있는 장점을 가진다. 다중 요소 동영상 입체영상 콘텐츠의 생성 프로세스는 표 2에 제시하고 있다.

Table 2. 
Multi-view based stereoscopic video content creation process

Object recognition
↓
Virtual camera calculation
↓
Live action and CG synthesis
↓
Viewpoint generation

5) 입체 효과 극대화를 위한 영상 획득 장면 설정

실험 대상 디스플레이에서의 입체 경험 극대화를 위하여, 다양한 거리 및 시야각에 대한 객체 배치 실험을 반복하였다. 실험 결과를 기반으로 카메라 어레이와 실사 객체와의 최소 거리는 3m, 최대 거리는 6m로 설정하였다. 또한, 객체 간의 공간감 대비를 위하여, 인물 및 객체를 네 열로 배치하였다. 첫 번째 열에는 만들어 넣을 캐릭터 자리와 어린이, 두 번째 열에는 요가 선생님, 세 번째 열에는 소파를 배치하고, 네 번째 열의 벽면에는 그림이 걸린 액자를 부착하여 공간감을 더욱 풍부하게 표현하였다.

그림 3은 입체효과 극대화를 위한 영상 획득 장면 설정을 나타낸 것이다.

Fig. 3. 
Scene setup diagram for stereoscopic video content acquisition

본 연구의 설문 도구는 입체감, 피로감, 실재감 등 입체영상의 지각에 관한 선행연구를 기반으로 본 연구의 목적과 유아들의 발달 단계에 적합하게 개발되었다[16],[17].

선행연구의 설문지는 예비조사를 통해 신뢰도를 평가하여 재구성되었다. 예비조사는 2023년 11월 1일부터 11월 3일까지 실시되었으며, 성결대 부속 유치원 어린이 50명을 대상으로 실시하여 신뢰도를 만족시키지 못하는 문항을 제외함으로써 연구의 정밀성을 높였다(신뢰도 =.758). 설문 응답은 어린이의 발달 단계를 고려, 3점 척도(1-상, 2-중, 3-하)를 적용하여 유아들의 인지적 발달 수준에 맞춰 답변의 복잡성을 줄였다.

연구 참여 유아들에게 제공된 유아 요가 프로토타입 콘텐츠 영상은 6자유도 입체영상으로 제작되었는데, 이 영상은 일반 디스플레이에서는 2D로 보이고, 입체영상 디스플레이에서는 3D 효과를 경험할 수 있다.

유아들의 주의를 끌고 집중력을 유지하기 위해, 이 영상은 전체적으로 완결된 1분 길이의 타이틀송으로 구성되었다. 이는 일반적으로 실험에 사용되는 실험을 위한 단편적인 영상과 달리 완성된 콘텐츠를 제공함으로써 유아들에게 온전한 교육적 경험을 제공할 수 있게 하였다. 그림 4는 완성된 프로토타입 영상을 보여 준다.

Fig. 4. 
Stereoscopic video content on multi-view display

이 연구는 성결대학교 부속 유치원, 안양시 신일 유치원, 군포시 오금동 어린이집에서 6세와 7세 유아 159명을 대상으로 진행되었다. 실험은 2023년 11월 27일부터 12월 7일까지 교육기관의 일정에 맞게 이루어졌다.

참여한 교육기관별로 연구 일정과 참여 인원 분포는 표 3에 상세히 나타나 있다.

유아들은 2D와 3D 영상을 동시에 시청했다. 모든 영상은 내용상 동일하며, 48시점을 제공하는 15인치 무안경 입체영상 디스플레이(Looking Glass Factory)와 그와 같은 크기의 아이패드를 사용하여 상영되었다.

프로토타입은 유아들이 영상 형식에 따른 입체적 인식 차이를 비교하는 데 사용되었다. 그림 5는 2D 영상과 3D 입체영상을 동시에 시청하는 실제 실험 모습이다.

Fig. 5. 
Viewing 2D and 3D stereoscopic videos simultaneously

연구 과정에서 교사와 연구자는 유아들이 2D 및 3D 영상을 시청하며 경험하는 입체감과 직관적 반응을 자유롭게 표현할 수 있도록 적절한 환경을 조성하였다. 이를 통해 유아들이 2D와 3D의 두 영상 형식에 대해 느끼는 차이점을 자연스럽게 표출하도록 도왔다. 연구자와 교사는 이들의 발언과 반응을 세심하게 기록하였다.

영상 시청 후, 유아들은 간소화된 3점 척도를 사용하여 설문에 응답하였다. 연구자가 질문을 읽어 주고 어린이들이 구두로 답변하는 형식으로 진행된 구두 설문 조사를 실시하였다. 이 설문은 유아들의 인지 상태와 표현 능력을 최대한 고려하여 진행되었다.

표본의 인구사회학적 특성을 보면, 참여 유아는 6세가 49.7%, 7세가 50.3%이며, 성별 분포는 남자가 49.7%, 여자가 50.3%로 균등하게 분포되어 있다.

본 연구에서 사용된 입체영상의 지각과 관련된 측정 도구의 신뢰도는 Cronbach’s α를 사용하여 평가되었다(α = 0.765), 이 결과는 각 항목의 내적 일관성이 학문적 기준을 충족함을 보여 준다.

연구 자료의 표본 수집은 편의 표본 추출 방법을 사용하여 실시되었다. 총 159명의 유아를 대상으로 실험을 진행하였고, 5명의 아이들은 실험에서 부실한 응답 결과로 제외되어 실제 분석에는 154명의 응답 결과가 분석되었다. 수집된 데이터는 SPSS 24.0 프로그램을 이용하여 분석되었다. 실험의 효과는 일표본 T-검정을 통해, 성별과 연령별 변인의 차이는 독립 표본 t-test를 통해 분석되었다.

본 연구의 목적은 6자유도 입체영상 기술을 사용하여 유아 요가 ‘타이틀송’ 프로토타입을 제작하고, 6세 및 7세 유아들에게 2D 및 3D 형식으로 동시에 시청하게 한 후, 이 기술이 유아의 3D 영상 인식과 지각에 어떠한 영향을 미치는가를 조사하는 것이다.

이를 위해 일표본 T-검정을 사용하여, 표본 집단의 평균 입체영상 인식 점수가 통계적으로 유의미한 차이를 보이는지를 검정하였다.