다화면 3차원 디스플레이의 휴먼팩터 평가기술

다시점 디스플레이는 인간의 깊이 인지 요소 중 하나인 양안 시차 원리를 통해 3차원 입체감을 제공하는 영상을 재생하는 시스템이다. 양안 시차란, 인간이 실세계에서 입체감을 인식할 때, 양안의 위치 차이로 인해 발생하는 시차를 의미한다. 인간은 수평방향으로 약 6.5 cm 떨어진 양안을 통해 서로 다른 두 개의 상을 획득한 후, 뇌에 전달하여 두 개의 상의 시차를 분석하여 눈이 응시하는 공간의 입체감을 인지한다. 다시점 디스플레이는 두 눈에 상이 맺히는 것과 동일하게 시점 영상을 획득하고 이를 왼쪽 눈과 오른쪽 눈에 각각 분리하여 전달함으로써 입체감을 제공한다.

다시점 디스플레이는 두 개 혹은 그 이상의 시점 영상을 서로 다른 위치에 전달하여 한 사람 혹은 여러 사람에게 지정된 위치에서 입체감을 제공한다. 다시점 디스플레이는 양안에 제공할 좌우 영상을 분리하기 위해 특수안경을 사용하는 스테레오스코픽 디스플레이와 달리 사용자에게 별도의 안경 착용을 요구하지 않지만 지정된 위치에 정확한 시점영상을 제공해야 한다. 이를 위해 대표적으로 렌티큘러 렌즈 혹은 시차 장벽이 사용된다. 렌티큘러 렌즈는 원기둥이 세로 방향으로 잘린 형태의 렌즈가 배열되어 있는 형태의 광소자로서 렌즈마다 여러 화소들과 대응한다. 이때, 대응되는 화소에서 재생되는 영상은 화소가 배치되어 있는 행에 따라 각각 다른 시점에 분리되어 전달된다. 반면 시차장벽은 일정한 크기의 슬릿이 일정한 간격으로 배열되어 디스플레이의 각 화소의 영상이 진행될 수 있는 경로를 제한함으로써 지정된 위치마다 전달될 수 있는 영상 정보를 제한한다.

다시점 디스플레이는 인간의 눈의 배치 방향에 맞춰 수평 방향으로 시점을 배치하기 때문에 재생에 사용되는 2차원 디스플레이 단말의 가로 해상도가 크게 저하되는 문제가 있다. 이를 보완하기 위하여 렌티큘러 렌즈 혹은 시차장벽을 비스듬하게 배열함으로써 사용자에게 전달되는 시점 영상의 가로 해상도의 저하를 줄이는 기술을 사용하고 있다.

다화면 디스플레이는 여러 개의 디스플레이 단말을 정합하여 하나의 영상을 제공함으로써 대화면 고해상도 영상을 구현할 수 있다는 특징을 가지고 있다. 하나의 디스플레이를 대화면으로 구현할 경우, 주사속도의 한계로 디스플레이의 반응속도가 느리고 균일하게 영상 정보를 표현하는데 어려움이 있는 등 여러 문제점이 발생한다. 하지만 다화면 디스플레이를 구성할 경우, 디스플레이 단말 자체의 해상도 및 크기 제한 등을 해결할 수 있다. 다만, 각 디스플레이 단말마다 패널을 고정하기 위해 사용되는 베젤이 구현되는 영상 안에 그대로 노출되는 문제가 있다. 또한, 각 디스플레이의 경계에서 영상이 자연스럽게 연결되어 표현되어야 하며 디스플레이들 사이의 휘도, 감마, 색농도, 콘트라스트 등이 일치해야 한다. 현재, 다화면 디스플레이 기술은 엔비디아의 ‘3D 비전 서라운드’와 AMD의 ‘아이피니티’가 주도적으로 경쟁하며 연구·개발 중이다.

Fig. 1.

Multi-panel display

넓은 의미에서의 휴먼팩터는 인간이 가진 능력과 한계에 관한 지식을 이용하여 시스템을 설계하고 이들의 안전성, 효율성, 쾌적성 등을 실현하는 것을 목적으로 한다. 인간이 다양한 시스템과 상호작용하는 과정에서 어떻게 하면 안전하게, 편안하게 그리고 오류 없이 수행을 할 수 있도록 하는 가이드라인을 제공해 준다. 좁은 의미에서의 휴먼 팩터는 3차원 시각피로나 신체적 불편감을 유발하는 요인들(시청자 요인, 콘텐츠 요인, 시청환경, 디스플레이 요인)과 인간의 공간 지각 사이의 함수 관계를 규명하는 것을 목적으로 한다. 즉, 유해요인들을 규명하고 평가하여 3차원 영상물을 관람할 때 보고되는 신체적 불편감이나 시각피로를 최소화하며, 콘텐츠 제공자가 의도한 입체 깊이를 시청자가 지각 할 수 있도록 도와 줄 수 있는 가이드라인을 제공해 준다.

휴먼팩터 연구는 인간이 가진 능력과 한계에 관한 지식을 통해 인간이 다양한 시스템과 상호작용하는 과정에서 안전하고 편안하며 오류 없이 수행을 할 수 있는 최적의 환경을 조성하기 위한 방향을 제시하는 것을 목적으로 하는 연구이다.

다화면 3차원 디스플레이에 대한 휴먼팩터 연구는 3차원 시각피로나 신체적인 불편감을 유발하는 요인(시청자 요인, 콘텐츠 요인, 시청환경, 디스플레이 요인)과 인간의 공간 지각 사이의 함수 관계를 규명하는 것을 목적으로 한다.

현재 다화면 3차원 디스플레이에 관한 연구는 3차원 영상의 자체 품질이나 3차원 영상을 제공하는 환경에 대한 기술적인 연구역량을 확장하고 있지만 여전히 다화면 3차원 디스플레이는 사용자의 시각피로와 불편감을 유발하는 등 영상을 관람하는데 제한요소가 존재한다. 하지만 이를 해소하는데 근간이 될 수 있는 다화면 3차원 디스플레이에 대한 인간의 시각 반응 특성들에 대한 정확한 자료가 여전히 부족한 실정이다. 따라서 꾸준한 휴먼팩터 연구를 통해 사용자 친화적인 저피로 고실감 영상 콘텐츠를 위한 가이드라인을 제시하는 것이 필요하다.

본 연구에서는 다화면 3차원 콘텐츠 휴먼팩터 평가를 위해 휴먼팩터 요인을 3가지로 분류하고 정령화 하였다. 우선, 감마는 디스플레이의 회색조와 영상의 휘도간 상관관계를 나타내는 요인으로, 동일한 3차원 콘텐츠의 감마값을 각각 0.6과 1로 설정하였다. 다음으로 Zero plane (Focusing plane)은 3차원 콘텐츠 생성 시 카메라의 Convergence plane을 의미하는 것으로, 동일한 3차원 공간에 대하여 Zero plane을 스크린을 기준으로 각각 0.6 m, 3.6 m, 6.6 m멀어지게 설정하여 3차원 콘텐츠를 획득하였다. 마지막으로 Baseline (Distance between two adjacent cameras)은 3차원 콘텐츠 생성 시 카메라 사이의 간격으로, 동일한 3차원 공간에 대하여 baseline을 각각 0.3 m, 0.5 m, 0.7 m로 설정하여 콘텐츠를 획득하였다.

디스플레이와 영상 콘텐츠의 발달로 많은 3차원 입체영상을 체험할 수 있게 되었다. 하지만 3차원 영상 감상에는 다양한 요인에 의한 시각적 피로가 수반된다. 3차원 영상을 감상할 때 시청자는 주로 안구통증이나 어지러움 등을 호소하며 이러한 문제점들이 해결되지 않은 영상 콘텐츠 및 디스플레이 기술은 3차원 영상 시장 발전을 저해할 가능성이 있다.

3차원 영상 시각피로 발생 원인으로 주로 언급되는 요인으로는 안구 초점 조절과 수렴(vergence)의 불일치, 양안시차, 크로스토크, 스테레오 반전 등이 있다. 이러한 요인들 중에서도 크로스토크와 같이 시청자의 개입 없이 측정이 가능한 요인에 대해서는 측정 장비를 이용하여 객관성 높은 영상 품질 평가를 할 수 있다. 반면 콘텐츠가 유발하는 시각피로도 평가를 위해서는 시청자의 개입이 불가피하다. 시청자가 콘텐츠를 경험한 후 겪은 증상들로부터 유발 요인을 규명하고 이를 객관적으로 평가된 영상 품질 요인과의 상관성 분석을 통해 피로함수 유도에 적용할 수 있다.

시각적 피로를 측정하기 위한 방법으로는 크게 주관적 평가와 객관적 평가의 두 가지 방식을 사용한다. 심전도, 근전도, 뇌파신호와 같은 생체신호 등의 객관적 지표를 사용한 것을 객관적 평가라 하며, 해당 영상을 주관적으로 판단하여 좋고 나쁨을 결정하는 것을 주관적 평가라고 한다. 생체신호 등은 측정을 통해 객관적 지표로서 활용하는 데에 큰 어려움이 없지만 주관적 평가의 경우에는 설문 문항을 어떻게 설계하는가에 따라 데이터의 객관성과 신뢰도가 좌우된다. 설문을 통한 주관적 평가 방식은 주관적 시각 피로 측정을 위한 문항이 연구자에 의해 임의로 설정될 가능성이 있다는 점에서 문제를 갖는다. 따라서 주관적 평가를 실시하기 전에 시청자로 하여금 실시되는 설문에 대한 논리적 근거와 타당성이 규명되어야 하며, 주관 평가를 위한 설문의 각 항목이 시각피로 유발요인 중 어떤 요인과 상관관계를 갖는지가 논리적으로 분석되어야 한다.

기존의 연구들에서 시각피로 평가를 위한 주관적 설문은 주로 피로감에 대한 단 하나의 문항에 5점 척도로 보고하는 방식이었다[10]-[12]. 하지만 3D 콘텐츠에 의한 피로감은 여러 가지 요인이 복합적으로 작용함으로써 발생한다. “안구에 피로감을 느낍니까?” 또는 “어느 정도 피곤함을 느낍니까?” 와 같은 질문에 ‘전혀 아니다’, ‘아니다’, ‘보통이다’, ‘그렇다’, ‘매우 그렇다’ 중 하나를 고르도록 하는 방식으로는 평가 결과에 대한 신뢰성을 확보하기 어려우며 시각피로 발생 요인에 대한 정보 또한 얻을 수 없다. 따라서 콘텐츠 체험자가 보다 직관적으로 답변할 수 있으며 시각피로 발생에 관여한 각 요인을 구분지어 평가할 수 있는 구체적 문항이 필요하다.

이러한 필요성에 따라 Li등[13]은 사전 조사를 통해 37개의 초기 문항을 설계하고 이를 피험자들에 대한 주관적 평가 척도로 사용하여 요인 분석을 실시하였다. 데이터를 얻기 위해서 피험자들에게 편광 안경을 쓰고 3차원 영상을 시청하도록 한 후 37개의 각 문항에 대해 5점 척도로 보고하게끔 하였다. 이 연구에서는 시각피로 발생 요인을 총 다섯 가지로 보고 데이터를 반으로 나누어 각각 탐색적 요인분석과 확인적 요인분석을 하였다. 두 개 이상의 요인에 대해 높은 상관성을 지닌 문항이나 어느 요인과도 상관성이 낮은 문항의 경우를 삭제하여 결과적으로 총 32개의 문항으로 구성된 설문을 확보하였으며, 이 문항들은 다섯 개 요인 중 하나에 속하게 된다. 연구에서는 위 실험에 대해 표1과 같은 결과를 제시하였다. 본 휴먼팩터 평가에서는 선행연구에서 도출된 표준화된 설문지를 이용하여 평가를 진행하였다[9]. 작성된 평정치에 대해 다변량 통계분석에 의한 통계적 유의성 확인 절차를 통해 상기 작성된 휴먼팩터 요인(감마, 입체감(Zero plane, Baseline))에 따른 현실감, 몰입감, 시각적 피로도를 분석하였다.

Table 1.

Five factors for visual fatigue

눈의 대표적인 역할 중 하나는 응시하고자 하는 물체에 대한 상을 망막에 맺히게 한 후, 신경을 통해 전달되는 시각적 정보를 뇌에 전달하는 것이다. 이 과정에서 눈은 물체에 대한 상이 망막에 깨끗하게 맺힐 수 있도록 물체와의 거리에 따라 수정체의 두께를 변화시키는 조절 작용을 한다. 이러한 눈의 특성을 조절 (Accommodation)이라고 한다. 수정체는 렌즈와 같은 역할을 하며 수정체의 곡률 변화에 따라 입사되는 빛의 초점거리가 바뀌기 때문에 수정체와 망막 사이의 거리가 일정함에도 망막과 대응되는 지점의 거리가 바뀔 수 있다. 만약 가까운 곳에 있는 물체를 바라볼 때 수정체의 두께는 두껍게 조절되어 초점거리를 짧게 하고, 먼 거리의 물체를 바라볼 때 수정체의 두께는 얇아져서 초점거리를 증가시킨다. 눈이 응시하고 있는 물체가 이동할 경우, 수정체의 두께는 눈과 물체 사이의 거리 변화에 대응하여 조절된다. 하지만 눈이 피로함을 느낄 때 움직이는 물체에 대하여 초점을 이동하는 것에 대한 부담이 발생한다. 따라서 본 평가에서는 3차원 콘텐츠를 시청하기 이전과 3차원 콘텐츠를 시청한 후에 움직이는 물체에 대한 안구의 초점 조절 변화를 측정한 후 결과를 비교하여 눈의 시각 피로도를 분석하였다.

본 평가에서는 자체 개발한 Accommodometer를 이용하여 눈의 초점 조절 변화를 측정하였다. 그림 2는 Accoommodometer를 이용하여 안구의 초점 조절을 측정하는 사진이다. Accommodometer는 안구에 적외선을 입사시킨 후, 망막에서 반사되어 나오는 적외선을 원주렌즈 (Cylindrical lens)를 경유하여 영상을 획득하고 이를 분석하여 안구의 초점조절 변화를 판단하는 장치이다. 그림 3(a)는 원주렌즈에 인한 적외선 영상의 비점수차 발생에 대한 모식도이다. 앞서 언급한 바와 같이, 응시하고 있는 물체의 위치에 따라 수정체의 굴절률이 바뀌면서 망막에서 출발한 빛이 수정체를 통과하여 다시 모이는 위치도 동일한 원리에 의해 변화된다. 적외선이 이 지점에 도달하기 전에 원주렌즈를 통과할 경우, 원주렌즈의 특성에 따라 적외선에 비점수차(Astigmatism)가 발생하게 된다. 이 때, 한 지점에서 획득되는 적외선의 영상은 타원형의 형태로 표현되고 수정체의 굴절률 변화에 따라 타원형의 이심율이 변하게 된다. 그림 3(b)는 실제 실험에서 획득한 적외선의 모습이다. 본 평가에서는 3D 콘텐츠의 시청 전·후에 획득한 적외선 영상의 비점수차 비율(Astigmatism ratio)의 변화를 분석하여 안구의 시각피로도 변화를 확인하였다.

Fig. 2.

Eye examination for human factor evaluation

Fig. 3.

(a) Astigmatism of infrared ray due to the cylindrical lens, (b) Acquired image

실험에서는 정상시력과 입체시를 지닌 15명 (평균나이: 32.27±7.13; 남자: 11, 여자: 4)에 대한 평가를 실시하였다. 콘텐츠의 입체감 (Baseline × Zero plane)은 0.3 × 8.6, 0.5 × 11.6, 0.7 × 14.6 3수준으로, 감마 (NVIDIA 제어판)는 0.6, 1.0 2수준으로 총 6가지 조건을 사용하였다. 시청거리는 2.7 m롤 설정하였으며, 실험에 사용된 다화면 3차원 디스플레이는 그림4과 같이, 4대의 렌티큘러 방식의 다시점 디스플레이 (제작업체: DIMENCO)가 2 × 2 배열로 정합된 무안경 3차원 디스플레이 시스템이다. 4대의 다시점 디스플레이로 구성된 다화면 3차원 디스플레이는 9개의 시점 영상이 재생되며, 콘텐츠 시점 당 해상도는 2560 (가로) × 1440 (세로)이다.

Fig. 4.

Multi-panel 3D display and contents used for the evaluation of human factor

평가절차는 입체감과 감마요인이 혼합된 6가지 조건의 자극을 (평가대상자별로) 랜덤한 순서로 1분 30초간 시청하게 한 후 현실감, 몰입감, 시각적 불편감에 해당하는 주관적 평가를 수행하게 한다. 또한 시각피로 여부를 평가하기 위해 태스크 수행 전 후에 Accodomometer를 이용하여 동공반응(거리에 따른 초점조절)을 측정한다.

결과 분석은 평가 결과에 대한 신뢰성을 확보하기 위해서 다변량 통계검정을 수행하였으며, 입체감과 감마가 주관적 평정치에 미치는 영향을 분석하기 위해 입체감 3수준과 감마 2수준을 각각 피험자 내 요인(3 × 2)으로 하는 이원 반복측정 분산분석 및 Tukey’s HSD 사후검정 수행하였다.

현실감은 이원 반복측정분산분석 결과, 입체감과 감마요인간의 상호작용효과와 감마의 주효과가 유의하지 않았으나 입체감의 주효과는 유의한 결과를 나타냈다. 따라서 각 감마 수준에 한정하여 입체감의 영향을 분석함(입체감에 따라 주관적으로 느껴지는 현실감이 통계적으로 유의한 차이가 있음을 의미한다. (F[1.35,18.95] = 22.78, Greenhouse-Geisser correction[ε = 0.68], p < 0.001, η²_p = 0.62)). 세부 조건들 간에 실제로 어떠한 차이가 있는지를 평가하기 위해 Tukey‘s HSD 사후검정 수행하였으며, 결과는 다음과 같다. 감마 0.6일 때 1:2 (p < 0.001), 1:3 (p < 0.001), 2:3 (p = 0.118), 감마 1일 때 4:5 (p = 0.055), 4:6 (p < 0.001), 5:6 (p < 0.001).

Fig. 5.

Result of Realness evaluation in accordance with the depth modulated by the distance between two adjacent cameras and gamma

몰입감의 경우 입체감과 감마요인간의 상호작용효과와 감마요인의 주효과가 유의하지 않으며, 입체감의 주효과가 유의하였다. (F[1.25,17.55] = 15.81, Greenhouse-Geisser correction[ε = 0.63], p < 0.001, η²_p = 0.53). 사후검정 결과는 다음과 같다. 감마 0.6일 때 1:2 (p = 0.013), 1:3 (p < 0.001), 2:3 (p = 0.128), 감마 1일 때 4:5 (p = 0.094), 4:6 (p < 0.001), 5:6 (p = 0.041).

Fig. 6.

Result of engagement evaluation in accordance with the depth modulated by the distance between two adjacent cameras and gamma

시각적 스트레스는 입체감과 감마요인간의 상호작용효과와 감마요인의 주효과 유의하지 않으며, 입체감의 주효과가 유의하였다. (F[2,28] = 20, p < 0.001, η²_p = 0.60). 사후검정 결과는 다음과 같다. 감마 0.6일 때 1:2 (p = 0.010), 1:3 (p < 0.001), 2:3 (p = 0.267), 감마 1일 때 4:5 (p = 0.222), 4:6 (p < 0.001), 5:6 (p = 0.001).

Fig. 7.

Result of visual stress evaluation in accordance with the depth modulated by the distance between two adjacent cameras and gamma

눈 통증의 경우, 입체감과 감마요인간의 상호작용효과와 감마요인의 주효과가 유의하지 않았으며, 입체감의 주효과 유의하였다. (F[1.46,20.41] = 12.96, Greenhouse-Geisser correction[ε = 0.73], p = 0.001, η²_p = 0.48). 사후검정 결과는 다음과 같다. 감마 0.6일 때 1:2 (p = 0.015), 1:3 (p < 0.001), 2:3 (p = 0.367), 감마 1일 때 4:5 (p = 0.654), 4:6 (p = 0.001), 5:6 (p = 0.005).

Fig. 8.

Result of eye strain evaluation in accordance with the depth modulated by the distance between two adjacent cameras and gamma

이중상은 입체감과 감마요인간의 상호작용효과와 감마요인의 주효과가 유의하지 않으며, 입체감의 주효과가 유의하였다. (F[2,28] = 39.97, p < 0.001, η²_p = 0.74). 사후검정는 다음과 같다. 감마 0.6일 때 1:2 (p = 0.002), 1:3 (p < 0.001), 2:3 (p = 0.004), 감마 1일 때 4:5 (p < 0.001), 4:6 (p < 0.001), 5:6 (p = 0.011).

Fig. 9.

Result of difficulty in focusing evaluation in accordance with the depth modulated by the distance between two adjacent cameras and gamma

마지막으로, 안구반응의 경우 개인 간 기저선 차이를 최소화하기 위해 Max-min 정규화 과정을 수행한 후 거리에 따른 3차원 콘텐츠 시청 전후의 초점 조절 반응의 변화를 평가하였다. 그림 10에서 보는바와 같이 시청 전후에 유의한 차이가 관측되지 않았는데, 이는 평가에 사용된 3차원 콘텐츠가 다양한 조건에서 시청하고 난 이후에도 일시적으로 안구의 기능을 변화시킬만한 자극적인 콘텐츠가 아니었음을 의미한다.

Fig. 10.

Normalized astigmatism ration for the left eye (upper) and right eye (bottom) after watching 3D contents