HMD 기반의 VR 전시 경험 향상을 위한 2.5-D 전시 콘텐츠 재구성에 관한 연구

3-1 2.5-D 전시 콘텐츠 재구성 방법

2.5-D 변환 기반의 전시 콘텐츠 재구성은 크게 다음의 5단계로 이루어진다.

• ① Segmentation: 작품 내 요소들을 구별하여 별도의 이미지들로 분리하는 단계
• ② Depth Layout: 분리된 각 작품 요소에 깊이 정보를 할당하는 단계
• ③ Geometry Conversion: 각 작품 요소를 3차원 공간상에 배치할 수 있는 도형으로 만드는 단계
• ④ Animation: 흥미와 몰입감을 높이기 위해 특정 작품 요소에 움직임을 생성하는 단계
• ⑤ Spatial Sound: 2.5-D 변환으로 작품 내 생성된 3-D 공간에 가상의 사운드 소스를 설치하는 단계

2.5-D 콘텐츠는 사진이나 이미지 같은 2-D 형태의 콘텐츠를 구성하는 각 픽셀에 색상 정보 외에 깊이 정보를 더하는 것으로 구현된다. 즉,

● 2-D: p(x, y) = (r, g, b)
● 2.5-D: p(x, y) = (r, g, b, depth)

이렇게 생성된 콘텐츠는 깊이 정보만 가질 뿐이어서 보는 각도에 따라 입체로 보이지 않기에 3-D 콘텐츠와 분명한 차이를 지닌다. 하지만 원본 이미지를 최대한 보존하면서 쉽게 2-D 콘텐츠를 입체적 공간감을 지니는 콘텐츠로 창조해 내는 장점을 지닌다.

변환의 첫 단계인 Segmentation 단계에서는 작가가 작품에 담은 의도를 충분히 이해하고 도상학 등에 대한 지식이 풍부한 전문가의 역할이 매우 중요하다. 이때 디자인 결정 사항은 무엇을 분리할 것인가이다. 분리된 요소들이 너무 많으면 관람객의 감상 경험은 파편화되기 쉬우며 요소 수가 너무 적으면 콘텐츠 재구성의 효과를 기대하기 어렵다. 한 요소에 같이 존재하는 이미지들은 그 연결성이 뚜렷하고 분리되었을 때 보다 작가의 의도를 더 살릴 수 있는 이미지들로 구성해야 한다.

두 번째 단계인 Depth Layout 단계는 분리된 각 요소를 3차원 가상 공간 안에서 배치하는 단계다. 관람객의 감상 방향을 깊이 축(depth axis)으로 하였을 때 분리된 각 요소는 깊이 축에서 서로 다른 위치에 배치되게 된다. 이때 결정해야 하는 중요한 사항은 분리된 요소 간에 순서를 정하는 일이다. 3차원 공간에서 배치되는 순서는 관람객의 동선을 결정하고 작품의 이해에 큰 영향을 미칠 수 있기에 역시 작품을 충분히 이해하고 있는 전문가의 역할이 중요하다.

세 번째 단계인 Geometry Conversion 단계는 분리된 각 요소를 3차원 공간 속에 실제로 구현하기 위해 필요한 단계로 만약 분리된 한 요소를 구성하는 픽셀들의 깊이 값이 모두 같다면 간단히 직사각형에 텍스쳐를 입혀 구현되지만, 그렇지 않고 한 요소 내에서 깊이감을 다르게 하여 입체감을 더 자세히 구현한다면 3-D 모델링으로 메쉬(Mesh)를 생성한 후 텍스쳐를 입혀 구현하게 된다.

네 번째 단계는 이렇게 입체적으로 재구성된 콘텐츠에 애니메이션을 넣는 단계로 2.5-D 변환으로 독립적으로 가상 공간을 점유하는 요소들이 생기기에 이러한 애니메이션 작업은 새롭게 생성된 객체들에 생기를 불어넣는 작업에 비유할 수 있다. 움직이는 이미지들은 관람객의 주의를 끌어당기는 강력한 힘을 가지고 지나치게 사용될 경우 경험을 산만하게 만들기에 무엇에 어떤 움직임 요소를 넣을 것인가를 디자인하는 작업은 작가의 의도를 파악하고 있는 전문가에 의해 결정되어야 한다. 정적인 회화에 추가되는 이러한 움직임의 요소는 적절하게 사용될 경우 관람객의 흥미와 몰입감을 증가시킬 수 있다.

2.5-D 변환을 통해 새롭게 작품 내에 생성된 3차원 공간들이 제공할 수 있는 또 다른 장점은 관람객에게 새로운 청각적 경험을 가능하게 한다는 점이다. 작품 내 이미지 요소와 관련된 사운드를 새롭게 생성된 3차원 공간에 입체적으로 배치함으로써 관람객들은 작품을 시각뿐 만 아니라 청각으로도 경험할 수 있게 된다. 변환의 마지막 단계는 이러한 입체 사운드를 디자인하는 단계다.

HMD 기반 VR 전시 공간상의 특정 요소에 가상으로 설치된 입체 사운드는 관람객이 그 요소에 가까이 이동함에 따라 소리가 커지는 효과를 통해 관람객의 동선을 유도하는 역할을 할 수 있으며, 설치된 사운드 간의 소리의 강약 조절을 통해 작가는 작품의 요소 간 중요도를 암시적으로 전달할 수 있다. 또한 소리의 질감을 통해 전달하고자 하는 감정을 보다 심층적으로 전달할 수 있다. 이렇듯, 2.5-D 콘텐츠 재구성으로 인해 구현이 가능해지는 입체 사운드는 단순히 감각을 하나 늘리는 것을 넘어서 공간감, 현존감, 몰입감을 극대화할 수 있는 중요한 장치가 될 수 있다[11].

위에서 제시한 방법론을 적용하기에 적절한 작품은 주로 원래 공간감이 있었던 대상을 2차원 회화 작품으로 재현하거나 표현한 작품일 수 있지만, 어떤 작품도 위와 같은 2차 창작 과정을 통해 관람객이 가상공간에서 작품 안을 돌아다니며 체험하도록 디자인 할 수 있다. 관객은 가상 전시관 안에서 프레임 안에 배치된 원경, 중경, 근경뿐만 아니라 원한다면 기존의 프레임 외부로 이탈할 수 있으며, 연출에 따라서는 프레임 내부의 일부처럼 위치하고 자신의 모습과 작품이 결합 된 결과물을 볼 수도 있게 된다. 따라서 관람객이 관조적 시점에서 벗어나 수행적이며 보다 몰입적으로 작품을 경험할 수 있도록 유도한다.

3-2 Case Study: VR Nostalgia 5

제안하는 방법의 효과성을 알아보기 위해 사례연구를 진행하였다. 사례연구를 위하여 Tiffany Lee의 Liquid Nostalgia 시리즈 중 Liquid Nostalgia 5 작품을 사용하였다(그림 1). 이 시리즈는 지구상에 존재하는 대부분의 거리를 보여주는 구글 지도의 스트리트 뷰(Street View)에서 영감을 받아 창작되었다. 구글 스트리트 뷰는 거리 사진들을 재구성하여 실제 거리를 돌아다니는 경험을 제공한다. 그러나 이 거리는 현재의 거리가 아닌, 과거 어느 시점에 찍힌 모습이다. 이 지도 서비스는 롤랑 바르트가 제시한 사진의 노에마(noema), 즉, “그것은 존재했다”와 닮았다[12]. 즉, 그것은 감상자가 과거의 거리를 돌아다니게 한다. 본 사례 연구에서는 이 회화 작품을 HMD 기반의 VR 전시에서 관람객이 수행적이며 다 감각적으로 감상할 수 있는 2.5-D 콘텐츠로 변환해 보았다.

Fig. 1.

Case Study: Liquid Nostalgia 5 Original Painting

2.5-D 변환을 위한 첫 번째 단계인 작품 속 요소들의 분리(Segmentation)는 작품 내 객체 (예, 자동차, 나무, 우체통 등)들을 근경, 중경, 원경에 따라 그룹화(Grouping)하여 정하였다. 분리된 요소들은 실제 구글 지도의 스트리트 뷰에서의 공간 실측 거리를 참고하여 3차원 공간에 재배치되었다(Depth Layout). 하지만 실제 거리를 그대로 이용하지 않고 관람자가 시야에 방해 없이 돌아다니며 감상할 수 있도록 작품 요소 간의 거리와 지형(Terrain)을 디자인하여 새로운 공간을 창조하였다(그림 2).

Fig. 2.

Depth Layout referring to actual distance (Top View)

위와 같이 2.5-D 변환으로 새롭게 생성된 3차원 공간에 애니메이션과 입체 사운드를 구현하여 새로운 감각적 경험을 제공하도록 디자인하였다. 3차원 공간에 존재하는 하늘의 구름에 움직임(animation)을 구현하였으며, 일부 작품 요소에 입체 음향 소스를 구현하였다. 자동차에 다가갈수록 경적이 점차 크게 들리고 나무 근처로 다가가면 까마귀 울음소리가 들리도록 연출하였다(그림 3). 이러한 2차 창작 과정의 디자인은 원본 그림의 작가가 직접 관여하여 본인이 원본에서 전달하고자 했던 바를 발전시키는 방향으로 이루어졌다.

Fig. 3.

Installation of Spatial Sound Sources

4-1 실험 대상 및 실험 과정

제안한 방법의 효과성을 알아보기 위하여 앞의 사례 연구에서 재창작한 작품을 원본 작품과 비교하여 사용자 경험을 조사하는 실험을 진행하였다.

실험에서 2.5-D 변환으로 3차원 공간감이 생성된 VR 콘텐츠를 2.5-D 콘텐츠로(그림 4), 원본 작품을 가상의 전시 공간에 일반적인 갤러리에서의 전시 방법으로 전시장 벽에 걸어놓은 VR 콘텐츠를 2-D 콘텐츠로 지칭하였다(그림 5).

Fig. 4.

VR Nostalgia 5 created by converting Liquid Nostalgia 5 into 2.5-D Content (Top: view from the same camera angle as in the original painting, Bottom: other view)

Fig. 5.

2-D Content: Original 2-D artwork installed in a virtual gallery

실험은 인터넷을 통해 HMD VR 기기를 주로 접하는 연령층인 20~30대 중 VR 콘텐츠를 한번이라도 경험한 사용자 40명(평균연령 25세, 남녀성비 2:1)을 무작위로 모집하여 진행하였다. 실험은 콘텐츠를 체험하는 순서에 따른 영향을 최소화하기 위해 역균형화(Counter-balancing) 방식으로 진행되었다. 즉, 전체 실험 참가자를 A, B 두 그룹으로 각 20명씩 나눈 후 A 그룹은 2.5-D 콘텐츠를 먼저, B 그룹은 2-D 콘텐츠를 먼저 체험하게 한 후 다른 콘텐츠를 체험하도록 하였다. 두 그룹의 나이와 성별 분포에서 동질성 여부를 확인하기 위한 t-검정[23]결과에서 두 그룹 간 유의한 차이는 없었다(표 1).

Table 1.

Independent t-test results for homogeneity of Age and Sex distribution between group A and B. (M: Mean, SD: Standard Deviation, t: t-value, p: Probability)

실험 참가자들은 교내 연구실에 내방하여 실험에 참여하기 전에 두 가지 VR 콘텐츠에 대한 간단한 설명을 안내받고 각 VR 콘텐츠를 5분 동안 체험하였다. 관람자는 HTC-VIVE의 HMD를 착용하고 손으로 컨트롤러를 조작하여 실물 갤러리에서 관람하듯이 VR 공간 안에서 돌아다니며 작품을 원하는 거리와 방향에서 감상할 수 있었다. 실험 참가자들은 각 콘텐츠 체험을 마친 후에 설문조사에 응답하였으며 참가자 중 일부에 대해서는 심층 인터뷰를 별도로 진행하였다.

4-2 평가 항목

설문조사 항목은 총 네 가지로, 각 콘텐츠 사용 후 사용자 경험을 몰입도, 지적 호기심, 콘텐츠 만족도, 지속 이용 의도 항목에서 7점 척도의 리커트 스케일로 조사하였다. 본 실험에서 사용한 실제 설문조사 문항들은 [14]에서 확인할 수 있다.

VR 콘텐츠에 대한 몰입도(Immersion)는 Witmer와 Singer가 개발한 Immersive Tendency Questionnaire (ITP)[13]의 항목 중에서 본 연구와 관련되는 10개의 문항을 선별하여 사용하였다.

지적 호기심 요인은 새로운 지식을 습득함으로써 문제해결을 위한 개인적인 욕구를 의미한다[15]. 체험전시는 흥미와 지적인 호기심을 자극하여 관심을 유발하고, 적극적인 참여를 유도하는 결과로 이어진다. 콘텐츠 이용자가 체험 후에 콘텐츠에 대한 흥미가 생기고 이 콘텐츠에 대해 더 알아보고 싶은 생각이 생겼는지를 5개의 문항으로 측정하였다.

콘텐츠 만족도는 콘텐츠의 질적인 만족, 재미, 창의성, 유익성에 대해 측정한다. 이는 지속 이용 의도와도 상관관계를 가진다. 본 실험에서는 장형준과 김광호의 연구[16]를 참조하여 4개의 항목으로 만족도를 측정하였다.

콘텐츠의 지속 이용 의도 요인 평가를 위해서는 Davis의 연구[17]에서 사용한 측정 문항과 최민수의 연구[18]에서 사용한 측정 문항 등 관련 논문[19]-[21]을 참조하여 그 중 관련되는 네 문항을 선별하여 사용하였다.

4-3 정량 결과 분석

실험에 참여한 총 40명의 참가자를 대상으로 몰입도, 지적 호기심, 만족도, 지속 이용 의도 항목에서 두 가지 다른 VR 콘텐츠 간 사용자 경험에 유의미한 차이가 있는지 대응표본 t-검정(Paired t-test)으로 분석하였다.

몰입도 측정 결과, 제안하는 2.5-D 콘텐츠(M= 5.49)가 2-D 콘텐츠 방식(M=3.97)보다 통계적으로 유의하게 높은 점수를 보였다(t(39)=7.25, p<0.001). 지적호기심도 2.5-D 콘텐츠(M=5.98)가 2-D 콘텐츠 방식(M=4.01)보다 통계적으로 유의하게 높은 점수를 보였다(t(39)=7.05, p<0.001). 콘텐츠 만족도는 2.5-D 콘텐츠(M= 6.14)가 2-D 콘텐츠 방식(M=4.62)보다 역시 통계적으로 유의하게 높은 점수를 보였다(t(39)=7.05, p<0.001). 지속이용여부도 2.5-D 콘텐츠(M= 6.10)가 2-D 콘텐츠 방식(M=4.61)보다 통계적으로 유의하게 높은 점수를 보여(t(39)=7.05, p<0.001), 실험 참가자들은 네 가지 항목 모두에서 2.5-D로 변환한 작품에서 기존의 2-D 기반 콘텐츠보다 높은 사용자 경험을 보고하였다(표 2).

Table 2.

Paired t-test results in user experience questions between 2.5-D Content (proposed method) and 2-D Content (original) (M: mean, SD: standard deviation, t: t-value, p: probability, df: degree of freedom)

4-4 정성 결과 분석

콘텐츠 체험 후 응답한 설문 조사 주관식 의견에서 좋았던 점의 다수 의견으로는 2.5-D VR 콘텐츠 방식이 작품으로 들어가 직접 체험할 수 있어 흥미롭고 몰입할 수 있었다는 응답이 가장 많았다.

“(2-D 콘텐츠와 비교해) 직접 작품 안을 돌아다니는 느낌이 들어 재밌고 흥미로웠다.”(25세, 남)
“VR 작품을 더 몰입할 수 있었던 새로운 경험이었다. 작가의 다른 작품도 이러한 방식으로 체험하고 싶었다.”(25세, 여)

아쉬웠던 점으로는 작품 설명과 콘텐츠 양이 부족했다는 응답이 나왔다.

“내가 이 작품과 작가에 대한 이해도가 낮아서 좀 더 정확한 답을 주지 못한 것 같다. 작품 옆에 설명이 있었으면 좋았을 것 같다.”(26세, 남)
“콘텐츠 안에서 즐길 거리가 조금 없었다.”(28세, 남)

설문지에서의 정성 평가에 추가로 보다 구체적인 의견을 듣기 위해 심층 인터뷰를 추가로 시행하였다. 심층 인터뷰는 성별, 연령, VR 이용 빈도, 각 콘텐츠에 대한 선호도 등을 고려하여 임의로 선정한 5명의 참가자에 대해 추가로 진행하였으며 심층 인터뷰 대상자의 나이, 성별, 직업, 평소 월 VR 이용 빈도 정보는 표 3과 같다.

Table 3.

In-depth Interview Participants information

인터뷰 질문으로는 1. 각 콘텐츠의 어떤 요소가 다른 콘텐츠 와 비교해 더 몰입하게 만들었다고 느꼈는지, 2. 이러한 콘텐츠를 실제 전시장 혹은 학교와 같은 교육 현장에서 체험하게 된다면 어떨지, 3. 앞으로 이러한 콘텐츠가 나온다면 이용할 의도가 있는지를 주로 질문하였다.

첫 번째 질문 ‘각 콘텐츠의 어떤 요소가 다른 콘텐츠 와 비교해 더 몰입하게 만들었다고 느꼈는지’에서 심층 인터뷰 참가자들은 2.5-D 콘텐츠는 2-D 콘텐츠와 비교했을 때 직접 작품 속을 들어가서 체험한다는 점, 소리, 둘러싼 환경 등의 요소가 몰입도를 높여주었다고 응답하였다.

“소리의 상호작용이 더 몰입할 수 있게 도왔던 것 같다. 또한 (2D 콘텐츠에서) 벽에 걸린 그림보다 더 그림에 집중하고 세세하게 … 작품 안에 들어가 움직이면서 볼 수 있다는 점도 더 몰입할 수 있었던 요소였다.”(25세, 남)
“둘러싼 환경이 몰입에 도움이 되었다. … 작품 세계를 확장하게 시켜줘서 몰입감이 높았다.”(26세, 여)
“작품을 관람하는 환경이 먼저 주어지는 2D 콘텐츠가 오히려 온라인화, 디지털화된 미술관 느낌을 줘서 좋았다. 하지만 2.5D 콘텐츠보다 몰입감이 떨어지는 … 2D 콘텐츠의 형태에서 2.5D 콘텐츠로 들어가는 형태가 되면 좋을 것 같다.”(29세, 남)

두 번째 질문 ‘실제 전시장 혹은 학교와 같은 교육 현장에서 체험하게 된다면 어떨지’에서는 전시 현장이나 교육 분야의 전시 콘텐츠로서 학생들의 집중도, 동선, VR의 특성상 멀미의 문제가 있지만, 다양한 참여자에게 작품을 감상할 수 있는 체험의 기회, 다른 교육 콘텐츠와는 차별화된 경험 제공 등이 장점이라는 의견을 주었다.

“아직은 제한적인 것 같다. … 이 콘텐츠는 동선 짜기가 어려울 것 같다. 방해물이 없어야 하고, 서로 부딪히지 않게끔 구성해야 하는 등을 고려해야 할 것이다. 하지만 … 모든 계층에게 (작품을 감상할 수 있는) 체험의 기회를 줄 수 있다는 점은 교육 콘텐츠로서의 장점을 가진 것 같다.”(28세, 남)
“좀 더 와 닿고 몰입감이 있고 그 상황을 체험할 수 있어서 교육 콘텐츠에 좋을 것 같다. 멀미하는 사람은 오래 하지 못한다는 점만 단점일 것 같다.”(27세, 여)
“좋을 것 같다. 구글에서 이미 (2D 콘텐츠와 같은) 이러한 서비스를 진행하고 있으니, 2.5D 콘텐츠는 작품 속을 들어가는 색다른 콘텐츠라 이것이 장점이 돼서 교육용으로도 차별화되는 …….”(29세, 남)

세 번째 질문 ‘향후 이런 콘텐츠가 나온다면 이용할 의도가 있는지’에서는 이러한 콘텐츠가 전시의 접근성을 높여주고, 참여자는 감상에 방해받지 않고 혼자서 작품을 집중해서 볼 수 있다는 점, 기존의 전시 콘텐츠와 다른 새로운 관람 경험을 할 수 있다는 점에서 5명의 인터뷰 대상자 모두 매우 긍정적인 반응을 보고하였다.

“이용할 의도가 있다. 실제 전시장은 … 접근성이 떨어지는데, 이러한 콘텐츠는 직접 안 가도 되고, 전시장에 사람이 나 밖에 없다는 점이 좋았다. 2D 콘텐츠와 같은 일반적인 전시 콘텐츠는 늘 많았어서, 그에 비해 새로운 자극을 주는 콘텐츠라 더 좋았다.”(25세, 남)
“VR은 게임 산업에서만 많이 이용해서 게임을 안 좋아한다면 VR 체험의 장이 없었는데, 이런 (전시)산업에서 VR을 적용시키면 더 많은 사람이 이 분야에 관심을 가질 수 있을 거고, 재미의 부분이 늘어나니까 좋은 것 같다. 앞으로도 (이러한 콘텐츠를) 이용하고 싶다.”(26세, 여)
“이용할 의도가 있다. 관람할 때 게이미피케이션(Gamification) 요소가 있어서 흥미로웠다. 사용자의 경험을 확장하게 시켜주는 이러한 창의적인 관람 방법이 많아져야 하는 것이 아닌가하는 생각이 든다. 시각적 요소에만 머무르는 게 아니라 VR을 이용한 확장된 시각, 청각 등이 있으니, 이러한 콘텐츠는 다른 감각을 더 증강함으로써 작품 관람에 있어서 더 기억에 남을 것이다.”(29세, 남)

4-5 논 의

Marshall McLuhan이 ‘하나의 감각에 편중된 지각이 아니라 모든 감각이 함께 동원되어 인지되는 지각이야말로 진정한 지각’[22]이라고 언급하였듯이 인간은 다중 감각을 통하였을 때 훨씬 더 만족스러운 경험을 할 수 있는 가능성이 커진다. 2.5-D 콘텐츠로 변환하였을 때 사용자들의 경험이 몰입감과 만족도를 포함한 여러 측면에서 높게 나온 것은 2.5-D 변환으로 작품 내 새롭게 생성되는 3차원 공간이 그런 다감각적 경험을 가능하게 하였기 때문인 것으로 추측할 수 있다.

현재의 VR 기술은 청각, 후각, 촉각 등의 다감각(Multisensory)으로 확장된 복합적인 피드백을 제공할 수 있다. 이는 VR 전시가 현실 세계의 전시를 복제하는 방식의 전시를 넘어 온전히 독립된 새로운 방식의 전시를 구성할 수 있음을 의미한다. 2.5-D 변환에 의한 콘텐츠 재구성은 최소한의 추가 재창작 노력으로 이러한 VR 기반 새로운 전시 가능성을 탐구하는 방법이라고 할 수 있다.

본 연구는 몇 가지 한계를 지닌다. 우선, 실험에서 기존의 콘텐츠보다 단지 새롭다는 이유로 2.5-D 콘텐츠에 더 높은 점수를 줄 수 있는 가능성을 배제할 수 없다. 따라서 추후, 보다 장기적인 기간에 걸친 실험이 필요하다. 또한, 본 연구는 비교적 젊은 연령을 대상으로만 진행하여 일반적으로 전통적인 방식을 좋아하는 연령대로까지 결과를 확장해서 해석하기 어렵다. 마지막으로, 하나의 작품에 대한 사례 연구 실험 결과이기에 다양한 형태의 다른 작품들을 대상으로 한 추후 후속 연구가 필요하다.