메타버스 기술을 적용한 전시 콘텐츠의 어포던스 분석 연구 : 모나쉬대학교의 당신의 마음을 살펴라(Mind Your Mind) 전시회를 중심으로

메타버스 개념에 대한 연구는 다음과 같다. 한혜원의 연구에서는 메타버스 유형 중 가상세계를 사회적 가상세계, 유희적 가상세계로 구분하고, 한국에서의 유희적 가상세계가 주목받는 점에 대해서 분석했다[5]. 이지영의 연구에서는 차세대 몰입형 3D 가상세계의 적용을 위한 사용자, 미디어, 그리고 연구 측면에서의 메타버스에 대한 관심도를 분석하고 그 미래 가능성을 예측했다[6]. Stylianos Mystakidis의 연구에서는 메타버스에서의 경험을 기본 원리 (Principles), 어포던스(Affordances), 기술들(Technologies), 그리고 도전 이슈(Challenges)로 분류하고 그에 대한 개념을 제시했다[4]. Ning, Huansheng, et al.의 연구에서는 메타버스의 범주를 1) Multitechnology convergence; 2) Sociality; and 3) Hyper-spatio-temporality 로 분류하고, 그에 대한 동향 분석을 진행했다. 특히 다양한 메타버스 플랫폼과 서비스 중에서 한국의 경우, 제페토, 이프렌드 등에서 수행된 사용자의 메타버스 경험에 주목했다[7]. 이렇듯 메타버스의 다양한 개념을 바탕으로 이를 구체적인 콘텐츠로 만들기 위한 콘셉트들이 지속적으로 제안되고 있다.

메타버스 개념을 적용한 전시 연구는 다음과 같이 계속 수행되고 있다. 김기라의 연구에서는 메타버스 서비스와 플랫폼이 어떻게 기존의 전통적인 전시 공간과 그 경험을 바꾸었는 지에 대해서 분석하고, 이를 통해 미래 디지털 아카이브에 대한 가능성을 제안했다[8]. 임도연과 공순구의 연구에서는 메타버스 전시 공간의 연출 매체에 대한 유형을 유니티 엔진과 언리얼 엔진으로 분류하고, 그에 따라 국내의 다양한 전시 연출의 특성을 분석했다[9]. 조숙현의 연구에서는 메타버스 기술이 전시 공간의 역할에 어떠한 변화를 주는지에 대해서 메타버스 플랫폼에서 전시된 실제 사례를 분석 후 논의했다[10]. 남상훈의 연구에서는 매개체로써 지역 문화 공간을 주목하고, 문신 작가 탄생 100주년 메타버스 미술관에서 홀로렌즈를 이용한 확장현실 콘텐츠 제작과 이를 교육할 방법론에 대한 연구를 수행했다[11]. 박지수, 박소정，박소은，신지혜, 이보아의 연구에서는 확장된 기술 수용모델 방법론으로 <생의 찬미 메타버스> 전시와 <생의 찬미 특별전>의 사용자인 관객의 경험을 정량적인 수치로 분석하고, 메타버스 전시의 부정적인 평가 요소에 대해서 원인을 논의하고, 그 미래 가능성을 제안했다[12]. 다양한 메타버스 개념을 바탕으로 한 전시 콘텐츠 제작 및 그 분석에 대한 연구들이 앞서 수행되었지만. 실제 메타버스 작품을 사용성의 가치에 따라 분석할 수 있는 모델을 만들고 이를 적용해서 분석한 연구는 이제 시작의 단계다. 단순한 디지털 개념의 전시가 아닌 메타버스 전시 경험을 통한 새로운 사용자 분석 방법론이 필요하기 때문이다.

행동을 유도한다는 의미의 어포던스는 다양한 메타버스 콘텐츠 관련 연구로 진행되고 있다. 조희경의 연구에서는 메타버스를 바탕으로 한 가상세계 플랫폼에서의 콘텐츠들의 개별 사례에 따른 어포던스 디자인 요소를 분석해 포스트 코로나 시대에 메타버스 개발자의 콘텐츠 디자인 요구와 그로 인한 사용 가치에 대한 제안을 했다[13]. 이영주의 연구에서는 스마트 디지털 미디어 환경에서 인지적, 물리적, 감성적, 기능적 어포던스로 분류하고, 사용자에 따라 새롭고 구체적인 어포던스 가이드라인을 제안했다[14]. 임태형, 양은별, 류지헌의 연구에서는 메타버스 기술 기반 박람회에서 사용자의 사용 용이성, 공간감, 사회적 실재감, 참여 만족도, 추천 의향 설문을 실시한 후, 어포던스의 기능적, 감각적, 지각적 요소에 대한 분석을 수행했다. 이 연구를 통해 메타버스 박람회 참여자의 참여 만족도와 추천 의향의 향상을 위해 어포던스를 고려한 메타버스 환경 및 서비스 설계의 필요성을 역설했다[15]. 결국 이러한 어포던스의 특성들을 통해 메타버스 콘텐츠에서 사용자의 경험 요소를 발견하고, 그 사용 가치에 대한 의미를 부여할 수 있다.

① 사용자의 인지 능력: 사용자가 정보를 받아들이고 처리하는 능력을 고려해야 한다. 이는 인지 능력에 따라 인터페이스의 복잡성을 조절하거나 사용자 지원 기능을 제공하는 데 중요하다.

② 인지 부하: 제품 또는 시스템이 사용자의 두뇌 능력을 어떻게 사용하는지를 평가해야 한다. 사용자가 동시에 다양한 정보를 처리하거나 복잡한 결정을 내릴 때 인지 부하를 최소화하려는 노력이 필요할 수 있다.

① 감각적 입력: 시각, 청각, 촉각 등의 감각 정보를 어떻게 수집하고 제공하는지 고려해야 한다. 사용자에게 직관적이고 효과적인 감각적 입력 방식을 제공하는 것이 중요하다.

② 감각적 피드백: 사용자의 동작 또는 상황에 대한 시각적 또는 청각적 피드백을 통해 상호 작용을 개선하고 사용자의 이해를 도울 수 있어야 한다.

① 기능과 기능성: 제품 또는 시스템이 제공하는 기능과 기능성을 평가해야 한다. 사용자가 원하는 작업을 얼마나 효과적으로 수행할 수 있는지가 중요하다.

② 사용자 인터페이스와 상호 작용: 사용자가 어떻게 제품 또는 시스템과 상호 작용하는지, 인터페이스가 사용자에게 얼마나 직관적인지 등을 고려해야 한다.

Fig. 2.

Figure of VR meditation V1

① 관객들의 행동

- 관객이 VR 헤드셋을 착용했을 경우에 VR 콘텐츠가 처음부터 시작했다.

- 관객이 VR 헤드셋을 벗었을 경우에 VR 콘텐츠가 멈췄다.

② 메타버스 미디어

- 메타버스 미디어로 포스터 + 16:9비율 TV + 퀘스트(Meta Quest)2 + 언리얼 엔진5를 사용했다.

③ 메타버스 콘텐츠

- 예술과 메타버스 기술을 결합하여 자연과의 연결을 탐구하고 사용자에게 독특한 체험을 제공하는 작품이었다. 이 작품은 사용자들에게 독특하고 자연 감동적인 경험을 제공했다. 확 트인 자연경관. 자연과 내가 하나된 느낌, 장자의 꿈을 모티브로 한 작품 내가 나비인지, 나비가 나인지의 질문을 던질 수 있었다. 또한 영화 매트리스에서 처럼 현실인지 가상적 메타버스 현실인지의 철학적 질문을 동시에 받는 느낌을 주었다. 이는 몽환적인 자연 느낌을 강조한 환경 셋팅, 정자, 비, 날씨 변화, 맑음, 나비 연출, 연꽃, 산, 나무. 버추얼 카메라 흐름을 이용해 나비 시선에서 자연을 바라보는 느낌을 통해 전달되었다. Mind Your Mind 테마 주제곡이 사용되었고, 몽환적인 여성의 목소리 정확한 가사는 없으나 오케스트라와 같이 연주되어 웅장한 타악기, 현악기가 같이 혼합된 협주곡이 사용되었다.

Fig. 3.

Figure of VR meditation V2

① 관객들의 행동

- 관객이 VR 헤드셋을 착용했을 경우에 VR 콘텐츠 처음부터 시작되었다.

- 관객이 VR 헤드셋을 벗었을 경우에 VR 콘텐츠가 멈췄다.

② 메타버스 미디어

- 메타버스 미디어로 포스터 + 16:9 비율 TV +퀘스트(Meta Quest)2 + 언리얼 엔진5가 사용되었다.

③ 메타버스 콘텐츠

- 메타버스 작품 콘텐츠는 어두운 밤나무 한 그루가 서있고 스포트라이트 빛이 비추는 것으로 시작되었다. 시간이 지남에 따라 매우 자연스럽게 빛의 색이 바뀌었다 (예. 초록 → 파랑 → 빨강 랜덤으로 바뀜). 나무 위에는 긴 천 (한복에서 쓰이는 명주 옷자락 같은 재질에 빛이 투과되어 나무로 비춤)이 바람에 휘날리며 나무 주위를 반복적으로 맴돌았다. VR Meditation V1에서 쓰인 같은 주제곡이 사용되었다.

Fig. 4.

Figure of AR meditation V1

① 관객들의 행동

- 관객이 움직임이 있을 경우에 자기 자신 화면에 디스토션되는 효과가 나타났다.

- 관객인 움직임이 없을 경우에 자기 자신이 더욱 뚜렷하게 보이는 효과가 나타났다.

② 메타버스 미디어

- 메타버스 미디어로 포스터 + 9:16비율 75인치 TV + 맥 컴퓨터 + 카메라 센서 + 터치디자이너가 사용되었다.

③ 메타버스 콘텐츠

- 자아성찰의 모습을 메타버스의 기술적 요소 중의 하나인 증강현실 기술을 통해 보여주는 예술 작품이다. 나의 현재 모습은 어떠한가? 나의 마음은 어떠한가? 나의 본 모습을 보기 위해 이 작품은 잠시 움직임을 멈추고 자기 자신을 바라보는 시간을 사용자가 스스로 갖게 했다. 멈추고 설수록 나의 모습이 더 잘 보일 것이다’라는 콘셉트 아이디어를 반영한 메타버스 예술 작품이었다.

① 인지적 요소

- 자연과의 일체감으로 이 작품은 사용자에게 자연과 하나가 된 느낌을 제공했다. 사용자는 작품 내에서 자연적인 환경을 높이 인식하고 카메라의 움직임에 따라 환경을 이해할 수 있게 적용했다. 이 작품은 사용자에게 현실과 메타버스 현실 사이의 경계가 모호한 경험을 제공하여 인지적 호기심을 자극했다.

② 감각적 요소

- 몽환적인 환경 콘셉트로 비, 날씨 변화, 맑은 날, 나비, 연꽃, 산, 나무, 정자 모습 등의 시각적 감각 정보를 통해 사용자에게 몽환적인 자연 환경을 전달했다.

③ 기능적 요소

- 가상 카메라 흐름은 사용자에게 나비와 같은 움직임의 시각을 경험하고, 이를 통해 자연을 관찰하고 탐색하는 기능(가상현실 특성상 360도 시각을 관찰 가능)을 제공했다. 환경 상호 작용으로 사용자는 환경에서 비, 날씨 변화, 나비 연출 등에 상호 작용하며 작품 내에서 자연의 흐름을 스스로 스토리로 만들어서 이해할 수 있었다.

① 인지적 요소

- 작품은 시간이 지남에 따라 빛의 색 변화를 통해 지각할 수 있는 인지적 요소를 제공했다. 사용자는 무작위로 바뀌는 색을 관찰하고 시간의 흐름을 인식했다. 자연스럽게 주변의 움직임과 시간에 변화에 집중했다. 이러한 시간 인식은 사용자가 작품을 관찰하는 동안 지속적으로 변화하는 경험을 제공하며, 사용자는 작품의 시간적 흐름을 자연스럽게 파악했다.

- 천의 움직임과 예측으로 휘날리는 천은 바람에 반응하여 움직였다. 사용자는 천의 움직임을 관찰하고 예측했다. 이것은 사용자의 예측 능력을 자극하고 작품 내에서의 움직임을 이해하는 데 도움이 되었다. 사용자는 바람의 방향과 세기에 따라 천이 어떻게 움직일지 미리 예측하며 작품 내에서의 움직임을 미리 인지하는 능력을 향상시켰다.

② 감각적 요소

- 스포트라이트 빛의 색 변화는 사용자의 시각적 감각을 자극했다. 무작위로 변하는 색은 사용자의 호기심을 유발하고 시각적으로 매력적인 요소로 작용했다.

- 휘날리는 천은 바람에 의해 움직이며, 이는 사용자의 시각 및 촉각을 자극했다. 천이 자연적으로 움직이면서 자연의 움직임을 시각화하고 감각적으로 경험할 수 있게 했다.

③ 기능적 요소

- 빛의 색 변화는 작품의 시간적 요소를 나타냈다. 무작위로 바뀌는 색은 작품이 다양한 상태를 나타내며, 사용자는 이러한 변화를 시간의 경과로 인식할 수 있었다.

- 휘날리는 천은 바람에 따라 움직이며, 이것은 환경과의 상호 작용을 시각화했다. 사용자는 바람에 의한 움직임을 관찰하고 환경에서의 움직임을 경험했다.

① 인지적 요소

- 인지적 측면에서 이 작품은 매우 간결하다. ‘멈춰라’ 그럴 경우 더 잘 보였다. 그럼에도 불구하고 이 작품을 이해하는 데는 조금 시간이 걸릴 수밖에 없었다. 작품 옆에 포스터를 읽고 내용을 쉽게 알 수 있게 제공되었지만, 그렇지 않고 경험적 인지 능력만으로는 계속 움직이다가 자신의 일그러진 모습만 보고 지나치는 경우를 종종 관찰하게 되었다. 작품의 독특한 설계와 사용자 경험을 강화하는 데 도움이 되는 부분이었다. 사용자들은 자신의 경험과 관찰을 통해 작품을 더욱 풍부하게 이해하고 즐길 수 있었고 이를 객관적으로 인식하면서 작품을 경험을 강화했다.

② 감각적 요소

- 직관적으로 자기 자신을 반영하는 인터페이스를 만들어 관객이 직접 자기 자신을 더 잘 볼 수 있는 경험과 시간을 창조적으로 만들었다. 이번 전시의 제목인 Mind Your Mind의 핵심 취지를 반영한 어포던스가 제공되었다. 이 작품은 카메라 센서와 거울처럼 작동하여 사용자의 시각적 감각을 자극했다. 사용자는 자신의 일그러진 모습을 볼 수 있으며, 이것은 시각적으로 매력적이고 호기심을 유발하기 충분했다.

③ 기능적 요소

- 기능적 측면에서 단순한 메타버스 인터랙티브 시스템처럼 보이지만, 메타버스의 증강현실 기술 요소 측면에서는 정확한 의도를 콘텐츠 경험으로 발견할 수 있었다. 터치디자이너와 카메라 센서를 이용해 자기 모습을 큰 TV에 보이게 하고 실시간으로 움직임을 파악하고 움직임이 있으면 디스토션(뒤틀린)한 효과를 더욱 주고 움직임이 없으면 자기 본 모습을 잘 보일 수 있게 설계된 증강현실적 요소를 도입한 메타버스형 상호작용 예술 작품이었다.