Meta Surf : 실제 세계의 시간과 공간좌표를 연계한 메타버스 여행 플랫폼

메타버스(Metaverse)의 어원은 가공·초월을 의미하는 ‘Meta’와 세계를 의미하는 ‘Universe’의 합성어로 현실을 초월하여 가상과 융합된 디지털 세계를 뜻한다. 메타버스는 하나의 명확한 정의가 아직 내려지지 않았으나, 한국정보통신 용어사전에 의하면 메타버스는 “아바타(Avatar)를 통해 실제 현실과 같은 사회, 경제, 교육, 문화, 과학 기술 활동을 할 수 있는 3차원 공간 플랫폼”으로 정의하고 있다[5]. 메타버스 내에서는 인간이 실제 가기 어려운 곳이나 먼 과거 혹은 상상 속의 공간을 구현해 마치 방문한 듯한 체험을 하게 해줄 수 있다[6]. 본 연구에서의 ‘가상공간’은 이처럼 가상의 공간 내에서 다양한 공간 요소를 설명할 때의 용어로 정의하였고, 메타버스 플랫폼을 중심으로 하였다. ‘가상여행’ 개념 역시 이러한 여행 공간 내에서 오감으로 상호작용하며 환경에 몰입하는 활동[7]을 기반으로 하였다. 여행지를 탐색하기 위한 일련의 활동들을 포함하며 플랫폼은 메타버스를 중심으로 한다.

코로나19 이후 실제 현실 여행은 2020년 1월 251만 명에서 4월에는 3만 명대로 떨어진 반면, 가상여행의 경우 SK텔레콤의 모바일 VR 영상제공 서비스 ‘점프 VR’의 여행 콘텐츠 이용량을 보면 2020년 1월 이용량 대비 3월 이용량이 약 41.7%으로 크게 증가하였고[8],[9]. 초기에는 인플루언서의 여행 동영상을 보거나 액션 카메라로 촬영된 여행지 영상을 감상하는 등 단방향 소통에서 시작하여 최근에는 메타버스 플랫폼을 활용한 적극적 상호작용 콘텐츠로 확장되고 있다. 한국 관광공사는 2020년 11월 2억명 이상의 사용자를 보유한 메타버스 플랫폼인 제페토(Zepeto)를 활용해 서울의 한강공원을 재현한 ‘한강공원’을 공개했다. ‘한강공원’ 맵은 출시 1년만인 2021년 12월 누적 방문 700만 명을 돌파했으며 부산, 강릉, 전주 등 다양한 관광지 구현을 계획하고 있다. 이외에도 대표 놀이기구의 체험 게임을 겸비한 서울 롯데월드맵 역시 2021년 10월 오픈 2주만에 300만 명 이상의 인원이 참여하는 등 2020년, 2021년 거리두기 장기화 시기에 큰 호응을 얻었다[10]. 한편 서비스 디자인 측면에서의 가상공간을 활용한 메타버스 여행 연구사례는 많지 않았다. 관광 산업 활성화를 위한 AR 메타버스 앱 디자인 연구 등이 존재하기는 하지만[11], 다수의 연구는 코로나 이후의 메타버스의 동향이나 기존 플랫폼 속 가상관광 콘텐츠의 사례 연구에 초점을 맞추고 있었다[12],[13]. 그 원인으로는 코로나 19 이후 가상여행, 관광에 대한 수요와 공급이 ‘콘텐츠의 다양성 확보’보다 ‘단절된 사회활동으로 위축된 지역 경제 회복을 위한 사업’의 일환으로 급속도로 증가하였기 때문에[14], 콘텐츠 제안 학술 연구는 아직 많이 축적되지 않은 것으로 해석된다.

2020년 11월 오픈한 제페토 한강공원, 롯데월드와 같은 소수의 가상공간은 단기간에 큰 주목을 받으며 사용자들에게 호응을 얻는 데에는 성공했으나 2022년 1월 28일 선보인 '경북 로컬관광 기댈언덕 빌리지'와 2월 11일 선보인 '여수 밤바다' 맵 등은 동년 3월까지의 누적 방문객이 57명, 129명에 불과해 소규모 지자체에서 제작한 대다수 가상공간 맵의 일 방문자 수는 저조하다[15]. 전문가들은 실제 장소를 유사하게 모사한 공간에 방문하는 것으로는 가상공간의 특장점을 제대로 활용하지 못하며, 또한 가상공간에서 여행 전 사전 정보를 제공하거나 오프라인 체험을 더 하는 등 실제 여행과 연동된 경험의 필요를 언급하였다[16]. 더 나아가 2022년 거리 두기가 해제된 이후 해외여행의 수요가 늘어나는 상황에서 새롭게 개선된 기존 가상공간의 활용 방안이 요구된다.

디지털트윈(Digital Twin)은 실시간 데이터를 통해 조성된 가상공간을 바탕으로 자산, 제품, 시스템 및 프로세스에 대한 영향을 시뮬레이션하고 테스트할 수 있도록 하는 것을 의미한다[19]. 산업 분야별로 디지털트윈에 기대하는 결과는 각기 다르지만, 공통적으로 방대한 현실 공간의 장소와 물체를 모델링하는 것이 필수적이다. 이를 구현하기 위해서 카메라를 이용한 항공촬영을 통해 공간을 스캐닝하는 방법과 같이 인간이 모든 공간을 직접 제작하지 않아도 되는 자동화 기법이 연구되고 있다[20]. 최근 빅테크 기업들은 이러한 디지털트윈 공간 모델링을 자동화하는 기술들을 공개하고 있으며, 일부는 일반인을 대상으로 상용화되고 있기도 하다. 네이버에서는 항공사진 촬영과 인공지능을 활용하여 서울시 전체의 3D모델을 구축하는 디지털 트윈 솔루션 ‘ALIKE’를 공개하였다. 그림 3 좌측과 같이 ALIKE를 이용하면 도시나 빌딩 등의 방대한 공간을 사람이 직접 만들 필요 없이 인공지능 기술을 통해 자동화할 수 있다는 장점이 있다[21]. 다만 기술 공개는 되었으나 아직 상용화 단계는 아니며 실내 디지털트윈 기술만을 API로 공개한 상태이다. 구글은 22년 5월 자사가 보유한 수십억 개의 스트리트 뷰와 항공 이미지를 인공지능 기술과 결합한 구글 맵 ‘Immersive view’를 선보였다. 그림 3 우측을 보면 인공지능 기술을 통해 도시의 모습을 구현했을 뿐 아니라 동시에 장소의 시간 및 기상 상황까지 3D 지도에 반영할 수 있고, 추가적으로 시간대별 기온, 혼잡도 등을 실시간으로 보여주게 된다. 하지만 2022년 9월 실제 구글 지도에 업데이트된 기능은 일부 대도시를 중심으로 특정 랜드마크를 360도 회전하는 동영상으로 보여주는 한계가 있다[22]. 하지만 구글의 발표에 의하면 지원하는 도시와 기능을 지속 확장하고 있어 기술의 본격적인 상용화는 시간문제일 것이다. 또한, 지금까지 디지털트윈은 주로 산업계를 중심으로 활용 방안이 제시되어 왔지만, 구글의 사례를 볼 때 디지털 트윈을 구성하는 기반 기술들은 일반 소비자들을 대상으로 한 서비스 분야에도 충분히 적용 가능할 것으로 예상된다.

Fig. 3.

Examples of digital twin technology

가상공간과 현실의 연결을 공고히 하기 위해서는 기존에 존재하는 장소 이미지와 텍스트 정보들을 적절한 가상공간에 연결시키는 작업이 필요하다. 이를 위해 사용될 수 있는 메타데이터(Metadata)는 특정 데이터가 어떠한 정보와 구조를 가지고 있는지 정의하는 데이터 체계를 의미한다[23]. 가령 GIS(Geographic Information System)는 방대한 지리정보를 수치화해 컴퓨터 데이터로 변환해 관리 및 활용이 용이하게 하기 위한 체계이며. EXIF(Exchangeable image file format)는 디지털카메라로 촬영한 사진에 촬영 날짜와 시간, 촬영 장비 정보, 촬영 위치의 위도, 경도 좌표를 기록하는 메타데이터 체계이다. 메타데이터는 시간 및 공간별 가상공간을 구성하는 것에 큰 도움을 주지만 존재하는 모든 이미지 및 사진들의 메타데이터를 직접 입력하는 것은 불가능하므로 메타데이터와 다른 정보들을 함께 활용하여 온라인상의 방대한 시공간 정보를 자동으로 연동하기 위한 지속적인 시도가 과거부터 진행되어왔다. 문헌 조사 결과 이미지에 존재하는 위치 정보와 사용자가 SNS에 올린 텍스트 데이터, 그리고 사진에 존재하는 시각적인 힌트를 종합적으로 학습하여 SNS상 방대한 이미지의 정확한 위치를 매핑하는 연구가 2000년대 후반부터 진행됐음을 알 수 있다[24]. 최근에는 메타데이터가 입력되지 않은 동영상에서도 유사한 이미지의 위치 정보와 게시글 속 텍스트를 기반으로 영상의 위치를 추정하는 머신러닝 모델을 활용한 기술이 연구되고 있다[25]. 또한, 촬영된 이미지 속 하늘의 색상 정보를 추출하여 특정한 메타데이터 없이도 밤, 낮, 새벽 등의 시간대를 추정하는 인공지능 알고리즘 모델이 연구되고 있다[26].

그림 5는 여행 정보를 얻을 때 주로 사용하는 매체에 관한 주요 답변으로 1번은 파일럿 인터뷰 시 주로 언급된 매체 중 블로그, 인스타그램, 유튜브를 포함한 8가지 매체를 선정하여 답변을 비교 분석하였다. ‘거의 사용하지 않음’ 1점, ‘매우 자주 사용함’을 5점으로 한 5점 척도로 질문하였다. 설문 결과 3점 이상의 공감을 얻는 매체 중 유튜브가 3.87점으로 다른 항목들과 격차를 보이며 가장 많이 사용하고 있었다. 다음으로 3.39점을 받은 블로그가 뒤를 이었으며 나머지 매체들은 3점 이하를 차지하여 상대적으로 적게 사용됐다. 여행지 선정 포함 여행계획 시 어려웠던 점에 대한 주관식 답변은 3개의 유형으로 구분되었다. 첫째, 여행지 발견 측면에서 피험자 #01과 #69의 답변과 같이 ‘하나의 여행지에서 계획을 시작할 때 주변의 다른 여행지를 찾기가 어려운 점’과, ‘조건에 맞는 여행 장소를 찾기 어려워 여러 서비스를 확인해야 함’을 언급했다. 둘째, 여행 경로의 동선 측면에서 피험자 #44와 #64의 답변과 같이 ‘여행지의 거리 위치 파악 시 지도 앱을 별도로 사용하는 게 불편함’, ‘특히 해외의 경우 앱을 이용하더라도 여행경로를 짜기 어려움’을 들었다. 마지막으로 제공 여행 정보의 취향 및 선호도 측면에서 #33과 #27의 피험자 답변과 같이‘여행 정보 작성자의 감상에 공감하기 어려움’, ‘정보 제공자와 취향 차이가 존재’라는 의견이 있었다.

Fig. 5.

The media frequently used when planning a trip

그림 6은 가상여행 및 메타버스 서비스의 니즈 관련 답변 결과로 ‘여행 장소의 생생한 감상이’ 40명, 27%로 가장 높은 비율을 차지했으며, ‘가보지 못하는 장소 가보기’가 33명, 22%로 뒤를 이었고, 나머지는 20% 미만의 비중을 차지하였다. 이어서 전체 응답자 71명 중 메타버스 플랫폼 이용 경험자 33명을 대상으로 한 메타버스 아바타 사용 이유의 답변 결과는 ‘캐릭터 꾸미기’가 22명, 35%로 가장 높은 비중을 차지하였으며 나의 분신이라고 생각한다는 응답자가 15명, 25%로 뒤를 이었다.

Fig. 6.

Thoughts on virtual travel and avatars

설문조사 결과를 종합해보면 응답자는 유튜브와 블로그를 보며 여행을 계획하는 것에 매우 친숙하고, 가상여행을 통해 가보지 못한 여행 장소를 생생히 감상하기를 원했다. 반면 일부 응답자는 원래 가보고 싶던 특정 장소 이외의 또 다른 주변 여행지를 발견하는 것에 어려움을 겪었다. 또한, 여행지를 찾기 위해 지도 등 다른 서비스를 이용하며 주변 여행지를 검색하는 것이 불편하고, 여행지 영상과 글이 나의 취향과 공감되지 않을 때도 있음을 알 수 있었다. 설문 조사를 바탕으로 도출한 두 가지 인사이트는 다음과 같다. 첫째, 사용자는 가상여행을 통해 생생한 감상과 가보기 힘든 곳의 방문을 원하고 있다. 둘째, 여행계획 시 주변의 다른 여행지 정보와 여행지를 찾기가 어려운 점의 개선을 위해 유튜브 영상과 블로그 게시글을 통해 아바타가 위치한 가상공간의 주변 지역 정보를 다룬 영상과 글을 모아서 활용할 수 있다. 이 경우 여러 서비스를 오가며 검색할 필요 없이 여러 정보를 한눈에 비교하여 취향에 맞는 여행 정보만 편하게 고를 수 있게 된다.

그림 7은 제작된 MVP로 파일럿 테스트를 진행한 결과이다. MVP는 관련 연구와 파일럿 인터뷰의 인사이트를 통해 도출된 가상과 현실이 연계되는 다음의 두 가지 핵심 기능을 도입했다. 첫 번째는 사용자가 검색 중인 여행 관련 인터넷 게시글에서 이미지 공유 기능을 통해 해당 이미지의 시간에 맞는 가상공간으로 바로 이동하도록 하는 ‘가상공간 이동’ 기능이다. 두 번째 기능은 가상공간에서 가상시간을 바꾸면 배경이 밤으로 변화하고, 동시에 바뀐 시간에 맞는 장소 사진 및 동영상을 보여주는 ‘가상시간 변경’ 기능이다. 각각의 프로토타입은 기능 설명을 글로 제시하고 움직이는 프로토타입 이미지를 함께 첨부하여 응답자가 쉽게 이해할 수 있도록 하였다. 5점 척도의 4가지 질문을 통해 서비스 이해도, 여행 필요도, 흥미도, 사용 의향을 설문하였으며 이들의 평균을 통해 종합적인 서비스 유용성을 측정하였다. 71명 중 2명 미응답자를 제외한 69명의 결과이며 설문결과를 보면 ‘가상공간 이동’ 기능은 평균 3.94점, ‘가상시간 변경’ 기능은 평균 4.10점으로 두 기능 모두 높은 호의적임을 알 수 있다.

Fig. 7.

Pilot testing of core functions

그림 8은 서비스 핵심 기능의 개념을 설명한 것이다. 1번 가상공간 이동 기능은 블로그와 유튜브의 URL로부터 영상 및 이미지에 존재하는 메타데이터 정보를 추출하여 게시글이 다루는 여행지의 위치 및 시간 정보와 동일한 가상공간을 생성 및 연결하는 기능이다. 메타데이터가 존재하지 않는 경우 2장 4절에서 언급한 하늘 이미지 픽셀의 색상 값 추출 방법이나 작성된 글의 텍스트 등을 활용한 AI 분류를 통해 장소를 추정하게 된다. 만약 이러한 데이터가 존재하지 않거나 부정확할 경우 사용자가 직접 데이터를 입력하여 가상공간을 연동시킬 수 있다. 3D 맵의 생성은 현시점에서는 제작자가 미리 제작해 둔 맵과 연동되어야 하겠으나 제안 서비스에서는 디지털 트윈 기술이 적용되어 실제 공간을 복제한 3D 맵이 자동 생성되는 근미래 상황을 가정한다. 또한, 그림 8의 2번을 보면 가상공간에는 시간 개념이 존재하며 사용자는 지역에 연동되는 시간을 단위로 변경할 수 있다. 사용자가 설정한 시간을 중심으로 해가 뜨고 지는 시간, 영업시간, 교통 시간 등의 나타나는 정보가 달리 보이게 된다. 관광지의 이미지 및 동영상 등은 설정한 시간대를 중심으로 데이터가 정렬되며 밤 시간대를 설정하면 야간 촬영 이미지와 영상들을 모아보는 형식이다. 사용자는 시간별로 아바타가 서 있는 장소에 여러 매체 및 서비스의 글과 동영상을 한눈에 볼 수 있다. 이를 통해 하나의 여행 일정을 정하기 위해 여러 매체를 찾아보아야 했던 기존 여행계획 서비스의 불편을 해소하고 가상공간 아바타의 활용도를 높일 수 있다.

Fig. 8.

Defining the core functions

그림 10은 서비스 브랜딩과 3D 요소 디자인 결과물이다. 서비스의 특징을 직관적으로 인식하게 하고 일관성을 부여하기 위하여 브랜드 규칙을 정하였다. 그림 10의 1번은 서비스의 브랜드 콘셉트이다. 서비스 네임은 현실을 초월해 가상공간으로 이어진다는 것과 다양한 매체와 시간과 장소를 넘나드는 서비스 특징을 서핑에 비유하였다. 로고의 형상은 Meta Surf의 첫 글자인 알파벳 ‘M’을 서핑의 의미를 담은 파도 모양으로 표현해 마치 파도를 타듯 시간과 공간을 서핑할 수 있는 서비스임을 보여준다. 여러 모바일 폼팩터에서 사용하더라도 높은 가독성을 유지할 수 있는 프리텐다드(Pretendard) 서체를 국문 서체로, 포핀스(Poppins) 서체를 영문 서체로 채택하였다. 서핑 모티프를 고려한 블루를 메인 컬러를 선정하였고 포인트의 경우 보색인 옐로우 강조색을 지정하였다. 그림 10의 2번은 서비스에 사용되는 3D맵과 캐릭터이다. 아바타와 3D 여행지 공간의 경우 사실적인 묘사는 아바타와 글, 영상이 동시에 존재할 때 요소들이 중첩되어 여행지 정보가 잘 보이지 않게 되므로 비교적 단순화된 외형을 채택하였다.

Fig. 10.

Service branding and 3D element design

그림 11의 1은 정보 구조도로 일반 서비스 정보나 개요를 설명하는 홈 화면은 실제 서비스 사용 시점에는 노출되지 않게 구성했다. 그 이유는 그림11의 2번 핵심 시나리오 흐름도와 같이 본 서비스는 유튜브 등 외부 매체에서 좌표점 기준으로 해당 메타버스 공간으로 진입되기 때문이다. 핵심 시나리오는 크게 A-서비스 진입, B-Metasurf 서비스에서 가상여행, C-여행 이후로 나뉘어진다. A-서비스 진입 단계에서 사용자는 3장 2절에서 언급한 진입 과정을 통해 외부 매체인 유튜브로부터 가상공간에 진입하게 된다. B-Metasurf 서비스 이용 단계에서는 아바타를 이용해 공간을 걸어 다니며 사진 촬영과 대화와 같은 공간 즐기기, 주변 여행지와 관련된 영상과 글 모아 읽기, 시간 변경을 통한 시간대별 이미지 정보 습득 등의 방법으로 가상공간에서 실용적 여행 정보를 얻을 수 있다. 이러한 이용기록은 실시간으로 수집되어 실제 여행 계획을 위한 재료가 되며 사용자는 가상공간 기록 중 실제 여행을 원하는 기록만 선택한 후 여행 루트를 추천받아 여행을 계획할 수 있다. C-여행 이후 단계에서는 실제 여행을 다녀온 사용자 본인이 촬영한 사진, 후기를 등록하여 가상공간과 현실의 연결에 기여할 수 있다.

Fig. 11.

Information architecture and core scenario flowchart of the entire services

그림 12와 그림 13은 구체적인 기능 프로토타입을 시나리오 순서대로 배치한 것이다. 그림 12의 1번 기능은 사용자가 이용 중인 다양한 여행 관련 유튜브 영상, 블로그 글에서부터 가상공간으로 진입하는 화면이다. 유튜브 영상이나 블로그 글에서 공유 기능을 통해 해당 글의 배경이 되는 지역과 연결된 가상공간으로 진입할 수 있다. 그림의 좌측은 유튜브 화면으로 예시 영상은 영화 비긴 어게인(Begin Again)에 등장하는 미국 뉴욕 워싱턴 스퀘어파크 영상이다. 사용자는 공유 기능을 통해 해당 영상의 URL정보를 본 제안 메타버스 플랫폼 서비스로 보낼 수 있으며, 서비스는 해당 게시물 정보를 읽어 들여 연결 가능한 가상공간 목록을 보여준다. 자동으로 인식되었거나 이미 등록된 기록이 있으면 바로 가상공간으로 이동할 수 있으나 정보가 없으면 직접 위치와 시간대를 등록하면 된다. 우측 화면의 리스트 중 원하는 장소를 탭 하면 연결된 가상공간으로 이동할 수 있다. 그림 12의 2번은 3D월드를 기반으로 가상공간을 탐색하는 화면이다. 사용자는 아바타 조작과 이동을 통해 공간을 돌아다니며 여러 공간 정보를 습득할 수 있다. 검색창인 상단에는 아바타가 서 있는 위치를 중심으로 근처 장소 중 검색어로 지정한 키워드를 다루고 있는 글, 영상 목록이 보인다. 사용자는 게시글을 탭하여 블로그 글, 유튜브 영상 등의 정보를 읽을 수 있으며 글 속의 장소가 궁금할 경우 링크를 탭하여 다른 지역으로 이동할 수 있다. 기존 웹 검색은 여행 장소를 설명하는 여러 글과 영상을 읽어보며 여행 정보를 직접 정리해야 했으나 이 기능을 이용하면 아바타가 서 있는 위치 근처 원하는 키워드의 여행지 정보만 선별하여 볼 수 있다. 그림 12의 3번 기능은 가상공간 이용 기능으로 여행지를 배경으로 사진을 찍거나, 다른 사용자들과 대화를 통해 소통하는 장면이다. 사용자들은 여행 공간에서 개인 방송과 음성 대화를 통해 기존 메타버스 플랫폼에서 이루어지는 활동을 할 수 있으며 3D 가상 맵과 가장 가까운 위치의 실제 촬영 사진을 배경으로 사진을 찍을 수도 있어 실제 여행지에 대한 시뮬레이션이 가능하다. 이때 아바타의 모든 활동 내역과 머물러있던 시간이 기록되어 해당 지역에 대한 여러 사용자가 남긴 서비스 관심도를 파악할 수 있다. 그림 12의 4번 기능은 가상공간의 시간을 변경해 보며 시간대별로 달라지는 정보를 확인하는 화면이다. 좌측 시계 버튼을 탭하여 가상공간의 시간을 조정할 수 있다. 시간을 바꿔가며 변화된 시간에 맞게 달라지는 주변 정보와 이미지를 보고, 시간대에 따라 변화하는 장소의 모습들을 확인할 수 있다. 3D 맵의 조명 또한 선택한 시간에 맞게 연출되며 영상과 이미지는 메타데이터를 바탕으로 선택한 시간대에 일치되게 보여준다. 4번의 하단 이미지는 HMD기기를 활용해 같은 장소를 둘러보고 시간을 바꿔보는 인터페이스와 사용자의 실제 시연 사진이다. 모바일과 달리 3D 맵의 구성 요소를 실제 여행지와 비슷한 크기로 배치하여 몰입감 있게 공간을 탐색할 수 있고 정보 패널의 크기와 위치를 자유롭게 조정할 수 있으며 여행지에 관한 정보들을 띄워둔 채 영상, 사진, 글을 동시에 감상할 수 있어 더욱 현존감 있는 가상 여행을 경험할 수 있다. 다음으로 그림 13의 1번 기능은 가상 여행에서 흥미로웠던 장소만을 골라 실제 여행계획에 사용하는 기능이다. 내가 사진 찍은 여행지, 내 아바타의 활동 기록, 오래 머문 곳 등의 기록이 모두 정리된 목록 중에서 사용자는 실제로 여행하고 싶은 장소만을 선택해 여행 경로를 제작할 수 있다. 이러한 기능은 기존 여행 서비스들과 달리 여행계획을 의식하지 않고도 여행지를 발견할 수 있도록 도와주는 장점이 있다. 마지막으로 그림 13의 2번 기능은 실제 여행 후 나의 여행경험과 사진을 서비스에 기록하는 화면이다. 사용자가 다녀간 장소에 대한 평점과 리뷰를 사진과 함께 기록함으로써 가상공간 내 공유 생태계를 더욱 조성하고, 사용자가 실제 여행지에서 찍은 사진을 서비스에 공유하면 시간 및 공간 정보가 기록된 사진과 영상이 가상공간에 추가되므로 현실과 연결된 가상공간을 만드는 것에 도움이 된다.

Fig. 12.

Introduction diagram of core functions 1*This prototype is aimed at Korean users.

Fig. 13.

Introduction diagram of core functions 2*This prototype is aimed at Korean users.