아이디어 기록과 발전에 도움을 주는 실감미디어 기반 몰입형 기록 플랫폼 제안

1-1 연구 배경 및 목적

Z세대는 디지털 공간에서 자신의 일상과 경험을 기록하고 이를 저장 및 공유하는 아카이빙 서비스를 적극적으로 활용하고 있으며, 이는 현대인의 기록 방식에서 중요한 트렌드로 자리 잡고 있다[1]. 개인의 일상생활을 기록하는 것을 의미하는 라이프로그(Lifelog)는 정보통신기술(ICT; Information and Communication Technology)의 발달로 과거 글자 중심의 기록에서 벗어나 위성 항법 장치(GPS; Global Positioning System) 데이터, 스마트 기기에서 수집된 생체 정보 등 다양한 디지털 형태의 기록으로 확장되었다[2]. 디지털 기록은 개인의 삶과 성과를 효과적으로 추적하고 시각화하여 기록을 원활히 기억할 수 있도록 도우며, 개인의 성장과 자기 발전을 돕는 도구로도 그 중요성이 커졌다[3]. 이러한 과정에서 반복적인 기록과 피드백은 개인이 새로운 관점을 형성하는 데에 도움이 되고, 축적된 기록은 다양한 경험과 정보를 연결하여 새로운 아이디어를 도출하게 한다[4]. 이렇듯 기록은 정보 보관 기능을 넘어 아이디어를 구체화하는 도구로 활용될 수 있다. 기록의 활용도가 높아짐에 따라 기록 기술 역시 발전하고 있으며, 현실과 가상이 혼합된 환경에서 개인의 기억을 강화하는 새로운 기술도 등장하고 있다[5].

가상현실(VR; Virtual Reality), 증강현실(AR; Augmented Reality), 확장현실(XR; eXtended Reality)과 같은 실감미디어(Immersive Media) 환경은 기존의 기록 방식에서 벗어나, 개인이 기록한 데이터를 실제 공간이나 가상 공간에서 재현하고 체험할 수 있는 몰입형 경험을 제공한다[6]. 이는 기록된 정보를 단순히 읽고 보는 것을 넘어, 시간과 공간을 초월한 경험을 통해 기억과 기록에 현실감을 부여하는 데에 이바지한다[7]. 또한 가상현실 기술에 인공 지능(AI; Artificial Intelligence) 기술을 보조하면 기록 분석 및 기록에 대한 자동 정리가 가능해 정보를 더욱 손쉽게 확인하고 접근할 수 있도록 도울 수 있다[8]. 디지털 협업 플랫폼 Spatial.io., 공연장 설계를 위한 가상공간 기술 Preevue, 디자인 기록 도구 HaptX 등의 실감미디어 기반 기록 서비스의 등장은 가상공간과 AI의 활용을 통한 기록 방식의 확장 가능성을 보여주고 있다[9]. 그러나 현존하는 서비스들은 대체로 협업을 위해서 사용되며, 개인의 일상이나 경험을 장기적으로 기록하고 이를 발전시킬 수 있는 기능이 부족한 실정이다. 특히 기록 측면에서는 단편적인 기록 콘텐츠를 제공하며 보관소의 역할을 주로 지원하고 있어 사용자 개인이 기록을 지속적으로 발전시키기 어렵다는 한계점이 있다. 이에 본 연구는 실감미디어와 AI 기술을 활용하여 기록을 원활하게 분류 및 저장하고, 기록을 아이디어로 발전시킬 수 있는 환경을 제공하는 공간 기반의 몰입형 기록 플랫폼을 제안하고자 한다.

1-2 연구 범위 및 방법

본 연구는 기억을 돕기 위해 상시 기록과 메모를 하는 습관이 있거나, 기록한 아이디어를 발전시키고자 하는 Z세대를 대상으로 하였다. Z세대는 디지털 문화에 익숙하며 새로운 기술을 받아들이는 것에 거리낌이 없기에 실감미디어 기반 서비스의 대상으로 설정하기에 적합하다고 보았기 때문이다[10]. 연구는 그림 1과 같이 더블 다이아몬드 프로세스 과정을 거쳤고, 각 단계에서 적합한 디자인 방법론을 적용하여 확산과 수렴 과정을 거쳐 사용자의 니즈를 반영한 서비스를 기획하였다[11].

Fig. 1.

Double diamond design process

발견하기(Discover) 단계에서는 이론적 고찰, 사례 분석, 사용자 조사를 진행하였다. 이론적 고찰에서는 기억을 효과적으로 보존하기 위한 기록 설계 방향성을 탐구하였으며, 몰입형 기록 환경 요소를 연구했다. 그다음 기존 메모 서비스 사례 분석을 통해 특징 및 한계점을 분석하고, 서비스의 방향성을 설정했다. 이후, Z세대를 대상으로 설문조사와 심층 인터뷰를 통해 사용자들이 기록 과정에서 겪고 있는 페인포인트와 니즈를 파악하고, 이를 해결할 수 있는 콘텐츠를 도출하였다. 정의하기(Define) 단계에서는 앞선 조사 분석 내용을 바탕으로 퍼소나를 설정하여 기록 과정에서의 사용자 요구사항을 다시 한번 파악하였다. 발전하기(Develop) 단계에서는 앞서 도출된 내용을 바탕으로 모바일과 실감미디어 기기 환경에서 생성형 AI와 함께 복합 기록을 기록하고, 이를 가상 공간 안에 저장 및 활용할 수 있는 인터페이스를 설계하고 프로토타입을 제작하였다. 마지막으로 전달하기(Deliver) 단계에서는 Z세대를 대상으로 사용성 평가를 하여 전반적인 사용성과 만족도를 평가하였다. 이후 테스트 결과를 바탕으로 서비스의 개선 방향과 향후 보완이 필요한 연구 과제를 도출하였다.

2-1 기록과 기억

아이디어는 인간이 가진 기억을 기반으로 만들어지며 기억을 기록하는 행위를 통해 구체화하고 발전할 수 있다[12]. 인간의 삶에서 기억은 굉장히 중요한 지분을 가지고 있으나 영구적으로 보존되지 않는다는 한계가 있다. 기록은 기억의 보존과 확장을 도울 수 있는 방식이다[13]. 이에 기억을 효과적으로 보존하기 위한 기록 설계 방향성과 기록의 활용 방향성 도출을 위해 관련한 이론 고찰을 선행하였다.

1) 기억을 돕기 위한 방법

기억을 효과적으로 보존하기 위해서는 공간성을 접목하거나, 반복적인 자극을 받는 것이 도움이 된다. 첫 번째, 공간성을 통해 기억하는 방식의 경우에는 단순 암기에 비해 학습 효과를 50% 이상 향상할 수 있다. 이러한 기억법은 시각적 연상 효과가 있으며 장기 기억을 강화하는 등 긍정적인 효과를 낼 수 있다[14]. 예를 들어, 기억의 궁전(Palace of Memory)은 고대 로마 시대부터 전해오는 기억술로 머릿속에 궁전을 짓고, 내부에 기억해야 할 사물을 배치하는 방법이다[15]. 머릿속에 지은 궁전에서 경로를 따라가고, 그 동선에 맞게 기억해야 할 물건들을 배치하고 기억하기에 사용자의 의도에 따라 자유롭게 기억을 저장하는 것이 가능하다[16]. 이를 기반으로, 공간과 기억이 유관하며, 공간 안에 사물을 배치하는 방식이 기억을 수월하게 함을 확인했다. 두 번째, 반복적인 자극을 받는 방식의 경우 라이프로그가 주요한 기억법으로 작용할 수 있다. 라이프로그는 디지털 기기를 활용하여 자동으로 기록하는 것으로, 인간의 불완전한 기억을 기기로 보완하여 개인의 ‘완전한 기억(Total Recall)’을 완성할 수 있는 방식이다. 라이프로그는 기록한 데이터를 정기적으로 사용자에게 노출하는 등 반복적인 자극을 통해 개인의 기억력을 발전하는 수단으로 활용될 수 있다[17]. 기억의 궁전과 라이프로그는 각각 공간적 시각화와 디지털 기록 기술을 통해 기억력을 보조하고 증강할 수 있다는 장점을 가지고 있다. 따라서 두 가지 방법을 활용하면 개인의 기억 효율성을 크게 향상할 수 있을 것이다. 이에, 본 연구에서는 표 1과 같이 ‘기억의 궁전’과 ‘라이프로그’ 두 가지 기억법을 기반으로 서비스 내부에서의 공간성 제공과 지속적인 기록의 노출을 통해 사용자의 기억을 돕고자 한다.

Table 1.

Memory techniques to improve memory

2-2 몰입형 기록 환경을 위한 방안

현행 기록 서비스들은 주로 텍스트와 이미지 중심으로 설계되어 있어 사용자에게 몰입감과 기억 강화 측면에서 낮은 효과를 보이는 한계가 있다. 이에 몰입감 있고 기억을 효과적으로 강화할 수 있는 기록 환경 요소를 고찰하였다.

3-1 관련 사례 분석

현존하는 기록 서비스의 장단점과 기능을 파악하고 서비스 방향성을 수립하고자 사례 분석을 수행하였다. 선행 연구에서 인공지능이 기록의 구조화와 확장에 이바지할 수 있음을 파악하였기에, AI를 통해 기록을 효율적으로 활용할 수 있으며, 아이디어를 정리할 수 있는 기록 서비스 6개를 분석 대상으로 선정하여 표 2로 정리하였다.

Table 2.

Comparison of related application case studies

‘노션’은 프로젝트 관리 및 데이터베이스 관리 통합 프로젝트를 지원한다는 점에서 콘텐츠의 차별성을 가지고 있다. 공동 과업을 위한 자료 공유 및 데이터베이스를 손쉽게 공유할 수 있으며 프로젝트 단위로 관리하는 것이 편리하다. 최근에는 생성형 인공지능을 활용할 수 있는 유료 기능을 도입하였는데, 이를 통해 문서 내용을 생성하거나 수정할 수 있다. 하지만 자체 서식이 부족하며 오프라인 상황에서는 사용하기가 어렵다는 한계점을 가지고 있다. ‘깃마인드’는 주로 아이디어를 중심으로 보여주는 마인드맵(Mind Map)과 단계별로 진행되는 절차를 나타내는 플로우차트(Flowchart) 생성을 지원한다[36]. 아이디어를 기록하면 유관 기록을 AI를 통해 연결하여 기록 사이의 관련점을 시각화할 수 있지만 시각화하는 방식에서의 자유도가 낮다는 문제가 있다. ‘디지털 페이지’는 기억 생성 위치와 시간, 기록의 종류에 따라 기록을 자동으로 분류할 수 있도록 하는 AI 기능을 지원하나, 제공되는 방식이 한정적이기에 다양한 분류가 불가능하다는 한계점이 있다. ‘에버노트’는 업무 기록을 주로 지원하며, 과업 순서를 시각적으로 정립할 수 있도록 돕는다는 특징이 있으나 카테고리를 모바일 UI 상에서 한눈에 확인하기 힘들다. ‘옵시디언’의 경우 기록 사이의 공통점과 차이점을 파악하여 선으로 각각의 기록 정보를 이어 시각화 정보를 제공할 수 있다. 그러나 사용자가 직접 기록을 연결해야 하며, 연결하지 않을 시에는 기록 사이 연결점을 파악하기 어렵다. ’닷슬래시대시‘는 라이프로그 기능을 제공하며 타인과 기록을 영상 포맷으로 공유할 수 있는 서비스이다. 기억 플레이리스트 기능을 제공하여 기억을 영상으로 기록하고 타인의 기록을 확인할 수 있지만, 기록을 꾸미는 데 있어 자유도가 부족하며 영상 이외의 다른 방식으로의 기록이 어렵다.

현 기록 서비스의 한계점 보완 및 서비스 방향성 수립을 위해 앞선 연구 및 사례조사를 기반으로 그림 2와 같이 포지셔닝 맵(Positioning Map)을 설정하였다. 개인화된 기록 관리는 사용자의 기억 증진과 기록 활용도에 직접적인 영향을 미치기에 사용자 맞춤 기록 분류가 존재하는 경우(+), 존재하지 않는 경우(-)로 나누어 X축을 설정하였다. 또한 앞선 연구 결과에서 복합적인 기록 방식은 사용자에게 생생한 경험을 제공하며 기억을 함양하는 데에 도움이 됨을 확인했기에 이미지, 문서, 동영상 등의 복합적인 요소를 기록하고 확인하는 것이 가능한지(+), 불가능한지(-)에 따라 Y축을 지정하였다. 배치 결과, 지향하는 서비스의 방향성과 가장 유사한 서비스는 디지털 페이지이다. 디지털 페이지가 기록 분류와 사용에 AI를 적극 활용했다는 점과 텍스트, 이미지, 음성 등 다양한 형태의 기록을 지원한다는 점을 참고해 포괄적인 기록 방식을 제안하며 AI를 활용해 기록을 분류 및 파악할 수 있도록 설정하고자 한다. 그러나 디지털 페이지에서는 기록이 AI의 임의로 분류되며 이를 수정하기 어려워 사용자가 필요한 기록을 찾기 어렵다는 불편함이 있었다. 또한, 기존의 기록 서비스들은 사용자의 기록을 저장하는 기능에 집중되어 있어 기록 이후의 활용도가 낮으며, 기록한 내용을 효과적으로 검색하고 다시 활용하는 기능이 미흡하기에 기록을 저장하는 것뿐만 아니라 이를 효과적으로 활용할 수 있는 방안도 함께 고려해야 한다. 이에 본 연구에서는 다양한 기록 방식 및 편리한 기록 분류 방식을 제공하여 사용자가 기록한 내용을 쉽게 기억하고, 기록을 정리하는 데 도움을 주는 메모 서비스를 제안하고자 하며 이를 통해 단순한 기록 저장을 넘어 기록을 적극적으로 활용할 수 있는 환경을 조성하고자 한다.

Fig. 2.

Positioning map

4-1 사용자 조사

Table 3.

Survey period and population demographic information

기존의 기록 서비스는 정보 보관의 기능에 초점을 맞추고 있어, 기록된 내용을 실질적으로 활용하기 어렵다는 문제점이 있었다. 선행 연구를 통해 살펴보았듯이 기록의 가치는 단순한 저장에 머무르지 않으며 창의적인 사고를 촉진하고 새로운 아이디어를 형성하는 데에 있다. 따라서, 기록의 활용성을 극대화하기 위해서는 단순한 메모 방식이 아니라 아이디어를 체계적으로 기록하고 발전시킬 수 있는 방식이 필요하다. 특히, 실감미디어 환경은 사용자가 콘텐츠를 사용하는 과정에서 몰입감과 현실감을 극대화하고, 가상 환경에서 체험한 내용을 더욱 효과적으로 기억할 수 있도록 하여 기록한 내용을 재구성하고 아이디어로 발전시키는 데 도움을 준다.

이에 따라, 일상에서 기록한 내용을 아이디어로 발전시키는 경험에 대해 파악하고, 실감미디어 기록 저장 방식에 대한 사용자들의 니즈를 확인하기 위해 2024년 4월 8일부터 4월 10일까지 Z세대 112명을 대상으로 설문조사를 진행하였다. 설문은 크게 메모 및 기록 경험, 기록을 바탕으로 아이디어를 도출한 경험의 두 가지로 구성하였으며, 각각 기존 메모 및 기록 경험 수집과 개선점, 실감미디어 기반의 기록 저장 방식에 대한 유저들의 니즈를 파악할 수 있도록 질문을 구성하였다.

표 4의 설문조사 결과를 살펴보면, 메모하지 않는 대부분의 응답자가 ‘메모 과정이 번거롭다’라고 응답한 점에서, 메모 과정을 보다 쉽고 간결하게 만들어 사용자가 부담 없이 지속적으로 기록 행위를 이어갈 수 있도록 하는 방안이 필요함을 확인할 수 있었다. 메모 경험이 있는 응답자 중에서는 70.9% 가 텍스트 방식으로 기록한다고 응답했으며, 그 이유로 입력이 편리하기 때문이라는 답변이 과반수를 차지하고 있었다. 이를 통해 실감미디어 환경에서도 음성뿐 아니라 텍스트와 같이 사용자에게 익숙한 방식으로 기록하는 기능도 함께 제공해야 함을 파악했다. 사용자들은 기존 메모 서비스 이용 시 서비스 내부에 저장했던 정보가 잘 정리되어 있지 않다는 점에서 아쉬움을 느끼고 있었기에 기록된 정보를 보기 쉽게 정리해 주며, 기록 확인 시 쉽게 원하는 기록을 찾을 수 있는 서비스를 원한다는 점을 확인하였다. 사용자들이 기록하는 이유는 기록 내용을 잊어버리지 않을 수 있을 뿐만 아니라 기록을 통해 새로운 아이디어를 도출하는 것이 가능하다는 응답 또한 과반수를 차지했기에 기록 내용을 쉽게 기억할 수 있도록 도우며, 서비스 내에서 기록을 통한 아이디어 발전을 추가로 도울 수 있는 서비스 제공에 대한 기회 영역을 발굴하였다. 또한 아이디어 기록 후, 아이디어를 발전시키는 과정에서 어떤 방식으로 인사이트를 도출해야 하는지 모르며, 제대로 된 인사이트 도출이 힘들다는 점에서 어려움을 겪고 있었기에 사용자 자신의 아이디어 발전 및 인사이트 도출에 대한 도움 제공이 필요함을 파악했다. 한편, 가상 공간에 기록을 저장하는 것에 대한 기대 효과에 대해서는 과반수가 기록 시각화를 통한 아이디어 연계성 강화와 창의적인 사고 촉진을 원한다고 답하였다. 이를 통해 사용자의 기록 활용을 돕기 위해서 실감미디어 공간의 시각화 기능과 몰입감을 활용한 창의적 사고 촉진 기능의 강화한 서비스 설계가 필요함을 알 수 있었다.

Table 4.

Survey results

기록하는 사용자 중 과반수가 기록을 아이디어로 발전시켜 활용한다는 설문 결과를 기반으로 더 구체적인 일상 속 기록 경험과 기록 발전 경험을 수집하고, 서비스를 사용하는 퍼소나 설정을 위해 기록 및 아이디어 발전 경험이 있는 Z세대 6명을 대상으로 심층 인터뷰를 진행하였다. 기존 메모 경험 및 개선점, 현행 아이디어 수집 과정과 아이디어 발전 니즈, 실감미디어 환경 활용 등에 관련해 인터뷰를 진행하여 <표 5>와 같이 정리하였다. 대부분의 사용자는 기억하기 위해 메모를 하며, 메모의 내용에 따라 시간별, 중요도 별 정리 제공을 원하고 있었기에 단순 기록 이외에도 기록한 시간, 내용에 따른 카테고라이징을 통한 정리 기능을 활용해 기억을 도울 수 있도록 하는 환경을 제공해야 함을 파악했다. 또한 기존 메모 서비스 사용 시 원활한 기억을 위해 키워드를 활용해 생각을 기록하고 있었기 때문에 키워드를 이용한 간결한 기록 방식 제공의 필요성을 발견할 수 있었다. 이들은 아이디어가 생각났을 때 즉각적으로 기록하고 싶어 하였으며, 이를 통해 메모 및 기록이 필요한 상황에서 빠른 기록이 가능하게 해야 함을 파악했다. 더불어 기록했던 내용을 보며 창작물에 대한 방향성을 잡기에 개연성을 유지하며, 실현 가능성 있는 아이디어의 발전을 도울 수 있도록 하는 기능의 필요성을 발견하였다. 실감미디어 활용에 관한 질문에서는 기록한 내용을 공간에서 이동하면서 볼 수 있으면 전체 흐름을 이해하기 쉬울 것 같다는 의견이 있었다. 따라서 단순히 정보를 저장하는 데 그치지 않고, 사용자의 사고 흐름을 따라 아이디어를 구조화하고 확장할 수 있는 가상 공간 제공이 필요함을 확인했다.

Table 5.

In-depth interview findings

4-2 퍼소나(Persona) 정의

앞서 진행한 심층 인터뷰 데이터를 기반으로 표 6과 같이 두 명의 퍼소나를 설정하였다. 첫 번째 퍼소나인 ‘김영희’는 일상 속 떠오르는 아이디어가 휘발되기 전에 즉각적으로 기록하고 싶어 하며, 기록된 내용을 효율적으로 제공받고 싶어 하지만, 기록한 아이디어를 추후 확인했을 때 기록의 내용을 파악하기 힘들다는 어려움을 겪는다. 따라서 기록 재열람 시 원활한 이해를 위해 AI 기술을 통해 기록의 내용 및 시간, 장소 등의 정보를 기반으로 아이디어 기록을 더욱 쉽게 기억할 수 있는 기록 저장 방식을 제공받기를 원했다. 이는 기존 메모 서비스 이용 시 기록한 정보가 잘 정리되어 있지 않아 불편함을 겪는다는 설문 결과를 참고해 작성하였다. 두 번째 퍼소나인 ‘최지훈’은 기록한 아이디어를 자신의 창작물이나 업무 등에 적극적으로 활용하는 편이며, 처음 기록했던 아이디어를 더 발전시켜 실제 작업물에 적용하고 싶어 한다. 하지만, 아이디어를 발전시키는 과정에서 발전 방향성에 대한 갈피를 잡는 것에 대한 어려움을 겪고 있었으며 개연성을 유지하는 것이 어려웠다. 따라서 기록된 아이디어를 기반으로 AI 에이전트와의 질의응답을 통해 아이디어 발전에 대한 방향성 설정에 대한 도움을 받고자 하며 이전에 작성했던 기록들이 어떤 식으로 개발되었는지 아이디어 생산 및 발전 과정을 시각적으로 확인하고 싶어 한다. 이는 기록했던 아이디어를 보며 창작물에 대한 방향성을 잡지만 처음 기록했던 아이디어를 실현 가능성이 있도록 확장하는 것에 대한 어려움이 있다고 응답한 다수의 면담자 답변을 기반으로 작성되었다.

Table 6.

Persona

5-1 서비스 구조

앞선 설문조사와 심층 인터뷰를 통해 도출된 퍼소나의 페인포인트와 니즈를 해결하기 위해, 기억하기 쉽고 효율적인 기록 정리와 아이디어 발전을 돕는 기록 서비스를 제안하였다. 이 서비스는 일상생활 중 즉각적인 기록이 가능하도록 설계되었으며, 앞선 이론적 배경에서 확인한 내용에 기반하여 사용자가 기록한 내용을 실제처럼 체험하게 함으로써 기억 효과를 극대화하고 기록을 발전시켜 아이디어로 만드는데 효과적인 가상공간을 제공한다. 이를 위해 실감미디어와 모바일 환경을 병행하여 사용할 수 있도록 하였다. 모바일 기기의 경우 멀티태스킹이 쉽고, 직관적인 터치 및 필기 입력을 지원하며, 확장된 화면을 통해 보다 많은 정보를 한눈에 확인하고 편집할 수 있도록 갤럭시 폴드를 채택하였다. 실감미디어 기기의 경우는 인터페이스 디자인을 위해 VR과 AR이 구현되는 XR 글라스를 임의로 설정하여 진행하였다. 그림 3의 서비스 구조를 보면, 사용자는 모바일과 실감미디어 기기를 활용하여 보이스나 텍스트 등 다양한 방식으로 일상 속 필요한 내용을 즉각적으로 기록할 수 있다. 기록된 데이터는 생성형 AI를 통해 사용자가 설정한 키워드, 기록 장소, 기록 날짜 등의 정보를 기반으로 VR 공간에 저장된다. 저장된 기록은 공간과 아이템 형태로 관리되며, 사용자는 가상 공간에서 이를 확인하고 AI 에이전트와의 대화를 통해 기록 발전 과정을 경험할 수 있다.

Fig. 3.

Service structure diagram

5-2 콘텐츠 구성 및 인터페이스 디자인

서비스의 주요 콘텐츠는 이론적 배경을 통해 살펴본 기억을 돕고 기록한 내용의 활용을 돕기 위한 방법인 공간 기억 방식과 생성형 AI의 활용을 고려하여 구성하였다. 인터페이스는 다양한 감각을 활용하는 복합 기록 방식을 통해 일상 속 정보를 즉각적으로 기록할 수 있게 하였고, 가상 공간에서 저장한 기록을 효율적으로 확인할 수 있게 함으로써 사용자가 기록에 몰입할 수 있는 경험을 제공하고자 하였다.

첫 번째 그림 4의 실감미디어 화면은 ‘기록하기’와 ‘기록의 방’이다. ‘기록하기’는 사용자가 텍스트, 이미지, 오디오 등의 다양한 형태로 기록을 진행할 수 있도록 한다. 앞선 사용자 조사를 기반으로, 떠오르는 생각이나 필요한 내용을 즉각적으로 기록할 수 있도록 구성하였으며 이를 위해 실감미디어 기기 사용 시에는 제스처 인식 기반 인터랙션을 적용하여 기록 인터페이스를 신속하게 호출할 수 있게 하였다. ①의 기록 화면을 통해 자유롭게 기록하고, ②처럼 기록과 관련된 키워드를 사용자가 직접 설정한다. 설정된 키워드는 생성형 AI 기반 모델을 통해 해당 개념을 시각화한 3D 객체로 변환된다. 이는 OpenAI의 Point-E와 같이 텍스트 기반 프롬프트를 입력받아 2D 이미지를 생성하고, 이를 3D 포인트 클라우드를 생성하는 데 참고 자료로 사용해 3D 모델을 생성하는 방식을 따른다. 이렇게 생성된 3D 객체는 아이템 형태의 기록 오브젝트로 저장되며, 추후 기록을 검색하거나 회상할 때 시각적 단서로 활용된다. ③과같이, 아이템 형태의 기록은 ‘기록의 방’이라는 가상공간 안에 저장된다. ‘기록의 방’은 다음과 같은 방식으로 구현된다. 먼저, 기록 시 자동 수집된 GPS 좌표와 해당 기록의 키워드를 결합하여 장소 메타데이터(Metadata)를 생성한다. 이때 생성된 메타데이터를 ‘미드저니(Midjourney)’와 같은 이미지 생성형 AI에 프롬프트로 전송하면 텍스트를 기반으로 한 의미나 연상 개념 추론이 가능하며, 이에 따라 장소의 분위기·상징 요소를 시각화한 장소 이미지가 생성된다[35]. 사용자는 실감미디어 환경에서 이 공간을 탐색할 수 있다. 이 기능은 앞선 배경 연구 및 사용자 조사 결과를 기반으로 하여 기록 저장 방식에 공간 기억을 접목해 사용자가 기록을 작성한 시간, 장소와 연관 지어 기록을 떠올릴 수 있도록 하여 과거 기록한 내용을 기억하고 찾는 것이 쉽게 하려고 설계하였다.

Fig. 4.

Recording and record room

두 번째는 그림 5와 같이 기록의 방 가상 공간 내부의 저장한 기록을 확인하고, AI 에이전트와의 대화를 통해 기록을 아이디어로 발전시키는 것에 대한 도움을 받는 것이다. ①의 기록의 방 탭 화면에서는 사용자가 기록한 내용을 기반으로 형성된 기록의 방을 모아볼 수 있다. 공간은 기록 날짜에 따라 층위 구조로 누적되어 구성된다. 이후, 사용자는 ②와 같이 생성한 기록의 방에 진입하여 실감형 3D 환경 내부에서 아이템 형태로 저장되어 가상 공간에 배치된 기록을 생생하게 확인한다. ③은 AI 에이전트를 호출해 기록과 관련된 질의응답 대화를 나누며 기록을 발전시키기 위한 도움을 받고, 대화 내용을 기반으로 기록을 수정할 수 있는 화면이다. 이 에이전트는 GPT와 유사하게 대규모 언어 모델(LLM)을 기반으로 하며, RAG (Retrieval-Augmented Generation) 검색을 통해 사용자 대화에 맞는 콘텍스트를 실시간 반영한다. 사용자의 발화는 전처리 후 LLM에 전달되며, 이후 대화 맥락을 유지하면서도 새로운 아이디어, 관련 정보, 구체적 실행 방향을 제안한다. 대화 과정에서 사용자는 이미지 생성을 요청할 수 있다. 에이전트는 기록 내용을 바탕으로 DALL·E와 같은 생성형 AI 이미지 모델에 프롬프트를 구성해 전송하며, 이렇게 생성된 이미지는 대화 인터페이스 내 2D 시각 자료로 표시되어 사용자와의 대화 흐름 속에서 영감 요소로 활용될 수 있다. 이는 앞선 배경 연구 및 사용자 조사를 통해 설정한 퍼소나를 기반으로 기록한 내용에 대한 개연성을 유지하며, 기록을 실현 가능성 있는 아이디어로 발전하는 것을 도울 수 있게 하고자 구성되었다.

Fig. 5.

Collaborate with AI agent inside the room of records

세 번째는 그림 6과 같이 사용자의 필요에 따라 서로 다른 기록을 합치고, 연결된 기록을 확인할 수 있는 것이다. ①은 기록 확인 중 과거 기록했던 다른 기록을 함께 꺼내 확인하고, 기록의 특정 부분을 선택해 합칠 수 있는 기능이다. 이렇게 합친 기록은 기존 기록을 수정하여 저장하거나 새로운 기록 아이템을 형성하여 별개의 기록으로 저장할 수 있다. 새로운 기록 아이템으로 저장하는 경우 ②와 같이 기존 기록의 키워드 중 원하는 키워드를 선택하여 선택한 키워드 기반의 새로운 아이템을 생성하여 저장한다. 합쳐진 기록들은 ③과 같이 기록을 발전시킨 아이디어들의 연결된 기록 창을 통해 기록 간의 관계 확인이 가능하다. 이는 기록한 아이디어들을 보며 창작물에 대한 방향성을 잡는다는 앞선 사용자 조사 결과를 기반으로 과거의 기록을 자유롭게 펼쳐보며 아이디어 생성에 적극적인 도움을 제공하고, 이전에 작성했던 기록을 통해 자기 아이디어가 어떤 양상으로 변화했는지를 확인하고 싶은 요구를 충족하고자 설계되었다.

Fig. 6.

Merge records

네 번째는 그림 7과 같이 기록한 내용이나 아이디어를 ‘드롭 및 픽업’하는 기능이다. 이는 앞선 현존 기록 서비스 사례 분석을 기반으로 하여 사용자 간 협업을 통한 창의적 사고의 유도를 목적으로 하며, 아이디어가 필요에 따라 재발견되는 순환적 창작 구조를 제공하기 위해 도출한 기능이다. 사용자는 본인이 사용하지 않는 기록이나 아이디어를 드롭(Drop)하여 다른 사용자들에게 공유할 수 있으며, 다른 사람이 드롭한 아이디어를 픽업(Pick up)하여 사용할 수도 있다. 아이디어는 지도 기반 인터페이스에서 위치와 함께 시각적으로 확인할 수 있으며 사용자가 해당 장소에 실제로 방문할 경우, AR 인터페이스를 통해 드롭된 아이디어의 상세 내용을 확인할 수 있다. 기술적으로, 사용자가 ‘드롭’한 기록은 기록 당시 자동 저장된 사용자의 GPS 정보를 기반으로 해당 장소에 위치 태깅(Location tagging)되어 메타데이터와 함께 저장된다[36]. 지도 기반 인터페이스는 Google Maps Places API 및 Kakao Maps API를 활용하여 사용자의 현재 위치와 드롭된 콘텐츠의 좌표를 매칭하며, 이는 위치기반 콘텐츠 노출 및 추천 시스템과 유사한 방식으로 작동한다. 이를 통해 사용자는 지도상에서 공간적으로 배치된 기록을 탐색할 수 있으며, 특정 위치에 도달했을 때는 AR 인터페이스를 통해 해당 콘텐츠를 실시간으로 확인할 수 있도록 구현된다[37].

Fig. 7.

Drop and pick up records

다섯 번째 주요 기능은 그림 8과 같이 기록을 발전시킨 아이디어를 활용해 창출한 결과물을 기록하는 것이다. 이 기능은 아이디어 실행 이후의 활동으로 실감미디어 기기 사용과는 별개의 맥락에서 이뤄지며, 결과물의 사진과 텍스트를 한눈에 파악할 수 있어야 한다는 점을 고려해 모바일에 최적화된 형태로 구현된다. 이는 이전에 작성했던 아이디어가 어떤 양상으로 변화했는지 파악하고 싶다는 퍼소나 설정 과정에서의 사용자 니즈를 기반으로 도출하였다. ①의 결과물 기록하기 화면에서는 실제로 기록을 발전시킨 아이디어를 통해 만들어진 결과물에 대한 사진을 업로드하고, 설명을 작성해 저장할 수 있다. 이렇게 저장된 결과물은 ②와 같이 기록 상세 페이지의 결과물 탭에서 확인할 수 있으며, 결과물을 등록했다는 마크가 생성된다. 이를 통해 기록에 대한 동기 부여를 제공하며 성취감을 통한 꾸준한 서비스 이용을 유도한다.

Fig. 8.

Record your results

6-1 평가 설계

서비스의 사용성 및 효용성 검증을 위해 프로토타입을 제작하고, 제이콥 닐슨(Jacob Nielson)의 휴리스틱 평가(Heuristic Evaluation) 10가지 리스트를 중심으로 관찰 포인트를 구체화하여 그림 9와 같이 사용성 평가를 진행했다. 평가는 서비스의 주 대상인 Z세대 6명을 대상으로 시행했다. XR 글라스의 경우는 기술적·물리적 제약으로 인해 PC 환경에서 평가를 대체 수행하였다. XR 글라스와 동일한 인터페이스와 상호작용 흐름을 PC에 구현함으로써 하드웨어 변수는 배제하고, 실감미디어의 핵심 기능과 상호작용 흐름에 대한 검증에 집중하는 방향으로 진행하였다. 평가에 앞서 피험자들에게 서비스가 실감미디어 기반 몰입형 환경을 전제로 설계되었음을 설명하였다. 이후 표 7의 태스크를 제시하고 수행 과정을 관찰하였으며, 서비스 각 기능에 대한 평가 및 개선 방안을 자유롭게 제안받았다.

Fig. 9.

Usability evaluation

Table 7.

Usability evaluation task list

6-2 평가 결과 및 분석

평가를 진행한 후, 실감미디어 환경 및 모바일에서의 작업별 수행 시간, 에러율을 관찰하고, 관찰 결과를 그래프로 제작하여 그림 10과 같이 나타내었다.

Fig. 10.

Usability evaluation results

작업별 수행 시간은 전반적으로 예상 시간 대비 실제 소요 시간이 짧게 측정되었다. TASK 4인 ‘기록 합치기’의 경우 실감미디어 환경에서는 20초로 예상 47초 대비 가장 짧았다. 반면 모바일의 경우는 25.6초로 가장 길었으며 작업별 에러율도 에러 9회로 가장 많게 측정되었다. 실감미디어 경우 TASK 2 ‘지도 선택하여 기록 드롭하기’가 에러 7회로 가장 많았는데 피험자들은 이에 대해 실감미디어 환경에서의 입력 방식이 익숙하지 않았기 때문이라고 답했다. 이처럼 실감미디어 환경은 ‘기록 합치기’ 같은 단계가 많은 과업에서 직관성과 효율성을 보였으며, 모바일 기기는 동일 과업에서 조작의 복잡성과 인터페이스 제약으로 인해 시간과 에러율이 증가하였다. 이에 따라 ‘기록 합치기’와 같은 다단계 과업은 실감미디어 환경을 중심으로 최적화하고 모바일 환경에서는 인터페이스 단순화와 절차 축소를 통해 보완할 필요가 있음을 발견하였다.

정량 분석과 함께 태스크 별로 발견된 주요 문제점 및 피드백을 종합하여 표 8로 정리하였다. 먼저, 기록 작성 및 저장하기의 경우 실감 미디어 기기와 제스쳐 인터랙션으로 필요시 즉각적인 기록을 할 수 있다는 것이 편리하며, 기록을 키워드 기반의 아이템으로 저장하는 서비스 프로세스가 기록을 기억하는 데 도움이 될 것이라는 긍정적인 답변이 있었다. 그러나 서비스를 처음 이용할 시 기록을 바탕으로 아이템을 만들어 공간에 저장하는 과정을 한눈에 이해하기 어렵다는 의견이 있었다. 따라서 이를 해결하기 위해 생성된 아이템이 공간에 저장되는 모습을 직관적으로 보여줘야 할 필요가 있음을 확인했다. 기록 드롭하기의 경우 다른 사람과 기록을 공유하는 기능이 신선하게 느껴지며 다른 사용자에게 도움이 될 수 있다는 점이 기록의 동기부여를 유도하기에 긍정적으로 느껴진다는 의견이 있었다. 기록의 방 내부에서 AI 에이전트와 함께 기록을 발전시키는 태스크의 경우 실제로 기록한 아이디어를 발전시키는 것에 유의미한 도움이 될 것 같다는 의견과 함께 목소리가 아닌 방식으로도 AI 에이전트를 호출할 수 있으면 좋을 것이라는 의견이 있어 보이스 이외에 텍스트 등 AI 에이전트 호출 방식 추가가 필요함을 확인했다. 기록 합치기 기능의 경우 합치기 과정에서 인터랙션에 대한 어려움을 발견했으며 이를 해결하기 위해 합치기 버튼을 직관적인 아이콘으로 나타내고, 명확한 어포던스를 제시해야 함을 파악했다. 결과물 기록하기 과정에서는 아이디어를 통해 창출된 결과물을 서비스에 기록하는 것이 성취감을 준다는 긍정적인 평가를 받았으며, 해당 기능이 서비스의 지속적 이용 동기를 부여한다는 점을 확인할 수 있었다. 마지막으로, 전반적인 서비스에 대한 만족도는 높은 편이며, 사용자들은 아이템을 직접 생성하여 기록을 저장하는 방식에 대해 실질적인 사용 의사를 보였다. 특히 3D 요소를 활용한 가상 공간과 인터페이스 화면에 대해 흥미롭고 몰입감 있는 경험이라는 긍정적인 반응을 보였다. 일부 사용자들은 기록이 공간 형태로 시각화되어 구성됨으로써 기억을 더 쉽게 떠올릴 수 있었으며, 과거의 맥락을 공간적으로 회상할 수 있는 점이 서비스의 차별점으로 작용한다고 응답하였다.

Table 8.

Key observations