Journal Archive

트랜스미디어(Transmedia)는 미디어의 초월적 의미인 트랜스(trans)와 다양한 매체를 뜻하는 미디어(media)의 결합으로 탄생한 용어이다[6],[7]. 트랜스미디어의 구조에서는 전체 세계관을 온전히 경험할 수 있도록 각기 다른 미디어 간의 결합과 융합이 일어난다. 트랜스미디어 시대는 하나의 매체에 국한되지 않고 콘텐츠가 다양하게 확산하는 미디어 융합의 현 흐름을 반영하는 시대이다[8]. 이러한 트랜스미디어 시대에는 사용자에게 세계관을 다양한 방식으로 이해하고 몰입할 수 있는 경험을 제공할 수 있는 미디어 융합의 형태, 즉 다양한 형태의 미디어가 어떻게 통합될 수 있는지를 탐구하는 것이 필요하다.

트랜스미디어의 개념으로부터 나온 트랜스미디어 스토리텔링은 하나의 스토리텔링을 각기 다른 미디어간의 결합과 융합을 통해 여러 미디어 속 새로운 텍스트를 경험함으로서 전체 스토리텔링의 세계관을 온전히 경험할 수 있다는 의미이다[6]. 트랜스미디어가 사용자의 힘을 재구성하는 데 집중하도록 몰입해야 한다고 논한 주장[6]에 더해, 트랜스미디어 내러티브 내에서 사용자의 경험을 만드는 일종의 ‘툴킷(toolkit)’을 탐색하는 것이 필요하다[8]는 논의도 있다. 즉, 하나의 이야기를 다수의 미디어를 통해 전달하면서도 단순히 기능적인 배분이 아닌 사용자의 경험을 통해 세계관을 이해할 수 있도록 미디어의 특징을 강화할 수 있는 세부적인 조건들이 필요하다는 것이다.

트랜스미디어와 함께 언급되는 용어로 OSMU(One Source Multi Use)나 크로스미디어가 있지만, OSMU는 단순히 다양한 매체에 맞게 콘텐츠를 재구성하는 차원을 말하고, 크로스미디어는 하나의 이야기를 다양한 매체로 확대하기 위해 전체적으로 각색하는 것을 가르킨다[7],[8].

이에 반해, 트랜스미디어가 위의 개념들과 큰 차이를 보이는 점은 각 미디어의 특징에 따라 하나의 세계관이 변형되어 만들어진다는 점이다[8]. 사용자는 각 미디어에서 하나의 세계관을 다른 방식으로 경험할 수 있고 또한 각 미디어에서의 경험을 통합할 수도 있다.

트랜스미디어 시대에는 사용자에게 세계관을 다양한 방식으로 이해시킬 수 있는 미디어들이 등장하며 미디어 융합의 형태를 구현한다. 이러한 트랜스미디어 시대 증강현실 그림책은 하나의 세계관 구현을 위해 디지털과 아날로그 미디어가 융합한 대표적 사례로 볼 수 있다.

인쇄 미디어 기반의 출판물의 소비 비중은 2012년 37%에서 2016년 29%로 떨어진 이후 지속적인 감소세를 보이고 있다[9]. 이에 반해, 디지털 출판물(digital publications)은 젊은 세대를 중심으로 지속적으로 소비 증가 경향을 보이고 있다[9]. 이는 시간과 공간에 구애없이 쉽게 접근 가능하며, 시각적이고 상호작용적 요인을 지닌 디지털 콘텐츠가 가진 매력도가 영향을 미치기 때문이다.

이러한 디지털 기반 책의 종류로 1.전자책(종이책을 디지털 매체로 옮긴 형태로 코덱스의 특성을 지님) 2.앱북(전자책에 엔터테인먼트적 요소를 포함하여 다양한 상호작용을 통해 이야기가 전달됨) 3.디지로그북(디지털, 아날로그, 책의 합성어로 전자책에 아날로그적 요소를 구현할 수 있는 차세대 전자책으로 촉각, 후각, 시각 등의 다양한 감각을 재현할 수 있음) 그리고 4.증강현실 그림책(종이책과 디지털 기술을 합하여 가상의 사물을 현실에서 볼 수 있도록 재현함)을 들 수 있다[6].

증강현실 그림책은 인쇄책 및 디지털 디바이스를 활용해 2D, 3D애니메이션, 오디오 혹은 비디오 형식의 멀티미디어 경험을 구현한다[10].

증강현실 기술은 기존 미디어의 사용자 경험을 향상시키는 데 사용할 수 있는 유용한 도구이다[11]. 디지털 콘텐츠를 물리적 객체 위에 오버레이 함으로서 사용자는 현실 세계와 디지털 세계 모두와 동시에 상호작용할 수 있다[11]. 이러한 증강현실 기술의 등장으로 물리적 미디어와 디지털 미디어 간의 격차를 해소하는 대화형 및 몰입형 경험을 창출할 수 있다[11].

20세기 중반 이후 기술적으로 연구되며 발전한 증강현실과는 달리, 독립적으로 문학 분야에서 오래전부터 발전해 온 그림책은 시각적 이미지와 언어적 텍스트의 조합으로 이야기를 전달하는 인쇄 기반의 매체이다. 노델맨[12]은 그림책을 정보를 담은 그림과 약간의 글이 결합한 새로운 장르라고 정의한다. 이에 따르면, 그림책의 이미지는 보조적으로 글을 뒷받침하는 역할이 아닌 이미지 자체로서 강한 의미를 가진 것으로 볼 수 있다. 최근 트랜스미디어 시대 다양한 미디어 기술과의 융합이 시도되는 그림책 분야에서는 감각을 자극하는 이미지가 점차 문자를 능가하는 중요성을 보이기도 한다[7].

앞서 언급하였듯이 오랫동안 증강현실과 그림책은 서로 다른 영역에서 개별적으로 발전해왔다. 그러나 2001년 빌링허스트 등이 증강현실 책과 관련한 프로토타입을 선보인 이후, 디지털 미디어에 관심을 가져오던 일부 작가와 출판사가 증강현실 그림책 분야로 전향하였다[13].

증강현실을 활용하여 인쇄 미디어와 디지털 미디어, 두 가지의 다른 가치를 통합하고 새로운 가치로 재탄생시킬 수 있다는 점에서 증강현실 그림책이라는 융합 콘텐츠는 트랜스미디어 시대에 중요한 분야이다. 증강현실 그림책 융합 콘텐츠를 경험하며 사용자는 내러티브 요소에 새롭고 흥미롭게 상호작용할 수 있다. 예를 들어, 사용자는 스마트 폰이나 태블릿을 책의 한 페이지에 대고 등장인물들이 살아나는 것을 3D로 볼 수 있고, 이야기의 결과에 영향을 미치는 선택을 함으로서 이야기와 상호작용 할 수도 있다. 생생한 그래픽과 상호작용성은 증강현실 그림책이 제공하는 주요 특징이라 할 것이다.

Fig. 1. 
AR picturebook<Echo and Hangeul friends>, 2010.

^*It is a picture file of what AR picture book shows in Korean on the mobile phone.

증강현실 출판물은 주로 디지털 팝업북의 형태를 취하며[14], 멀티미디어 요소를 통해 책의 내용을 다시 한번 강조하는 형식을 띤다. 증강현실 출판물의 초창기 사례들을 보면 증강현실 책과 관련하여, 공학 기반의 프로토타입들이 먼저 선보인 까닭에 서사의 흐름과 연결시키는 방식에 대한 연구보다는 기술적인 상호작용성 구현을 강조한 측면이 있으며, 서사의 흐름에서 따져보면 장식적 요소로 전락한 경향이 있다. 이러한 장식적 요소들은 오히려 책을 읽는 독자의 주의를 분산시키고 서사에 대한 이해도를 낮추는 것으로 드러난다[13]. 현재 대다수의 증강현실 그림책은 특정 부분에 이르러 3D 모델이 팝업되었다 사라지거나 맥락과 관계없이 등장하는 게임과 같이 단순한 방식으로 서사와 관계없이 보조적으로 그림책의 이미지를 증강하는 차원에 그치고 있다. 증강현실을 활용한 출판물이 지닌 발전 가능성에도 불구하고, 현재까지의 방식은 다음 페이지나 단계를 선택하며 앞으로 나아가는 정도이며 특히 교육적 자료에 국한되어 그 종류가 매우 제한적이라 할 수 있다[10].

앞서 언급하였듯이, 현재의 증강현실 그림책에 활용하는 기술은 QR코드나 이미지 패턴을 인식하여 등장하는 마커 기반이 주를 이루어 기술적 측면에서는 매우 단순한 경향을 띤다. 증강현실 그림책의 주 사용층이 어린이와 그 가족에 국한한 경향이 크기 때문에 기술적 복합성을 높이는 것보다 다양한 경험적 요소를 탐색하는 것이 필요하다. 단순히 증강현실 요소가 삽입되는 것만으로 감탄하던 때를 지나 현재는 증강현실이 만들어내는 요소가 인쇄 기반의 출판물과 어우러져 스토리텔링을 더욱 효과적으로 만들고 몰입적인 경험을 만드는가가 중요해지고 있다. 즉, 현재의 기술적 방식에 기반하되, 인쇄 미디어에 효과적으로 상응하는 증강현실의 요소는 무엇일지 탐색하는 것이 필요하다.

본 연구는 증강현실 요소 역시 그림책의 서사를 구성하는 텍스트, 이미지와 동등한 또 하나의 미디어로서의 역할로 논하고자 한다. 이는 최초 그림책이 만들어졌을 때, 텍스트를 보조하는 수단이었던 그림이 현대에 들어 텍스트와 동등하거나 혹은 그 이상의 역할을 하도록 변화한 것과 그 궤를 같이한다. 다음 장에서는 국내 증강현실 그림책에 대한 논의를 분석하여 증강현실 요소가 어떤 역할로 규정되어 왔는지 구체적으로 탐색하고자 한다.

본 장에서는 증강현실 그림책과 관련하여 2010년대 이후의 국내 선행연구들을 파악하였다. 증강현실 그림책이 등장한 2010년 이후 증강현실 그림책을 키워드로 구글 학술검색에서 검색하여 국내연구를 중심으로 조사하되, 디지털 그림책 및 앱 그림책과 같은 연구주제는 제외하여 정리하였다. 본 연구는 증강현실 그림책에 대한 국내 연구의 관점을 파악하고 향후 새로운 방향을 제시하고자 학술지에 출판된 국내연구에 초점을 맞추었다. 또한 본 연구에서 증강현실 그림책의 경험적 요소에 대해 논하고자 하는바, 증강현실 그림책의 키워드를 연구 제목에는 포함하지 않았으나 증강현실 인쇄물과 관련하여 사용자경험과 상호작용성 측면에 초점을 맞춘 디자인 분야의 선행연구는 포함하였다.

표 1에서 정리한 증강현실 관련 국내 선행연구들을 정리하면 크게 1) 사용성 연구: 어린이 반응[15], 초등학생 행동 분석[18],[19],[21]과 같이 사용성 측면에 초점을 맞춘 연구 그리고 2) 콘텐츠 연구: 구체적인 콘텐츠 및 인터페이스 디자인 요소 분석 및 실제 구현한 사례연구[5],[14],[16],[17],[20]으로 크게 나누어 볼 수 있다. 2000년대 초반 빌링허스트의 증강현실 그림책 프로토타입 구현 이후 공학 분야에서 주로 이루어지던 연구가 2010년대 이후에는 사용성과 실제 인터페이스에 선보이는 인터랙션과 콘텐츠에 초점을 맞추어 발전한 경향을 파악할 수 있다. 사용성 관련 연구들은 증강현실 콘텐츠를 경험하는 피실험자들의 몰입도를 행동 관찰을 통해 파악한 연구들이 주를 이루는데 이는 관련 연구가 대부분 교육공학 분야 연구자들에 의해 진행되었기 때문으로 보인다. 이러한 사용성 관련 연구들은 경험 과정에서 아동이 보이는 반응을 통해 전체적인 몰입도를 측정하기 위한 것으로, 세부적인 증강현실 관련 사용자경험에 대해 파악하기는 어렵다.

콘텐츠 연구는 주로 디자인 분야 연구자들에 의해 진행되었는데, 인터페이스 상에 나타나는 이미지 및 사운드 등의 멀티미디어 요소 유무를 정량적으로 파악[5]하거나 사용자 그룹을 세부적으로 분류하여 해당 그룹에 소구할 수 있는 방식으로 제안한 디자인 사례연구들이 주를 이룬다. 인터랙션 디자인 요소에 초점을 맞춘 연구[14]가 있지만 이 역시 인터페이스에 나타나는 이미지, 사운드 그리고 해당 요소들에 대한 제스처에 국한하고 있다. 이와 같이 인터페이스 상에 나타나는 증강현실 표현 분석과 구현에 초점을 맞춘 연구 경향은 그림책의 페이지 상 표현을 바탕으로 글과 그림의 관계를 분석한 니콜라예바 등[3]의 그림책 연구의 영향으로 보인다.

그림책 분야의 저명 연구자인 마리아 니콜라예바와 캐롤 스캇[3]은 그림책에서의 글과 그림 간 상호방식에 대한 연구의 역사들을 탐색하고 사례를 분석하였다. 그림책에서의 이미지와 텍스트의 관계성을 논하며 이를 1) 대응 : 텍스트가 전달하는 의미와 이미지가 동일하게 일치하는 것으로 가장 일반적인 그림책의 형태, 2) 보완: 텍스트와 이미지가 서로를 보조하며 빈 자리를 채우는 형태, 3) 확장: 이미지가 텍스트의 진전된 서사를 묘사하거나 더 높은 수준으로 표현하는 형태, 4) 대위: 텍스트와 이미지가 반대의 의미를 가지며 이중 서술로 표현, 그리고 5) 병행: 두 개 이상의 이미지가 서로 독립적으로 진행되는 형태라고 분류한다[3]. 이 중에서 대위나 병행 방식의 그림책이 독자들의 참여 및 몰입, 상상을 추가해 다양한 해석을 가능하게 한다[8]. 국내 연구들에서는 위 논의를 바탕으로 그림책에서의 글과 그림의 관계를 크게 1) 일치, 2) 보완 그리고 3) 대위로 분류하는 경향을 볼 수 있다.

그러나 증강현실 그림책 분석에 있어서도 이를 그대로 대입하여 해석하다보니, 상호작용이나 사용자 경험과 관련한 요소를 배제한 채 증강현실 이미지의 단순한 결과적 측면만을 논한 측면이 있다. 특히, 증강현실 그림책 연구의 수는 국내에서 출간된 소수의 증강현실 그림책의 수량만큼 적고 다양하지 않다. 증강현실 그림책의 수량이 적은 까닭에 사례를 다루는 여러 연구들이 동일한 사례를 반복적으로 다루고 있기도 하다.

즉, 증강현실 그림책 연구에서 증강현실을 결과적인 증강된 이미지 표현 외에, 사용자경험에 영향을 미치는 다양한 물리적, 지각적 요인들, 세부적으로 책을 넘기는 행위 중에 증강현실을 보기 위한 디지털 디바이스의 사용, 증강현실을 시작할 수 있는 시작점 등과 같이 독자의 경험에 영향을 미치는 상호작용성을 포함한 고찰은 전무하다. 이러한 증강현실이 만들어내는 다양한 상호작용성은 결과적으로 서사경험에 영향을 미친다. 다음 장에서 서사경험에 영향을 미치는 증강현실의 상호작용 요소에 대해 구체적으로 논하고자 한다.

전통적인 책과 멀티미디어의 결합은 이미 다양하게 이루어져 오고 있다. 다만 앞서 국내 연구에서 논한 바와 같이 증강현실을 통해 서사 경험을 어떻게 발전시키는 지에 대한 연구는 부족한 상황이다.

그러나 해외에서 최근 사용자경험의 측면에서 증강현실 요소를 서사를 강화하는 역할로 논하는 Halliday 등의 연구[13]를 발견할 수 있다. 해당 사례는 책을 읽는 과정에서 필요한 물리적 행위도 서사를 경험하고 몰입하는 데 중요한 요소로 파악하고, 이러한 관점에서 증강현실 역시 서사의 경험을 확대하는데 큰 역할을 할 수 있다고 논한다. 이러한 논의는 그동안 물리적 행위와 같은 독자의 증강현실 그림책에서의 서사 상황을 배제하고 페이지 내의 이미지와 텍스트를 증강하는 이미지 표현 차원에 국한하여 기존의 증강현실 그림책을 논한 논의들과 차이가 크다.

서사경험에 있어 물리적 행위가 포함된 상호작용성에 초점을 맞추어 보면, 페이지를 넘기는 물리적 행위와 증강현실을 모바일로 더해보는 물리적 행위를 자연스럽게 연결하고, 이러한 중첩된 물리적 행위가 서사경험을 강화시킬 수 있다[13]. 이것을 Halliday 등은 ‘서사적 증강성(narrative augmentation)’으로 정의하고 증강현실의 상호작용적 요소를 통해 이를 구현할 수 있다고 논한다[13]. 독자는 인쇄 책만으로도 기본적인 서사의 흐름을 모두 파악할 수 있지만, 증강현실을 통해 인쇄책만으로는 깊이 생각하지 못한 관점을 공감하며 상상하게 함으로서 독자에게 새로운 관점으로 전체적인 서사 경험의 확장이 이루어지며 실현될 수 있다[13].

예를 들어, 청소년 대상 증강현실 소설책인 <The Dragon Defenders> 시리즈의 경우, 증강현실을 활용해 독자를 이야기 속 주인공들인 Paddy와 Flynn의 입장에 놓이게 한다. 소설은 주인공의 관점에서 서사가 진행되는데, 미스터리한 부호나 독특한 이미지를 증강현실 디바이스로 비추면 그 반대 인물들이나 해당 미스터리와 연관된 과거의 사건이 나타난다. 이는 주인공의 관점에서만 상황을 따라가던 독자에게 다른 관점과 사건을 이해할 수 있도록 하여 전체적인 서사경험을 강화하며 이를 통해 서사적 증강성이 구현된다고 본다. 이렇듯, 서사적 증강성은 기존의 서사를 한번 더 보완시켜주던 기존의 증강현실의 증강성과는 달리, 작가가 의도한 서사를 전체적으로 다양하게 강화하는 차원으로 증강현실의 역할을 새롭게 제안하고 있다[13].

증강현실 기반의 출판물은 정적인 그래픽과 동적인 상호작용 특성으로 인해 게임과 유사한 측면이 있으며, 이에 따라 게임을 분석한 틀을 활용할 수 있다[13],[22]. 이에 따라 기술적 메커니즘과 관련한 요소 외에 사용자 액션과 환경을 구성하는 활동에 초점을 맞추어, 증강현실 그림책을 이루는 사용자 중심의 구성요소를 다음과 같이 구분할 수 있다[13]. 즉, 사용자 활동에 대해, 상호작용을 유도하는 AR 트리거(AR trigger)와 AR 미디어(AR media)가 있다고 보고, 환경을 구성하는 활동에는 증강현실이 작동하는 활동들, 즉 증강현실 목표(AR goals), 증강현실 경험(ARX: AR experience), 그리고 서사의 순간(Narrative moments)으로 분류한다[13]. 이를 정리하면 아래 표 2와 같다.

위 구성요소들을 통해 <The Dragon Defenders>의 증강현실 페이지를 분석한 예는 아래와 같다[13]. 아래 그림 2는 시리즈 제 1권의 다섯 번째 장[23]에서 주요 인물인 패디가 본 것이 무엇인지 알아내기 위해서 증강현실을 사용하도록 유도하는 AR 트리거 문장이 포함되어 있다[13]. 이 페이지에서 증강현실을 통해 제대로된 텍스트를 보게 되는데 여기에서 AR 미디어는 텍스트라고 할 수 있다. 다만, 해당 페이지를 증강현실로 보지 않아도 소설책을 읽는 과정에서 자연스럽게 해독된 내용을 알 수 있다는 점에서 증강현실은 보조적, 보완적으로 활용된다[13].

Fig. 2. 
AR trigger page in James Russell’ <The Dragon Defenders> [23] pp.44.

위 사례에서 증강현실 미디어는 보조적으로 활용되지만 인쇄 책에서 3인칭의 시점으로 설명되는 주요 인물의 경험을 1인칭의 관점으로 변화시켜 직접 암호문을 해독하는 경험을 하도록 하고 소설에서 과거로 다루고 있던 시제를 실시간 시점으로 옮기는 역할을 하고 있다. 이러한 점은 단순히 이미 나열된 서사를 다시 한번 증강현실로 반복해 보여주는 기존의 증강현실 활용법과는 다른 점이다. 또한 AR 미디어에서 증강현실이 끝나는 마침점(엔드포인트)도 명확하여, AR에서 다시 책으로 돌아올 수 있도록 구성하고 있다. 이를 닫힌 루프형 인터페이스 전환(Closed loop interface transition)이라는 용어로 설명[13]하는데 이는 내러티브 자체는 모두 선형적으로 진행되지만 이 과정에서 개별적인 인터페이스의 모드는 완결되며 다른 인터페이스로 전환되는 것을 의미한다.

이 사례에서 증강현실 경험(ARX)은 현재에서 과거로 바뀌는 시제의 전환을 경험하게 함으로서 서사의 텍스트에 대해 대위법으로 작동하며 독자의 상상력과 질문을 자극한다고 볼 수 있지만, 전체적인 서사경험에 대해서는 보조적인 역할로 정리할 수 있다[13]. 그러나 보조적 역할임에도 기존 서사에 대한 추가적인 콘텐츠가 아닌, 대안적인 시점을 제공하는 것은 증강현실을 통해 전체적인 서사적 증강성을 구현하도록 하는 중요한 구성방식이다. 서사적 증강성의 경우에는 증강현실 경험이 강제적인 것이 아니라 주요 내러티브를 강화하는 선택적 경험이 된다는 차원에서 오히려 전체 서사에 대한 몰입을 방해하지 않을 수 있는 긍정적 측면이 있을 수 있다고도 본다[13].

사용자가 인터페이스를 전환하며 경험하는 과정에서 사용성에 부정적 영향이 있다는 논의가 있는데[24], 마침점(엔드포인트)이 명확한 인터페이스의 전환과 해당 전환을 선택적으로 경험할 수 있을 때 오히려 메인스토리를 보강하는 오디오, 이미지 등의 선택적 요소들을 즐길 수 있다고 보기도 한다[21].

결과적으로 [13],[24],[25]와 같은 여러 연구는 메인 서사에 대해 디지털 미디어를 선택적으로 활용하며 이를 메인 서사에 대한 상상력을 자극하는 대위법으로 만들 시 서사경험을 매력적으로 만들 수 있다고 주장한다. 대위법은 기존 서사와는 다른 시점이나 관점을 부여하는 방식으로 그림과 텍스트 간의 관계를 설정할 때 주로 논의되는 방법이다. 서사적 증강성 논의는 기본적으로 대위법을 구현하고자 하며, 이를 위해 증강현실 경험은 선택적(Optional)이어야 하며, 인터페이스 간의 선형적인 흐름 속에서 세부적인 인터페이스를 종료할 수 있도록 명확히 안내하는지(Closed loop), 서사가 담겨있는지(Narrative drive) 그리고 시점이나 시제를 전환하는지를 중요하게 살펴볼 필요가 있다고 정리한다[13].

다음장에서 위 표 3을 바탕으로 국내 출판된 증강현실 그림책을 분석하고 서사적 증강성을 위해 해당 요소들이 사례에서 어떻게 구현되어 있는지 파악하고자 한다. 이를 바탕으로, 향후 증강현실 요소가 서사경험을 강화할 수 있는 역할을 위해 변화되어야 할 방안을 제안하고자 한다.

먼저 증강현실 그림책인 <어린왕자>를 읽으면서 증강현실 그림책의 구성요소 1) AR 트리거, 2) AR 미디어, 3) AR 목표, 4) AR 경험(ARX), 그리고 5) 주요 내러티브 순간을 파악하고, 해당 구성요소를 바탕으로 서사적 증강성을 구현하는 증강현실 경험 요소들에 대해 정리하고자 한다. 해당 구성요소 파악을 위해 연구자가 면밀히 읽기 방식[26]을 통해 표 4와 같이 정리하였다.

위 정리한 구성요소를 기반으로 독자 대상의 포커스 그룹 인터뷰(FGI)를 통해 증강현실 페이지에서 위 요소에 해당하는 구체적인 내용들을 파악하고자 한다.

2023년 12월 16일 부산대에서 증강현실 그림책 <어린왕자>에 대한 증강현실 경험 요소 파악을 위한 심화인터뷰를 진행하였다. 초등학생 7인 및 부모님 중 한분씩 7인, 총 14인이 참여하였으며 총 2시간동안 진행하였다. 참여자들은 스스로 글을 읽을 수 있는 초등학생을 모집하였으며, 증강현실 그림책에 대한 경험 사례가 소수이므로 이는 특별히 고려하지 않았다. 사례에 대한 사용자의 만족도 등을 조사하기 위해 많은 수의 사용자가 적절한 경우도 있지만 본 연구에서는 증강현실 그림책을 접한 사용자 자체의 수가 적고 읽기 과정에서의 사용자 반응을 면밀히 살피기 위해 소수의 참여자를 선정하여 워크숍 형태로 진행하였다. 자유로운 분위기 속에서 가족과 함께 그림책을 크게 읽으면서 증강현실 체험을 함께 진행하도록 하였으며, 한 시간여의 읽기 이후에는 간단한 설문조사를 바탕으로 심화인터뷰를 자유롭게 의견을 개진하는 방식으로 진행하였다. 해당 과정을 비디오로 녹화하여 이후 심화인터뷰의 내용과 비교하는 과정을 거치며, 이후 재인터뷰를 실시하였다.

참여자들은 인터넷을 통해 비디오 녹화로 관찰 가능한 10명을 선착순으로 모집하였는데, 참석일 당일 공교롭게 남학생 3인이 전원 결시하여 참석자는 모두 전원 여학생으로 구성되었다. 초등학생 무렵의 성별 인지발달이나 표현 방식의 차이를 고려하였을 때 남학생의 부재는 아쉬운 지점이다.

전반적으로 참여자들은 <어린왕자>에서 증강현실을 경험하는 데 흥미를 느꼈고 조작과 관련하여서도 어렵지 않아 하였다. 특히 본 인터뷰에 참여하고자 한 이유도 증강현실 그림책에 대한 경험이 없더라도 관심이 있고 평소 다양한 그림책을 경험하였기 때문에 호감과 관심이 높기 때문으로 답하였다. 이에 따라 최초 설문 시행 시 대체적으로 긍정적인 답변을 하는 경향을 보였으며 세부적인 문제점을 언급하지 않았다. 특히 어린이들은 책을 읽은 뒤 모두 재미있었다라는 답변으로 일관하였다.

Fig. 3. 
Participants’ reading of AR picturebook

^*It is a picture file of what AR picture book shows in Korean on the mobile phone.

동시에 연구자는 참여자들을 촬영하는 비디오 자료를 현장에서 확인하며 반응을 체크하고 있었는데, 책에서 멀어지며 의자에 뒤로 기대거나 모바일폰을 내려놓아 부모가 대신 조작해주거나 특정 페이지에서 오래 시간을 소요하는 반응을 보인 시점을 중심으로 추후 해당 상황 및 해당 페이지에 대해 재인터뷰를 실시하였다. 해당 상황에 대해 이유를 묻고 해당 페이지를 함께 보며 이야기를 나누는 상황에서 어린이들은 솔직하게 답변을 표현하기 시작하였다.

“처음에 증강현실 프로그램이 신기하고 재밌게 느껴지지만 시간이 지날수록 재미가 없어져요.”(C 어린이)

“자꾸 앱에서 튕겨나오고, 스마트 기기도 증강현실을 보는 과정에서 들었다놨다 하기가 불편하다고 느꼈어요.”(D 어린이)

전체적인 경험에 대한 질의에 더해 주요 증강현실 페이지를 넘기며 세부적으로 질의하였고, 참여자들은 아쉬운 점들과 대안을 세부적으로 이야기하였다. 전반적으로 참여자들은 증강현실 페이지수가 더 많기를 희망하고 증강현실 페이지에서 사용성을 개선하면서 적극적으로 참여할 수 있는 상호작용적 요소가 많기를 희망하였다. 특히 증강현실 요소가 적고 텍스트로만 구성된 페이지에 대한 개선 요구가 많았다.

“(25페이지) 어린왕자가 움직일 때 똑같은 쪽으로만 걸어 다녀서 답답했어요.”(B 어린이)

“(26-27페이지) 특히 글밥이 많아서 아이가 읽기 힘들어했습니다. 이 부분을 간단히 증강현실로 볼 수 있으면 좋겠어요.”(C 부모참가자)

“27쪽은 천문학 관련 내용이 나오는데 이해하기가 어려웠어요. 증강현실로 넣으면 더 이해가 쉬울 것도 같아요.”(F 부모참가자)

(30-31페이지) 꽃을 드래그하여 행성 바깥으로 빼내는데 잘 안빼내져서 아이가 짜증을 냈어요. 초등 저, 중학년이 읽기에 글밥이 많은 책은 아이가 글의 내용에 집중하지 않고 증강현실만 선별해서 읽으려는 경향이 있었어요. 증강현실 화면이 안정되지 않고 흔들리는 편이어서 보기에 불편한 점이 있었어요. 증강현실 화면에 그림 뿐만 아니라 키워드 정도의 글씨도 함께 있으면 좋을 것 같아요.”(C 부모)

“(44-53쪽) 너무 길게 증강현실이 하나도 없었고 글이 너무 많아서 읽기 힘들었어요.”(G 어린이)

“장미에 물을 주는 장면(70페이지)인데 물은 살짝의 움직임만 있어서 실제로 물이 나오면 더 좋았을 것 같아요. (73페이지) 그림에는 새소리가 나오는데 실제로는 새소리가 없었어요.”(D 어린이)

“페이지마다 그림이 팝업되는 줄 알았는데 부분적으로 나와 아쉬웠어요. 동화책의 그림과 AR의 그림이 좀 달랐고, AR이 좀 더 리얼했으면 좋겠어요. 30,33페이지는 게임을 할 수 있어서 재밌었어요.”(A 어린이)

AR미디어에 대한 선호도를 알아보는 조사에서는 앞서 연구자가 <어린왕자>에 나타난 AR 미디어 요소들에 대해 질문을 던졌고 1) 이미지의 애니메이션 효과, 2) 증강현실이 가능하다고 표시해주는 기능, 3) 터치에 따라 반응하는 효과, 4) 읽어주기 기능, 효과음 같은 청각효과 순으로 중요하다고 응답하였다. 반면, 글자디자인, 증강현실 다운로드 안내와 관련한 표현요소는 중요도가 떨어진다고 응답하였다.

참가자 응답을 바탕으로 <어린왕자>의 증강현실 경험요소에 대해서 아래와 같이 정리하였다.

먼저, 증강현실 경험이 선택적인지에 대해서 참여자들은 서사에 있어서는 필수적인 요소가 아니라고 답했다. 모든 참여자들이 가장 특징적인 증강현실 페이지로 꼽은 부분은 32-33 페이지였는데, 3D 모델, 애니메이션, 오디오 및 게임 요소까지 복합적으로 들어갔기 때문이다. 해당 페이지를 중심으로 논의하였는데, 이 페이지 역시 게임요소들이 흥미를 유발하기는 하였으나 서사를 이해하는 것과는 거리가 있다고 답하였다.

Fig. 4. 
AR page in <The Little Prince> pp. 32-33

^*It is a picture file of what AR picture book shows in Korean on the mobile phone.

사례에서 AR 트리거의 역할을 하는 장미꽃 모양의 아이콘은 그 역할을 이해한 뒤에는 역할이 명확하였지만 처음에는 해당 아이콘이 왜 AR 트리거의 역할을 하는지 선뜻 이해하지 못한 참여자들이 많았다. 이에 따라 처음에 아예 증강현실 경험을 시작하지 못하는 참여자들이 대다수였으며 진행자가 알려준 뒤에야 이를 인지하는 경우가 대부분이었다. 인지한 후의 AR 트리거는 명확하고 이에 따라 증강현실을 시작하는 지점 역시 명확하다. 그러나 시작점에서 경험을 시작한 후에는 증강현실 속 3D 애니메이션의 움직임이 반복되고 끝나는 지점이 명확하지 않았다. 이에 따라 참여자들은 한참 대기하다 반복적인 움직임에서 더 이상의 변화가 없을 경우 스스로 종료하고 알아서 인쇄책으로 넘어왔다.

사례에서의 증강현실 경험은 서사와 관련이 없다고 참여자들이 의견을 모았다. 예를 들어, 32-33페이지에서 증강현실로 행성 모델 위에 바오밥 나무가 등장하고 점점 커지는데, 지시문을 통해 바오밥 나무를 제거하도록 유도한다. 바오밥 나무를 떼어내면 빈 행성이 자전하는 애니메이션이 지속된다. 인쇄 그림책의 내용에 “어린이 여러분, 바오밥 나무를 조심하세요!”라는 글귀가 있으나 이것이 바오밥나무를 제거해야 하는 의미라고 볼 수 없다. 다만 행성을 가득 메운 바오밥나무를 제거하고 싶다는 마음이 들 수 있다는 점에 착안하여 게임 방식의 바오밥나무 제거하기를 넣은 것으로 볼 수 있다. 해당 요소는 참가자들과의 대화에서 가장 재미있었던 부분으로 평가받은 부분이다.

“(32-33페이지) 바오밥나무가 자라서 행성을 덮으면 큰일이라고 했는데, 증강현실로 바오밥나무를 제거하는 게임을 해서 재밌었어요 게임이 나와 책을 읽는 것이 더 재밌어진 것 같아요.”(A 어린이)

“증강현실 그림들이 단순 팝업이 아니라 터치에 따라 움직임이 많고 사운드가 제공되어 아이가 흥미있게 집중하고 볼 수 있었습니다. 증강현실이 제공되는 페이지는 모두 집중해서 봤어요. 바오밥나무를 시간 내 제거하는 미션은 아이가 완수 후 매우 뿌듯해 했습니다.”(C 부모참가자)

“(42-43페이지) 증강현실에서 활화산에서 김이 나고 분화구를 막아놓은 도구가 옮겨져서 다른 곳에 막을 수 있게 드래그 할 수 있어서 재밌었고, 소리도 나서 좋았어요”

“(24페이지) 코끼리를 움직일 수 있는 게임이 있어서 재밌었어요.”(D 어린이)

“(30-31페이지) 게임으로 증강현실을 즐길 수 있어서 흥미가 생겼어요”(E 어린이)

참여자들이 가장 많이 언급한 페이지들에서의 증강현실 요소는 실제 인쇄그림책의 텍스트와는 다른 장면이 나오는데, 이는 텍스트와의 관계에 있어서는 대위법에 해당하여 모순되는 상황이라 볼 수도 있다. 그러나 참가자들은 바오밥나무라는 텍스트에서 다루어지고 있는 공통 소재를 이용한 게임이라 직관적으로 연결된다고 생각하여 크게 괴리감을 느끼지 못했다고 답변하였다. 서사와 관련이 없더라도 독자들에게는 서사의 연장성에 있다는 느낌을 주는 것으로 보인다.

그림책을 보며 행성을 뒤덮은 바오밥나무가 답답해보이던 차에 이를 제거하는 게임이 증강현실로 등장하여 흥미가 있었다는 의견들이었다. 다만, 이는 서사의 진전이나 서사를 다른 관점으로 알 수 있는 역할과는 무관하다.

서사적 증강성[13]을 구현하기 위한 증강현실 경험 요소와 관련하여 정리한 의견으로 <어린왕자>는 표 6과 같이 증강현실을 선택적으로 경험할 수 있다는 점 외에는 해당하는 부분이 없었다. 이에 따라, 서사적 증강성 구현을 위해서는 우선 1) 증강현실이 끝나는 엔드포인트를 명확히 하면서 인쇄그림책으로 전환할 수 있도록 연결하는 요소의 삽입, 2) 주인공이나 다른 등장인물의 관점에서 서사가 진전될 필요, 그리고 3) 인쇄그림책의 텍스트에서 다루는 시점과 시제를 변화시킬 필요가 있음을 파악할 수 있다. 특히 2), 3)과 같이 주인공이나 다른 인물의 관점 혹은 다른 시제에서 서사가 이루어질 경우 증강현실 경험을 위한 인쇄 페이지의 AR 트리거를 더욱 다양하게 구성할 수 있을 것이다. 실험참여자들이 가장 흥미를 느낀 게임요소는 서사와 관계없는 게임요소보다 서사적 증강성의 차원에서 시점이나 시제를 바꾸는 방식으로 게임요소를 구성할 수 있을 것이다. 종합하여, 서사적 증강성을 구현하기 위해 <어린왕자> 32-33페이지를 대상으로 그림 5와 같이 제안하고자 한다.

Fig. 5. 
Suggestion of modifying AR picture book <The Little Prince> for narrative augmentation

구체적인 재구성 제안은 해당 페이지에서 등장하는 바오밥나무, 어린왕자, 행성을 활용하여, 각각 AR 트리거(바오밥나무), 인쇄그림책으로 연결하는 엔드포인트(행성), 서사의 흐름(어린 바오밥나무의 성장과 행성에의 영향), 그리고 3인칭으로 설명되던 서사의 시점을 현재 어린왕자가 맞닦트린 바오밥나무의 시점으로 전환하거나 과거 바오밥나무가 최초로 행성에 도달하던 시점으로 전환하는 방안을 담고 있다. 이를 통해 앞서 논하였던 서사적 증강성을 구현하기 위한 요소들로 전환하고, 기존 페이지에서 해당 페이지와는 관계없이 일괄적으로 등장하던 AR트리거(장미꽃), 증강현실 경험의 시작과 종료가 모호한 부분 그리고 그림책의 화자나 등장인물, 서사와 관계없는 게임 요소의 개입을 수정하는 안이라 할 수 있다.