증강현실 그림책의 사용자 참여 기반 인터랙션 구조: 보조 기술에서 서사 확장 미디어로

2-1 트랜스미디어 관점에서 본 증강현실 그림책

트랜스미디어(transmedia)는 ‘초월’을 의미하는 트랜스(trans)와 매체를 뜻하는 미디어(media)의 결합으로, 하나의 서사 세계관이 다양한 매체를 통해 분산·전개되는 구조를 설명하는 개념이다[2]. 트랜스미디어 시대는 단일 콘텐츠가 하나의 플랫폼에 고정되어 소비되는 것이 아니라, 동일한 세계관 아래 콘텐츠가 매체의 형태에 따라 확산되고, 매체 간 결합과 융합이 일상화되는 환경을 의미한다[5]. 이러한 혁신은 단순한 기술 결합을 목표로 하기보다, 사용자가 세계관을 다층적으로 경험하고 통합하도록 설계된 서사 경험 구조를 지향한다.

헨리 젠킨스는 이러한 관점을 트랜스미디어 스토리텔링 개념으로 강조하며, 트랜스 미디어의 핵심은 매체 간 기술적 연결 자체가 아니라, 각 매체의 고유한 표현 조건을 활용하여 서로 다른 텍스트 경험을 제공하는 데 있다고 설명한다[6]. 즉, 하나의 이야기를 여러 매체가 기능적으로 분배하는 것이 아니라, 각 매체가 강점을 갖는 지점에서 세계관의 단위를 구성하고, 사용자의 경험을 통해 이를 통합하도록 설계하는 것이 중요하다. 이때 사용자는 단순 수용자가 아니라, 매체별 단서들을 조합해 세계관을 구성·해석하는 적극적 참여자로 위치한다.

트랜스미디어는 OSMU(One Source Multi Use)나 크로스미디어(crossmedia)와 유사하게 언급되지만, OSMU가 동일한 원천 콘텐츠를 다양한 매체 형식으로 재가공하는 전략에 가깝고, 크로스미디어는 하나의 이야기 단위를 여러 매체로 분배함으로써 모든 매체를 경험해야 전체 세계관을 완성하도록 설계되는 경우가 많다. 반면, 트랜스미디어는 각 매체 경험이 일정 수준 독립성을 갖되, 세계관의 전체 틀을 해치지 않는 범위에서 매체 고유의 방식으로 변형·확장된다는 점에서 구별된다[2]. 사용자는 모든 매체를 반드시 경험할 필요는 없으며, 단일 매체 경험만으로도 세계관을 부분적으로 이해할 수 있고, 복수 매체 경험을 통해 더 풍부한 통합적 이해에 도달할 수 있다.

이러한 관점에서 증강현실 그림책은 인쇄 그림책과 디지털 AR 경험이 결합하여 동일한 서사 세계를 서로 다른 매체 조건 아래에서 재구성한다는 점에서 트랜스미디어적 사례로 이해될 수 있다. 영화, 게임, 웹 콘텐츠 등 다양한 트랜스미디어 형식이 존재하지만, 증강현실 그림책은 물리적 책이라는 단일 매체에 디지털 층위가 직접 결합되고, 사용자가 장면을 탐색하며 매체 간 단서를 통합해 의미를 구성한다는 점에서 독특한 참여 구조를 형성한다. 즉, 독자는 단순한 수용자가 아니라, 인쇄 이미지와 AR 인터랙션에서 제시되는 단서를 조합하여 장면의 의미를 재해석하는 적극적 참여자로 위치하게 된다. 이러한 점에서 증강현실 그림책은 단순히 인쇄 그림책에 시각 효과를 덧붙인 결과물이 아니라, 매체 간 전환과 중첩을 통해 서사 경험의 층위를 확장하는 구조를 요구한다[2]. 따라서 증강현실 그림책을 트랜스미디어 시대의 서사 매체로 논의하기 위해서는 기술 구현 여부보다, 서로 다른 매체 요소가 어떤 방식으로 결합되어 사용자 참여와 해석 과정을 조직하는지를 구조적으로 설명할 수 있는 분석 틀이 필요하다.

이에 더해, 미디어 이론가 마셜 맥루한은 종이책만이 문학성을 지닌다는 통념이 인쇄 매체 중심의 편견일 수 있음을 지적하며, 새로운 미디어의 등장과 함께 새로운 서사 형식이 발견되어 왔음을 상기시킨다[7]. 이후 논의되는 재매개(remediation)의 역사는 새로운 매체가 등장할 때 기존 매체의 형식을 단순 모방하는 단계에서 출발하되, 점차 그 매체 고유의 서사·표현 문법을 형성해 왔음을 보여준다[8]. 이러한 맥락에서 증강현실 그림책 역시 기술적 결합을 넘어, AR이라는 매체 조건을 활용한 새로운 서사 기법과 참여구조가 탐색되어야 할 대상으로 볼 수 있다.

2-2 그림책의 서사 구조와 텍스트-이미지 관계

그림책(picturebook)은 삽화책(illustrated book)과 달리, 이미지가 텍스트를 장식하거나 보조하는 수준을 넘어 서사의 핵심을 구성하며, 의미가 텍스트와 이미지의 상호작용을 통해 생성된다는 점에서 독자적 장르로 논의된다[9]. 그림책에서 텍스트와 이미지를 분리해 읽을 경우 의미가 성립하기 어려우며, 그림책의 핵심은 두 기호 체계가 결합하여 제3의 의미를 산출하는 과정에 있다[9].

그림책의 역사적 전개 또한 텍스트 중심 책에서 시각 요소가 점차 서사적 기능을 획득해 온 흐름과 연결된다. 예를 들어 칼데콧(Randolph Caldecott)의 작업은 텍스트와 이미지의 배치 및 리듬을 통해 대위법(counterpoint)적 관계를 형성함으로써 현대 그림책의 형성에 중요한 전환점을 마련한 것으로 평가된다[9]. 모리스 센닥(Maurice Sendak)은 칼데콧의 그림책에서 글과 그림의 상보적 구조를 강조하며, 텍스트와 이미지의 상호 의존적 리듬이 그림책의 핵심 문법임을 주장한다[9].

그림책 연구는 문학 연구, 아동문학 연구, 시각디자인 및 시각문화 연구 등 다양한 학문 분야에서 이루어져 왔으며, 매체적 특성과 수용 방식의 복합성으로 인해 여러 관점에서 분석되어 왔다. 이들 분야에서는 그림책을 텍스트-이미지의 역동적 관계, 시각적 문해력, 시각 디자인의 문법 등 서로 다른 초점에서 해석해 왔다. 이는 그림책이 언어적 서사와 시각적 서사가 동시에 작동하는 복합 매체이기 때문에, 의미 형성 과정이 단일 기호 체계만으로 설명되기 어렵다는 특성과도 관련된다. 텍스트와 이미지가 관계 속에서 배치될 때 두 요소의 의미는 변화하며 그 결과는 단순 합 이상의 새로운 의미 생성으로 이어진다[9]. 또한 시각디자인 관점에서는 레이아웃과 정보 배치 역시 해석의 방향을 조직하는 중요한 문법으로 작용한다[10].

이러한 흐름 속에서 니콜라예바 외는 그림책에서 텍스트와 이미지가 맺는 관계를 체계적으로 유형화하고 텍스트-이미지 상호작용이 의미 생성과 해석의 여백을 어떻게 조직하는지 설명하고자 하였다[4]. 이들은 텍스트와 이미지가 서로를 보완하는 경우뿐 아니라, 상충하거나 대조되는 경우 역시 독자의 적극적 해석을 촉진한다고 보았다. 이 관점은 그림책을 단순한 교육 매체나 삽화가 포함된 책으로 환원하기보다, 텍스트-이미지 상호작용을 통해 독자의 참여적 해석을 유도하는 서사 매체로 이해하게 한다는 점에서 중요하다.

2-3 증강현실 그림책 연구 동향과 한계

증강현실(AR)은 물리적 객체 위에 디지털 콘텐츠를 오버레이(overlay)함으로써 사용자 경험을 증대시키는 기술로, 물리 매체와 디지털 매체 간의 간극을 완화하는 대화형·몰입형 경험을 제공할 수 있다[11]. 증강현실 그림책은 이러한 기술을 그림책의 물리적 페이지인 일러스트레이션 및 지면 구성과 결합하여, 2D/3D애니메이션, 오디오, 비디오 등의 멀티미디어 요소를 통해 추가 경험을 제공하는 형식으로 정의될 수 있다[12].

디지털 기술 기반 출판물은 전자책, 앱북, 디지로그북, 증강현실 그림책 등으로 다양화되어 왔다[1]. 그러나 전자책이나 앱북이 비교적 명확한 매체 형식을 갖는 것과 달리, 디지로그북이나 증강현실 그림책은 물리-디지털 결합이라는 구현 난이도와 기술적 주목성으로 인해 서사 경험의 구조보다는 구현 방식이나 효과에 논의가 집중되어 온 경향이 있다[2]. 특히 증강현실 그림책은 교육 콘텐츠로서의 활용 가능성이 강조되며, 독서 태도나 학습 효과에 초점을 두는 연구가 다수 축적되어 왔다.

한편 최근에는 스마트폰 기반 AR 사용의 대중화와 더불어, Adobe Aero, Lens Studio 등 비교적 낮은 진입장벽의 제작 도구가 확산되면서 AR 콘텐츠 제작이 용이한 편이다. 또한 Vuforia 및 Unity 3D Engine과 같은 개발 환경의 보급은 AR과 관련한 보다 복잡한 상호작용 설계까지도 디자이너들이 접근할 수 있게 하였다. 이러한 환경 변화는 증강현실 그림책 연구에서도 기술 구현 자체보다 인터페이스 구성, 사용자 경험, 상호작용 설계로 관심이 이동하는 배경이 된다.

이러한 배경하에 본 연구는 국내의 증강현실 그림책 연구의 동향을 디자인 분야에서 집중적으로 검토하였다. 2020년 이후 최근 5년내 국내 학술지 논문을 중심으로 ‘증강현실 그림책’과 ‘상호작용/사용자경험/디자인’ 관련 키워드를 포함한 연구를 수집·검토하고, 제목·초록·키워드에 나타난 핵심 용어를 기반으로 범주화하였다. 그 결과 증강현실 그림책 연구는 양적으로는 적지만, 대체로 (1)인터랙션/인터페이스, (2)사용자경험(UX), (3)다중감각 경험, (4)종이-AR 하이브리드 구조 설계의 네 범주로 정리할 수 있다.

선행연구들은 증강현실 그림책의 인터랙션[13], UX, 감각 요소[14]등 부분 요소를 개별적으로 분석하는 경향이 강하며, 종이책과 AR의 결합 구조를 다루더라도 물리적 특성이나 인터페이스 관점[15]-[17]에 머무르는 경우가 많았다. 즉, 종이 그림책-AR 결합 환경에서 하나의 서사 경험이 어떻게 구성되는지, 그리고 그 구성 방식이 전통적 그림책의 서사 경험과 어떻게 달라지는지를 서사 구조 차원에서 통합적으로 설명하는 연구는 상대적으로 부족하다. 특히 AR 요소의 역할을 유형화하고, 서사·감각·정서 요소가 상호구성되는 관계를 구조적으로 제시한 연구는 제한적이다.

Table 1.

Keyword analysis of Korean AR picture book research(2019-2024)

이에 따라 본 연구는 그동안 특히 HCI 및 디자인 분야에서 증강현실 그림책을 시각적 증강 효과로만 이해해온 점에 대해 비판적으로 접근하고, 그림책 장르가 갖는 서사 경험의 핵심성을 전제로 AR 요소의 역할과 개입 방식을 구조적으로 규명하고자 한다. 이를 위해 AR을 그림책을 구성하는 요소인 텍스트와 이미지에 더해 제3의 서사 층위로 정의하고, 텍스트-이미지-AR 간 관계를 체계화하는 분류체계를 구성한 뒤, 이를 실증적으로 검토하는 방향으로 연구를 진행하고자 한다.

2-4 그림책 이론의 확장: 텍스트-이미지-AR 관계 분류체계 제안

니콜라예바 외[4]는 그림책에서 텍스트와 이미지가 맺는 상호관계를 유형화하여, 텍스트-이미지 결합이 의미 생성과 해석의 가능성을 어떻게 확장하는지 설명하는 분류 체계를 제시하였다. 본 연구는 이 분류 체계를 이론적 기반으로 삼되, 증강현실 그림책의 경험이 페이지 읽기에만 국한되지 않고, 안내 요소의 개입, 디바이스 조작, 시선 전환 등 물리적 사용자 행위가 포함된다는 점에서, 단순 적용이 아니라 3요소 구조로의 확장이 필요하다는 선행 논의[2]를 수용한다. 즉, 증강현실 그림책에서는 AR 요소의 개입 방식이 서사 몰입을 강화할 수도 있으나, 반대로 서사 흐름을 방해할 수도 있으므로, AR의 역할을 텍스트-이미지 관계에 준하는 분석 단위로 설정할 필요가 있다. 니콜라예바 외[4]의 텍스트-이미지 관계 분류는 다음과 같이 정리될 수 있다.

본 연구는 위 다섯 범주(대응, 보완, 확장, 대위, 병행)를 의미 유사성에 따라 세 범주로 재범주화하여 증강현실 그림책의 3요소 관계 분석에 적용하고자 한다. 즉, ‘대응’과 ‘보완’을 상호보완적 관계로 묶고, ‘확장’은 서사 확장 관계로 유지하며, ‘대위’와 ‘병행’은 대조적 관계로 통합한다. 이를 기반으로 AR 요소의 역할을 중심에 두어, (1) 기존 의미를 보완하는 보조적 증강형, (2) 새로운 사건, 정보를 추가하여 서사를 전진시키는 서사 확장형, 그리고 (3) 텍스트, 이미지의 정서 코드와 대조되는 단서를 제시하여 장면 의미를 재해석하게 하는 감정 대비형의 세 유형을 제안한다. 이 분류체계는 AR이 제3의 서사 층위로 작동하는 방식을 설명하는 상호작용 모델로 기능한다.

Table 2.

Text-image relations in picturebooks[4]

Table 3.

Text-image-AR relations in AR picturebooks

세 유형은 AR의 기능적 존재 여부를 구분하기 위한 분류가 아니라, AR이 어떤 방식으로 제3의 서사 층위로 작동하며 독자의 해석과 참여를 조직하는지 설명하기 위한 구조 모델이다. 다시 말해, 본 연구의 분류체계는 텍스트-이미지-AR이 결합하여 의미가 생성되는 방식을 설명하는 상호작용 모델로서 기능한다.

먼저, 보조적 증강형은 AR이 텍스트와 이미지가 이미 제시한 의미를 반복하거나 구체화하여, 독자의 상상과 이해를 감각적으로 보완하는 구조이다. 이 유형에서 AR은 새로운 사건이나 해석을 추가하기보다, 기존 서사를 더욱 생생하게 보여주는 역할에 머문다.

서사 확장형은 AR이 텍스트와 이미지에 포함되지 않은 새로운 사건 단서, 공간 정보, 시간적 전개, 혹은 복선을 추가함으로써 기존 서사를 전진시키거나 세계관을 확장하는 구조이다. 이 유형에서 AR은 보여주는 장치가 아니라, 이야기 일부로 기능하며 또 하나의 서사 층위를 형성한다.

감정 대비형은 AR이 텍스트와 이미지가 형성하는 정서 코드와 대조되는 시각·청각·상황 단서를 제시함으로써, 장면의 의미를 반전시키거나 중층적으로 해석하도록 유도하는 구조이다. 이 유형에서 AR은 사건을 추가하기보다, 기존 장면의 감정적·해석적 방향을 전환하는 역할을 수행한다.

위에서 제시한 텍스트-이미지-AR 관계 분류체계를 바탕으로 다음 장에서 실제 증강현실 그림책 프로토타입을 제작하고, 사용자가 미디어 및 콘텐츠와 상호작용하는 과정에서 형성되는 참여 구조를 실증적으로 분석하고자 한다.

3-1 증강현실 그림책 프로토타입 제작

1) 대상 작품 선정 및 시나리오 설계

증강현실 그림책 프로토타입의 원본 텍스트로는 그림 형제의 동화를 앤서니 브라운(Anthony Browne)이 그림으로 재해석한 <헨젤과 그레텔>[18]을 선정하였다. 이 작품은 세계적으로 널리 알려진 서사 구조를 지니고 있으며, 일러스트레이션을 통해 감정과 분위기를 효과적으로 전달하는 것으로 평가된다. 특히 ‘과자집을 발견하는 장면’은 이야기의 전환점에 해당하며, 유혹과 위협이라는 이중적 감정이 공존하는 장면으로, AR을 통한 서사 보완, 확장, 정서 대비를 실험하기에 적합한 사례라 판단하였다.

Fig. 1.

Cookie house scene from the picture book <Hansel and Gretel>[18]*This figure is shown in its original form, retaining the Korean text from the book

본 연구에서는 해당 장면의 한 페이지를 선정하여, 텍스트와 이미지만으로 구성된 기존 그림책 페이지를 기반으로, 서로 다른 AR 개입 방식을 적용한 세 가지 프로토타입을 제작하였다. II장에서 정의한 텍스트-이미지-AR 관계의 세 가지 유형에 따라 다음과 같이 시나리오와 스토리보드를 구성하였다.

• 보조적 증강형: 공간과 감각 보완

보조적 증강형은 AR이 텍스트와 이미지가 이미 제시한 의미를 시각공간·감각 차원에서 구체화하거나 보완하는 구조이다. 이 유형에서 AR은 새로운 사건이나 해석을 추가하지 않고, 기존 장면이 전달하는 ‘맛있고 신기한 집‘이라는 이미지를 감각적으로 구체화하는 데에 머문다.

• ○ 시나리오: <집 안을 들여다보기>
• · 텍스트: “아이들은 배가 고팠고, 이 집을 보자 입이 떡벌어졌어요.”
• · 이미지: 과자집 외관과 내부 모습
• · AR: 과자집 문에 카메라를 비추면 문이 포털처럼 열리며, 내부에 빵 의자, 설탕 유리, 거대한 음식들이 나타남. 반짝임과 향을 상징하는 애니메이션 효과가 함께 제시됨.

Fig. 2.

Storyboard for supportive augmentation*The storyboard is shown as is, retaining the original Korean text

• 서사 확장형: 서사 단서 추가

서사 확장형은 AR이 텍스트와 이미지에 없는 새로운 사건 단서나 공간 정보를 추가함으로써 서사를 앞으로 진행시키는 구조이다. 이 유형에서 AR은 이후 전개될 사건에 대한 정보를 미리 제시하여 독자가 앞으로 일어날 일을 예측하도록 유도한다. 즉, 현재 장면을 재해석하게 만드는 것이 아니라, 서사의 시간축을 확장하여 인과적 긴장감을 형성하는 데 목적이 있다.

이 시나리오에서 AR은 사건을 직접 제시하기보다, 장면 속 요소에 점진적인 변화를 부여함으로써 이후 전개될 위험을 예감하게 만드는 단서로 작동한다.

• ○ 시나리오: <과자집의 비밀 단서>
• · 텍스트: “그 집은 아주 달콤하고 아름다웠어요.”
• · 이미지: 밝은 색감의 과자집과 웃는 아이들
• · AR: 과자집의 특정 과자를 스캔하면 화면 속에서 손가락이 등장해 과자를 터치하고 과자의 색이 서서히 변색되며 낡거나 상한 듯한 질감으로 변화함. 독자는 다른 과자들을 연달아 스캔하며 이러한 변화를 반복적으로 경험함.

Fig. 3.

Storyboard for narrative expansion*The storyboard is shown as is, retaining the original Korean text

• 감정 대비형: 정서 코드 전복

감정 대비형은 AR이 텍스트와 이미지가 형성하는 정서 코드와 대조되는 단서를 제시하여, 동일한 장면을 다르게 해석하게 만드는 구조이다. 이 유형에서 AR은 새로운 사건을 추가하거나 서사를 전진시키기보다, 현재 장면의 의미를 재구성하도록 유도하여 정서적 전환을 만드는 데 초점을 둔다.

이 시나리오에서 AR은 아름다운 과자집과 알록달록한 사탕 애니메이션 위에 언뜻 어두운 마녀의 그림자를 알록달록한 사탕 애니메이션과 함께 배치해 복합적인 정서 코드를 구성하고자 하였다. 이를 통해 AR은 이미 제시된 장면의 분위기를 반전시켜 ’유혹의 공간‘인 과자집이 동시에 ’위험의 공간‘으로도 읽힐 수 있도록 만들어 독자가 동일한 장면을 새롭게 해석하도록 유도하는 역할을 수행한다.

• ○ 시나리오: <마녀의 실루엣>
• · 텍스트: “정말 맛있어 보이는 집이었어요!”
• · 이미지: 밝은 색감, 기뻐하는 아이들
• · AR: 과자집에 카메라를 비추면, 집 안쪽에 마녀의 실루엣이 어렴풋이 나타나며 위협적인 분위기를 형성함. 따뜻한 분위기의 과자집과 알록달록하고 화려한 사탕 애니메이션이 함께 보여짐.

앞서 구성한 유형별 시나리오와 스토리보드에서, 서사 확장형과 감정 대비형 시나리오는 결과적으로 모두 위험의 분위기를 암시한다는 공통점이 있다. 그러나 서사 확장형이 이후 사건을 예측하게 만드는 ’미래 지향적 단서 제시‘라면, 감정 대비형은 동일한 장면을 다르게 해석하게 만드는 ’현재 장면의 의미 재구성‘이라는 점에서 사용자 경험의 방향성이 구분된다.

Fig. 4.

Storyboard for emotional counterpoint*The storyboard is shown as is, retaining the original Korean text

Table 4.

Creation of augmented reality images and animations

3-2 사용자 테스트 설계

본 연구는 증강현실 그림책의 인터랙션 설계 유형이 사용자 참여 방식과 서사 경험에 어떠한 차이를 만들어내는지를 탐색적으로 살펴보기 위해 사용자 테스트를 수행하였다. 본 연구의 목적은 특정 인터랙션 유형의 우수성을 검증하는 것이 아니라, 서로 다른 AR 개입 방식이 독자의 인지, 감정 해석, 몰입 과정에 어떠한 양상으로 작용하는지를 비교·기술하는 데 있다.

사용자 경험을 평가하기 위해 설문조사와 인터뷰를 병행하기로 하고 설문 문항을 구성하였다. 설문 문항은 그림책 이론과 서사 경험 이론을 기반으로 구성하였다. 니콜라예바의 텍스트-이미지 관계 이론[4]에서 제시하는 중복, 보완, 확장의 개념을 참고하여, AR이 기존 텍스트와 이미지의 의미를 반복하는지, 보완하는지, 혹은 새로운 의미를 생성하는지를 인식하는 문항을 포함하였다. 또한 서사 경험 연구에서 제시하는 몰입과 수송 개념[19]을 바탕으로, 이야기 속으로 들어간 느낌, 감정적 반응, 시점 동일시와 관련된 문항을 구성하였다. 이에 더해, 동화 서사 구조 이론에서 중요하게 다루는 전환점과 임계점(threshold), 유혹과 위험의 이중 코드 개념[20]을 반영하여, 과자집 장면이 지니는 서사적 의미 변화를 인식하는 문항을 추가하였다.

Table 5.

Survey questionnaire design

각 인터랙션 유형을 체험한 직후 참가자는 동일한 문항 세트로 즉시 평가 설문을 작성하였다. 모든 문항은 5점 Likert 척도로 구성되었으며, 점수가 높을수록 해당 경험이 강하게 인식되었음을 의미한다. 세 유형을 모두 체험한 이후에는 비교 설문과 자유 서술 문항을 통해, 가장 인상 깊었던 유형, 가장 피로하거나 산만하게 느껴진 유형, 이야기 이해에 가장 도움이 된 유형 등을 비교 평가하도록 하였다. 이후 반구조화 인터뷰를 통해 각 응답의 이유와 구체적인 경험 맥락을 추가로 수집하는 방식으로 진행하였다.

3-3 사용자 테스트 진행 및 분석

사용자 테스트는 2025년 12월 16일 ○○대학교 연구실에서 개별 참여자 단위로 진행되었다. 실험 공간에는 인쇄된 그림책 페이지와 태블릿 기기가 준비되었으며, 태블릿에는 Artivive 앱이 설치되어 세 가지 유형의 증강현실 콘텐츠가 각각 실행될 수 있도록 설정되었다. 다만, 동일한 종이 그림책을 AR의 트리거(Trigger)로 삼아야 하기에, 보조 인력을 통해 실험 과정에서 유형별 AR 콘텐츠가 알맞게 제공될 수 있도록 통제하였다.

연구 참여자는 총 11명으로, 학부생 9명과 대학원생 2명으로 구성되었으며, 연령대는 20대 초반에서 30대 초반까지 분포하였다. 본 연구는 소규모 참여자를 대상으로 한 탐색적 실험으로, 정량적 결과의 통계적 유의성 검증이나 일반화를 목적으로 하기보다 서로 다른 인터랙션 설계가 사용자 참여와 서사 경험에 어떠한 경향을 보이는지를 파악하는 데 목적이 있다. 특히 본 실험은 세 가지 AR 유형을 모두 체험한 뒤 설문과 비교 응답, 심화 인터뷰까지 진행되는 비교적 긴 체험 구조로 설계되었으며, 각 유형 사이에 휴식 시간을 두어 실험 피로도를 줄이고 첫 경험의 인식을 가능한 한 유지하도록 하였다. 이러한 집중적 체험과 질적 응답 수집 방식의 특성상, 개별 참여자별 소요 시간이 길어 참여자 수를 제한적으로 구성하였다. 이에 따라 증강현실 그림책의 교육 효과나 아동 발달 특성을 검증하기보다, 인터랙션 설계 구조와 서사 경험 간의 관계를 관찰하기 위해 성인을 대상으로 실험을 진행하였다. 참가자 대부분은 스마트폰을 일상적으로 사용하는 사용자였으며, 일부는 모바일 AR 콘텐츠를 경험한 적이 있었으나, 증강현실 그림책을 실제로 사용해본 경험이 있는 경우는 거의 없었다.

참여자는 먼저 인쇄된 그림책 페이지를 충분히 읽은 뒤, 태블릿 카메라를 그림책 이미지 위에 비추어 증강현실 콘텐츠를 경험하였다. 이때 참여자는 특정 지점을 지시받지 않고, 스스로 화면을 탐색하도록 하여 자연스러운 상호작용이 이루어지도록 하였다.

Fig. 5.

User test

각 참여자는 보조적 증강형, 서사 확장형, 감정 대비형의 세 가지 인터랙션 유형을 모두 경험하였다. 세 유형의 제시 순서는 무작위로 배열되어, 참가자마다 서로 다른 순서로 체험하도록 하였다. 각 유형의 체험이 끝날 때마다 참여자는 즉시 설문지를 작성하여, 방금 경험한 인터랙션에 대한 인지적·정서적 반응을 평가하였다. 세 유형을 모두 체험한 뒤 비교 설문과 자유 서술 문항을 작성하고, 이어서 반구조화 인터뷰에 참여하였다. 전체 실험은 한 명당 약 30~40분 소요되었다.

수집된 설문 자료는 Python을 이용해 유형별 평균과 표준편차를 산출하였다. 표본 수가 적은 점을 고려하여 통계적 유의성 검정보다는, 조건 간 점수 차이를 통해 나타나는 경험적 경향을 기술적으로 비교·해석하였다. 이를 통해 각 인터랙션 유형이 서사 이해, 몰입, 감정 반응, 인지적 부담 등에서 어떠한 상대적 특성을 보이는지를 파악하였다.

분석 결과, 서사 경험과 직접적으로 관련된 문항들(몰입도, 의미 명확성, 장면 전환에 따른 의미 인식, 이야기 확장감)에 대한 분석 결과, 감정 대비형이 전반적으로 가장 높은 평균값을 보였다.

Table 6.

Mean(M) and standard deviation(SD) of narrative experience items

특히 ‘이야기 확장감(story_expand)’ 문항에서 감정 대비형은 M=4.73(SD=0.47)으로 매우 높은 점수를 기록하였으며, 이는 보조적 증강형(M=3.18)와 서사 확장형(M=3.64)에 비해 뚜렷한 차이를 보이는 수치이다. 또한 ‘의미 명확성(meaning_clear)’과 ‘장면 전환에 따른 의미 인식(meaning_shift_scene)’문항에서도 감정 대비형은 각각 M=4.09로 가장 높은 평가를 받았다. 몰입도(immersion)문항 역시 감정 대비형이 M=4.09(SD=1.04)로 가장 높았으며, 보조적 증강형(M=3.82), 서사 확장형(M=3.45)가 그 뒤를 이었다.

이러한 결과는 감정적인 대비를 위해 증강현실 요소를 절제된 방식으로 제시한 감정 대비형이 오히려 이야기의 흐름과 의미 이해 측면에서 가장 안정적인 서사 경험을 제공했음을 시사한다.

인지적 부담과 관련된 문항(주의 분산, 중복 정보 인식, 피로감)을 분석한 결과, 보조적 증강형에서 부정적 경험 지표가 상대적으로 높게 나타났다.

‘중복 정보 인식(redundant_info)’문항에서 보조적 증강형은 M=3.36(SD=1.36)으로 가장 높은 점수를 기록하였으며, 이는 서사 확장형(M=2.55)과 감정 대비형(M=1.73)에 비해 중복적이거나 불필요한 정보가 많다고 인식되었음을 의미한다. 또한 ‘주의 분산(attention_split)’문항에서도 보조적 증강형은 M=2.82로 가장 높은 값을 보였다. 반면 감정 대비형은 중복 정보 인식(M=1.73)에서 가장 낮은 점수를 보여, 인지적 부담이 상대적으로 적은 인터랙션으로 평가되었다. 피로감(fatigue)문항에서는 세 조건 간 큰 차이는 나타나지 않았으나, 서사 확장형이 가장 낮은 평균값(M=1.73)을 보였다.

Table 7.

Mean(M) and standard deviation(SD) of cognitive load items

Table 8.

Mean(M) and standard deviation(SD) of emotional and scene perception items

인지적 부담과 방해감에 대한 문항에서는 보조적 증강형이 점수가 높을수록 부정적 경험을 의미하는 가장 높은 점수를 보였다. 다수의 참가자는 보조적 증강형에서 증강현실 요소가 빈번하게 제시되면서 읽기 흐름이 끊기는 느낌을 받았다고 응답하였다. 이러한 결과는 인쇄책의 내용과 동일한 증강현실 요소의 과도한 개입이 독자의 인지적 부담을 증가시킬 수 있음을 보여준다. 감정적 인상과 장면 의미 인식과 관련된 문항에서는 감정 대비형이 가장 긍정적인 평가를 받았다. ‘감정적 인상(emotion_impress)’문항에서 감정 대비형은 M=3.73으로 가장 높은 평균을 기록하였으며, ‘달콤함-위험 인식(sweet-danger)’문항에서도 M=4.18(SD=0.87)로 가장 높은 평가를 받았다.

이는 과자집 장면이 지니는 이중적 감정(매혹과 위협)이 감정 대비형에서 가장 효과적으로 전달되었음을 의미한다. 반면 보조적 증강형은 캐릭터 인식(character_view)에서는 높은 점수(M=4.18)를 보였으나, 감정적 의미 전달과 관련된 문항에서는 상대적으로 낮은 평가를 받았다.

인터랙션의 서사적 타이밍과 관련된 문항 분석 결과, 서사 확장형과 감정 대비형이 AR 개입 시점의 적절성 측면에서 높은 평가를 받았다. ‘AR 개입 임계점(threshold)’문항에서 서사 확장형은 M=4.36, 감정 대비형은 M=4.45로 매우 높은 점수를 기록한 반면, 보조적 증강형은 M=2.36으로 낮은 평가를 받았다.

Table 9.

Mean(M) and standard deviation(SD) of interaction timing and narrative structure perception items

이는 보조적 증강형의 AR 개입이 서사 흐름상 과도하거나 부적절하게 이루어졌다고 인식되었음을 의미한다. ‘전환점 인식(turningpoint)’문항에서는 보조적 증강형과 감정 대비형이 동일하게 M=4.18로 평가되었으나, 이는 전환점 인식 여부이지 적절성을 의미하지는 않는다는 점에서 임계점(threshold) 문항과 구분하여 해석할 필요가 있다.

정량 분석 결과를 종합하면 다음과 같은 경향이 확인된다. 먼저, 보조적 증강형은 시각적 주목과 캐릭터 인식은 높으나, 중복 정보 인식과 주의 분산이 커 인지적 부담이 높은 인터랙션이다. 서사 확장형은 인지적 부담은 상대적으로 낮고, AR 개입 타이밍의 적절성이 높게 평가된 중간적 설계이다. 감정 대비형은 서사 몰입, 의미 이해, 감정 전달 측면에서 가장 안정적이고 일관된 경험을 제공한 인터랙션이다.

이는 증강현실 그림책에서 AR 요소의 강도보다, 서사 흐름을 방해하지 않는 절제된 개입 방식이 독자의 이야기 이해와 감정 경험에 더 효과적일 수 있다는 것을 의미한다. 이러한 결과는 증강현실 그림책에서 AR 인터랙션의 효과가 보조적 증강형에서처럼 서사를 반복하되 표현한 그래픽의 화려함이 아니라, 서사 맥락과의 정합성에 의해 결정됨을 보여주는 것이다.

자유 서술 응답과 인터뷰 분석 결과 역시 이러한 정량적 경향을 뒷받침한다. 보조적 증강형에 대해서는 공간 확장과 시각적 흥미에 대한 긍정적 평가와 함께, “어디를 봐야 할지 헷갈렸다”, “이야기보다 화면 효과가 더 기억에 남는다”와 같은 응답이 동시에 나타났다. 이는 시각적 자극이 강할수록 몰입은 즉각적으로 유도될 수 있으나, 서사 중심의 읽기 경험을 약화시킬 가능성도 크다는 점을 보여준다. 서사 확장형에 대해서는 “숨겨진 요소를 찾는 느낌”, “이야기의 이중적인 의미가 드러났다”는 응답이 다수 확인되었으며, 이는 탐색형 인터랙션이 독자의 해석 과정에 적극적으로 개입할 수 있음을 시사한다. 반면 일부 참여자는 AR과 책 내용의 연결이 약하게 느껴졌다고 응답하여, 해석 중심 설계가 사용자에 따라 다르게 수용될 수 있음을 보여주었다. 감정 대비형에 대해서는 “전환점이 분명하게 느껴졌다”, “위험한 분위기가 바로 전달되었다”는 응답이 가장 많았다. 이는 감정 대비형이 서사 구조상 중요한 순간을 강조하는 데 효과적으로 작동했음을 의미한다. 그러나 동시에 “생각할 시간이 줄어든 느낌”, “직접적으로 해석이 주어지는 것 같다”는 의견도 나타나, 감정 대비형이 해석의 다양성을 제한할 수 있다는 점도 함께 드러났다.

이외에도 실험 과정에서 설문, 인터뷰와 동시에 시선추적 안경을 착용하여 실시간 시선 데이터를 보조적으로 수집하였으나, 수집된 일부 데이터에서 정합 오류 문제가 확인되어 연구의 핵심 분석에는 포함하지 않았다. 다만, 본 실험설계에서 시선추적 데이터는 탐색적 참고 수준에서만 검토되었으며, 제외 여부가 주요 결과 해석에 직접적 영향을 미치지는 않았다.

3-4 사용자 테스트 종합 해석

표 10과 표 11은 세 가지 증강현실 그림책 인터랙션 유형에 따른 사용자 경험 특성을 종합적으로 비교한 것이다. 전반적으로 세 유형은 각각 상이한 강점과 한계를 보이며, 증강현실이 서사 경험에 개입하는 방식에 따라 독자의 인지, 감정, 해석 과정이 다르게 조직됨을 확인할 수 있다.

Table 10.

Summary by item

Table 11.

Overall interpretation by version

감정 대비형 인터랙션은 서사 몰입과 의미 이해, 그리고 이야기 확장에 대한 인식에서 가장 높은 평가를 받았다. 이는 AR이 텍스트와 이미지가 형성하는 정서 코드와 대비되는 단서를 제시함으로써, 장면의 의미를 빠르게 재구성하고 서사의 전환점을 명확하게 인식하도록 만들었기 때문이다. 참여자들은 감정 대비형에서 장면의 위험성과 긴장감을 즉각적으로 감지하였으며, 이를 통해 이야기의 다음 전개를 예측하거나 기대하게 되었다고 응답하였다. 다만 이러한 직접적인 감정 대비는 의미 전달에는 효과적이지만, 해석의 여백을 줄일 가능성도 함께 내포하고 있음이 질적 응답을 통해 드러났다.

보조적 증강형 인터랙션은 시각적 주목도와 즉각적인 흥미 유발 측면에서는 가장 높은 반응을 얻었다. AR을 통해 삽화 속 공간이 확장되거나 감각적으로 구체화되면서, 참여자들은 ‘장면 안으로 들어간 느낌’을 강하게 경험하였다. 그러나 이러한 시각적 자극은 동시에 주의 분산과 정보 중복 인식을 유발하여, 서사 이해를 돕기보다는 오히려 이야기보다 화면 효과에 더 집중하게 만드는 경향을 보였다. 이는 텍스트와 이미지가 이미 제공한 정보를 AR이 반복적으로 제시할 경우, 서사 흐름보다 기술적 요소가 전면에 부각될 위험이 있음을 시사한다.

서사 확장형 인터랙션은 전반적으로 가장 균형 잡힌 평가를 받았다. AR이 서사의 전환점 부근에서 제한적으로 개입하여, 이후 전개를 암시하는 단서를 제공함으로써 이야기 흐름을 방해하지 않으면서도 해석의 여지를 확장한 것이다. 참여자들은 서사 확장형에서 ‘숨겨진 것을 발견하는 느낌’과 ‘이야기 속 세계를 탐험하는 감각’을 경험하였다고 응답하였다. 이는 AR이 직접적인 설명이나 과도한 감정 자극보다는, 추론과 상상을 자극하는 방식으로 작동할 때 독자의 능동적 참여를 강화할 수 있음을 보여준다.

이러한 종합적 분석 결과는 증강현실 그림책에서 AR 인터랙션의 효과가 단순히 시각적 자극의 강도나 기술적 화려함에 의해 결정되는 것이 아니라, 서사 맥락 속에서 어떠한 역할로 배치되는가에 따라 달라진다는 점을 보여준다. 즉, AR은 즉각적인 몰입, 해석의 여지, 감정의 명료성이라는 서로 다른 경험을 조율하는 장치로 기능하며, 서사 경험을 대체하기보다는 조정하고 확장하는 매개로 작동할 필요가 있다.

3-5 소결: 증강현실 그림책에서의 사용자 참여 기반 인터랙션 설계 원칙

본 연구는 서로 다른 증강현실 인터랙션 설계 방식이 사용자 참여와 서사 경험을 어떻게 다르게 조직하는지를 탐색적으로 분석하였다. 그 결과, 증강현실 그림책의 경험적 완성도는 AR 요소의 양이나 화려함보다, 서사 맥락 속에서 AR이 어떤 역할로, 언제, 어떤 방식으로 개입하는가에 따라 크게 달라진다는 점이 확인되었다. 이를 바탕으로 사용자 참여 중심의 증강현실 그림책 인터랙션 설계 원칙을 다음과 같이 정리할 수 있다.

첫째, 증강현실 인터랙션은 서사의 전환점이나 감정적으로 중요한 장면에서 제한적으로 제시되어야 한다. 무분별한 개입은 기술 효과에 주의를 빼앗겨 서사 흐름을 약화시킬 수 있으므로, AR은 핵심 순간을 강화하는 역할에 집중할 필요가 있다.

둘째, 증강현실은 독자의 능동적 탐색과 해석을 촉진하는 방식으로 설계되어야 한다. 직접적인 설명보다는 단서를 제공하고 해석을 독자에게 맡기는 방식이 참여의 깊이와 서사 몰입을 함께 강화한다.

셋째, 증강현실 요소는 텍스트와 이미지를 대체하거나 압도하지 않도록 조율되어야 한다. 기존 정보의 반복이나 과도한 자극은 인지적 부담을 증가시키므로, AR은 서사를 지지하고 조정하는 층위로 기능해야 한다.

넷째, 인터랙션 설계는 기술적 가능성보다 서사적 정합성을 우선해야 한다. 사용자가 변화의 이유를 서사적으로 납득할 수 있을 때, AR은 방해 요소가 아니라 서사 확장 장치로 작동한다.

이러한 원칙은 증강현실 그림책이 기술 결합형 콘텐츠를 넘어, 사용자의 참여를 통해 서사 경험을 확장하는 미디어로 발전하기 위한 기초적 방향을 제시한다.