생성형 AI를 통해 창의적 동화 스토리 생성을 돕는 스마트 글래스 기반 AR 독서 서비스

김수연과 강정아의 연구를 보면 체험형 독서 서비스가 기존 독서 활동을 지루하고 재미없게 여기는 읽기 부진아의 독서 태도를 점차 개선해 개선된 독서습관을 형성할 수 있으며, 독서를 통해 자아존중감 향상에 긍정적 영향을 줄 수 있다고 언급하고 있다[1]. 본 연구는 이처럼 독서 경험을 기존 읽기를 중심으로 한 정적이고 수동적인 활동에서 그치는 것만이 아니라 읽기 외에 생성된 AI 캐릭터와 소통하며 말하고, 글로 적기도 하며 이 과정을 통해 생성된 이미지와 영상 콘텐츠를 흥미롭게 보거나 조작할 수 있는 멀티 모달 동화책 컨셉을 도입하고자 하며, 이를 통해 상상의 나래를 펼치며 긍정적이고 창의적인 독서 태도와 습관 개선에 도움을 주고자 한다.

체험형 미디어가 동화 관련 콘텐츠에만 국한하여 접목된 선행사례는 아직 많지 않아 동화 콘텐츠 적용사례를 중심으로 하지만 일반 체험형 독서 경험 사례도 분석 대상에 함께 포함하여 분석하였다. 그림 1은 국내 체험형 일반 도서 및 동화 사례 분석 내용으로 1의 VR Library는 국립어린이청소년도서관에서 제공하는 가상현실을 활용한 독서 콘텐츠이다. 사용방법은 HMD(Head Mounted Display)를 쓰고 사용자가 원하는 가상공간을 고른 후 그 안에서 독서를 하거나 오디오북을 경청할 수 있다. 원하는 독서 환경 선택이 가능하고 컨트롤러의 버튼을 통해 조작할 수 있어 사용자는 관심에 맞는 효과적 독서 경험을 할 수 있다[6].

Fig. 1.

Case studies of VR- and AR-based experiential reading services

2의 Forum VR은 VR과 실제 토론을 동기화하여 독서 체험학습과 공동창작 연계 경험을 주는 미래형 토론프로그램이다. 사용자 1인과 참가자 5~10인으로 이루어진 팀원이 대화와 토론을 통해 참여하는 협동 학습형 VR 콘텐츠로 스토리 기반 문화, 춤, 미술, 음악을 아우르는 다양한 창작활동을 직접 체험하며 공동창작의 재미와 수용 및 공유 가치를 논하게 된다[7]. 이 프로그램은 먼저 친구들과 가상현실을 체험하고 토론 안건을 이해하며, 자료 준비 및 찬반 토론을 통해 도서에 관한 본인의 생각을 정립할 수 있는 과정을 거치게 된다. 활동 후 마지막으로 VR을 다시 체험하고 지난번과 비교하며 마치게 된다. Forum VR은 체험자와 참가자로 나뉘어 구성되는데 체험자는 참가자의 선택으로 가상 필드를 체험하는 주인공이다. 참가자는 차단과 선택을 하는 자로 체험자의 스토리를 결정한다. 체험자는 참가자들이 올바른 판단을 하도록 유도하는 독서 경험을 해야 하고 참가자들은 그것을 바탕으로 가치를 판단하게 된다. 이처럼 체험과 토론이 함께 진행되는 과정을 통해 책 내용의 이해도가 강화될 수 있다.

3의 Bookful은 아동의 독서 활동에 AR 경험을 제공하는 독서 앱이다. 증강현실을 사용하여 책과 캐릭터를 실제 환경에 생동감 있게 구현하고 대화를 통해 몰입감 있는 독서 경험을 준다. 이 서비스는 화면에서 보는 정보와 자신이 사는 친숙한 일상생활 환경과 연관 지어 새로운 경험을 주고 있다. 아이들은 책을 읽고 퀴즈에 답하며 얻은 보상으로 맞춤형 아바타를 디자인하고 만들 수도 있다[8]. 읽기 수준의 선택이 가능하며 창의력 향상을 위한 콘텐츠를 제공하고 있다.

체험형 독서 콘텐츠에서 나타나는 동화 스토리는 다음과 같다. 국립어린이청소년도서관에서 제공하는 서비스의 경우 책과 관련된 가상공간을 체험하는 것으로 진행된다. Forum VR의 경우 스토리는 ‘원더랜드’, ‘앨리스의 선택은?’, ‘프랑켄슈타인’, ‘오즈의 예술가들’, ‘미션블루’의 총 4개로 구성되어있다. 스토리 별 장르를 보면 연관된 토론 주제들이 정해져 있고 각 스토리를 따라 사용자들은 토론 주제별 상황을 체험하고 직접 토론 해보며 의사소통 과정과 협동력을 키운다. ‘원더랜드, 앨리스의 선택은?’의 경우 총 10개의 대표 장면으로 구성되어있다. 모험의 시작인 도입 부분과 동료 만들기의 본문 부분, 마지막 엔딩인 전투장면으로 끝나게 된다. 이 흐름 속 대화의 선택에 따라 결말을 만들어갈 수 있는 특징을 가지고 있다. 마지막 Bookful은 동물, 그리스 신화, 우정, 마법, 모험, 우리의 세계라는 카테고리를 가지고 있으며 이와 같은 카테고리에 따른 도서 체험이 가능한 것이 주요 특징이다.

생성형 AI(Generative AI)는 입력 데이터를 기반으로 콘텐츠를 생산하는 능력을 갖춘 AI 시스템으로 텍스트, 이미지, 그리고 음악 등 다양한 형태의 콘텐츠 생성이 가능하다[17]. 데이터 원본의 학습을 통해 소설, 이미지, 비디오, 코딩, 음악, 미술과 같은 콘텐츠 생성에 이용되며, 챗GPT(Generative Pre-trained Transformer), 미드저니(Midjourney) 등 여러 모델이 개발되면서 화제의 중심이 되었다[18].

생성형 AI 관련 분석 대상 사례는 4개 생성형 AI 독서 경험 서비스 사례로, 구성요소, 콘텐츠, 인터랙션, 디바이스, 장점과 페인 포인트를 6개 분석도구로 정해 연계 분석하였다. 그림 2의 1은 밀리의 서재의 Objet Book 사례로 독서도 영상처럼 다채로운 방식으로 즐기는 방법을 제시하고 있다. 기존 오디오북과 달리 먼저 책에서 핵심이 되는 키워드를 AI가 추출한 후 그 키워드를 바탕으로 글과 관련된 이미지를 생성해준다. 이 이미지는 다시 영상으로 제작되며 이후 보이스 AI 를 통해 나레이션과 효과음, 그리고 배경음악을 넣어 완성된다. 사용자의 개인 취향에 맞는 책의 분위기 생성을 통해 더 몰입감 있게 즐길 수 있는 서비스 특징이 있다[19].

Fig. 2.

Analysis of generative AI service use cases

그림 2의 2번은 마이크로소프트에서 출시한 생성형 AI기반 독서 교육 앱 Reading Coach이다. 사용자는 맞춤 스토리를 읽을 수 있으며, 이 외에 생성형 AI를 활용해서 주인공, 장르와 배경, 그리고 읽기 수준을 선택해 직접 스토리를 만들 수도 있다. 스토리를 생성한 후 읽기 시작이 가능하고, 마이크로 발음과 연습할 단어의 오디오를 수집하는 것이 특징이다. 또한, 사용자는 책을 읽는 중간에 스토리 진행을 바꿀 수 있는 메시지를 받기도 한다. 이를 통해 스토리에 관한 여러 생각을 할 수 있어 사고력을 기를 수 있게 된다. 리딩코치는 생성형 AI의 환각을 방지하고 학생 친화적 앱의 유지를 위해 품질, 안전, 그리고 연령 적합성에 맞는 스토리 조정 가드레일을 구현해 교육에 더욱 적합한 특징을 가진다[20].

그림 2의 3번은 Moby-Dick 책의 구절을 파이어플라이(Firefly)를 이용해 책의 이미지를 생성한 사례이다. 사용자는 파이어플라이의 이미지 생성기능을 통해 모비딕을 읽으며 상상하던 내용의 시각화를 통해 새롭게 책을 경험할 수 있게 된다[21]. 파이어플라이는 텍스트 프롬프트를 입력하면 벡터, 비디오, 3D 콘텐츠를 생성하고 편집할 수 있는 생성형 AI 도구로 어도비의 이미지 마켓 스톡에서 상업적으로 판매하는 데이터 및 개방형 라이선스 콘텐츠(License Content), 그리고 저작권 제약 없는 그 외 퍼블릭 도메인 콘텐츠(Public domain content)를 활용해 학습한다[22].

그림 2의 4번은 초등학생을 대상으로 한 소통형 사고력 증진 Storywizard 서비스이다. AI와 소통하며 나만의 동화를 창작할 수 있고, 찬반 토론, 단어퀴즈 콘텐츠를 통해서 글쓰기 활동을 경험할 수 있다. ‘상상 글쓰기’, ‘생각 글쓰기’, ‘거꾸로 단어퀴즈’와 같은 총 3개 글쓰기 콘텐츠가 있으며 콘텐츠는 매달 새로운 주제로 진행된다. 상상 글쓰기를 통해 AI 튜터와 글을 릴레이로 쓰면서 이야기를 만들 수 있다[23].

그림 3은 AR 독서 기기 사례 분석 내용으로 1은 증강 독서를 가능하게 하는 Reading XR 기기이다. 안구 운동 분석을 통해 특정 문장에 머무르거나 집중을 못 하는 부분까지 분석해 문해력 향상을 위한 효율적 독서 활동을 강화해주는 도구로 사용자의 목소리를 통해서 조작할 수 있으며, 앱과 연동되어 저장된 사용자의 시선 영상을 비디오로 재생 후 확인할 수 있다[24]. 2는 Sol Reader로 e-Book을 전송하면 요약 기능을 포함하여 VR 환경에서 언제 어디서나 독서를 할 수 있다[25]. 3은 컨셉 프로토타입 View로 증강현실 독서경험을 통해 아동이 선생님 및 타 아동과 흥미롭게 소통하며 독서할 수 있는 소통형 독서 경험을 강화하고 있다[26].

Fig. 3.

Analysis of AR reading device cases and features

그림 4는 스토리 창작을 위한 스토리 편집 기반 생성형 AI 사례로 그중 1의 비즈컴(Vizcom)사례는 주로 3D 생성을 위한 생성형 AI 툴이다[27]. 1-1의 스케치를 1-2처럼 노드-링크로 연결시켜 생긴 프롬프트 인풋 창에 원하는 스타일의 프롬프트를 기입하면 해당 연결 지점별 각기 다른 3D 결과물을 생성할 수 있다. 비즈컴의 경우 프롬프트를 활용하여 저장된 정보를 결합하고 간편하게 새로운 창작을 이어갈 수 있는 장점이 있다. 2번 사례는 고전 명화와 같은 정적 이미지 한 장만 있으면 생성형 AI를 통해 움직이는 생명력을 부여할 수 있어 동적 스토리텔링 반영이 가능하다[28]. 3의 경우 A의 생성형 AI 툴인 레오나르도(Leonardo)[29]를 활용하여 하나의 동화를 생성하는 과정을 보여주고 있다. B처럼 텍스트 생성 AI의 프롬프트를 활용하여 생성된 스토리로 이미지 생성을 한 후 스토리에 맞는 이미지를 입히는 작업을 한다. 이후 C처럼 정적 이미지를 동적 화하기 위해 이미지 한 장으로 움직이는 영상을 만들 수 있는 레이아픽스(Leiapix)에 이동 후 애니메이션의 길이, 스타일, 움직임의 양과 같은 세부 조정을 한다[30]. 마지막으로 D의 음성 데이터를 학습시켜 원하는 대사를 생성할 수 있는 일레븐 랩스(Eleven Labs)툴을 활용하여 장면에 맞는 소리를 입히는 과정을 거치면 입체감 있는 스토리 생성이 가능해진다[31].

Fig. 4.

Story editing-based generative AI cases

그림 8은 본 제안 서비스가 선정한 주사용 AR 스마트 글래스인 Snap Spectacles이다. Snap Spectacles는 Snap OS로 구동되는 독립형 투명 AR 안경[37]으로, 멀티 모달 AI 기능을 제스처를 통해 제어할 수 있어 사용자의 AR 환경 속 탐색 과정을 도와준다. 2는 글래스를 통해 증강된 콘텐츠를 손가락 제스처로 제어하는 장면이고, 3은 멀티모달 AI를 활용해서 AR 환경에서 웹 검색은 물론 3D 콘텐츠를 생성하고 사용하는 장면이다.

Fig. 8.

Snap Spectacles smart glasses

본 제안 서비스는 생성형 AI를 통해 창의적 동화 스토리 생성을 돕는 스마트 글래스 기반 AR 독서 서비스로 기존 독서 활동에 이어 아동이 생성형 AI와 함께 창의적 동화 스토리 생성을 시도해보며 흥미와 창의성을 효율적으로 연계시키는 데에 본 서비스의 핵심가치가 있다. 이를 위해 대상 아동이 자기 생각을 창의적 독서 노트에 담아 창의적 스토리의 심상을 강화할 수 있고, AI 캐릭터와 대화할 때 음성인식 STT(Speech To Text)기술, 그리고 동작 제어를 할 때 ControlNet 딥러닝 기술을 활용하여 실시간으로 움직임이 제어될 수 있게 하고자 한다. 그뿐만 아니라 사용자와 AI 캐릭터의 대화가 실시간 채팅형식으로 시각화되어 대화 내용 이해에 도움이 되도록 구성하였다. 이후 사용자가 AR 증강 현실 공간에서 확장된 독서 경험을 하는 과정에서 궁금증이 생기면 대화, 시각, 청각을 포함한 공감각적 피드백을 통해 스토리를 적극적으로 체험할 수 있게 하여 창의적 사고를 증진 시키고자 하였다.

그림 9는 본 서비스에서 제공하는 기능기반 서비스 플로우 맵이다. 사용자의 독서계획 설정과 확인을 도와주는 모아보기, 책의 등장인물 캐릭터와 토론을 하며 캐릭터의 이해를 높이는 토론하기, 독서 과정에서 얻은 정보를 바탕으로 창의적 아이디어를 제작할 수 있는 생각 놀이터로 구성되어 있다.

Fig. 9.

Function-based service flow map

그림 11은 프로토타입 제작 단계에 맞게 현재 상용화되어 있는 생성형 AI 툴들을 실제 활용하여 제작한 스토리 생성기반 사용자 시나리오 매핑으로, 서비스와 소통하는 사용자의 인풋 방식을 정리하였고, 원작 동화는 ‘이상한 나라의 앨리스’ 스토리를 선정하여 활용하였다. 스토리 창작 방법은 2장에서 분석한 Storywizard 사례와 같이 대상 아동들이 쉽게 인터랙션 할 수 있도록 대화형 보이스 인풋을 통해 AI와 소통하며 나만의 동화를 창작할 수 있고, 글쓰기 기반 텍스트 프롬프트 입력을 통한 상상 글쓰기를 통해 AI 튜터와 글을 릴레이로 쓰면서 이야기를 창작할 수 있게 기획하였다. 1은 앨리스집 주변의 공간을 체험할 수 있는 체험하기 모드에 진입하는 장면으로 이 ‘체험하기’ 기능을 통해 아동은 동화 속의 집과 집 주변의 배경을 공간을 이동하거나 돌려보며 입체적으로 관찰할 수 있다. 집과 배경의 확장 및 공간 생성은 원작 스토리를 바탕으로 어도비 파이어플라이로 생성하였고, 2장 Forum VR 사례의 체험형 및 토론 경험의 인사이트를 생성형 AI와의 소통 방식으로 적용하여 함께하는 공동창작의 재미를 부여하고자 하였다. 2는 앨리스가 토끼의 갑작스러운 등장으로 놀라는 에피소드로, 해당 상황에서 앨리스가 놀라는 표정과 그에 따른 제스처를 다른 유형으로 생성하거나 상황에 맞는 대사를 달리 만들어보며 캐릭터의 감정변화에 따른 스토리 창작의 영감을 얻을 수 있게 구성하였다. 만드는 방법으로는 아동의 움직임을 인식하여 캐릭터 움직임에 반영하는 ContolNet기술이 활용하는 방법을 사용하거나 프롬프트 인풋을 통해서 가능하다. 이때 캐릭터의 표정 변화와 제스처 변경은 2장에서 언급한 런웨이의 ‘Motion Brush’ 기능을 사용하였고, 동적 모션은 애니메이션 생성 툴인 툰크래프터(Tooncrafter)를 함께 사용하여 제작하였다. 3은 앨리스가 새로운 장소로 이동한 후 생긴 에피소드로 런웨이와 AI 나레이션 생성 툴인 일래븐랩스(ElevenLabs)를 함께 사용해 제작하였다. 가령, 아동은 예민하고 권위적인 하트 여왕 캐릭터의 특징을 ‘넌 누구길래 여기에 와있는 것이냐’의 대사 톤과 제스처를 통해 좀 더 구체적으로 체험할 수 있다. 4는 앨리스가 티파티 중인 모자 장수를 만나 놀란 상황을 표현한다. 이 장면은 불합리한 논리와 어른들의 이상한 대화 방식을 풍자하는 장면 중 하나로, 앨리스가 무례하게 장난치는 모자 장수에게 혼란스러움을 느끼다가 비논리적인 말다툼에 질려 자리를 떠나버리는 내용이다. 이 장면에서 아동이 동화 창작을 위해 ‘만들어보기’ 버튼을 탭 하면 앨리스가 말다툼할 때 혼란을 느끼는 표정이 아닌 능청스러운 표정과 제스처로 바꿔 새로운 상황의 스토리 전개의 발상을 시도해 볼 수 있다. 5는 독서가 끝난 후 저장한 독서 정보들을 선행 비즈컴 사례와 같이 노드-링크 방식으로 연결해 발상을 확대하는 과정이다. 아동이 독서 과정에서 인상 깊은 지점들을 저장하면 ‘독서 보드’에 저장이 되고 이 정보들을 연결한 후 프롬프트를 통해 재창작할 수 있다.

Fig. 11.

Mapping user scenarios

그림 12는 생성한 동화 캐릭터의 동작을 아동이 창작 스토리에 맞게 제어하는 과정의 프로토타입으로 애니메이션 생성 툴인 툰크래프터를 사용해 직접 생성하여 제작하였다. 1은 캐릭터의 기본 자세, 2는 프롬프트를 통한 캐릭터의 제스처 생성 프로세스, 그리고 3은 나레이션 스크립트와 함께 제시되는 최종 제스처이다. A는 앨리스 캐릭터로 기본 자세를 시작으로 스토리의 상황에 맞는 제스처를 부여할 수 있다. 동작 제어를 위한 선택 가능한 인풋 방식은 아동의 선호에 따라 대화형 보이스 인풋을 통한 프롬프트반영, 또는 2장 드리무빙 사례처럼 직접 키보드 프롬프트 인풋 생성도 가능하고, 매직애니메이트의 선행 모나리자 리얼타임 리깅 적용사례처럼 사용자 행동 인식을 통한 실시간 생성 방식도 가능하게 기획하였다. 예를 들어 아동이 호기심이 가득하고 발랄한 앨리스의 성격을 바탕으로 ‘내가 해냈어’에 해당하는 팔을 들어 올리는 행동을 생각했다면, 위의 인풋 옵션에 맞게 2의 과정을 거쳐 3의 팔을 들어 올리는 제스처가 생성되고 해당 나레이션도 함께 제시된다. B는 하트 여왕의 성격을 바탕으로 동작을 생성한 것으로 이 역시 아동이 원하는 방식으로 행동을 제어하기 위해 보이스 기반 프롬프트를 입력 또는, 제스처 리깅을 통해 새로운 동작을 생성할 수 있다. C의 모자 장수의 행동 생성도 같은 방식으로 이루어진다. 이때 각 캐릭터의 성격 및 특성, 말하는 방식, 그리고 스토리에 대한 추가 설명이 필요하면 AI를 통해 관련 내용의 도움을 받을 수 있다. 이를 통해 아동이 동화 속 등장인물별 성격과 그에 따른 특징적 화법 및 행동 제어를 통해 동화의 원작을 좀 더 섬세하게 이해하는 데 도움을 받게 된다. 특히 아동이 각 캐릭터의 행동을 성격과 스토리에 맞춰 직접 제어해보며 원작 스토리 구성에 대한 이해를 높일 수 있고, 이 과정을 통해 2장 오브제북 사례처럼 나레이션, 현장음, 배경음 조절 포함 스토리 창작의 기회를 제안받고 원작보다 더욱 다채로운 방식으로 즐기는 창작 독서 방법을 시도해 볼 수 있다.

Fig. 12.

Character behavior control example

그림 13은 런웨이를 사용하여 만든 모션 생성 프로토타입이다. 1은 인풋 이미지로 앨리스가 토끼를 따라가다가 신기한 굴을 발견하고 놀라는 장면이다. 이를 동적으로 생성하기 위해서 2와 같이 런웨이의 프롬프트 인풋 필드에 프롬프트를 입력하면 3과 같이 Image to Video Generation으로 해당 스토리의 프롬프트에 기반한 모션이 생성된다. 런웨이는 생성 모션의 세부 프레임 속도를 조절할 수 있어 사용자에 의도에 부합하는 영상을 만드는데 도움을 준다.

Fig. 13.

Fairy tale motion generation using Runway

선행 VR 및 AR 체험형 독서사례 분석결과를 보면 독서 기록 서비스가 없거나, 있더라도 어렵게 제공되고 있었다. 가령, 모바일 앱과 달리 아동이 독서가 끝난 후 독서 기록을 하기 위해서는 본인의 독서 기록을 다시 수행해야 하는 불편함이 있었다. 따라서 본 제안 서비스는 그림 14와 같이 2장에서 분석한 선행사례 중 생성형 AI 툴인 비즈컴의 노드-링크기반 방식을 독서 기록 서비스에 연동하여 아동이 독서 과정 중 얻은 여러 인사이트를 만들기 보드에서 이어보며 확장할 수 있도록 기획하였다. 또한, 새롭게 만들어본 동화 내용을 이미지 카드나 카테고리별로 저장할 수 있게 구성하였다. 가령, A는 독서 중에 영감을 받은 앨리스 집의 풍경 이미지이고, B는 독서 중 영감을 받은 문장 예시로 ‘그때 멋있는 옷을 입은 토끼가 앨리스의 앞을 지나갔어요.’의 문장이라면, 이 둘을 노드-링크로 연결한 후 프롬프트 인풋 필드에 ‘마법의 세계’ 문장을 넣어 기존의 이상한 나라의 앨리스와는 다른 새로운 배경을 직접 만들어볼 수도 있다. 대상 아동은 이처럼 기존 스토리가 아닌 새로운 스토리와 공간 이미지의 연계 아이디어를 생각하고 만들어볼 수 있고, 이 과정을 통해 창의적 발상을 시도하는 데 도움받을 수 있다.

Fig. 14.

Node-link based insight connection generation