투명디스플레이·라이트박스 연계 기반 생성형 AI 활용 아동 동화 스토리 창작 교구 제안

코로나 팬데믹 이후 디지털 기기를 이용한 학습이 확대되면서 에듀테크의 성장 속도가 빨라지고 있다. 아동용 언어 교육 서비스도 빠르게 성장함에 따라 기존 아날로그 방식에 디지털을 접목한 새로운 교구들이 속속 등장하고 있다. 디지털이 접목된 교구를 활용한 언어 학습은 아동들이 언제 어디서나 원하는 학습 환경에서 반복 연습을 할 수 있도록 돕는 장점이 있다. 특히, 디지털 기기를 활용하면 아날로그 방식에서 제공하기 어려운 인터랙티브한 이미지와 사운드 피드백을 통해 사용자 주도적 놀이 기반 학습이 가능하다[12]. 디지털 펜과 같은 기기가 보편화되었지만, 학습 효과를 높이기 위해 연필과 종이를 사용하는 아날로그 쓰기 학습도 병행되어야 한다. 실제로, 화면에 나타난 단어를 직접 손으로 쓴 집단과 키보드로 입력한 집단의 뇌파를 비교 분석한 연구에서는 펜으로 글씨를 썼을 때 학습을 촉진하는 뇌의 연결 패턴이 더 정교하게 형성된 것으로 나타났다[13]. 이는 손을 정밀하게 제어하는 과정이 학습효과를 향상하는 데 도움이 되는 의미로 해석할 수 있다. 특히, 아동에게 있어 손글씨 쓰기는 운동 및 인지 발달과도 밀접한 관련이 있어 중요하다[14]. 물론, 디지털 학습에서도 스마트폰 위에 손가락으로 그려가며 학습하거나 태블릿에 디지털 펜을 사용하는 대안이 존재한다. 하지만, 이는 연필로 종이에 글씨를 쓰는 것과 다르며, 종이와 흑연이 마찰할 때 사각거리는 소리처럼 시각과 청각을 동시에 활용한 다차원 감각(multi modality)으로 인지 발달 증대에 효과가 있다[15]. 또한, 아직 손 근육 사용이 미숙한 아동들은 미끄러운 태블릿 스크린에 글씨를 쓸 때 종이보다 또박또박 쓰지 못하는 경우가 많고, 띄어쓰기와 방향성 규칙이 덜 지켜졌음이 확인되었다[16]. 이러한 문제점들로 언어학습 중 손글씨 쓰기 학습은 지금까지 꾸준히 교육 현장에서 아날로그 방식으로 진행되고 있다. 이처럼 디지털 교구를 활용한 글씨쓰기 학습과 아날로그식 글씨쓰기 학습은 각각의 장점과 한계점이 있으며 서로의 장점을 중심으로 병행될 때 부족한 점을 채워줄 수 있다. 따라서 본 연구는 언어학습 중 손글씨 쓰기에 대한 교육을 종이를 매체로 한 전통 아날로그 교구와 스마트기기를 매체로 한 디지털 교습 교구 사례를 각각 분석한 후 아날로그식 손글씨 쓰기와 디지털식 손글씨 쓰기 학습 교구의 접목 방안에 대해 파악해보고자 한다.

그림 2는 언어학습 교구 분석 내용으로 본 연구는 아날로그 언어학습 교구 사례 2개, 디지털 교구 사례 2개, 그리고 아날로그와 디지털이 접목된 사례 2개의 총 6개 사례를 분석 대상으로 선정하였다. 분석 도구로는 듣기, 말하기, 읽기, 쓰기의 언어 4대 학습 영역, 오감 자극, 활용 매체, 그리기 연계 여부, 그리고 AI 적용 여부의 총 5개를 선정하여 각 서비스를 종합 분석하였다. 아날로그 언어학습 교구는 그림 2의 1과 같이 교보문고 아동교육 분야 인기 교구 순과 본 연구와의 관련성 기준으로 ‘똑똑한 한글’과 ‘시멘토 한글’ 사례를 선정하였다[17],[18]. 두 서비스 모두 쓰기와 읽기 중심의 학습을 제공하며 시각 외에 촉각, 청각을 활용한 경험이 가능하다. 특히 청각 자극은 책 자체에서 나는 소리가 아니라 종이에 연필이 닿는 고유의 촉각과 소리가 전달되는 특징이 있다. 매체 측면에서 ‘똑똑한 한글’은 종이책과 연필을, ‘시멘토 한글’은 종이책과 앱의 디지털 요소를 통해 문장의 발음을 듣거나 이야기를 함께 사용할 수 있다. 그리기 연계에서 ‘똑똑한 한글’은 그림이 한글과 함께 제공되지만, 별도 그리기 활동 연계는 없고, ‘시멘토 한글’은 손글씨 쓰기와 함께 도안 제공을 통해 그림 채색이 가능하다. 아날로그 방식의 언어학습은 종이에 인쇄된 문장을 반복해서 읽으며 따라 쓰는 방법으로 진행되고, 보호자의 지도가 없으면 실시간으로 잘못된 글씨나 습관을 교정하기 어려운 한계가 있었다. 그림 2의 2는 디지털 언어학습 학습교구 사례로 플레이스토어의 ‘언어 교육’ 키워드 검색 기준 최다 다운로드 순에서 본 연구와 관련이 있는 ‘바닷속 한글 놀이’, ‘소중 한글’을 선정하였다[19],[20]. 두 서비스 모두 쓰기, 읽기, 듣기 중심의 학습을 제공하며, 촉각, 시각, 청각을 활용한 학습 경험을 제공한다. 아날로그 교구와 달리, 디지털 교구의 청각 자극은 쓰기 과정에서 발생하지 않고, 쓰기 완료 후의 효과음이나 문장 읽어주기 기능에 반영되어 있다. 두 서비스 모두 스마트폰이나 태블릿용 앱으로 디지털 펜을 연동할 수 있다. 두 사례 모두 그리기 활동과는 연계되지 않았고 AI 적용 측면에서, ‘소중 한글’은 학습 레벨을 반영하고 있지만, 아동의 개별 취향 맞춤형 학습콘텐츠 제공은 부족한 한계를 보였다. 그림 2의 3은 아날로그와 디지털을 접목한 사례로 재능교육에서 개발한 ‘스마트 펜’과 구몬학습에서 개발한 ‘구몬 K펜’을 분석하였다[21],[22]. 재능교육의 스마트 펜은 종이에 펜을 가져다 대면 소리가 나고 글을 읽어주며 녹음 기능도 제공하나, 이 스마트 펜은 실제 글씨 쓰기 기능이 없어 학습자가 연필과 스마트 펜을 번갈아 사용해야 해 불편하다. 반면, 구몬학습의 K 펜은 학습지에 쓰인 글씨나 그림을 태블릿에 녹화하는 기능이 있어 언어학습에 유용하였다. 이에 본 서비스는 기존 교구들과 다음과 같은 차별점이 있다. 먼저 설계 구조 측면에서 기존 교구들은 아날로그와 디지털 각각의 장점을 따로 활용하거나, 종이 기반의 아날로그 학습에 디지털 기능을 보조적으로 결합하는 수준에 그쳤지만, 본 서비스는 손글씨 쓰기 활동이 디지털 콘텐츠를 생성하는 핵심 행위로 작동하도록 설계되어있다. 기술적 조합 측면에서 기존 서비스들은 AI를 주로 학습 난이도 조절에 한정하여 활용해온 반면, 본 연구는 손글씨를 바탕으로 AI가 관련 이미지와 사운드를 생성함으로써 더욱 몰입감 있는 학습 환경을 제공한다. 특히, 사용자 경험 관점에서 동화 스토리텔링을 결합한 접근은 유사 교구에서 드물게 시도된 방식으로, 아동의 자발적 참여를 효과적으로 유도할 가능성을 제시한다.

Fig. 2.

Analysis of language learning diocese*The case study image is written in Korean

• 투명디스플레이를 활용한 교구 활용 사례

기존 폰용 증강현실 서비스와 더불어 최근 경량화 글래스 AR 기기를 활용한 증강현실 서비스가 꾸준히 증가하고 있다. 특히, 아동 학습콘텐츠 시장에서도 증강현실 기술은 학습 경험에 흥미와 몰입감을 제공하는 데 많이 활용되고 있다. 하지만, 아동은 성인 대비 AR 기기의 무게 포함 두통이나 멀미에도 취약하다. 따라서 그림 4와 같이 투명디스플레이가 적용된 폼팩터 활용은 착용형 글래스 AR 기기 대비 이러한 문제점을 보완하는 하나의 방법이다. 그림 3은 MWC(mobile world congress) 2024에서 레노버(Lenovo)가 공개한 투명디스플레이 노트북 사례로 사용자가 증강현실을 좀 더 친화감 있게 직관적으로 경험할 수 있도록 기존 노트북의 폼팩터 변경을 시도하였다[23]. 투명디스플레이 뒤에 있는 꽃에 대한 정보와 함께 꽃 주변에서 나는 나비를 증강하므로 일상 사물에 대한 새로운 관찰 동기를 부여하고 있다. 투명디스플레이 기반 증강현실 서비스의 또 다른 장점은 손가락을 이용한 탭으로 증강한 그래픽과 쉽게 상호작용할 수 있다는 점이다. 특히 기존 불투명 디스플레이 대비 양면으로 탭이 가능하여, 손의 움직임에 따른 더 자연스러운 인터랙션 방식을 적용할 수 있다.

Fig. 3.

The case of Lenovo's transparent display

• 스마트 그리기 및 증강에 특화된 교구 사례

그림 4는 스마트 그리기 교구 사례로, 그림 4의 1은 아동의 그림을 AR로 보여주는 ‘Rakugaki AR’ 앱 서비스이다[24]. 이 서비스는 카메라로 아동이 그린 그림을 인식 후 해당 그림을 입체적으로 구현해 움직이는 3D 그래픽으로 변환한다. 이 서비스는 미리 제공되는 그림뿐만 아니라, 아동이 직접 그린 그림도 실시간 AR로 변환하는 기능이 있다. 또한, 그림을 그리기 어려워하는 아동들을 위해 밑그림을 제공하고, 그 위에 색칠하면 AR로 구현되는 기능도 제공한다. 그림 3의 2는 AR 기기를 통해 그리기에 대한 흥미를 제공하는 ‘Pencil’ 서비스이다[25]. 원하는 그림이나 3D 모델을 업로드하면 테두리가 강조된 필터가 적용되어 따라 그리기 쉬운 형태로 변환된다. 변환된 이미지는 AR 기기를 통해 실제 종이 위에 증강되어, 사용자가 쉽게 따라 그릴 수 있는 스마트 그리기 도구로 활용된다. 이를 통해 복잡한 이미지도 누구나 쉽게 그릴 수 있게 도와주며 아날로그와 디지털의 상호작용을 통해 아동들이 그림 그리기에 흥미를 느끼도록 지원한다.

Fig. 4.

Smart drawing case study

• 라이트박스를 활용한 아동 교육 사례

라이트박스는 하단에서 빛이 올라오는 애니메이션 작업 도구로 작업자는 이를 통해 작화지 위에 여러 장의 이미지를 겹쳐서 볼 수 있어, 트레이싱 기법 작업에 쉽다[26]. 하지만 라이트박스는 애니메이션 제작 외에도 여러 분야에 활용 가능성을 갖고 연구되고 있는데, 가령 권소현 등은 라이트박스의 빛이 아동의 호기심을 자극하고 시각적 피드백을 제공하여 학습에 대한 참여도를 높이는 효과가 있음을 확인하였다[27]. 라이트박스를 활용한 가장 대표적인 아동 교육사례는 필기구로 빛에 의해 증강된 밑그림이나 글씨를 따라 그리는 것이 가장 보편적이다[28]. 이를 통해 별도 기기 착용 없이도 실제 종이 위에 글씨와 그림에 대한 가이드라인을 제공받을 수 있다.

그림 7은 생성형 AI를 활용해 제안 서비스의 하드웨어에서 구현될 프로토타입을 제작한 과정이다. 이 과정은 스토리 제작, 캐릭터 생성, 생성된 캐릭터의 3D 변환, 모션 및 사운드 적용의 네 단계로 구분된다. 스토리 제작 단계에서는 ‘미운 오리 새끼’를 주제로, Claude에 텍스트 프롬프트를 입력해 원작 기반의 창작 스토리를 생성하였다. 이어서 주요 캐릭터인 오리와 조연 캐릭터를 DALLE에서 텍스트 프롬프트로 2D이미지를 생성하였다. 해당 이미지를 이용해 오리캐릭터는 360도 모델링이 가능한 Tripo에서 3D로 생성하였고, 갈매기 캐릭터는 가위와 같은 사물과의 연동을 위해 Krea에서 2D 캐릭터를 변형한 후 3D화 하였다. 또한, Krea로 동화에 어울리는 배경과 모션을 생성했으며, 마지막으로 ElevenLabs에서 캐릭터에 음성을 입혀 상호작용할 수 있도록 구현하였다.

Fig. 7.

Generative AI workflows for prototyping

그림 8은 Claude를 활용한 본 제안 서비스의 스토리 생성과정 다이어그램이다. 그림 8의 1은 생성형 AI를 통해 기존 동화를 각색하거나 새로운 동화를 창작하는 옵션 선택과정으로 실제 Claude를 이용해 기존 동화를 각색하는 시나리오로 제작하였다. 그림 8의 2는 이솝우화 ‘미운 오리 새끼’ 원작의 각색을 위해 7세 정도 아동이 이해할 수 있는 쉬운 어휘와 문장 구조를 사용하라는 설정을 한 후 10개 장면의 새로운 스토리를 생성한 과정이다. 그림 8의 3은 그중 하나이고, 그림 8의 4는 언어 4대 영역인 쓰기, 말하기, 듣기, 읽기 외에 아동의 흥미를 더할 수 있는 그리기와 사물 증강하기 기능으로 아동이 동화 스토리를 흥미롭게 각색해볼 수 있는 학습을 지원한다. 그중 그림 8의 4-1 쓰기와 읽기 항목은 ‘미운 오리 새끼는 자신이 아름다운_____ 로 성장했음을 깨달았어요.’와 같이 동화 내용 일부를 밑줄로 남겨두어 아동이 음성 안내를 받으며 창의적인 밑줄 채움을 통해 어휘와 문장 구조, 문법 오류도 함께 학습할 수 있다. 문법 오류가 있는 답변 입력 시 올바른 답변 예시를 제시하여 학습 효과를 강화한다. 그림 8의 4-2 말하기와 듣기 항목은 ‘미운 오리 새끼의 외형이 형제들과 어떻게 달랐나요?’와 같이 동화 내용과 관련된 구두 질문을 생성하여 아동 역시 구두로 답변하도록 유도한다. 그림 8의 4-3 그리기 활동에서는 동화 내용에 맞게 아동이 상상한 사물과 배경을 그림으로 표현할 수 있다. 아동이 스케치하면 AI가 이어서 이미지를 생성하고, 동적 이미지로도 생성할 수 있다. 그림 8의 4-4 증강하기 항목은 전면 투명디스플레이를 통해 책상 위의 사물과 동화 스토리를 연결하는 활동으로, 상호작용을 통해 창의적 학습 효과를 강화한다. 예시 이미지는 자를 이용해 캐릭터의 크기를 키우는 장면으로 사물을 동화 내용과 연결해 실시간으로 이야기를 수정하거나 확장하며, 사물과의 조합으로 창의적 스토리를 확장할 수 있다.

Fig. 8.

Story synthesis process via generative AI

그림 9는 앞 절에서 생성된 스토리를 바탕으로, 하드웨어 상단 투명 디스플레이에 표시될 동화 시각화 장면의 생성 과정을 보여준다. 생성형 AI 툴을 활용하여 캐릭터와 배경을 생성하고, 이를 시각화 장면으로 변환하는 실험 과정을 함께 제시하였다. 생성 실험은 각색된 ‘미운 오리새끼’ 동화 및 스토리 후반부 등장 캐릭터들이다. 그림 9의 1은 DALL-E를 활용해 생성한 동화 속 등장 캐릭터 결과물과 활용 프롬프트이고, 그림 9의 1-1은 이후 2D 이미지를 3D 모델로 변환하기 위한 공통 프롬프트이다. 이는 이후 3D생성 툴에서 3D 캐릭터 스타일을 생성하기 위해 쓰인 공통 프롬프트로, 리깅(rigging)을 위해 양팔과 양다리를 벌린 T-포즈, 투시 없이 정면 시점으로 설정한 구도, 폴리곤 변환 시 경계의 어색함을 최소화하고 입체감을 강조하기 위해 명암을 구분하는 3D 스타일을 포함한다. 그림 9의 1-2와 그림 10의 1-3은 각 캐릭터를 생성한 상세 프롬프트와 결과물 이미지이다. 각각 ‘미운 오리새끼’의 캐릭터 외형과 스토리 후반부에 등장하는 호랑이 캐릭터이다. 그림 9의 2는 DALL-E로 생성된 2D 이미지를 Tripo를 이용해 3D 폴리곤(Polygon) 모델로 변환한 것이다. Tripo는 모델의 폴리곤 생성 및 리깅 작업을 지원하는 특징을 가지고 있다. 그림 9의 2-1은 생성된 ‘미운 오리새끼’ 3D 모델링의 폴리곤이며, 생성 시 폴리곤 개수를 선택할 수 있다. 그림 9의 2-2는 Tripo의 자동 리깅 기능을 이용해 리깅한 후 모션을 적용한 결과물이다. 그림 9의 3은 전면 투명디스플레이에서 Krea를 이용해 실제 사물과 연결된 캐릭터 외형 변경 실험 장면이다. 사물인 가위에 갈매기가 증강되며 부리 부분이 정합된 과정이며, 그림 9의 3-2는 Krea에서 가위에 갈매기 캐릭터의 부리가 증강되어 실시간으로 입을 움직일 수 있게 생성한 장면이다. 그림 9의 3-3은 Krea의 3D 스타일을 선택하여 좀 더 밀도 있게 생성한 이미지로, 사물과 생성된 증강 콘텐츠의 관계성을 통해 아동들은 사물을 관찰 후 이를 반영한 캐릭터를 생성할 수 있고, 이를 통해 창의적인 스토리를 구성할 수 있다. 그림 9의 4는 스토리의 배경 생성 장면으로 폼팩터 하단 라이트박스 위 종이에 일반 필기도구로 그림을 그려 Krea에서 실시간으로 생성한 결과물이다. 그림 9의 4-1은 스케치를 통해 3D 그래픽 스타일로 생성된 이미지이고, 그림 9의 4-2는 아동이 그린 스케치 예시이다. 이러한 기능을 활용하면, 백지에 그림 그리기를 두려워하는 아동도 쉽게 동화 창작 활동에 참여할 수 있다. 또한, 등장인물과 배경을 실시간으로 변화시킬 수 있다.

Fig. 9.

Creating visualized images through generative AI

그림 11은 사용자 시나리오 기반으로 제작한 대표 인터페이스 디자인 중 아동의 동화생성 과정 장면이다. 아동은 열린 질문을 하는 동화 속 캐릭터 AI와 대화하며 기존 동화의 특정 스토리를 재구성하거나 새롭게 동화 스토리를 창작하는 경험을 하게 된다. 아동의 예상 답변과 제안 서비스 설명을 프롬프트로 사용하여 클로드를 활용해 프로토타입에 활용할 동화 재구성 질문과 답변에 따른 동화 문장을 작성하였다. 그림 11의 1은 아동이 스토리 재구성을 원하는 동화책을 그림 11의 A와 같이 투명디스플레이 뒤로 가져가는 장면이다. 이때 AI가 동화책을 인식하면 그림 11의 B처럼 동화 속 대표 캐릭터가 나와 원작 동화를 재구성할 수 있는 질문을 하며 시작한다. 가령, 사례처럼 ‘미운 오리 새끼’ 동화책을 인식한 AI는 “만약 미운 오리 새끼가 연못을 떠나면 어디로 갈까요?”와 같은 질문을 통해 아동이 자유롭게 상상하여 답변하도록 유도한다. 그림 11의 2는 아동과 동화 속 캐릭터 AI가 대화하며 동화의 스토리를 변경하는 과정을 보여준다. 그림 11의 C에서 AI는 “그곳에서 미운 오리 새끼는 누구를 만날까요?”처럼 꼬리 질문을 던지고, 그림 11의 D와 같이 남은 질문 개수를 표시해 진행 상황을 시각적으로 안내한다. 이 질문의 아동 답변 예시로 “아마도 미운 오리 새끼가 풀밭에서 호랑이를 봤을지도 몰라!”라고 답하면, AI는 4장의 2) 스토리 생성과정에서 언급한 스토리 생성 프롬프트를 활용하여, 학습 단계, 연령 맞춤 문장 길이 및 단어 수준을 조정한 이야기를 생성한다. 낮은 레벨의 아동에게는 짧고 쉬운 문장을, 높은 레벨의 아동에게는 확장 문장을 제공하며, 이는 적응형 언어모델(Adaptive Language Model)을 반영하여 기획하였다. 이후 이야기 생성이 완료되면 등장인물이 직접 줄거리를 소개하고, 아동이 기존 이야기의 문맥 이해를 바탕으로 동화를 창작할 수 있다. 이 과정에서 단순 어휘 학습을 넘어 인과관계를 고려한 이야기 구성 능력을 기르고, 듣기와 말하기를 집중하여 연습할 수 있도록 반영하였다. 이는 2장에서 언급한 동화 창작 활동의 장점인 동화 속 캐릭터와 상호작용하며 아동이 자기 생각과 감정을 전달하는 연습을 통해 표현력 향상을 도울 수 있다. 다만, 아동의 경우 창작 과정에서 익숙한 단어만 반복 사용할 수 있어 이를 보완하기 위해 AI 챗봇이 꼬리 질문으로 사고 확장을 유도하고 이야기 전개를 지원하도록 하였다.

Fig. 11.

AI chatbot-based story creation

그림 12는 그림 11에서 재구성한 동화 내용을 바탕으로 생성된 등장인물을 아동이 원하는 대로 변형하는 과정을 보여준다. 그림 12의 1은 AI 챗봇과 대화를 통해 등장인물 캐릭터를 변형하는 과정으로 아동이 AI에게 구체적인 묘사를 할수록 원하는 결과에 가까워진다는 점을 인지시켜 아동의 관찰력 있고 세밀한 표현의 말하는 연습을 유도한다. 예를 들어, 아동이 단순히 “노란색으로 바꿔 줘”라고 하면 AI가 “노란색에는 “주황빛이 도는 짙은 노란색”이 있고 “병아리처럼 밝은 노란색”이 있는데 “어떤 노란색이 호랑이한테 어울릴까?”와 같이 사물을 세부적으로 묘사하는 말하기 연습을 통해 아동은 색상에 대한 어휘력을 확장할 수 있다. 그림 12의 A는 변형 전의 캐릭터이며 그림 12의 B는 아동이 본인만의 창작 동화 스토리에 맞게 네발로 걷게 하고 색상도 조정한 후 생성된 캐릭터를 나타낸다. 이를 통해 아동은 자신의 생각을 구체적 언어로 표현하는 연습을 하며, 특히 ‘듣기’와 ‘말하기’ 기반 소통 능력을 기를 수 있다. 그림 12의 2는 주변 사물을 활용해 등장인물 캐릭터의 외형을 변형하는 과정이다. 아동이 캐릭터 부리의 형태를 보고, 가위를 연상하여 실제 가위를 사물의 그림 12의 C와 같이 투명디스플레이 뒤로 가져가고 가위를 벌리면 그림 12의 D처럼 가위가 벌려진 만큼 캐릭터 부리로 벌려지게 생성된다. 이는 앞서 언급한 리얼타임 생성 기능이 있는 Krea 생성 툴로 직접 생성 제작하였다. 더불어 2장에서 언급한 레노버사의 투명디스플레이 폼팩터를 기반으로 하기에 아동이 투명디스플레이를 통해 일상 사물을 새로운 시각으로 관찰할 수 있도록 동기를 부여한다. 이는 2장 ‘AI 스토리 교실’ 사례에서 등장인물을 수정하거나 아동의 개성을 충분히 반영하기 어려운 한계와 2D 생성 방식으로 페이지 장면마다 캐릭터 외형이 달라져 일관성이 부족한 한계를 개선하여 3D 생성을 통해 시점이나 전·후면 관계없이 동일한 외형을 유지할 수 있도록 구현하여 아동의 몰입감 있는 창작 경험과 나만의 캐릭터라는 애착을 불러일으킬 수 있게 하였다.

Fig. 12.

Changing the character’s appearance

그림 13은 동화 따라 쓰기 및 어법 교정 기능을 활용한 프로토타입 이미지로 아동은 하단 라이트박스에 그림 11에서 생성한 제시된 동화 내용과 중간 공란의 채움을 통해 상상력을 마음껏 발휘하여 이야기를 확장하거나 발전시킬 수 있다. 그림 13의 A와 같이 폼팩터 하단에 ‘미운 오리 새끼는 에서 새로운 친구를 만났어요.’라는 빈칸을 포함한 문장이 푸른색 글씨로 종이에 투사되면, 아동은 상상력을 바탕으로 그림 13의 B와 같이 주어진 문장을 따라 쓰면서 빈칸에 ‘넓은 바다’나 ‘푸른 초원’처럼 다양한 장소를 넣어 동화를 창작할 수 있다. 앞서 언급했듯이 아동 대상 아날로그 글쓰기 방식의 강점을 살려 라이트박스 위에 실제 종이를 놓고 연필로 글을 쓰며 필기감의 촉각과 사각거리는 청각도 학습 방식에 도움을 주도록 하였다. 아동이 실제 종이 위에 아날로그 방식으로 쓴 글씨는 폼팩터 하단 라이트박스에 반영된 강압식 센서를 통해 필기구의 압력을 감지해 인식된다. 이를 통해 디지털 정보로 전환된 빈칸 안에 쓴 아동의 글은 상단 투명디스플레이에서 실시간으로 이미지로 생성된다. 가령, 아동이 빈칸에 ‘바다’를 적으면 그림 13의 C와 같이 허공을 걷던 오리 주변에 움직이는 바다 이미지가 생성된다. 더불어 아동이 빈칸을 채우면 그 내용에 맞게 변경된 동화 속 상황에 맞게 등장인물 캐릭터의 대사도 함께 생성된다. 예를 들어 아동이 빈칸에 ‘바다’ 글 썼다면 그림 13의 D처럼 ‘바다로 가서 헤엄쳐 여행을 떠나볼래. 갈매기와 같은 새 친구도 사귈 수 있을 거야.’와 같은 문장이 나타난다. 아동은 이를 통해 해당 상황에서 자연스럽게 사용할 수 있는 듣기와 말하기 표현 학습을 할 수 있다. 또한, 아동이 쓴 단어와 연계된 ‘헤엄치다’ 같은 어휘도 함께 익혀 어휘 확장에도 도움이 된다. 이처럼 본 제안 서비스는 2장에서 언급한 기존 아날로그 쓰기 학습 방식의 강점과 디지털 방식의 즉각 피드백을 결합하여, 읽기, 쓰기, 듣기, 말하기의 병행 언어학습 효과를 강화해 준다.

Fig. 13.

Language learning by copying fairy tales

그림 14는 사용자 시나리오 기반으로 제작한 사물 인식 기반 이야기 재구성 장면이다. 그림 14의 1은 캐릭터가 도랑을 건너지 못하는 상황에서 아동이 방 안 물건을 활용해 문제를 해결하는 과정이다. 예를 들어, 그림 14의 A처럼 책상 위 자를 인식시키면 해당 물건의 이름을 발음해주고, 디스플레이에 사용 용도 설명 내용이 표현된다. 예시처럼 아동은 자를 사용해 도랑의 길이를 재고 그에 맞게 한 걸음에 도랑을 넘을 수 있는 크기로 그림 14의 B 등장인물 캐릭터를 키워 문제를 해결할 수 있다. 이 과정에서 아동은 물건의 이름과 발음뿐만 아니라 해당 단어와 관련된 어휘를 익힐 수 있다. 가령, 자를 사용하며 ‘길이’, ‘측정하다’, ‘길이를 재다’ 같은 표현을 자연스럽게 학습하게 된다. 이러한 상호작용을 통해 언어학습과 함께 창의적 사고와 문제 해결 능력을 키우는 데 도움을 준다. 이처럼 재구성한 스토리는 기기에 저장할 수도 있고, 그 글쓰기와 그림 그리기 과정이 담긴 아날로그 종이 자체로도 소장할 수 있다. 그림 14의 2는 이후 전개된 스토리를 라이트박스 하단에서 제시하는 가이드라인에 맞게 따라서 그리는 장면이다. 예를 들어, 앞서 자를 사용해 크기를 키운 등장인물 캐릭터가 도랑을 건넌 후 이전에는 훨씬 커 보였던 호랑이와 비슷한 크기가 되어 자신감이 부족하고 소극적이던 이전과 달리 자신감이 강화되고 이를 통해 세상 속 자신과 다른 동물 캐릭터들과 친구가 되며 활발함을 되찾을 수 있다. 더불어 자신보다 작아진 주변 환경을 새로운 시각으로 경험하며 또 다른 관점에서 세상을 관찰할 수 있다. 이러한 스토리 재구성 장면은 그림 그리기에 자신감이 부족한 아동도 그림 14의 C처럼 하단 라이트박스의 가이드라인과 그리기 원리를 설명해주는 음성가이드를 따라 그리면 투시가 적용된 장면까지 이해하며 어려움 없이 완성할 수 있다. 그림 14의 D는 아동이 연필로 푸른색 가이드라인을 따라 그리는 모습이다. 이 기능은 2장 권소현, 안시내의 라이트박스를 활용한 아동교육 사례를 반영하였고, 아동의 호기심 자극과, 그리는 과정 중에 시각, 청각적 피드백을 제공하여 학습 참여도를 높일 수 있게 구성했다.

Fig. 14.

Reconstruction of the story through object recognition