Korea Digital Contents Society
[ Article ]
Journal of Digital Contents Society - Vol. 23, No. 5, pp.781-791
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 31 May 2022
Received 19 Apr 2022 Revised 23 May 2022 Accepted 25 May 2022
DOI: https://doi.org/10.9728/dcs.2022.23.5.781

난독증 학습자를 위한 AI기반 한글 해득 프로그램 개발 및 효과 검증

이애진1 ; 김기웅2, *
1써큘러스리더(주) 교육연구소 소장
2써큘러스리더(주) 교육기술연구소 전임연구원
Development and application of AI-based Hangeul learning program for learners with dyslexia
Ae-Jin Lee1 ; Ki-Woong Kim2, *
1Director of Education Research Center, Circulus Leader Inc., Seoul 01867, Korea
2Associate Research Engineer, Corporate R&D Center, Circulus Leader Inc., Seoul 01867, Korea

Correspondence to: *Ki-Woong Kim E-mail: kkiwoong.cl@gmail.com

Copyright ⓒ 2022 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

본 논문의 목적은 난독증 학습자를 위한 AI 기반의 한글 학습 프로그램을 설계 및 구현하는 것이다. 난독증 학습자는 한글 해득에 어려움을 겪는데, 이를 극복하기 위해서는 음운 인식과 한글 파닉스 교수에 기반한 개별 맞춤 교육이 필수적이다. 따라서 본 연구에서는 시공간의 제약과 전문가 없이도 개별 맞춤 교육이 가능한 AI 기반의 한글 해득 앱을 제안하고자 한다. 본 연구에서 개발한 한글 해득을 위한 앱은 다음과 같은 특징을 갖는다. 첫째, 음운 인식과 파닉스 학습 활동으로 구성되었다. 둘째, 음성과 필기 인식을 통해 학습자의 수행을 즉시 평가하고 직접 교수법에 기반한 즉각적인 교수 피드백을 제공하여 쌍방향 학습이 가능하다. 셋째, AI 기반으로 학습자의 수행을 실시간으로 분석하여 학습자의 발달 수준과 수행 진전도에 따라 개별 맞춤화된 커리큘럼이 제공됨으로써 자기주도적 학습이 가능하다. 마지막으로 게이미피케이션 모델을 적용한 학습 활동을 구성함으로써 흥미와 학습동기를 높이고, 반복 학습이 가능하다. 본 프로그램을 난독증 학습자에게 적용한 결과, 학습자들의 단어 인지와 음운처리 능력에서 유의미한 향상을 나타내어 학습의 효과성을 확인할 수 있었다.

Abstract

The purpose of this paper is to design and implement an AI-based Hangeul learning program for learners with dyslexia. To overcome difficulties in acquiring Hangeul, individualized education based on phonological awareness and Hangeul phonics instruction is essential. The app developed in this study has the following characteristics. First, it consisted of phonological awareness and phonics learning activities. Second, interactive learning is possible by immediately evaluating the learner's performance through voice and handwriting recognition and providing immediate teaching feedback based on the direct teaching method. Third, self-directed learning is possible by providing an individually customized curriculum according to the learner's development level and performance progress by analyzing their performance in real time based on AI. Lastly, by composing learning activities to which the gamification model is applied, interest and learning motivation are increased, and repeated learning is possible. As a result of applying this program to learners with dyslexia, the learning effect was confirmed by showing a significant improvement in the learner's word recognition and phonological processing ability.

Keywords:

AI based learning, Hangeul learning program, Dyslexia, Voice recognition, Handwriting recognition

키워드:

AI기반 학습, 한글 학습 프로그램, 난독증, 음성 인식, 필기 인식

Ⅰ. 서 론

난독증은 지능이 정상이고 듣고 말하는 데는 어려움이 없으나 읽고 쓰는 데 어려움이 있는 것으로, 학습장애의 하위 유형 중 하나이다[1]. 교육부가 발표한 통계에 따르면 국내 초등학생 4.6%, 약 12만 5천 명이 난독증인 것으로 보고되었다[2]. 최근 난독증 지원의 필요성에 대한 인식이 확산되면서 조례가 제정되고, 지원 근거가 마련이 되었으나 아직 교육 현장에서의 지원은 여전히 부족한 부분이 많다.

난독증 학생들은 음운 인식 교수와 함께 낱자와 소리의 대응 관계(파닉스)에 대한 교수가 이루어지지 않으면 한글 해득이 어렵다[3]-[4]. 한글은 자소와 음소의 대응 관계가 비교적 투명한 언어에 속하고, 음절 구조로 되어 있어 난독증이 있어도 외워서 읽고 쓰는 경우가 있으나 학년이 올라갈수록 한계가 드러난다. 초등학교 1, 2학년 때 한글 해득이 이루어지지 않으면 이로 인해 학습 전반에서 어려움을 겪게 되고 의사소통 및 사회성 발달에도 부정적 영향을 받게 된다. 대부분의 학생들은 별도의 파닉스 교육을 받지 않아도 한글을 해득하는 데 어려움이 없기 때문에 공교육에서는 난독증 학생들에 대한 이해가 낮고, 이들을 교육할 전문 인력은 매우 부족한 상태이다. 그래서 2020년부터 서울시 교육청과 경기도 교육청에서는 지역에 있는 난독증 치유 전문기관을 선정하고, 바우처를 제공하여 학생들로 하여금 전문기관의 교육 서비스를 받도록 지원하고 있다. 그러나, 시간과 거리의 제약으로 인해 학생과 함께 기관에 방문할 수 있는 여건이 안 되는 경우(맞벌이 가정, 한 부모 가정 등)에는 서비스를 포기하는 경우가 속출하고 있다. 그래서 학교 현장으로 전문 교사를 파견해 주길 원하는 경우가 많으나, 학교에 전문 교사를 파견하는 데는 물리적 어려움이 많아 그 수요를 따라가지 못하고 있다.

교육 현장에서 난독증 학생들이 전문적인 서비스를 받기 위해서는 교사와 학습자가 전문적인 지식이 없어도 쉽게 사용할 수 있는 전문적이고 체계적인 학습 교구가 마련되어야 한다. 그러면 교사는 전문 영역을 이해하고 교수해야 하는 부담을 덜고, 격려와 상담 등 정서적 지원에 집중함으로써 학생들의 한글 해득의 과정을 지원할 수 있을 것이다. 본 연구에서 제안하는 AI기반 한글 해득 프로그램을 통해 개별 맞춤 교육이 필요한 난독증 학습자들을 선별하고 이들의 발달 수준에 맞춘 체계적이고 전문적인 교육을 제공할 수 있는 방안을 제시할 수 있다고 기대한다. 이에 본 연구에서는 학교 현장이나 가정에서 난독증 학습자들의 어려움을 해소하기 위한 효과적인 한글 해득 프로그램을 개발하고, 그 효과성을 검증함으로써 한글 해득 프로그램의 적용 가능성을 탐색하고자 한다. 이러한 목적을 달성하기 위한 구체적인 연구 문제는 다음과 같다. 첫째, 난독증 학습자를 위한 한글 해득 프로그램은 어떻게 구성되어야 하는가? 둘째, 한글 해득 프로그램은 난독증 학습자들의 읽기・쓰기 능력을 향상시키는가?


Ⅱ. 이론적 배경

2-1 난독증 학습자를 위한 효과적인 교수법

1) 한글 파닉스 교수법

한글은 표음문자 중에서도 자소와 음소의 관계가 비교적 투명한 언어에 속하며, 초성(자음)과 중성(모음), 종성(자음)의 자리가 정해져 있다. 한글의 음절 구조는 블록 형태로 모음, 모음+자음, 자음+모음+자음(군)으로 구성되는 비교적 단순한 형태이고 음소 단위로 음절이 이루어져 있어 음소인식 발달이 빨리 이루어지므로 읽고 쓰는 능력을 습득하는 데 용이하다[5]. 그러나 난독이 있는 학습자들의 경우에는 음운처리 능력에 결함이 있기 때문에 한글 해득을 위해서는 음소인식과 더불어 파닉스 교수가 필수적이다.

파닉스(Phonics)란 문자 체계를 가르치는 교수 방법으로써 자소(낱자)와 음소(소리)의 대응 관계(예, 낱자 ㅏ의 소리가 /아/임을 아는 것)를 알고 이를 읽기와 쓰기에 적용하는 방법을 가르치는 것이다[6]. 자소와 음소의 대응규칙을 알면 글자를 정확하게 읽고 쓰는 원리를 터득하게 되어 한글 해득에 이르게 된다. 효과적인 파닉스 교수를 위해서는 파닉스 교수의 과정이 체계적이고 명시적인 방법으로 제공되어야 한다[7]. 체계적인 파닉스 교수법은 읽기와 쓰기 발달 순서에 따라 음소와 자소가 체계적으로 제시되어야 하며, 학습자들에게 연습할 기회를 충분히 제공해야 한다. 특히 파닉스 교수는 음운 인식 교수와 함께 제공되었을 때 더 효과적인 것으로 밝혀졌는데[3], 음소인식에 결함이 있는 경우 자소와 음소의 대응 관계에 대한 지식을 습득하는데도 어려움을 겪기 때문이다[6].

2) 직접 교수법

학습장애 학생들이 효과적으로 학습할 수 있도록 돕는 방법은 직접 교수(Direct Instruction) 방법으로[8], 명시적인 설명과 시범, 반복적인 연습의 기회와 즉각적인 피드백을 제공하는 것이다[9]. 직접 교수법은 세 단계를 거치는데, 먼저 Modeling(모델링)에서는 교사가 가르치고자 하는 기술을 상세하게 설명하고 과제를 수행하는 시범을 보인다. 다음으로 Guided practice(지도하 연습)에서는 학습자가 과제를 수행하는 과정을 교사가 가이드 한다. 마지막 Independent practice(개별 연습)에서는 학습자 혼자 과제를 수행한다. 즉, 명시적으로 교사가 시범을 보인 후 학습자가 스스로 배운 기술을 활용할 수 있을 때까지 지원을 점차적으로 줄여나가면서 숙달할 때까지 가르치는 것이다. 이때, 언제, 어떻게, 어떤 전략을 왜 적용하는지에 대한 지식을 학습자가 터득할 수 있도록 해야 하며, 하나의 기술을 숙달할 때까지 가르치는 것이 효과적이다[10].

3) 게이미피케이션

선행 연구들에 따르면 게임 형식을 통한 학습은 다양한 형태로 학습 내용과 복습의 기회를 제공할 수 있기 때문에 교육적 효과가 높다. 또한 재미를 통해 지루할 수 있는 반복 학습을 자발적으로 참여하도록 독려함으로써 학습에 긍정적인 효과를 미칠 수 있다[11]-[12]. 과제를 수행하는 즉시 보상 피드백이 제공되고, 레벨 등의 수준이 변경되면서 수행에 대한 효능감을 얻을 수 있기 때문이다. 특히 학습에 어려움이 있는 학생들에게는 게임 형식의 프로그램이 효과적이며[13], 스마트 기기를 활용한 교육 프로그램이 학습자의 학습동기를 향상시키는 데 긍정적인 효과가 있음이 보고되고 있다[14]-[15]. 또한 학습에 어려움이 있는 학습자의 실행 기능과 자기통제력 및 적응 행동을 향상시키는 데도 긍정적인 영향을 미치는 것으로 보고되었다[16]-[17].

2-2 AI 인식기술의 배경

1) 음성 인식

자동 음성 인식(Automatic speech recognition) 또는 Speech-to-Text(STT)라고도 부르는 음성 인식은 컴퓨터가 사람의 발화를 듣고 해석해 텍스트로 변환해 주는 기술이다. 음성 인식은 발음을 단순히 음소, 음절이나 단어, 문장 형태의 문자로 변환하는 것 외에 음성 분석, 화자 인식, 문장 해석 등 다양한 분야로 사용된다. 이러한 음성 인식을 통해 얻은 결과는 문자를 입력하거나, 전자기기의 제어 등의 분야에 사용될 수 있다.

일반적으로 음성 인식은 녹음 기기를 통해 얻은 음성신호로부터 추출한 특징을 각 분야에 맞는 음성 데이터베이스로 학습시킨 음향 모델에 거쳐 출력을 얻어내는 방법으로 이루어진다. 더 나아가 고립된 단어 리스트에서의 음성 인식이 아닌 일상에서의 자유 발화를 정확한 문장으로 변환시키고자 음향 모델에 덧붙여 언어 모델을 사용하기도 한다. 언어 모델이란 전후의 단어들을 고려해 특정 단어가 나타날 확률을 계산하여 다음 단어를 예측하거나 빈칸의 단어를 예측하여 완전하고 정확한 문장으로 재구성해 주는 문법의 역할을 하는 모델이다. 하지만 최근에는 종단 간(end-to-end) 음성 인식이라 하여 음향 모델과 별도로 훈련된 언어 모델을 결합할 필요 없이 하나의 신경망을 통해 한 번에 처리하는 기술이 흔히 사용된다. 대표적 종단 간 음성 인식 모델로는 Connectionist Temporal Classification(CTC)[18], Listen Attend and Spell(LAS)[19], RNN-Transducer[20], Conformer[21] 등 이 있고 최근에는 Attention 기반의 모델들이 활발히 연구되고 있다. <그림 1>은 음성 인식의 기본적인 과정을, <그림 2>는 종단 간 음성 인식의 과정을 나타낸 것이다.

Fig. 1.

Process of speech recognition

Fig. 2.

Process of end-to-end speech recognition

음성 인식에서 음향학적 모델링만으로는 자주 사용하지 않는 단어나 음절, 비슷한 발음의 음절 발음을 구별하는 데 한계가 있다. 자주 사용하지 않는 발음들에 대해서는 데이터가 많지 않을뿐더러, 같은 말을 한다 해도 사람마다 발음이 다르고 발화 속도, 목소리의 굵기 또한 모두 개인차가 있기에 음향 특성 또한 달라지는 것이다. 또 발음에 주의하여 발화하지 않는 경우에는 전혀 다른 문자로 인식해 낼 확률이 높다. 본 연구의 주요 대상자인 아동 음성 인식의 경우에도 어려움이 존재한다. 아동 음성의 음향학적 특징은 성인 음성의 특징과는 크게 다르다[22]. 아동 음성은 포먼트, 음의 높낮이, 음의 길이 및 성도의 길이 등의 음향학적 특성들이 연령에 의존적인 구조를 보인다[23]. 아동이 시간이 지나 성장함에 따라 포먼트 주파수는 감소하고, 성도 길이는 길어진다는 것이다[24]. 따라서 성인의 음성 데이터로 훈련한 음향 모델을 통해 아동 음성을 인식할 경우 음향학적 특성이 매우 달라 인식 정확도가 현저히 떨어지게 된다[25]. 이러한 이유로 아동 음성 인식 모델은 인식 대상의 연령에 맞는 아동들의 음성 데이터를 사용하여 훈련해야 하지만 아동 음성 데이터양은 성인 음성 데이터에 비해 현저히 적은 실정이다.

2) 필기 인식

필기 인식(Handwriting Recognition)은 프로그램을 통해 컴퓨터가 사람의 손글씨 혹은 필기체를 텍스트 형식으로 번역해 주는 기술이다. 일반적으로 캔버스 장치에 문자를 직접 써서 컴퓨터에 문자를 입력하는 방식을 사용하는데, 누구나 종이에 글을 쓰듯 사용할 수 있어 컴퓨터나 모바일 자판 사용에 어려움을 겪는 사람들도 부담 없이 이용할 수 있다. 필기 인식은 현재 스마트폰뿐만 아니라 자동차, 전자 칠판, 스마트워치 등 다양한 전자기기에서 문자 입력을 위한 기술로 흔하게 사용되고 있다.

필기 인식 분야에서 또한 신경망을 통한 연구가 활발히 진행되고 있다. 이미지 인식에서 대표적인 Convolutional Neural Network(CNN)구조 모델로는 IMAGENET[26], AlexNet[27], GoogLeNet[28] 등 이 있고, 필기 인식 연구 또한 이들을 기반으로 흔히 이루어진다.

일반적으로 필기 인식은 글자가 쓰인 문서를 이미지로 입력받아 효과적인 문자 인식이 가능하도록 전 처리를 진행하고 이미지로부터 글자 인식을 진행하게 된다. 만약 인식하려는 글자의 내용적인 부분에서 부자연스러운 단어나 문자가 포함되어 있다면 이를 자연스럽게 변환해 주는 후 처리를 해줌으로써 인식 정확도를 좀 더 높여 주게 된다. <그림 3>은 필기 인식의 기본적인 과정을 나타낸 것이다.

Fig. 3.

Process of Optical character recognition

필기 인식은 필체에 따라서도 그 난이도가 달라지는데 일반적으로 흘림체 인식의 난이도가 정자체 인식에 비해 더 어렵다고 평가된다. 모든 사람이 각자만의 필기 방식을 갖고 있어 엄청나게 다양한 필체가 존재한다는 것이 그 이유이다. 음성 데이터와 마찬가지로 성인 필기체 데이터에 비해 아동 필기체 데이터양은 현저히 적은 수준이다. 특히 난독증 학습자들은 대체로 글자의 균형이 맞지 않거나 자소를 반전시키는 경우가 많고, 한글에 존재하지 않는 조합(예, 겹받침 ‘ㄹㄱ’을 ‘ㄱㄹ’으로, 초성 ‘ㄱㅋ’, ‘ㅋㅋ’로 쓰는 경우)으로 쓰는 경우가 많은데 이에 대한 데이터는 거의 존재하지 않았다.

2-3 관련 국내 프로그램

현재 다양한 학습 앱이 개발 출시되고 있으나, 난독증 학습자를 위한 한글 해득 앱은 ‘소중한글’이 유일하며, 최근 난독증 학습자에게 필수적인 한글 파닉스 교수법(소리 중심 교수법)을 적용하여 출시된 ‘토도한글’이 있어, 이 두 프로그램을 대상으로 직접 사용해보며 분석하였다. <표 1>은 대상 앱들을 분석한 결과를 나타낸 것이다. 두 가지 앱 모두 읽기, 쓰기, 듣기, 말하기의 영역을 다루고 있으며, 이를 게임 형태의 다양한 학습활동으로 제공하고 성취도나 학습 현황을 제시하여 현재 학습의 진행 상황을 파악할 수 있다. 학습 단계나 커리큘럼은 학습자의 선택 또는 진단평가 결과에 따라 구성되었다. 읽기 영역의 경우에는 두 프로그램 모두 앱에서 나오는 소리를 듣고 따라 읽거나, 읽은 소리가 녹음 되어 앞서 제시된 음성과 함께 녹음된 음성이 나오는 방식이었다.

Case Study of Hangeul Education Applications

쓰기 영역은 화면에 표시되는 획을 따라 쓰는 방식으로 진행되었다. 읽기와 쓰기 모두 학습자의 음성이나 필기 오류에 대한 피드백은 별도로 제공되지 않았다.

본 연구에서 개발하고자 한 앱도 난독증 학습자의 한글 해득에 효과적인 교수법인 음소인식 활동을 포함한 한글 파닉스(소리 중심 교수법)와 게이미피케이션을 적용한 학습 활동들로 구성되었다는 점은 선행 프로그램들과 비슷하다. 그러나 본 연구에서 개발하고자 한 앱과 기존 프로그램들과는 아래와 같은 차이점이 있다. 먼저 읽기와 쓰기를 학습하는 과정에서 제일 중요한 학습자의 음성과 필기를 실시간으로 인식하고, 오류가 있는 부분에 대해 즉각적인 교수 피드백을 줄 수 있도록 AI 기반의 음성 및 필기 인식 기술을 적용하였다는 점이 가장 큰 차별점이다. 학습자가 스스로 글자를 정확하게 읽었는지 검증받고, 오류가 있는 경우 효과적인 교수 피드백을 통해 읽기 기술을 습득해 나가야 하므로 본 연구에서는 직접교수법을 적용한 실시간 교수 피드백을 제공하고자 하였다. 쓰기의 경우도 학습자가 자신이 쓴 글자가 정확하게 철자 되었는지를 검증받고, 오류가 있는 경우 실시간으로 교수 피드백을 받음으로써 읽기와 쓰기 기술을 모두 습득할 수 있게 된다. 더불어 초기 진단평가뿐만 아니라, 학습이 진행되는 상황에서의 학습 수행을 평가하여 반복이 필요하거나, 이미 습득하여 학습이 필요 없는 부분들을 넘어갈 수 있도록 커리큘럼이 실시간으로 변경되도록 구성하였다. 이와 같은 차이점을 통해 난독증 학습자가 전문교사 없이도 자기주도적으로 효과적인 학습을 할 수 있도록 ‘AI 기반 난독증 학습자들을 위한 한글 교육 앱’을 제안한다.


Ⅲ. 시스템 설계

3-1 한글 해득 앱 설계 방향

본 연구에서는 난독증 학습자의 한글 학습 능력 향상과 자기주도학습 능력 강화를 목적으로 이들의 특성에 맞춘 전문적인 교수법에 더해 AI 인식 기술을 적용하고자 한다. 위에서 논의한 한글 교육 앱 분석 결과를 고려한 연구의 설계 방향은 다음과 같다.

첫째, 학습자의 수준 평가를 통해 개별 맞춤 학습이 이루어지도록 한다. 수준 평가는 모든 목표 자소에 대한 읽기와 쓰기 정확도를 통해 이루어지며, 분석결과를 통해 학습단계와 커리큘럼 구성된다. 학습자는 수행평가 결과 보고서를 통해 각 영역별 수행 수준과 추후 학습이 필요한 영역과 기간을 확인할 수 있도록 하였다. 한글 읽기·쓰기 발달 체계를 바탕으로 개발된 오류 분석 알고리즘에 따라 학습자의 현재 수준에 가장 적합한 학습 단계 및 빈도를 결정하여 개별 맞춤형 학습이 이루어진다. 이때 학습자의 학습 수행 결과를 running record 방식으로 채점 및 분석한 후 학습 커리큘럼을 재구성한다.

둘째, 음성·필기 인식 AI 기술을 적용하여 자동으로 채점 및 진단, 평가가 이루어지도록 한다. 학습자가 학습 활동 수행 중 수집된 음성과 필기를 실시간으로 인식하고, 오류 분석 알고리즘에 따라 분석하여 학습자의 습득 수준을 측정하고 이에 적합한 학습을 제공하도록 한다.

셋째, 모든 학습 단계에서 평가 및 시·청각적 교수 피드백을 실시간으로 제공해 준다. 학습 도중 행해지는 모든 활동 및 수행에 대해 직접교수법을 적용한 피드백을 제공하였다. 학습 도중 행해지는 모든 활동 및 수행에 대해 직접교수법을 적용한 피드백을 제공하였다. 정답인 경우에는 강화 피드백을 주었고, 오답인 경우에는 틀린 부분이 있음을 알려주고 수정할 기회를 주었고, 다시 오답을 제시한 경우에는 학습자의 응답에서 어떤 부분에서 오류가 있는지에 대한 정보를 제공하고 수정할 기회를 다시 주었다. 그럼에도 오답인 경우에는 정답에 이르는 과정과 함께 정답을 제시하여, 학습자의 오답과의 차이를 알 수 있도록 피드백을 제공하였다. 실시간으로 가이드를 제공함으로써 학습자가 정확한 학습을 할 수 있도록 유도하고, 쌍방향 학습(interactive learning) 강화를 이끌어내도록 한다.

넷째, 난독증 학습자들이 쉽고 편하게 다룰 수 있도록 단순하고 직관적이면서, 밝거나 화려하지 않은 색감의 UI/UX를 적용한다. 난독증이 있는 경우 흰 배경의 검은 글자와 같은 고 대비 색상의 문자를 읽는 것을 어려워하고[29] 글자나 선들이 춤추며 움직이는 것처럼 느끼기 때문이다[30].

다섯째, 친근한 캐릭터와 게임 활동을 배치하여 학습자들이 학습에 거부감을 느끼지 않도록 한다. 캐릭터가 학습의 수행을 함께 가이드하고, 실시간으로 수행에 대한 피드백을 제시하기 때문에 혼자서 하는 학습이라 느끼지 않고 나만의 선생님과 함께 수업하는 느낌을 받을 수 있도록 한다. 또 활동에 게이미피케이션 학습 모델(Gamification Learning Model)을 적용하여 반복 학습과 자기주도학습을 유도하는 몰입형 학습(Immersive Learning)을 제공하도록 한다.

3-2 한글 해득 앱 설계

본 연구에서 개발 및 적용하는 한글 해득 앱은 난독증 학습자에게 전문적인 교수법으로 학습자의 발달 수준에 맞춘 개별화된 학습 과정을 통해 한글을 가르치는 AI 한글 교사의 역할을 한다. 난독증 학습자가 가지고 있는 인지 처리능력의 결함을 극복하고, 학습을 통해 한글 해득을 이루는 데 목적이 있다. 한글 해득을 통해 학습뿐만 아니라 실생활에서도 어려움을 겪지 않도록 하는 데 의의를 둔다.

본 연구에서 개발하는 앱의 모든 학습활동은 학습자의 수준을 고려하여 진행된다. 본인에게 효과적이지 않은 학습을 함에 따라 발생하는 비효율을 방지하고 단기간에 수준 향상을 이룰 수 있는 최적의 학습 과정을 따르게 하기 위함이다. 학습의 시작과 끝은 물론이고 학습 도중에도 여러 번 이루어지는 수준 평가를 통해 학습자의 학습 수준을 실시간으로 추적하게 되고, 그에 따라 학습자의 학습 커리큘럼이 수정, 보완된다. 한글 해득 앱의 학습 순서는 <그림 4>와 같이 구성되어 있다.

Fig. 4.

User Flow Chart on Hangeul learning app.

학습자가 한글 해득 앱을 실행하게 되면 가장 먼저 수준 평가를 받게 된다. 수준 평가 문제들을 모두 풀고 나면 본인의 평가 결과를 받게 되고, 이를 기반으로 학습 단계 및 개인별 커리큘럼이 생성되는데, 각 단계별로 학습해야 할 회기(session)와 학습 목표가 설정된다.

한 회기(1 session)는 읽기와 쓰기를 학습하는 데 효과적인 교수 순서[3]에 따라 총 8개의 학습 활동으로 구성되었다. 각 회기의 학습 활동을 수행하는 과정을 평가하면서 목표치 도달 여부를 확인하고, 해당 회기의 학습 목표에 대해 반복이 필요한 경우 커리큘럼을 수정하여 재학습 할 수 있도록 회기를 수정한다.

현재 학습 단계의 모든 회기, 즉 모든 학습 목표 평가에서 목표 기준을 충족할 경우 다음 학습 단계로 나아가게 되고, 해당 학습 단계 내의 새로운 학습 회기들을 진행하게 된다. 만약 모든 단계를 완료하여 더 이상 넘어갈 단계가 없다면 한글 해득을 위한 학습이 종결된다. 추후 필요한 경우, 학습한 회기에 대해서는 자유롭게 반복 학습이 가능하도록 하였다.


Ⅳ. 시스템 구현

4-1 개발 환경

본 연구에서 개발 및 적용하는 한글 해득 앱의 하드웨어 및 소프트웨어 개발 환경은 다음 <표 2>와 같다.

Development Environment of Hangeul learning app.

4-2 메뉴 구조

본 연구의 주요 대상자가 난독증 학습자인 만큼 메뉴 구성 또한 단순하고 명확해야 한다. 복잡한 메뉴 구조는 난독증 학습자뿐 아니라 일반 사용자들 또한 지치게 만들고 사용을 포기하게 만든다. 이 때문에 사용자의 사용 흐름을 자연스럽게 유도하여 난독증 학습자들이 혼자서도 쉽게 다룰 수 있도록 메뉴를 구성하였다. 한글 해득 앱의 메뉴 구조는 <그림 5>와 같다.

Fig. 5.

Menu Structure of Hangeul learning app.

앱은 크게 수준 평가와 학습 메뉴로 구성되어 있다. 앱을 실행하면 수준 평가를 실시하게 되어 있으며, 음소 인식, 단어 읽기, 단어 쓰기에 대한 전반적인 평가가 음성 및 필기 인식 기술을 통해 행해진다. 수준 평가 결과는 학생 정보와 함께 저장되며, 분석 결과를 통해 학습자의 학습 단계와 커리큘럼이 구성된다.

수준 평가 완료 후, 앱을 실행하면 학습 메뉴 화면이 나오고, 학습자는 자신의 수준에 맞는 학습 단계의 활동들을 수행하게 된다. 학습 메뉴는 크게 음운 인식과 파닉스 활동으로 구성되어 있으며, 각 활동들이 차례로 제공된다. 학습 시에도 수준 평가 검사와 마찬가지로 모두 AI 인식 기술이 적용되어 있어 학습자가 학습하는 과정에서 수집되는 음성과 필기를 동시에 실시간으로 평가하고 이에 대한 시·청각 피드백을 제공한다.

4-3 AI 인식 기술

1) 음성 인식

실제 사용되고 있는 대부분의 음성 인식 기술은 실생활에서 자주 사용되는 음절, 단어 혹은 문장으로 자연스럽게 재구성해 주는 문법적인 역할의 인식 방식을 따른다. 그러나 본 연구에서 요구되는 음성 인식은 기존의 방식에서 벗어난, 학습자가 발화한 발음 그대로를 텍스트로 변환해 주는 인식이다. 앱 화면에 나타나는 글자를 학습자가 정확히 발음하였는지 평가할 수 있어야 하고, 오류가 있는 경우 교정할 수 있는 피드백을 제공해야 하기 때문이다. 또 본 연구의 주요 대상자인 난독증 학습자의 음성 특성에 적응한 음성 인식 기술이 필요하다. 이를 위해선 난독증 학습자들의 음성 데이터를 통해 음향 모델을 구축해야 하지만 학생 및 아동 음성 데이터는 성인 데이터에 비해 아주 적고 그중 난독증 학생의 음성 데이터는 거의 없는 수준이다. 따라서 본 연구에서는 음성 인식 분야에서 일반적으로 사용되는 어텐션(Attention) 기반의 알고리즘이 아닌, 모델 훈련에 사용되지 않은 단어나 글에 대해 인식하고 훈련에 사용할 특정 환경의 데이터(Domain data)가 충분하지 않을 때 사용할 수 있는 CRNN-CTC 딥러닝 알고리즘을 채택하였다. 훈련 음성 데이터는 음성 오픈 데이터들과 약 60명의 난독증 학생들을 통해 조용한 환경에서 직접 녹음하여 수집한 데이터들을 이용하였다. 그 결과 모든 단음절 및 음소 발음에 대해 평균 96.47% 의 인식 정확도를 보였다. <그림 6>은 음성 인식이 적용된 읽기 학습 활동의 화면 캡처 이미지이다.

Fig. 6.

Reading Learning Activity Screen with Speech Recognition

2) 필기 인식

일반적인 필기 인식 또한 음성 인식과 마찬가지로 실생활에서 자주 사용되는 음절, 단어 혹은 자연스러운 문장으로 재구성해 주는 문법적 역할의 인식 방식을 따른다. 그러나 본 연구에서는 기존 필기 인식 방식과 달리 학습자가 쓴 낱자 그대로를 텍스트로 변환해 주는 인식을 요구한다. 앱에서 나오는 소리를 듣고 이를 글자로 썼을 때 학습자가 정확하게 썼는지, 틀렸다면 어떤 글자를 틀렸는지 평가할 수 있어야 하고, 어떻게 교정해야 하는지에 대한 피드백이 제공되어야 하기 때문이다. 따라서 기존의 필기 인식 과정 중 후 처리는 진행하지 않고 인식돼 나온 그대로의 텍스트를 정답 글자와 비교하여 평가하도록 하였다. 훈련 필기 데이터는 한국어 손글씨 오픈 데이터와 약 160명의 난독증 학습자들이 태블릿 환경에 직접 쓴 손글씨를 수집하여 데이터로 이용하였다. 본 연구에서는 CNN 딥러닝 알고리즘 기반의 GoogLeNet 구조를 채택하여 필기 인식 모델을 훈련하였다. 또 이미지를 무작위 형태로 조작하여 더 많은 필체 유형을 만들어 낼 수 있는 데이터 증강 기법을 사용해 모델을 일반화하고, 인식률 향상에도 크게 기여하였다. 그 결과 모든 학습 단어 및 음절 필기에 대해 평균 98.83% 의 인식 정확도를 보였다. <그림 7>은 필기 인식이 적용된 쓰기 학습 활동의 화면 캡처 이미지이다.

Fig. 7.

Writing Learning Activity Screen with Handwriting Recognition


Ⅴ. 시스템 적용 및 검증

5-1 적용 대상 및 절차

본 연구에서 개발한 앱의 효과성을 검증하고자 난독증 학생 7명을 연구대상으로 하였다. 비언어 지능검사(K-CTONI-2; Korean Comprehensive Test of Nonverbal Intelligence–second edition)[31]를 실시하여 지능지수가 평균이며, 표준화 검사 결과 읽기와 쓰기 영역에서 16%ile 이하에 속한 학생들로 선정하였다. 지능검사로 많이 사용되는 K-WISC 검사는 언어성과 동작성 지능을 함께 측정하는데, 난독증의 경우 동작성 지수에 비해 언어성 지수가 낮게 나타나는 경향이 있어[32], 난독증 학생 선별 시 비언어성 지능검사를 사용하는 경우가 많다. 연구대상은 초등학교 1학년 5명, 2학년 2명으로 총 7명이었으며, 남학생 5명, 여학생 2명이었다. 학생들이 앱을 통해 학습한 기간은 2020년 8월부터 12월까지 총 3.5~4개월이었으며, 앱 사용 전과 후 동일한 표준화 검사를 실시하여 비교함으로써 앱의 효과성을 검증하였다. 검사는 1:1 개별검사로 실시되었으며, 검사에 소요된 시간은 약 40분 내외였다.

학습은 본 연구에 참여한 보조교사와 1:1 환경에서 이루어졌으며, 보조교사는 학습자가 스스로 앱을 통해 학습을 진행할 수 있도록 가이드 해 주는 역할을 담당하였다. 보조교사는 3시간의 오리엔테이션을 받고, 학습의 진행을 보조하였다.

5-2 검사 도구

1) 단어 인지

읽기 성취 및 읽기인지 처리능력 검사(RA-RCP; Reading Achievement & Reading Cognitive Processes Ability)[33]의 단어인지 검사를 실시하였다. 총 200개의 문항으로 구성되어 있으며, 학습자로 하여금 2-4음절로 구성된 단어를 읽도록 한다. 정확하게 읽으면 1점, 정확하게 읽지 못하면 0점으로 채점하였으며 연속해서 5문항을 틀리면 검사를 중지하였다.

2) 받아쓰기

한국어 읽기·쓰기 진단 검사(K-TOLD; the Korean Test Of Literacy Diagnosis)[34]의 받아쓰기 검사를 실시하였다. 총 35문항으로 2-4음절로 구성된 단어를 불러주고 학습자로 하여금 받아쓰게 한다. 정확하게 단어를 쓰면 1점, 정확하게 쓰지 못하면 0점으로 채점하였으며 연속해서 3문항을 틀리면 검사를 중지하였다.

3) 음운 인식

한국어 읽기·쓰기 진단 검사(K-TOLD; the Korean Test Of Literacy Diagnosis)[34]의 음운인식 검사를 실시하였다. 음절 탈락과 종성 탈락, 초성 탈락 영역으로 나누어져 있으며 각각 18문항으로 구성되어 있다. 세 영역의 점수를 합하여 총점을 계산하였으며, 연속해서 3문항을 틀리면 검사를 중지하였다.

4) 명명 속도

한국어 읽기·쓰기 진단 검사(K-TOLD)[34]의 명명 속도 검사를 실시하였다. 숫자 명명과 사물 명명으로 나누어져 있으며, 각각 A형과 B형으로 구성되어 있다. 응답한 시간(초)과 오반응 개수의 평균을 내어 원점수로 기록하였다.

5) 단기기억

한국어 읽기·쓰기 진단 검사(K-TOLD)[34]의 단기기억 검사를 실시하였다. 숫자와 음절을 기억하는 과제로 구성되어 있으며, 각각 24문항으로 이루어져 있다. 불러주는 숫자와 무의미 단어를 정확하게 따라 말하면 1점, 틀리면 0점으로 채점하였으며 연속해서 3문항을 틀리면 검사를 중지한다.

6) 비언어성 지능검사

한국 비언어 지능검사 2판(K-CTONI-2; Korean Comprehensive Test of Nonverbal Intelligence–second edition)[31]을 사용하였다. 그림과 도형 영역에서 각각 유추, 범주, 순서의 3영역의 소검사로 구성되어 있으며, 소검사 진행 시 3개를 연속적으로 틀릴 경우 검사를 중단하였다.

5-3 적용 결과

검사 자료 분석은 윌콕슨 부호 순위 검정(Wilcoxon signed rank test)을 사용하였다. T 검정과 같이 대응되는 두 그룹 간 차이가 있는지를 비교하나 표본의 크기가 10보다 작아 정규분포를 따르지 않을 때 주로 사용하는 비 모수적 분석 방법이다. 해당 검정을 통해 본 연구의 앱을 이용한 학습이 난독증 학생의 읽기와 쓰기, 음운처리 능력 향상에 미치는 효과를 검증하였다. <표 3>과 <표 4>는 사전, 사후 검사 결과를 분석한 윌콕슨 부호 순위 검정 결과를 나타낸 것이다. 사전, 사후 검사 결과는 원점수(Score) 단위로 기록하였으나, 명명 속도 항목은 시간(second) 단위로 기록하였다. 즉 원점수 단위는 수치가 클수록 높은 수준이고, 시간(초) 단위는 수치가 작을수록 높은 수준을 나타낸다. 각 항목별로 윌콕슨 부호 순위를 매기기 위한 사전, 사후 간 점수 차이 계산은 사전 점수에서 사후 점수를 빼는 방식을 사용하였다. 명명 속도 항목은 단위 특성에 따라 사후 점수에서 사전 점수를 빼는 방식을 사용하였다. 검정은 점수의 단순 변화가 아닌 향상에 초점을 두므로 유의 확률 p 값을 이용한 단 측(one-tailed) 검정을 실시하였다.

Pre and post diagnosis results

Wilcoxon signed rank test result

먼저 단어 인지에서는 사전 평균 58.43점, 사후 평균 88.29점으로 점수가 향상되었고, 사후 점수가 사전 점수보다 크다는 것을 의미하는 음의 순위 합은 15.0으로 나타났다. 이를 통해 계산한 유의 확률 p 값은 0.0215로(p < .05) 본 연구의 앱을 이용한 학습 후 단어 인지에서 유의한 향상이 있었다.

받아쓰기에서는 사전 평균 2.57점, 사후 평균 4.14점으로 약간의 향상이 있었으며, 음의 순위 합은 11.5, 양의 순위 합은 3.5로 나타났다. 이를 통해 계산한 유의 확률 p 값은 0.1381로 (p > .05) 받아쓰기 수준에서는 유의한 향상이 나타나지 않았다.

음운처리 영역을 살펴보면, 음운 인식에서 사전 평균 16.14점, 사후 평균 28.43점으로 향상되었고, 음의 순위 합은 28.0으로 나타났다. 이를 통해 계산한 유의 확률 p 값은 0.0078로(p < .05) 음운 인식에서 유의한 향상이 있었다.

단기 기억에서는 사전 평균 18점, 사후 평균 24.29점으로 향상되었고, 음의 순위 합은 28.0으로 나타났다. 이를 통해 계산한 유의 확률 p 값은 0.0078로(p < .05)로 단기 기억에서 유의한 향상이 있었다.

마지막으로 명명 속도에서는 사전 평균 65.48초, 사후 평균 41.00초로 평균 시간이 단축되었으며, 음의 순위 합은 28.0이었다. 단위 특성에 따라 사전 측정 시간이 사후 측정 시간보다 크면 향상이 있는 것이다. 이를 통해 계산한 유의 확률 p 값은 0.0078로(p < .05)로, 명명 속도에서 유의한 향상이 있었다.

이와 같은 결과를 통해 본 연구에서 개발한 앱이 난독증 학생들의 읽기와 음운처리 능력 향상에 긍정적인 영향을 미쳤다는 것을 확인할 수 있었다.


Ⅵ. 결론 및 향후 연구과제

한글 해득은 학습뿐만 아니라 실생활에서 필수적인 요소로 학교 교육과정에서 성취해야 하는 기초학력이다. 따라서 전 세계적으로 난독증 학생들을 위한 국가적인 지원이 계속되고 있고, 한국에서도 다양한 지원과 노력들이 이루어지고 있다[35]. 난독증은 음운 인식과 파닉스 교육을 통해 개별 맞춤 한글 교육이 요구되는데, 아직 학교 현장에는 이들을 지도할 전문가나 전문 프로그램이 매우 부족한 상태이다. 이를 지원하기 위해 서울시교육청 등 지역교육청에서는 전문기관을 지정하고 교육비를 지원하는 바우처 사업을 실시하고 있다. 그러나 아동을 데리고 기관을 방문할 보호자가 없는 경우에는 지원을 포기해야 하고, 팬데믹으로 인해 면대면 수업이 불가능해 큰 공백이 발생하면서 난독증 학습자들의 어려움은 더욱 커지게 되었다. 따라서 본 연구에서는 난독증 학습자를 위한 AI 기반의 한글 해득 앱을 개발하여 이들이 시공간의 제약 없이, 전문가가 없어도 체계적인 한글 학습을 할 수 있도록 시스템을 설계, 구현하고 이를 적용하여 그 효과성을 검증하였다.

본 연구에서 개발한 한글 해득을 위한 앱은 다음과 같은 특징을 갖는다. 첫째, 난독증 학습자의 한글 해득을 위해 음운 인식과 파닉스 학습 활동으로 구성되었다. 사람의 말소리에 대한 민감성을 높이고, 소리와 낱자의 대응 관계를 학습함으로써 이를 읽고 쓰는 데 적용할 수 있는 능력을 향상시킨다.

둘째, 음성과 필기 인식을 통해 학습자가 AI 교사와 함께 학습의 과정을 수행하도록 개발되었다. 학습자의 수행을 즉시 평가하고 직접교수법에 기반한 즉각적인 교수 피드백을 제공함으로써 전문교사와 면대면으로 수업하는 형태와 동일하도록 구성하였다. 이를 통해 학습자는 학습 과정에서 어떻게 오류가 발생했고, 이를 어떻게 수정해 나가야 하는지 배움으로써 쌍방향 학습(interactive learning)이 가능하다.

셋째, AI 기반으로 학습자의 수행을 실시간으로 평가하고 이를 분석하여 개별 맞춤 학습이 가능하도록 하였다. 난독증 학습자의 발달 수준은 아동마다 다르며, 어려움을 느끼는 정도가 다양하다. 따라서 동일한 단계와 학습 목표로는 효과적인 학습이 이루어지기 어렵다. 학습자의 발달 수준과 수행 진전도에 따라 개별 맞춤화된 커리큘럼이 제공됨으로써 자기주도적 학습이 가능하다.

마지막으로 게이미피케이션 모델을 적용한 학습 활동을 구성함으로써 흥미와 학습동기를 높이고, 지루할 수 있는 반복 학습이 가능하도록 개발하였다. 수준이 다른 캐릭터들을 학습자가 선택하고 대결함으로써 흥미와 보상을 얻게 되어 학습에 지속적으로 참여하도록 유도하였다.

지금까지 학습자의 음성과 필기를 실시간으로 인식하고, 평가 및 피드백을 제공하면서 개별 맞춤 학습이 가능한 한글 학습 프로그램은 없었다. 본 연구에서는 AI 기반의 음성과 필기 인식 기술과 음운 인식, 파닉스 교수법을 결합한 난독증 학습자를 위한 한글 해득 앱을 제안하였다. 개발한 한글 해득 앱을 적용한 결과는 다음과 같았다.

첫째, 난독증 학습자의 단어 읽기 능력이 향상되었다. 앱 사용 전에 비해 평균 29.86점이 높았으며, 이는 통계적으로 유의미한 변화였다. 이를 통해 파닉스 원리를 적용하여 단어를 정확하게 읽어내는 능력이 향상되었음을 확인할 수 있었다. 둘째, 난독증 학습자의 받아쓰기 점수가 앱 사용 전에 비해 평균 1.57점이 높아졌으나, 통계적으로 유의미한 수준은 아니었다. 이는 쓰기능력의 향상이 읽기 능력의 향상보다 더디게 나타난다는 선행연구와도 같은 결과이다[4]. 그러나 학습자의 쓰기 응답을 분석해 보면, 소리 나는 대로 써서(예, 등뿔) 틀린 오류가 많아 파닉스 규칙을 단어 쓰기에도 적용하고 있음을 확인할 수 있었다. 표준화된 쓰기 검사에서는 파닉스 규칙이 적용되는 단어(예, 나라) 외에도 음운변동이 적용된 단어(예, 등불)도 함께 제시가 되기 때문에 파닉스 규칙만을 적용해서는 높은 점수를 받기 어렵다. 따라서 표준화된 검사 결과에서 유의미한 향상을 나타낼 만큼 쓰기 수행에 향상을 보이기 위해서는 파닉스 규칙뿐만 아니라 형태소와 음운변동에 대한 지식에 대한 학습이 더 필요하다.

마지막으로 읽기와 쓰기에 필수적인 인지처리 영역인 음운처리에서도 향상이 있었다. 음운처리 능력은 음운 인식과 명명 속도, 단기 기억 과제로 측정하였다. 먼저 음운 인식에서는 앱 사용 전에 비해 평균 12.29점, 단기기억에서는 평균 6.29점이 높아졌고, 명명 속도에서는 평균 24.48초가 단축되었으며 모두 통계적으로 유의미한 향상을 보였다. 난독증 학습자들은 음운처리 영역에서의 결손으로 읽기와 쓰기가 어렵기 때문에 읽고 쓰기 위해서는 음운처리 능력 발달이 선행되어야 한다. 본 연구에서도 음운처리 능력이 발달하면서 읽기와 쓰기 능력도 향상되었음을 확인할 수 있었다.

본 연구의 향후 연구과제는 다음과 같다. 첫째, 본 연구에서 개발된 앱은 한글 해득 단계에 초점을 맞춘 프로그램으로 한글을 소리 나는 대로 읽고 쓸 수 있도록 하는 데 목적이 있다. 따라서 한글 해득 이후 학습이 필요한 형태소나 어휘 학습을 위한 프로그램 개발을 위한 연구가 필요하다. 둘째, 학습자의 음성이 작거나, 주변 소음이 있는 환경에서도 음성을 정확하게 인식할 수 있도록 기술을 고도화시켜야 한다.

References

  • A. J. Lee and Y. D. Lee, “An Analysis of the Local Ordinance for Supporting to Students with Dyslexia,” Korean Journal of Special Education, vol. 54, no. 1. Korean Society of Special Education, pp. 91–119, 30-Jun-2019. [https://doi.org/10.15861/kjse.2019.54.1.91]
  • O. R. Kang, Y. O. Kim, J. H. Woo and C. S. Byun, "A Study of Comparison of Reading Characteristics among Students with Dyslexia at Risk, Underachievers in Reading, and General Students by Using a Dyslexia Screening Checklist,” The Korean Journal of Learning Disabilities, vol. 11, no. 3, pp. 93-116, 2014
  • A. J. Lee and M. W. Yang, “Using a Three-tier RTI Model to Explore the Effects of Hangul Phonics Intervention,” The Journal of Elementary Education, vol. 30, no. 3, pp. 97-123, 2017
  • A. J. Lee and M. W. Yang, “The Effects of Hangul Phonics Intervention on the Spelling Letter Knowledge, and Phonological Processing Skills of Students with Dyslexia,” The Korean Journal of Learning Disabilities, vol. 15, no. 1, pp. 145-163, 2018 [https://doi.org/10.47635/KJLD.2018.15.1.145]
  • H. K. Yoon, “The Characteristics of Decoding Process in Korean Scripts, Hangul,” The Korean Journal of the Human Development, vol. 8, no. 1, pp. 27-43, 2001
  • National Reading Panel (US) and D. N. Langenberg, Teaching Children to Read: An Evidence Based Assessment of The Scientific Research Literature on Reading and Its Implications for Reading Instruction. Vineyard Video Productions, 2000.
  • L. C. Ehri, S. R. Nunes, S. A. Stahl and D. M. Willows, “Systematic phonics instruction helps students learn to read: Evidence from the National Reading Panel’s meta-analysis,” Review of educational research, vol. 71, no. 3, pp. 393-447, 2001 [https://doi.org/10.3102/00346543071003393]
  • Swanson, H. Lee, K. R. Harris, and S. Graham, eds. Handbook of learning disabilities. Guilford press, 2013.
  • D. P. Bryant et al., “The effects of tier 2 intervention on the mathematics performance of first-grade students who are at risk for mathematics difficulties,” Learning Disability Quarterly, vol. 31, no. 2. SAGE Publications, pp. 47–63, May-2008. [https://doi.org/10.2307/20528817]
  • S. Engelmann, “Student-program alignment and teaching to mastery,” In 25th National Direct Instruction Conference. Eugene, OR: Association for Direct Instruction. http://www.studentnet.edu.au/aispd/newsletters/newsletters/archive/term2-01/speced.pdf, . 1999.
  • T. SITZMANN, “A meta-analytic examination of the instructional effectiveness of computer-based simulation games,” Personnel Psychology, vol. 64, no. 2. Wiley, pp. 489–528, 27-May-2011. [https://doi.org/10.1111/j.1744-6570.2011.01190.x]
  • J. S. Kim and N. J. Park, “Development of a Board Game-Based Gamification Learning Model for Training on the Principles of Artificial Intelligence Learning in Elementary Courses,” Korean Association of Information Education, vol. 23, no. 3, pp. 229-235, 2019 [https://doi.org/10.14352/jkaie.2019.23.3.229]
  • E. J. Gu, S. M. Kim and O. R. Kang, “Tasks to Revitalize Smart Learning of Elementary Special Class,” The Korean Journal of Learning Disabilities, vol. 14, no. 2, pp. 145-167, 2017
  • H. Y. Park, H. S. Kim and K. E. Nam, “Education of Korean Language Using Smart Devices ;case study of korean Language Applications,” Korean HCI Society Conference, pp. 386-388, 2012.
  • E. S. Jang, “Research on Students’ and Teachers’ Perceptions of Media Utilization in Korean Language Courses in Smart Environments,” Korean Language Education 54, pp. 277-314, Feb-2014 [https://doi.org/10.17247/jklle.2014..54.277]
  • K. A. Kim, “Effects of Board Game Activities on the Self-Concept and Adaptive Behavior of Educationally Retarded Children,” The Journal of Play Therapy, vol. 13, no. 1, pp. 61-74, 2009.
  • M. Y. Kwon, “Effects of Game Play on Self-Regulation and Maladaptive Behavior of Children with Learning Disabilities," Journal of Special Education: Theory and Practice, vol. 16, no. 2, pp. 187-211, Jun-2015
  • A. Graves, S. Fernández, F. Gomez, and J. Schmidhuber, “Connectionist temporal classification,” Proceedings of the 23rd international conference on Machine learning  - ICML ’06. ACM Press, 2006. [https://doi.org/10.1145/1143844.1143891]
  • W. Chan, N. Jaitly, Q. Le, and O. Vinyals, “Listen, attend and spell: A neural network for large vocabulary conversational speech recognition,” 2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, Mar-2016. [https://doi.org/10.1109/ICASSP.2016.7472621]
  • A. Graves, “Sequence Transduction with Recurrent Neural Networks.” arXiv, 2012. [https://doi.org/10.48550/arXiv.1211.3711]
  • A. Gulati et al., “Conformer: Convolution-augmented Transformer for Speech Recognition,” Interspeech 2020. ISCA, 25-Oct-2020. [https://doi.org/10.21437/Interspeech.2020-3015]
  • D. Giuliani and M. Gerosa, “Investigating recognition of children’s speech,” 2003 IEEE International Conference on Acoustics, Speech, and Signal Processing, 2003. Proceedings. (ICASSP ’03). IEEE.
  • S. Narayanan and A. Potamianos, “Creating conversational interfaces for children,” IEEE Transactions on Speech and Audio Processing, vol. 10, no. 2. Institute of Electrical and Electronics Engineers (IEEE), pp. 65–78, 2002. [https://doi.org/10.1109/89.985544]
  • J. E. Huber, E. T. Stathopoulos, G. M. Curione, T. A. Ash, and K. Johnson, “Formants of children, women, and men: The effects of vocal intensity variation,” The Journal of the Acoustical Society of America, vol. 106, no. 3. Acoustical Society of America (ASA), pp. 1532–1542, Sep-1999. [https://doi.org/10.1121/1.427150]
  • D. Elenius and M. Blomberg, “Comparing Speech Recognition for Adults and Children,” Proceedings of FONETIK 2004, pp. 156-159, 2004
  • O. Russakovsky et al., “ImageNet Large Scale Visual Recognition Challenge,” International Journal of Computer Vision, vol. 115, no. 3. Springer Science and Business Media LLC, pp. 211–252, 11-Apr-2015. [https://doi.org/10.1007/s11263-015-0816-y]
  • A. Krizhevsky, I. Sutskever, and G. E. Hinton, “ImageNet classification with deep convolutional neural networks,” Communications of the ACM, vol. 60, no. 6. Association for Computing Machinery (ACM), pp. 84–90, 24-May-2017. [https://doi.org/10.1145/3065386]
  • C. Szegedy et al., “Going deeper with convolutions,” 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, Jun-2015. [https://doi.org/10.1109/CVPR.2015.7298594]
  • A. Al-Wabil, P. Zaphiris, and S. Wilson, “Web Navigation for Individuals with Dyslexia: An Exploratory Study,” Lecture Notes in Computer Science. Springer Berlin Heidelberg, pp. 593–602, 2007. [https://doi.org/10.1007/978-3-540-73279-2_66]
  • A. P. Freire, H. Petrie and C. D. Power, "Empirical results from an evaluation of the accessibility of websites by dyslexic users,” In Proceedings of the Workshop on Accessible Design in the Digital World. pp. 41-53. York, 2011.
  • H. W. Park, “Korean Comprehensive Test of Nonverbal Intelligence (2nd ed.)” Seoul: Mind Press, 2014.
  • S. J. Park, C. J. Lee and K. J. Kwak, “Cognitive Characteristic of 4th, 5th, 6th, grade Children with Reading Disability Reflected in K-WISC-3,” The Korean Journal of Developmental Psychology, vol. 14, no. 4, pp. 37-54, 2012.
  • A. H. Kim, U. J. Kim, M. A. Hwang and H. S. Yoo, “ln: Test of Reading Achievement and Reading Cognitive Processes Ability(RA-RCP),” Seoul: Hakjisa, 2014.
  • J. Y. Cho, Y. S. Kim and S. G. Park, “The Korean Test Of Literacy Diagnosis(K-TOLD),” Seongnam: Korean Guidance, 2018.
  • A. J. Lee, “Exploring Dyslexia for Educational Supports Beyond Screening and Diagnosis,” in The Routledge International Handbook of Dyslexia in Education, Routledge/Taylor & Francis Group, 2022.

저자소개

이애진(Ae-Jin Lee)

2014년 : 국민대학교 대학원 (교육학석사-교육심리상담 및 특수교육)

2017년 : 국민대학교 대학원 (교육학박사-교육심리상담 및 특수교육)

2013년~2014년: 경기도교육청 학습종합클리닉센터

2014년~2019년: 국민대학교 읽기쓰기클리니컬센터

2017년~2019년: 국민대학교 전임연구교수

2018년~현 재: 써큘러스리더(주) 교육연구소 소장

※관심분야 : 학습장애(Learning Disabilites), 난독(Dyslexia), 개별맞춤교육(Individually Tailored Education) 등

김기웅(Ki-Woong Kim)

2019년 : 서울과학기술대학교 산업공학 & 컴퓨터공학 (학사)

2020년~현 재: 써큘러스리더(주) 교육기술연구소 전임연구원

※관심분야 : Computer Vision, 자연어처리(NLP), 음성 인식(ASR), 머신러닝, 딥러닝 등

Fig. 1.

Fig. 1.
Process of speech recognition

Fig. 2.

Fig. 2.
Process of end-to-end speech recognition

Fig. 3.

Fig. 3.
Process of Optical character recognition

Fig. 4.

Fig. 4.
User Flow Chart on Hangeul learning app.

Fig. 5.

Fig. 5.
Menu Structure of Hangeul learning app.

Fig. 6.

Fig. 6.
Reading Learning Activity Screen with Speech Recognition

Fig. 7.

Fig. 7.
Writing Learning Activity Screen with Handwriting Recognition

Table 1.

Case Study of Hangeul Education Applications

Sojung Hangeul TODO Hangeul
Accessibility App App
Learning Level Select Select
Curriculum Based on First evaluation Fixed & Free
Speaking Select Copy Speaking
Writing Copy Writing Copy Writing
Feedback Achievement Basic status (learning time, start time, etc.)
Gamification O O
Automatic
Evaluation
X X

Table. 2.

Development Environment of Hangeul learning app.

Variables Specification
H/W CPU Intel Core i7 processor
Memory 16 GB
Device Android’s Tablet IOS’s Tablet
S/W OS Linux/ubuntu
Language Android(JAVA), Swift, HTML, CSS, JavaScript, Python
Environment Android, IOS, API(FLASK)
Data Base MySQL

Table. 3.

Pre and post diagnosis results

Word recognition
(Score)
Spelling
(Score)
Phonological awareness
(Score)
Phonological memory
(Score)
Rapid naming
(second)
Pre Post Pre Post Pre Post Pre Post Pre Post
A 93 131 4 4 29 30 21 31 31.58 30.61
B 35 80 6 4 23 31 16 21 142.87 38.8
C 127 132 4 4 30 35 21 27 38.93 37.42
D 77 156 2 11 11 36 22 31 48.36 28.39
E 77 119 2 4 11 39 22 28 48.36 37.63
F 0 0 0 1 4 12 9 13 105.26 73.37
G 0 0 0 1 5 16 15 19 42.97 40.78

Table. 4.

Wilcoxon signed rank test result

Dependent Variables Mean W z
p* < .05
word recognition Pre 58.43 0.0 -2.02*
Post 88.29
spelling Pre 2.57 3.5 -1.09
Post 4.14
phonological processing phonological awareness Pre 16.14 0.0 -2.37*
Post 28.43
phonological memory Pre 18.0 0.0 -2.37*
Post 24.29
rapid naming Pre 65.48 0.0 -2.37*
Post 41.0