난독증 학습자를 위한 AI기반 한글 해득 프로그램 개발 및 효과 검증

Ⅰ. 서 론

난독증은 지능이 정상이고 듣고 말하는 데는 어려움이 없으나 읽고 쓰는 데 어려움이 있는 것으로, 학습장애의 하위 유형 중 하나이다[1]. 교육부가 발표한 통계에 따르면 국내 초등학생 4.6%, 약 12만 5천 명이 난독증인 것으로 보고되었다[2]. 최근 난독증 지원의 필요성에 대한 인식이 확산되면서 조례가 제정되고, 지원 근거가 마련이 되었으나 아직 교육 현장에서의 지원은 여전히 부족한 부분이 많다.

난독증 학생들은 음운 인식 교수와 함께 낱자와 소리의 대응 관계(파닉스)에 대한 교수가 이루어지지 않으면 한글 해득이 어렵다[3]-[4]. 한글은 자소와 음소의 대응 관계가 비교적 투명한 언어에 속하고, 음절 구조로 되어 있어 난독증이 있어도 외워서 읽고 쓰는 경우가 있으나 학년이 올라갈수록 한계가 드러난다. 초등학교 1, 2학년 때 한글 해득이 이루어지지 않으면 이로 인해 학습 전반에서 어려움을 겪게 되고 의사소통 및 사회성 발달에도 부정적 영향을 받게 된다. 대부분의 학생들은 별도의 파닉스 교육을 받지 않아도 한글을 해득하는 데 어려움이 없기 때문에 공교육에서는 난독증 학생들에 대한 이해가 낮고, 이들을 교육할 전문 인력은 매우 부족한 상태이다. 그래서 2020년부터 서울시 교육청과 경기도 교육청에서는 지역에 있는 난독증 치유 전문기관을 선정하고, 바우처를 제공하여 학생들로 하여금 전문기관의 교육 서비스를 받도록 지원하고 있다. 그러나, 시간과 거리의 제약으로 인해 학생과 함께 기관에 방문할 수 있는 여건이 안 되는 경우(맞벌이 가정, 한 부모 가정 등)에는 서비스를 포기하는 경우가 속출하고 있다. 그래서 학교 현장으로 전문 교사를 파견해 주길 원하는 경우가 많으나, 학교에 전문 교사를 파견하는 데는 물리적 어려움이 많아 그 수요를 따라가지 못하고 있다.

교육 현장에서 난독증 학생들이 전문적인 서비스를 받기 위해서는 교사와 학습자가 전문적인 지식이 없어도 쉽게 사용할 수 있는 전문적이고 체계적인 학습 교구가 마련되어야 한다. 그러면 교사는 전문 영역을 이해하고 교수해야 하는 부담을 덜고, 격려와 상담 등 정서적 지원에 집중함으로써 학생들의 한글 해득의 과정을 지원할 수 있을 것이다. 본 연구에서 제안하는 AI기반 한글 해득 프로그램을 통해 개별 맞춤 교육이 필요한 난독증 학습자들을 선별하고 이들의 발달 수준에 맞춘 체계적이고 전문적인 교육을 제공할 수 있는 방안을 제시할 수 있다고 기대한다. 이에 본 연구에서는 학교 현장이나 가정에서 난독증 학습자들의 어려움을 해소하기 위한 효과적인 한글 해득 프로그램을 개발하고, 그 효과성을 검증함으로써 한글 해득 프로그램의 적용 가능성을 탐색하고자 한다. 이러한 목적을 달성하기 위한 구체적인 연구 문제는 다음과 같다. 첫째, 난독증 학습자를 위한 한글 해득 프로그램은 어떻게 구성되어야 하는가? 둘째, 한글 해득 프로그램은 난독증 학습자들의 읽기・쓰기 능력을 향상시키는가?

Ⅱ. 이론적 배경

2-2 AI 인식기술의 배경

1) 음성 인식

자동 음성 인식(Automatic speech recognition) 또는 Speech-to-Text(STT)라고도 부르는 음성 인식은 컴퓨터가 사람의 발화를 듣고 해석해 텍스트로 변환해 주는 기술이다. 음성 인식은 발음을 단순히 음소, 음절이나 단어, 문장 형태의 문자로 변환하는 것 외에 음성 분석, 화자 인식, 문장 해석 등 다양한 분야로 사용된다. 이러한 음성 인식을 통해 얻은 결과는 문자를 입력하거나, 전자기기의 제어 등의 분야에 사용될 수 있다.

일반적으로 음성 인식은 녹음 기기를 통해 얻은 음성신호로부터 추출한 특징을 각 분야에 맞는 음성 데이터베이스로 학습시킨 음향 모델에 거쳐 출력을 얻어내는 방법으로 이루어진다. 더 나아가 고립된 단어 리스트에서의 음성 인식이 아닌 일상에서의 자유 발화를 정확한 문장으로 변환시키고자 음향 모델에 덧붙여 언어 모델을 사용하기도 한다. 언어 모델이란 전후의 단어들을 고려해 특정 단어가 나타날 확률을 계산하여 다음 단어를 예측하거나 빈칸의 단어를 예측하여 완전하고 정확한 문장으로 재구성해 주는 문법의 역할을 하는 모델이다. 하지만 최근에는 종단 간(end-to-end) 음성 인식이라 하여 음향 모델과 별도로 훈련된 언어 모델을 결합할 필요 없이 하나의 신경망을 통해 한 번에 처리하는 기술이 흔히 사용된다. 대표적 종단 간 음성 인식 모델로는 Connectionist Temporal Classification(CTC)[18], Listen Attend and Spell(LAS)[19], RNN-Transducer[20], Conformer[21] 등 이 있고 최근에는 Attention 기반의 모델들이 활발히 연구되고 있다. <그림 1>은 음성 인식의 기본적인 과정을, <그림 2>는 종단 간 음성 인식의 과정을 나타낸 것이다.

Fig. 1.

Process of speech recognition

Fig. 2.

Process of end-to-end speech recognition

음성 인식에서 음향학적 모델링만으로는 자주 사용하지 않는 단어나 음절, 비슷한 발음의 음절 발음을 구별하는 데 한계가 있다. 자주 사용하지 않는 발음들에 대해서는 데이터가 많지 않을뿐더러, 같은 말을 한다 해도 사람마다 발음이 다르고 발화 속도, 목소리의 굵기 또한 모두 개인차가 있기에 음향 특성 또한 달라지는 것이다. 또 발음에 주의하여 발화하지 않는 경우에는 전혀 다른 문자로 인식해 낼 확률이 높다. 본 연구의 주요 대상자인 아동 음성 인식의 경우에도 어려움이 존재한다. 아동 음성의 음향학적 특징은 성인 음성의 특징과는 크게 다르다[22]. 아동 음성은 포먼트, 음의 높낮이, 음의 길이 및 성도의 길이 등의 음향학적 특성들이 연령에 의존적인 구조를 보인다[23]. 아동이 시간이 지나 성장함에 따라 포먼트 주파수는 감소하고, 성도 길이는 길어진다는 것이다[24]. 따라서 성인의 음성 데이터로 훈련한 음향 모델을 통해 아동 음성을 인식할 경우 음향학적 특성이 매우 달라 인식 정확도가 현저히 떨어지게 된다[25]. 이러한 이유로 아동 음성 인식 모델은 인식 대상의 연령에 맞는 아동들의 음성 데이터를 사용하여 훈련해야 하지만 아동 음성 데이터양은 성인 음성 데이터에 비해 현저히 적은 실정이다.

2) 필기 인식

필기 인식(Handwriting Recognition)은 프로그램을 통해 컴퓨터가 사람의 손글씨 혹은 필기체를 텍스트 형식으로 번역해 주는 기술이다. 일반적으로 캔버스 장치에 문자를 직접 써서 컴퓨터에 문자를 입력하는 방식을 사용하는데, 누구나 종이에 글을 쓰듯 사용할 수 있어 컴퓨터나 모바일 자판 사용에 어려움을 겪는 사람들도 부담 없이 이용할 수 있다. 필기 인식은 현재 스마트폰뿐만 아니라 자동차, 전자 칠판, 스마트워치 등 다양한 전자기기에서 문자 입력을 위한 기술로 흔하게 사용되고 있다.

필기 인식 분야에서 또한 신경망을 통한 연구가 활발히 진행되고 있다. 이미지 인식에서 대표적인 Convolutional Neural Network(CNN)구조 모델로는 IMAGENET[26], AlexNet[27], GoogLeNet[28] 등 이 있고, 필기 인식 연구 또한 이들을 기반으로 흔히 이루어진다.

일반적으로 필기 인식은 글자가 쓰인 문서를 이미지로 입력받아 효과적인 문자 인식이 가능하도록 전 처리를 진행하고 이미지로부터 글자 인식을 진행하게 된다. 만약 인식하려는 글자의 내용적인 부분에서 부자연스러운 단어나 문자가 포함되어 있다면 이를 자연스럽게 변환해 주는 후 처리를 해줌으로써 인식 정확도를 좀 더 높여 주게 된다. <그림 3>은 필기 인식의 기본적인 과정을 나타낸 것이다.

Fig. 3.

Process of Optical character recognition

필기 인식은 필체에 따라서도 그 난이도가 달라지는데 일반적으로 흘림체 인식의 난이도가 정자체 인식에 비해 더 어렵다고 평가된다. 모든 사람이 각자만의 필기 방식을 갖고 있어 엄청나게 다양한 필체가 존재한다는 것이 그 이유이다. 음성 데이터와 마찬가지로 성인 필기체 데이터에 비해 아동 필기체 데이터양은 현저히 적은 수준이다. 특히 난독증 학습자들은 대체로 글자의 균형이 맞지 않거나 자소를 반전시키는 경우가 많고, 한글에 존재하지 않는 조합(예, 겹받침 ‘ㄹㄱ’을 ‘ㄱㄹ’으로, 초성 ‘ㄱㅋ’, ‘ㅋㅋ’로 쓰는 경우)으로 쓰는 경우가 많은데 이에 대한 데이터는 거의 존재하지 않았다.

2-3 관련 국내 프로그램

현재 다양한 학습 앱이 개발 출시되고 있으나, 난독증 학습자를 위한 한글 해득 앱은 ‘소중한글’이 유일하며, 최근 난독증 학습자에게 필수적인 한글 파닉스 교수법(소리 중심 교수법)을 적용하여 출시된 ‘토도한글’이 있어, 이 두 프로그램을 대상으로 직접 사용해보며 분석하였다. <표 1>은 대상 앱들을 분석한 결과를 나타낸 것이다. 두 가지 앱 모두 읽기, 쓰기, 듣기, 말하기의 영역을 다루고 있으며, 이를 게임 형태의 다양한 학습활동으로 제공하고 성취도나 학습 현황을 제시하여 현재 학습의 진행 상황을 파악할 수 있다. 학습 단계나 커리큘럼은 학습자의 선택 또는 진단평가 결과에 따라 구성되었다. 읽기 영역의 경우에는 두 프로그램 모두 앱에서 나오는 소리를 듣고 따라 읽거나, 읽은 소리가 녹음 되어 앞서 제시된 음성과 함께 녹음된 음성이 나오는 방식이었다.

Table 1.

Case Study of Hangeul Education Applications

쓰기 영역은 화면에 표시되는 획을 따라 쓰는 방식으로 진행되었다. 읽기와 쓰기 모두 학습자의 음성이나 필기 오류에 대한 피드백은 별도로 제공되지 않았다.

본 연구에서 개발하고자 한 앱도 난독증 학습자의 한글 해득에 효과적인 교수법인 음소인식 활동을 포함한 한글 파닉스(소리 중심 교수법)와 게이미피케이션을 적용한 학습 활동들로 구성되었다는 점은 선행 프로그램들과 비슷하다. 그러나 본 연구에서 개발하고자 한 앱과 기존 프로그램들과는 아래와 같은 차이점이 있다. 먼저 읽기와 쓰기를 학습하는 과정에서 제일 중요한 학습자의 음성과 필기를 실시간으로 인식하고, 오류가 있는 부분에 대해 즉각적인 교수 피드백을 줄 수 있도록 AI 기반의 음성 및 필기 인식 기술을 적용하였다는 점이 가장 큰 차별점이다. 학습자가 스스로 글자를 정확하게 읽었는지 검증받고, 오류가 있는 경우 효과적인 교수 피드백을 통해 읽기 기술을 습득해 나가야 하므로 본 연구에서는 직접교수법을 적용한 실시간 교수 피드백을 제공하고자 하였다. 쓰기의 경우도 학습자가 자신이 쓴 글자가 정확하게 철자 되었는지를 검증받고, 오류가 있는 경우 실시간으로 교수 피드백을 받음으로써 읽기와 쓰기 기술을 모두 습득할 수 있게 된다. 더불어 초기 진단평가뿐만 아니라, 학습이 진행되는 상황에서의 학습 수행을 평가하여 반복이 필요하거나, 이미 습득하여 학습이 필요 없는 부분들을 넘어갈 수 있도록 커리큘럼이 실시간으로 변경되도록 구성하였다. 이와 같은 차이점을 통해 난독증 학습자가 전문교사 없이도 자기주도적으로 효과적인 학습을 할 수 있도록 ‘AI 기반 난독증 학습자들을 위한 한글 교육 앱’을 제안한다.

Ⅲ. 시스템 설계

3-2 한글 해득 앱 설계

본 연구에서 개발 및 적용하는 한글 해득 앱은 난독증 학습자에게 전문적인 교수법으로 학습자의 발달 수준에 맞춘 개별화된 학습 과정을 통해 한글을 가르치는 AI 한글 교사의 역할을 한다. 난독증 학습자가 가지고 있는 인지 처리능력의 결함을 극복하고, 학습을 통해 한글 해득을 이루는 데 목적이 있다. 한글 해득을 통해 학습뿐만 아니라 실생활에서도 어려움을 겪지 않도록 하는 데 의의를 둔다.

본 연구에서 개발하는 앱의 모든 학습활동은 학습자의 수준을 고려하여 진행된다. 본인에게 효과적이지 않은 학습을 함에 따라 발생하는 비효율을 방지하고 단기간에 수준 향상을 이룰 수 있는 최적의 학습 과정을 따르게 하기 위함이다. 학습의 시작과 끝은 물론이고 학습 도중에도 여러 번 이루어지는 수준 평가를 통해 학습자의 학습 수준을 실시간으로 추적하게 되고, 그에 따라 학습자의 학습 커리큘럼이 수정, 보완된다. 한글 해득 앱의 학습 순서는 <그림 4>와 같이 구성되어 있다.

Fig. 4.

User Flow Chart on Hangeul learning app.

학습자가 한글 해득 앱을 실행하게 되면 가장 먼저 수준 평가를 받게 된다. 수준 평가 문제들을 모두 풀고 나면 본인의 평가 결과를 받게 되고, 이를 기반으로 학습 단계 및 개인별 커리큘럼이 생성되는데, 각 단계별로 학습해야 할 회기(session)와 학습 목표가 설정된다.

한 회기(1 session)는 읽기와 쓰기를 학습하는 데 효과적인 교수 순서[3]에 따라 총 8개의 학습 활동으로 구성되었다. 각 회기의 학습 활동을 수행하는 과정을 평가하면서 목표치 도달 여부를 확인하고, 해당 회기의 학습 목표에 대해 반복이 필요한 경우 커리큘럼을 수정하여 재학습 할 수 있도록 회기를 수정한다.

현재 학습 단계의 모든 회기, 즉 모든 학습 목표 평가에서 목표 기준을 충족할 경우 다음 학습 단계로 나아가게 되고, 해당 학습 단계 내의 새로운 학습 회기들을 진행하게 된다. 만약 모든 단계를 완료하여 더 이상 넘어갈 단계가 없다면 한글 해득을 위한 학습이 종결된다. 추후 필요한 경우, 학습한 회기에 대해서는 자유롭게 반복 학습이 가능하도록 하였다.

Ⅳ. 시스템 구현

4-1 개발 환경

본 연구에서 개발 및 적용하는 한글 해득 앱의 하드웨어 및 소프트웨어 개발 환경은 다음 <표 2>와 같다.

Table. 2.

Development Environment of Hangeul learning app.

4-2 메뉴 구조

본 연구의 주요 대상자가 난독증 학습자인 만큼 메뉴 구성 또한 단순하고 명확해야 한다. 복잡한 메뉴 구조는 난독증 학습자뿐 아니라 일반 사용자들 또한 지치게 만들고 사용을 포기하게 만든다. 이 때문에 사용자의 사용 흐름을 자연스럽게 유도하여 난독증 학습자들이 혼자서도 쉽게 다룰 수 있도록 메뉴를 구성하였다. 한글 해득 앱의 메뉴 구조는 <그림 5>와 같다.

Fig. 5.

Menu Structure of Hangeul learning app.

앱은 크게 수준 평가와 학습 메뉴로 구성되어 있다. 앱을 실행하면 수준 평가를 실시하게 되어 있으며, 음소 인식, 단어 읽기, 단어 쓰기에 대한 전반적인 평가가 음성 및 필기 인식 기술을 통해 행해진다. 수준 평가 결과는 학생 정보와 함께 저장되며, 분석 결과를 통해 학습자의 학습 단계와 커리큘럼이 구성된다.

수준 평가 완료 후, 앱을 실행하면 학습 메뉴 화면이 나오고, 학습자는 자신의 수준에 맞는 학습 단계의 활동들을 수행하게 된다. 학습 메뉴는 크게 음운 인식과 파닉스 활동으로 구성되어 있으며, 각 활동들이 차례로 제공된다. 학습 시에도 수준 평가 검사와 마찬가지로 모두 AI 인식 기술이 적용되어 있어 학습자가 학습하는 과정에서 수집되는 음성과 필기를 동시에 실시간으로 평가하고 이에 대한 시·청각 피드백을 제공한다.

4-3 AI 인식 기술

1) 음성 인식

실제 사용되고 있는 대부분의 음성 인식 기술은 실생활에서 자주 사용되는 음절, 단어 혹은 문장으로 자연스럽게 재구성해 주는 문법적인 역할의 인식 방식을 따른다. 그러나 본 연구에서 요구되는 음성 인식은 기존의 방식에서 벗어난, 학습자가 발화한 발음 그대로를 텍스트로 변환해 주는 인식이다. 앱 화면에 나타나는 글자를 학습자가 정확히 발음하였는지 평가할 수 있어야 하고, 오류가 있는 경우 교정할 수 있는 피드백을 제공해야 하기 때문이다. 또 본 연구의 주요 대상자인 난독증 학습자의 음성 특성에 적응한 음성 인식 기술이 필요하다. 이를 위해선 난독증 학습자들의 음성 데이터를 통해 음향 모델을 구축해야 하지만 학생 및 아동 음성 데이터는 성인 데이터에 비해 아주 적고 그중 난독증 학생의 음성 데이터는 거의 없는 수준이다. 따라서 본 연구에서는 음성 인식 분야에서 일반적으로 사용되는 어텐션(Attention) 기반의 알고리즘이 아닌, 모델 훈련에 사용되지 않은 단어나 글에 대해 인식하고 훈련에 사용할 특정 환경의 데이터(Domain data)가 충분하지 않을 때 사용할 수 있는 CRNN-CTC 딥러닝 알고리즘을 채택하였다. 훈련 음성 데이터는 음성 오픈 데이터들과 약 60명의 난독증 학생들을 통해 조용한 환경에서 직접 녹음하여 수집한 데이터들을 이용하였다. 그 결과 모든 단음절 및 음소 발음에 대해 평균 96.47% 의 인식 정확도를 보였다. <그림 6>은 음성 인식이 적용된 읽기 학습 활동의 화면 캡처 이미지이다.

Fig. 6.

Reading Learning Activity Screen with Speech Recognition

2) 필기 인식

일반적인 필기 인식 또한 음성 인식과 마찬가지로 실생활에서 자주 사용되는 음절, 단어 혹은 자연스러운 문장으로 재구성해 주는 문법적 역할의 인식 방식을 따른다. 그러나 본 연구에서는 기존 필기 인식 방식과 달리 학습자가 쓴 낱자 그대로를 텍스트로 변환해 주는 인식을 요구한다. 앱에서 나오는 소리를 듣고 이를 글자로 썼을 때 학습자가 정확하게 썼는지, 틀렸다면 어떤 글자를 틀렸는지 평가할 수 있어야 하고, 어떻게 교정해야 하는지에 대한 피드백이 제공되어야 하기 때문이다. 따라서 기존의 필기 인식 과정 중 후 처리는 진행하지 않고 인식돼 나온 그대로의 텍스트를 정답 글자와 비교하여 평가하도록 하였다. 훈련 필기 데이터는 한국어 손글씨 오픈 데이터와 약 160명의 난독증 학습자들이 태블릿 환경에 직접 쓴 손글씨를 수집하여 데이터로 이용하였다. 본 연구에서는 CNN 딥러닝 알고리즘 기반의 GoogLeNet 구조를 채택하여 필기 인식 모델을 훈련하였다. 또 이미지를 무작위 형태로 조작하여 더 많은 필체 유형을 만들어 낼 수 있는 데이터 증강 기법을 사용해 모델을 일반화하고, 인식률 향상에도 크게 기여하였다. 그 결과 모든 학습 단어 및 음절 필기에 대해 평균 98.83% 의 인식 정확도를 보였다. <그림 7>은 필기 인식이 적용된 쓰기 학습 활동의 화면 캡처 이미지이다.

Fig. 7.

Writing Learning Activity Screen with Handwriting Recognition

Ⅴ. 시스템 적용 및 검증

5-3 적용 결과

검사 자료 분석은 윌콕슨 부호 순위 검정(Wilcoxon signed rank test)을 사용하였다. T 검정과 같이 대응되는 두 그룹 간 차이가 있는지를 비교하나 표본의 크기가 10보다 작아 정규분포를 따르지 않을 때 주로 사용하는 비 모수적 분석 방법이다. 해당 검정을 통해 본 연구의 앱을 이용한 학습이 난독증 학생의 읽기와 쓰기, 음운처리 능력 향상에 미치는 효과를 검증하였다. <표 3>과 <표 4>는 사전, 사후 검사 결과를 분석한 윌콕슨 부호 순위 검정 결과를 나타낸 것이다. 사전, 사후 검사 결과는 원점수(Score) 단위로 기록하였으나, 명명 속도 항목은 시간(second) 단위로 기록하였다. 즉 원점수 단위는 수치가 클수록 높은 수준이고, 시간(초) 단위는 수치가 작을수록 높은 수준을 나타낸다. 각 항목별로 윌콕슨 부호 순위를 매기기 위한 사전, 사후 간 점수 차이 계산은 사전 점수에서 사후 점수를 빼는 방식을 사용하였다. 명명 속도 항목은 단위 특성에 따라 사후 점수에서 사전 점수를 빼는 방식을 사용하였다. 검정은 점수의 단순 변화가 아닌 향상에 초점을 두므로 유의 확률 p 값을 이용한 단 측(one-tailed) 검정을 실시하였다.

Table. 3.

Pre and post diagnosis results

Table. 4.

Wilcoxon signed rank test result

먼저 단어 인지에서는 사전 평균 58.43점, 사후 평균 88.29점으로 점수가 향상되었고, 사후 점수가 사전 점수보다 크다는 것을 의미하는 음의 순위 합은 15.0으로 나타났다. 이를 통해 계산한 유의 확률 p 값은 0.0215로(p < .05) 본 연구의 앱을 이용한 학습 후 단어 인지에서 유의한 향상이 있었다.

받아쓰기에서는 사전 평균 2.57점, 사후 평균 4.14점으로 약간의 향상이 있었으며, 음의 순위 합은 11.5, 양의 순위 합은 3.5로 나타났다. 이를 통해 계산한 유의 확률 p 값은 0.1381로 (p > .05) 받아쓰기 수준에서는 유의한 향상이 나타나지 않았다.

음운처리 영역을 살펴보면, 음운 인식에서 사전 평균 16.14점, 사후 평균 28.43점으로 향상되었고, 음의 순위 합은 28.0으로 나타났다. 이를 통해 계산한 유의 확률 p 값은 0.0078로(p < .05) 음운 인식에서 유의한 향상이 있었다.

단기 기억에서는 사전 평균 18점, 사후 평균 24.29점으로 향상되었고, 음의 순위 합은 28.0으로 나타났다. 이를 통해 계산한 유의 확률 p 값은 0.0078로(p < .05)로 단기 기억에서 유의한 향상이 있었다.

마지막으로 명명 속도에서는 사전 평균 65.48초, 사후 평균 41.00초로 평균 시간이 단축되었으며, 음의 순위 합은 28.0이었다. 단위 특성에 따라 사전 측정 시간이 사후 측정 시간보다 크면 향상이 있는 것이다. 이를 통해 계산한 유의 확률 p 값은 0.0078로(p < .05)로, 명명 속도에서 유의한 향상이 있었다.

이와 같은 결과를 통해 본 연구에서 개발한 앱이 난독증 학생들의 읽기와 음운처리 능력 향상에 긍정적인 영향을 미쳤다는 것을 확인할 수 있었다.

Ⅵ. 결론 및 향후 연구과제

한글 해득은 학습뿐만 아니라 실생활에서 필수적인 요소로 학교 교육과정에서 성취해야 하는 기초학력이다. 따라서 전 세계적으로 난독증 학생들을 위한 국가적인 지원이 계속되고 있고, 한국에서도 다양한 지원과 노력들이 이루어지고 있다[35]. 난독증은 음운 인식과 파닉스 교육을 통해 개별 맞춤 한글 교육이 요구되는데, 아직 학교 현장에는 이들을 지도할 전문가나 전문 프로그램이 매우 부족한 상태이다. 이를 지원하기 위해 서울시교육청 등 지역교육청에서는 전문기관을 지정하고 교육비를 지원하는 바우처 사업을 실시하고 있다. 그러나 아동을 데리고 기관을 방문할 보호자가 없는 경우에는 지원을 포기해야 하고, 팬데믹으로 인해 면대면 수업이 불가능해 큰 공백이 발생하면서 난독증 학습자들의 어려움은 더욱 커지게 되었다. 따라서 본 연구에서는 난독증 학습자를 위한 AI 기반의 한글 해득 앱을 개발하여 이들이 시공간의 제약 없이, 전문가가 없어도 체계적인 한글 학습을 할 수 있도록 시스템을 설계, 구현하고 이를 적용하여 그 효과성을 검증하였다.

본 연구에서 개발한 한글 해득을 위한 앱은 다음과 같은 특징을 갖는다. 첫째, 난독증 학습자의 한글 해득을 위해 음운 인식과 파닉스 학습 활동으로 구성되었다. 사람의 말소리에 대한 민감성을 높이고, 소리와 낱자의 대응 관계를 학습함으로써 이를 읽고 쓰는 데 적용할 수 있는 능력을 향상시킨다.

둘째, 음성과 필기 인식을 통해 학습자가 AI 교사와 함께 학습의 과정을 수행하도록 개발되었다. 학습자의 수행을 즉시 평가하고 직접교수법에 기반한 즉각적인 교수 피드백을 제공함으로써 전문교사와 면대면으로 수업하는 형태와 동일하도록 구성하였다. 이를 통해 학습자는 학습 과정에서 어떻게 오류가 발생했고, 이를 어떻게 수정해 나가야 하는지 배움으로써 쌍방향 학습(interactive learning)이 가능하다.

셋째, AI 기반으로 학습자의 수행을 실시간으로 평가하고 이를 분석하여 개별 맞춤 학습이 가능하도록 하였다. 난독증 학습자의 발달 수준은 아동마다 다르며, 어려움을 느끼는 정도가 다양하다. 따라서 동일한 단계와 학습 목표로는 효과적인 학습이 이루어지기 어렵다. 학습자의 발달 수준과 수행 진전도에 따라 개별 맞춤화된 커리큘럼이 제공됨으로써 자기주도적 학습이 가능하다.

마지막으로 게이미피케이션 모델을 적용한 학습 활동을 구성함으로써 흥미와 학습동기를 높이고, 지루할 수 있는 반복 학습이 가능하도록 개발하였다. 수준이 다른 캐릭터들을 학습자가 선택하고 대결함으로써 흥미와 보상을 얻게 되어 학습에 지속적으로 참여하도록 유도하였다.

지금까지 학습자의 음성과 필기를 실시간으로 인식하고, 평가 및 피드백을 제공하면서 개별 맞춤 학습이 가능한 한글 학습 프로그램은 없었다. 본 연구에서는 AI 기반의 음성과 필기 인식 기술과 음운 인식, 파닉스 교수법을 결합한 난독증 학습자를 위한 한글 해득 앱을 제안하였다. 개발한 한글 해득 앱을 적용한 결과는 다음과 같았다.

첫째, 난독증 학습자의 단어 읽기 능력이 향상되었다. 앱 사용 전에 비해 평균 29.86점이 높았으며, 이는 통계적으로 유의미한 변화였다. 이를 통해 파닉스 원리를 적용하여 단어를 정확하게 읽어내는 능력이 향상되었음을 확인할 수 있었다. 둘째, 난독증 학습자의 받아쓰기 점수가 앱 사용 전에 비해 평균 1.57점이 높아졌으나, 통계적으로 유의미한 수준은 아니었다. 이는 쓰기능력의 향상이 읽기 능력의 향상보다 더디게 나타난다는 선행연구와도 같은 결과이다[4]. 그러나 학습자의 쓰기 응답을 분석해 보면, 소리 나는 대로 써서(예, 등뿔) 틀린 오류가 많아 파닉스 규칙을 단어 쓰기에도 적용하고 있음을 확인할 수 있었다. 표준화된 쓰기 검사에서는 파닉스 규칙이 적용되는 단어(예, 나라) 외에도 음운변동이 적용된 단어(예, 등불)도 함께 제시가 되기 때문에 파닉스 규칙만을 적용해서는 높은 점수를 받기 어렵다. 따라서 표준화된 검사 결과에서 유의미한 향상을 나타낼 만큼 쓰기 수행에 향상을 보이기 위해서는 파닉스 규칙뿐만 아니라 형태소와 음운변동에 대한 지식에 대한 학습이 더 필요하다.

마지막으로 읽기와 쓰기에 필수적인 인지처리 영역인 음운처리에서도 향상이 있었다. 음운처리 능력은 음운 인식과 명명 속도, 단기 기억 과제로 측정하였다. 먼저 음운 인식에서는 앱 사용 전에 비해 평균 12.29점, 단기기억에서는 평균 6.29점이 높아졌고, 명명 속도에서는 평균 24.48초가 단축되었으며 모두 통계적으로 유의미한 향상을 보였다. 난독증 학습자들은 음운처리 영역에서의 결손으로 읽기와 쓰기가 어렵기 때문에 읽고 쓰기 위해서는 음운처리 능력 발달이 선행되어야 한다. 본 연구에서도 음운처리 능력이 발달하면서 읽기와 쓰기 능력도 향상되었음을 확인할 수 있었다.

본 연구의 향후 연구과제는 다음과 같다. 첫째, 본 연구에서 개발된 앱은 한글 해득 단계에 초점을 맞춘 프로그램으로 한글을 소리 나는 대로 읽고 쓸 수 있도록 하는 데 목적이 있다. 따라서 한글 해득 이후 학습이 필요한 형태소나 어휘 학습을 위한 프로그램 개발을 위한 연구가 필요하다. 둘째, 학습자의 음성이 작거나, 주변 소음이 있는 환경에서도 음성을 정확하게 인식할 수 있도록 기술을 고도화시켜야 한다.

References

• A. J. Lee and Y. D. Lee, “An Analysis of the Local Ordinance for Supporting to Students with Dyslexia,” Korean Journal of Special Education, vol. 54, no. 1. Korean Society of Special Education, pp. 91–119, 30-Jun-2019. [https://doi.org/10.15861/kjse.2019.54.1.91]
• O. R. Kang, Y. O. Kim, J. H. Woo and C. S. Byun, "A Study of Comparison of Reading Characteristics among Students with Dyslexia at Risk, Underachievers in Reading, and General Students by Using a Dyslexia Screening Checklist,” The Korean Journal of Learning Disabilities, vol. 11, no. 3, pp. 93-116, 2014
• A. J. Lee and M. W. Yang, “Using a Three-tier RTI Model to Explore the Effects of Hangul Phonics Intervention,” The Journal of Elementary Education, vol. 30, no. 3, pp. 97-123, 2017
• A. J. Lee and M. W. Yang, “The Effects of Hangul Phonics Intervention on the Spelling Letter Knowledge, and Phonological Processing Skills of Students with Dyslexia,” The Korean Journal of Learning Disabilities, vol. 15, no. 1, pp. 145-163, 2018 [https://doi.org/10.47635/KJLD.2018.15.1.145]
• H. K. Yoon, “The Characteristics of Decoding Process in Korean Scripts, Hangul,” The Korean Journal of the Human Development, vol. 8, no. 1, pp. 27-43, 2001
• National Reading Panel (US) and D. N. Langenberg, Teaching Children to Read: An Evidence Based Assessment of The Scientific Research Literature on Reading and Its Implications for Reading Instruction. Vineyard Video Productions, 2000.
• L. C. Ehri, S. R. Nunes, S. A. Stahl and D. M. Willows, “Systematic phonics instruction helps students learn to read: Evidence from the National Reading Panel’s meta-analysis,” Review of educational research, vol. 71, no. 3, pp. 393-447, 2001 [https://doi.org/10.3102/00346543071003393]
• Swanson, H. Lee, K. R. Harris, and S. Graham, eds. Handbook of learning disabilities. Guilford press, 2013.
• D. P. Bryant et al., “The effects of tier 2 intervention on the mathematics performance of first-grade students who are at risk for mathematics difficulties,” Learning Disability Quarterly, vol. 31, no. 2. SAGE Publications, pp. 47–63, May-2008. [https://doi.org/10.2307/20528817]
• S. Engelmann, “Student-program alignment and teaching to mastery,” In 25th National Direct Instruction Conference. Eugene, OR: Association for Direct Instruction. http://www.studentnet.edu.au/aispd/newsletters/newsletters/archive/term2-01/speced.pdf, . 1999.
• T. SITZMANN, “A meta-analytic examination of the instructional effectiveness of computer-based simulation games,” Personnel Psychology, vol. 64, no. 2. Wiley, pp. 489–528, 27-May-2011. [https://doi.org/10.1111/j.1744-6570.2011.01190.x]
• J. S. Kim and N. J. Park, “Development of a Board Game-Based Gamification Learning Model for Training on the Principles of Artificial Intelligence Learning in Elementary Courses,” Korean Association of Information Education, vol. 23, no. 3, pp. 229-235, 2019 [https://doi.org/10.14352/jkaie.2019.23.3.229]
• E. J. Gu, S. M. Kim and O. R. Kang, “Tasks to Revitalize Smart Learning of Elementary Special Class,” The Korean Journal of Learning Disabilities, vol. 14, no. 2, pp. 145-167, 2017
• H. Y. Park, H. S. Kim and K. E. Nam, “Education of Korean Language Using Smart Devices ;case study of korean Language Applications,” Korean HCI Society Conference, pp. 386-388, 2012.
• E. S. Jang, “Research on Students’ and Teachers’ Perceptions of Media Utilization in Korean Language Courses in Smart Environments,” Korean Language Education 54, pp. 277-314, Feb-2014 [https://doi.org/10.17247/jklle.2014..54.277]
• K. A. Kim, “Effects of Board Game Activities on the Self-Concept and Adaptive Behavior of Educationally Retarded Children,” The Journal of Play Therapy, vol. 13, no. 1, pp. 61-74, 2009.
• M. Y. Kwon, “Effects of Game Play on Self-Regulation and Maladaptive Behavior of Children with Learning Disabilities," Journal of Special Education: Theory and Practice, vol. 16, no. 2, pp. 187-211, Jun-2015
• A. Graves, S. Fernández, F. Gomez, and J. Schmidhuber, “Connectionist temporal classification,” Proceedings of the 23rd international conference on Machine learning  - ICML ’06. ACM Press, 2006. [https://doi.org/10.1145/1143844.1143891]
• W. Chan, N. Jaitly, Q. Le, and O. Vinyals, “Listen, attend and spell: A neural network for large vocabulary conversational speech recognition,” 2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, Mar-2016. [https://doi.org/10.1109/ICASSP.2016.7472621]
• A. Graves, “Sequence Transduction with Recurrent Neural Networks.” arXiv, 2012. [https://doi.org/10.48550/arXiv.1211.3711]
• A. Gulati et al., “Conformer: Convolution-augmented Transformer for Speech Recognition,” Interspeech 2020. ISCA, 25-Oct-2020. [https://doi.org/10.21437/Interspeech.2020-3015]
• D. Giuliani and M. Gerosa, “Investigating recognition of children’s speech,” 2003 IEEE International Conference on Acoustics, Speech, and Signal Processing, 2003. Proceedings. (ICASSP ’03). IEEE.
• S. Narayanan and A. Potamianos, “Creating conversational interfaces for children,” IEEE Transactions on Speech and Audio Processing, vol. 10, no. 2. Institute of Electrical and Electronics Engineers (IEEE), pp. 65–78, 2002. [https://doi.org/10.1109/89.985544]
• J. E. Huber, E. T. Stathopoulos, G. M. Curione, T. A. Ash, and K. Johnson, “Formants of children, women, and men: The effects of vocal intensity variation,” The Journal of the Acoustical Society of America, vol. 106, no. 3. Acoustical Society of America (ASA), pp. 1532–1542, Sep-1999. [https://doi.org/10.1121/1.427150]
• D. Elenius and M. Blomberg, “Comparing Speech Recognition for Adults and Children,” Proceedings of FONETIK 2004, pp. 156-159, 2004
• O. Russakovsky et al., “ImageNet Large Scale Visual Recognition Challenge,” International Journal of Computer Vision, vol. 115, no. 3. Springer Science and Business Media LLC, pp. 211–252, 11-Apr-2015. [https://doi.org/10.1007/s11263-015-0816-y]
• A. Krizhevsky, I. Sutskever, and G. E. Hinton, “ImageNet classification with deep convolutional neural networks,” Communications of the ACM, vol. 60, no. 6. Association for Computing Machinery (ACM), pp. 84–90, 24-May-2017. [https://doi.org/10.1145/3065386]
• C. Szegedy et al., “Going deeper with convolutions,” 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, Jun-2015. [https://doi.org/10.1109/CVPR.2015.7298594]
• A. Al-Wabil, P. Zaphiris, and S. Wilson, “Web Navigation for Individuals with Dyslexia: An Exploratory Study,” Lecture Notes in Computer Science. Springer Berlin Heidelberg, pp. 593–602, 2007. [https://doi.org/10.1007/978-3-540-73279-2_66]
• A. P. Freire, H. Petrie and C. D. Power, "Empirical results from an evaluation of the accessibility of websites by dyslexic users,” In Proceedings of the Workshop on Accessible Design in the Digital World. pp. 41-53. York, 2011.
• H. W. Park, “Korean Comprehensive Test of Nonverbal Intelligence (2nd ed.)” Seoul: Mind Press, 2014.
• S. J. Park, C. J. Lee and K. J. Kwak, “Cognitive Characteristic of 4th, 5th, 6th, grade Children with Reading Disability Reflected in K-WISC-3,” The Korean Journal of Developmental Psychology, vol. 14, no. 4, pp. 37-54, 2012.
• A. H. Kim, U. J. Kim, M. A. Hwang and H. S. Yoo, “ln: Test of Reading Achievement and Reading Cognitive Processes Ability(RA-RCP),” Seoul: Hakjisa, 2014.
• J. Y. Cho, Y. S. Kim and S. G. Park, “The Korean Test Of Literacy Diagnosis(K-TOLD),” Seongnam: Korean Guidance, 2018.
• A. J. Lee, “Exploring Dyslexia for Educational Supports Beyond Screening and Diagnosis,” in The Routledge International Handbook of Dyslexia in Education, Routledge/Taylor & Francis Group, 2022.