[ Article ]

Journal of Digital Contents Society - Vol. 22, No. 4, pp.611-617

ISSN: 1598-2009 (Print) 2287-738X (Online)

Print publication date 30 Apr 2021

Received 22 Feb 2021 Revised 01 Apr 2021 Accepted 01 Apr 2021

DOI: https://doi.org/10.9728/dcs.2021.22.4.611

사물 인식 기술을 이용한 초등영어교육 애플리케이션의 개발

구세영¹ ; 민주희¹ ; 백지연¹ ; 유견아²^{, *}

1덕성여자대학교 컴퓨터공학과 학부과정
2덕성여자대학교 컴퓨터공학과 교수

Development of Elementary English Education Application Using Object Recognition Technology

Seyonug Koo¹ ; Juhui Min¹ ; Jiyeon Baek¹ ; Kyeonah Yu²^{, *}

1Undergraduate Course, Department of Computer Engineering, Duksung Women’s University, Seoul, Korea
2Professor, Department of Computer Engineering, Duksung Women’s University, Seoul, Korea

Correspondence to: ^*Kyeonah Yu Tel: +82-2-901-8346 E-mail: kyeonah@duksung.ac.kr

Copyright ⓒ 2021 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

제안하는 애플리케이션은 한국 교육과정에서 가장 먼저 영어를 접하는 초등학생들을 대상으로, 영어 학습에 대한 지속적인 흥미와 자신감을 기르는 것을 목표로 한다. 주요 기능에는 영어 동화 읽어 주기, 영어 단어 및 문장 퀴즈, 영어 발음 테스트, 사물 인식을 통한 일상 생활에서의 영어 학습 등이 있다. 주요 기능들은 딥신경망 모델로 학습된 자연언어처리 기술을 활용하여 완성도를 높였으며, 특히 사물 인식 단어장에서는 기존 모델에 수천 장의 이미지들을 직접 학습시켜 정밀 튜닝된 모델을 이용하여 일상생활 속의 물체들에 대해 높은 인식률을 확보했다. 영어를 이해하고 표현하는 능력은 필수적이지만 학교 밖에서 영어를 접할 기회가 매우 제한되어 있는 우리나라에서 본 작품을 통해 다양한 멀티미디어 자료와 지속적인 영어 사용 기회를 제공하고자 한다.

Abstract

The proposed application aims to develop continuous interest and confidence in learning English for elementary school students who are the first to encounter English in the Korean curriculum. Its main functions include reading English fairy tales, quizzes on English words and sentences, English pronunciation tests, and learning English in everyday life through object recognition. The main functions were improved by leveraging the natural language processing technology learned with the deep neural network model. In particular, in the object recognition vocabulary, a high recognition rate for objects in everyday life was secured using a precisely tuned model which are directly trained with thousands of images to the existing model. We intend to provide various multimedia materials and opportunities for continuous use of English through this work in Korea where the ability to understand and express English is essential but opportunities to encounter English outside of school are very limited.

Keywords:

Elementary English Education Platform, English Learning Contents, Image Classification, Transfer Learning

키워드:

초등 영어교육 플랫폼, 영어 학습 콘텐츠, 이미지 분류, 전이학습

Ⅰ. 서 론

영어는 전 세계적으로 사용되는 언어로서 영어를 이해하고 표현하는 능력은 국제화 시대에 필수적인 요소이다. 한국 교육과정에서 가장 먼저 영어를 접하는 것은 초등학교 시기인데, 2015 초등 개정 교육과정에서는 초등학교 영어를 일상생활에서 사용하는 기초적인 영어를 이해하고 표현하는 능력을 기르는 교과라고 정의하고 있다 [1]. 또한, 초등학생들의 발달 단계와 특징을 고려해 멀티미디어 자료 및 ICT (Information and Communication Technology) 도구 등을 적절히 활용하는 것을 권장하고 있기도 하다. 본 논문에서는 초등학생의 영어교육을 흥미롭고 지속적으로 이끌기 위해 스마트 기기를 활용하여 영어를 학습할 수 있는 안드로이드 애플리케이션을 개발하고자 한다. 기존 초등 영어교육용 프로그램들이 동영상, 이미지, 사운드 등 멀티미디어를 활용하여 쉽고 친밀하게 접근할 수 있도록 하는 데에 초점을 맞추었다면 본 애플리케이션에서는 인공지능, 사물인터넷 및 딥러닝 등의 최신 기술들을 활용함으로써 기존 시스템들과 차별화된 서비스를 제공하고자 한다.

인공지능 기술을 언어학습에 활용하려는 시도는 고전 인공지능 개념이 소개된 이후 꾸준히 이어져 왔지만, 그 응용은 진도 확인, 즉각적인 채점 및 피드백의 제공 등 제한적으로 이루어졌으며 실제 교육 콘텐츠 자체를 인공지능으로 구현한 사례는 많지 않았다 [2]-[3]. 그 이유는 언어학습과 가장 밀접한 인공지능 기술 분야인 자연언어처리가 오랫동안 연구되었음에도 불구하고 실제 응용에 사용할 수 있는 수준으로 개발되지 못하였기 때문이다. 그러나 최근에 딥러닝의 발전으로 대량의 데이터를 기반으로 한 자연언어처리 기술이 많이 발전하였는 바, 언어분석 기능, 음성인식, 기계 번역 등의 자연언어처리 기술들을 사용하여 기존과 차별화된 영어 학습 콘텐츠를 개발하는 것이 가능해졌다 [4]. 제안하는 앱은 이와 같은 자연언어처리 기술을 활용할 뿐만 아니라, 모바일폰 카메라로 사물을 촬영하면 실시간으로 물체를 인식한 뒤 해당 물체의 영어 단어와 한글 뜻을 보여주는 사물 인식 기능으로 기존 시스템들과 차별화를 꾀한다. 그밖에 학습을 지능적으로 진행하기 위해서는 학습자, 학습 내용, 학습자의 피드백 등을 분류하여 특성을 제대로 파악하여 맞춤형 학습이 가능하도록 하며 애플리케이션을 처음 접하는 사용자들도 쉽게 이용할 수 있도록 튜토리얼, 학습 진행도, 학습 설명서와 같은 정보를 제공한다. 주요 기능에는 영어 단어 및 문장 퀴즈, 영어 발음 테스트, 사물 인식 카메라를 활용한 일상생활에서의 영어 학습 등이 있다.

본 논문의 구성은 다음과 같다. 2장에서는 본 연구와 관련된 기존 문헌과 자료들을 살펴보고, 3장에서는 영어교육 플랫폼 애플리케이션의 개요를 소개한다. 4장에서는 사물 인식 기능을 위한 모델을 학습시키는 과정에 관해 서술하고, 5장에서는 실제 구현된 애플리케이션을 보여준다. 6장에서는 결론과 기대효과로 논문을 마무리한다.

Ⅱ. 관련 연구

본 논문에서 사용한 MobileNet_V1은 모바일 환경에서 구동시키기 위해 합성곱 신경망(CNN; Convolution Neural Network)를 경량화한 것이다. CNN은 딥신경망(DNN; Deep Neural Network)의 종류 중 하나로, 하나 이상의 컨볼루션 계층(convolution layer)과 풀링 계층(pooling layer)으로 이루어져 있다. CNN은 2차원 데이터의 학습이나 영상 속 객체 분류, 객체 탐지 등에 사용되어 이미지 인식 분야에 뛰어난 성능을 보인다. 그러나 모바일 환경에서 사용하기에는 무겁다는 특징이 있으므로 기존 합성곱의 연산량과 파라미터 개수를 줄인 깊이 분할 합성곱(depthwise separable convolution)으로 변경하여 경량화한 것이다. 이는 파라미터의 수를 획기적으로 줄일 수 있는 깊이 합성곱과 연산시간을 감소시킬 수 있는 점 합성곱을 합친 계산방법이다 [ 5].

전이학습(transfer learning)은 이미 훈련된 모델을 재사용하여 새로운 모델을 생성하는 방법이다[6]. 전이학습은 한 분야의 지식을 다른 분야에 적용하는 것이 가능하므로 다른 도메인 영역으로 확장할 수 있다. 특히 학습할 딥러닝 모델의 규모가 큰 경우 처음부터 다시 학습시킨다면 속도가 느린 문제가 발생한다. 기존에 학습한 비슷한 모델이 있다면 이 모델의 하위층(lower layer)을 가져와 재사용하는 것이 학습 속도를 향상하고 학습에 필요한 훈련 데이터도 훨씬 적다 [7]. 본 논문에서는 전이학습 기술을 활용하여 제한적으로 준비된데이터 셋으로도 90% 이상의 인식률을 확보한다.

최근 초등학생이 많이 사용하는 영어교육 서비스에는 듀오링고(Duolingo), 스픽나우 키즈(Speak now kids), 케이크(Cake)가 있다. 듀오링고 [8]는 퀴즈 형식으로, 영어 단어의 뜻을 맞추고 단어들을 조합하여 문장을 만드는 수준별 문법 학습을 제공한다. 스픽나우 키즈 [9]와 케이크 [10]는 인공지능을 활용한 회화 학습 서비스로서 케이크는 짧은 영상을 시청하고 관련된 회화 표현을 학습하는 방식이고 인공지능을 통해 사용자의 발음을 평가하고 교정해준다는 특징이 있으며 스픽나우는 AI 튜터를 이용해 상황별 영어 회화를 제공한다. 성인을 위한 영어 학습 서비스에서도 인공지능을 활용한 스마트 러닝으로 언제 어디서나 학습이 가능한 영어 학습 앱 서비스를 제안하고 있다[11]. 본 논문에서 구축하는 서비스는 초등생용 3가지 어플의 문법 및 회화 서비스 기능을 벤치마킹하고, 언제 어디서나 학습이 가능하도록 인공지능과 사물인터넷 기술을 이용하여 구축되는데 이들 기술의 적용 범위를 어린이 영어 동화와 ICT 기술을 활용한 사물 인식 단어장 기능, 사용자의 영어 발음에 대한 점수 제공, 영어 동화를 형태소 분석하여 얻은 다빈출 단어와 문장을 이용한 문법, 회화 학습, 영어 동화 데이터에서 추출한 영어 단어와 문장들을 이용하여 문법 퀴즈를 만드는 사용자 맞춤형 테스트를 제공 등으로 확장하여 기존의 서비스들과 차별화한다.

Ⅲ. 초등 영어 학습 애플리케이션의 개요

3-1 애플리케이션 구조

본 시스템은 그림 1과 같이 클라이언트는 안드로이드, 서버는 DRF(Django REST Framework)를 이용하여 데이터를 통신하는 클라이언트-서버 구조로 구성된다.

Fig. 1.

Structure of Elementary English Education Applications

서버에는 사용자에 대한 정보와 영어 단어장이 저장된 데이터베이스가 있으며 이 데이터베이스에는 사용자 정보 외에도 저작권이 없는 영어 동화를 제공하는 사이트를 크롤링을 하여 얻은 동화 텍스트와 자연어 처리 모듈인 NLTK(Natural Language Toolkit)를 이용해 얻은 다 빈출 단어들이 저장되어 있다. 클라이언트에서 촬영한 이미지의 인식 결과를 요청하면, 서버는 이미지 분류 모델을 통해 처리한 결과 값을 전달해주는데, 안드로이드에서 촬영한 이미지를 파이어베이스(Firebase Storage)에 저장하고 서버에게 요청을 하면, 서버는 파이어베이스에 있는 해당 이미지를 가져와 분류 결과를 클라이언트에게 제공한다. 클라이언트에서는 영어 단어 결과 값에 대한 번역을 사전 사이트에 HTTP 통신하여 뜻을 알아내어 사용자에게 출력한다. 이미지 분류 모델은 텐서플로에서 제공하는 기존 MobileNet을 재학습시켜 서버에 내장했다.

클라이언트에서는 언어분석 기능, 음성인식, 기계 번역 등의 자연언어처리 기술을 활용한 영어 학습 서비스가 제공된다. 발음 퀴즈에서 사용자의 영어 발음 점수를 제공하는 기능에는 ETRI의 언어처리 기술 [12]의 하나인 발음평가 API(Application Programming Interface)를 활용했으며 영어 동화에서 책을 읽어주는 서비스는 안드로이드 TTS(Text-To-Speech) 기능, 동화 번역은 네이버 파파고API [12]를 연동하여 구현했다.

3-2 학습 콘텐츠

본 애플리케이션의 주요 기능에는 영어 동화 읽기, 영어 단어 및 문장 퀴즈, 영어 발음 테스트 및 사물 인식을 통한 영어 학습 등이 있다 (그림 2).

Fig. 2.

Structure of English Learning Contents

시작 페이지는 그림 3과 같으며 행성 그림, 사물 인식 카메라. 혹은 마이페이지 중 하나를 선택할 수 있다. 우선 행성 하나를 누르면 해당하는 학습 페이지로 이동되면 각 학습 페이지는 크롤링한 영어 동화와 동화에서 빈출되는 단어를 저장하는 동화책 페이지(Children’s Book Page), 영어 동화에서 빈출 단어와 주요 문장을 퀴즈 형태로 만들어 제공하는 단어 퀴즈 페이지(Vocabulary Quiz Page), 그리고 학습자의 말하기 능력을 향상시키기 위해 문장을 읽으면 발음의 정확도를 결과로 제공하는 영어 발음 퀴즈 페이지(English Pronunciation Quiz Page)로 구성된다.

Fig. 3.

English Learning Start Page

두 번째, 카메라를 주변 물체에 대고 누르면 촬영한 사진들을 서버로 전송하여 해당하는 정보를 사용자에게 보여주는 기능을 제공한다. 학습자가 사물 인식 카메라로 촬영한 사진들은 자동으로 가공되어 단어 퀴즈로 생성되고, 퀴즈에서 맞추지 못한 단어들은 따로 저장되어 마이페이지 단어장에 저장된다.

세 번째, 마이페이지에서는 학습자가 지속적으로 학습할 수 있도록 개인 정보 및 학습 진행 상황을 저장하고 처리한다. 마이페이지에서 학습자의 단어장과 오답노트도 확인할 수 있다. 마지막으로 애플리케이션을 처음 접하는 사용자에게는 네이버 클로바 더빙을 사용하여 몰입도를 높인 간단한 설명을 제공할 수 있게 하였다.

Ⅳ. 이미지 인식 모델 학습

물체 인식 카메라 기능은 일상 생활 속에서 지속적인 영어 공부가 가능하도록 한다. 카메라로 촬영한 물체에 대한 정보를 알려주는 기능은 MSCOCO 데이터로 학습한 기존의 MobileNet을 주변에서 흔히 볼 수 있는 사물을 인식하도록 재학습한 모델을 서버에 장착하여 제공하였다.

4-1 데이터 셋 수집

아동이 쉽게 접할 수 있는 사물 이미지들 위주로 이미지 데이터 셋들을 준비했다. 기존의 오픈 학습 데이터 셋 플랫폼을 이용하지 않고 구글 이미지 확장 프로그램을 사용한 수집 방법과 동영상 프레임을 사용한 수집 방법의 2가지 방식으로 데이터를 확장하고 정제하여 데이터 셋을 준비했다:

우선, 하나의 라벨에 대해 다양한 형태를 가진 이미지 데이터 셋을 모으기 위해서 구글 이미지 확장 프로그램을 사용하였다. 그림 4(a)는 다양한 모양의 물병(bottle) 이미지 예시를 보여주는데, 이는 과적합(overfitting)을 예방하는 목적을 위해서이다. 또한 이미지에서 학습시킬 사물의 크기만큼 여백 없이 배경 부분을 제거하는 과정을 통해 이미지를 정제하여 배경이 같이 학습되는 문제를 예방했다. 이런 방식으로 주변 물체들에 대해 각 라벨 당 300개 씩 준비했고, 학습 시 왜곡 옵션을 통해 데이터 수를 늘리는 효과를 얻었다.

Fig. 4.

Making the Image Data Set

두 번째, 동영상을 이용한 방법은 물체를 여러 각도로 동영상 촬영하고, OpenCV를 활용하여 프레임 단위로 나누고 각 프레임을 하나의 사진으로 저장하였다 (그림 4 (b)). 이 방법으로는 이미지의 개수를 빠르게 늘릴 수 있었지만 과적합의 위험이 있었다. 과적합된 모델은 실제 응용에서 인식의 성능을 급격하게 떨어뜨리는 문제가 있기 때문에 사진으로 저장하는 프레임의 수를 제한하고 구글 이미지를 통해 다양한 형태의 물체를 확보함으로써 문제점을 해결하도록 하였다. 이렇게 확보된 이미지에 대해 사물 뒤에 있는 배경의 패턴이 학습되지 않도록 배경에 대한 데이터 정제 작업을 추가하였다. 결과적으로, 학습 과정에서 얻은 모델을 테스트했을 때, 결과 라벨의 인식률을 0.9 이상이 되도록 데이터 셋을 준비하였다.

4-2 모델 학습

MobileNet_V1 모델을 사용하여 본 프로젝트에서 필요한 라벨들을 재학습시키는 방향으로 진행했다. 데이터 셋은 해시를 기준으로 training_images, testing_images, validation_images 3개의 세트로 분할했다. 이미지 파일 이름을 해시 형태로 만들고, 이것을 사용해서 확률 값을 생성한 뒤 분류했다.

각 라벨 당 300개라는 작은 데이터 셋 양을 보완하기 위해서 데이터 셋 이미지들의 사이즈, 대칭, 밝기, 명도 등을 파라미터로 조정하여 학습을 진행했다. 왜곡 옵션은 하나의 이미지 파일에 대해서도 여러 경우의 왜곡 효과가 적용되기 때문에, 데이터 셋의 양을 늘리는 효과가 있다. 결과적으로 학습 모델은 수집한 데이터 셋과 다른 각도와 크기인 사물에 대해서도 효과적으로 인식할 수 있었다. 따라서 학습 스크립트(retrain.py) 파일을 실행할 때, random_crop = 5, random_brightness = 5, random_Scale=5, flip_left_right True 등의 랜덤 옵션들을 사용하여 데이터 셋의 종류와 규모를 확장하였다.

사용한 모델의 학습 원리는 기존의 네트워크를 활용하는 전이학습이다. 즉, 기존 모델에 있는 여러 층(layers) 중에서 병목 특징(bottleneck feature)을 활용하여 완전 연결망을 학습시키는 과정을 진행하였는데 병목 특징이란 기존 모델에서 하위층에서 추출된 특징을 의미한다. 하위층에서 이미지를 파악하기 위한 특징들을 추출하고, 그 이미지 병목 값을 이용하여 마지막 층을 학습시켰다. 각각 이미지들의 병목 값을 계산하는 시간을 줄이기 위해서는 캐시를 이용했다. 학습에 사용되는 데이터 셋의 이미지 크기가 모두 달라 이미지 크기를 동일 사이즈로 맞추는 것이 필요했는데 이 과정은 JPEG 이미지를 디코딩하고 크기를 조정한 다음, 다시 픽셀 값을 조정하고, 인식 네트워크를 통해 실행하는 과정으로 진행되었다. 결과적으로 준비한 데이터 셋의 이미지를 1*224*224 크기로 변형하여 특징점들을 찾아내어 모델을 학습시켰으며 학습된 모델을 서버에 내장하여 기능을 구현했다.

Ⅴ. 구현된 영어 학습 애플리케이션

애플리케이션을 실행해 접속하면 로그인하여 시작하고 처음 사용하는 학습자라면 튜토리얼을 통해 애플리케이션의 전체적인 테마를 확인할 수 있다. 그림 5는 애플리케이션의 메인페이지에서 행성 중 하나, 사람 모양의 마이페이지 버튼, 카메라 모양의 버튼을 눌러 이동하는 화면을 동시에 보여준다. 각각의 행성들은 다른 내용의 영어 학습을 진행하는 챕터에 해당하고, 카메라 버튼을 누르면 사물 인식 카메라 기능을 사용할 수 있는 페이지로, 사람 모양을 누르면 오답노트, 회원정보 수정 기능을 사용할 수 있는 마이페이지로 이동한다.

Fig. 5.

User Interface of English Planet

5-1 영어 학습 서비스

학습자가 행성 하나를 클릭하면 각 행성마다 그림 6과 같이 영어 학습을 할 수 있는 콘텐츠들이 있고 맵을 통해 학습 진행률을 확인할 수 있다. 학습 순서는 영어 동화, 영어 단어 퀴즈, 영어 발음퀴즈 순이다. 사용자는 각 챕터에 해당하는 동화를 먼저 공부한 후 동화에 나타난 단어와 문장을 집중적으로 학습할 수 있다.

Fig. 6.

English Learning Functions

1) 영어 동화

영어 동화 학습을 시작하면 팝업창으로 주요 단어를 확인할 수 있다. 영어 문장을 클릭하면 TTS 기능을 이용해 음성으로 들을 수 있고, 한글과 영어 버튼을 통해 번역 기능을 사용할 수 있다. 영어 동화 속 영문 텍스트 데이터의 해석본 제공을 위해 안드로이드와 네이버 파파고 API를 연동하였다. 파파고 번역은 인공 신경망 기반 기계 번역 기술로 텍스트의 번역한 결과를 HTTP 통신으로 반환하는 RESTful API이다 [13]. 사용자가 한글 번역 버튼을 클릭하면, 파파고 통합 자원 식별자(URI; Uniform Resource Identifier)로 결과 값을 요청한다. 이때 입력 파라미터로 번역할 언어의 종류, 번역 결과로 얻고 싶은 언어의 종류, 번역할 텍스트를 지정했다.

2) 단어, 문법 학습 및 오답노트

영어 동화가 끝나면 다양한 퀴즈를 통하여 배웠던 내용을 다시 학습한다. 동화 텍스트 형태소를 분석을 통해 얻는 다빈출 단어를 제시하여 해당 단어의 뜻을 맞추거나, 주어진 번역에 따라 올바른 단어를 배치하여 문장을 완성하는 퀴즈 형식으로 되어있다.

틀린 단어나 문장은 오답노트에서 확인할 수 있다. 오답노트에서는 틀린 문제들을 다시 풀 수 있고 정답을 맞히면 그 문제는 오답노트에서 삭제된다. 한 행성의 학습이 끝나면 전체 진행률이 올라가고 다음 행성이 열려 다음 행성을 진행할 수 있다. 이렇게 모든 행성들을 열어 학습을 완료할 수 있다.

5-2 발음 평가 서비스

발음 평가 서비스는 인공지능 기술에 기반을 두어 비원어민 영어 발음에 대해 높은 정확도의 음성인식 엔진과 높은 수준의 분석 알고리즘으로 문장별 발음 수준을 측정하여 반환하는 기술이다. 발음평가 API는 RESTful API이고, 발음평가에 사용하기 위해 샘플링 주파수(sampling rate) 16kHz로 녹음한다. 음성 파일은 Base64로 인코딩하여 POST 방식으로 ETRI Open API 서버에 전달하는데 HTTP 요청이 서버에 전달되면 서버는 JSON 형태의 텍스트 데이터를 반환한다. 분석된 결과에는 음성 언어 코드에 따른 발음인식 결과 문장인 ‘recognized’와 발음 평가 점수인 ‘score’가 포함되어 있다 [12]. 주어진 문장과 발음했던 문장이 같지 않아도 발음이 좋으면 점수가 좋게 나오는 것을 방지하기 위해 나온 결과에 알고리즘을 추가하여 발음 평가 방식을 개선했다. 즉, ‘recognized’와 주어진 문장의 단어들을 비교해서 일치하는 개수를 세고 그들의 점수를 조합하는 방식으로 ‘excellent’, ‘good’, ‘miss’ 3단계로 평가하였다. 그림 7은 주어진 문장을 읽었을 때 결과 예시를 보여준다.

Fig. 7.

English Sentence Recording and Recognition Results

5-3 사물 인식 단어장

카메라 버튼으로 사물 인식 카메라를 사용할 수 있다. 인식하고 싶은 사물에 카메라를 갖다 대고 사진을 찍으면 인식한 결과가 그림 8과 같이 왼쪽 상단에 나타난다. 사진을 찍으면 서버에서 사진을 인식하여 정확률이 가장 높은 단어를 안드로이드로 가져오고, 영어 단어에 대한 뜻은 다음(Daum) 어학사전 웹사이트를 크롤링하여 사용자에게 보여준다. 인식된 결과는 영어 단어, 한글 뜻으로 쌍으로 제공된다.

Fig. 8.

Object Recognition

저장 버튼을 이용해 결과를 저장하면 사진은 파이어베이스에 저장되고 사진 이미지 URL과 단어 뜻이 데이터베이스에 저장된다. 사용자가 저장한 단어들은 마이페이지에 있는 단어장에서 확인할 수 있다. 또한 자신이 직접 찍었던 사진뿐만 아니라 다른 사용자들의 단어장을 조합하여 만든 사진 퀴즈를 통하여 학습할 수 있다. 그림 8은 사물 인식 단어장을 보여준다.

5-4 사용자 친화적인 UI

우주여행이라는 스토리를 통해 주사용자인 아동의 흥미를 높였으며 신규 회원에게 그림 9의 튜토리얼과 게임 배경 스토리를 제공하여 영어 학습에 대한 동기를 부여했다. 사용자의 학습 진행도를 보여주는 맵을 ① 전체 학습 진행률과 ② 챕터 학습 진행률의 2가지로 구현해 사용자가 콘텐츠를 어떤 순서대로 진행해야 하는지 보여준다. 이 외에도 TTS 기능을 이용해 영어 음성을 들려주었고, 눌러야 하는 컴포넌트에 손가락 아이콘이 깜빡거리는 UI 이용하여 사용자가 애플리케이션을 쉽게 사용할 수 있도록 구현하였다.

Fig. 9.

Tutorial Start Screen

Fig. 10.

Learning Progress

5-5 테스트 결과 분석

다른 조작 없이 카메라를 이용하여 사물은 인식하는 방식의 단어장은 아동의 흥미를 유발하는 요소가 되었다. 다만, 사물 인식 카메라의 경우 촬영하고자 하는 물체가 카메라의 정중앙에 위치해야만 제대로 인식할 수 있어서 사물의 뒷면이나 측면을 촬영하는 경우 인식률이 떨어진다는 단점이 있는데 이는 데이터 셋을 확장하여 추가적인 학습을 통해 보완할 수 있다. 또한 촬영한 사진을 인식해서 결과를 보여주기까지 시간이 걸리는데 이는 서버에서 사진을 인식하고 번역하는 과정이 추가되기 때문이다.

발음을 평가하는 퀴즈의 경우, 영어를 사용하는 원어민을 기준으로 평가하기 때문에 어린아이들이 주로 받게 되는 중하위권 점수를 세분화한다면 학습 의욕 고취에 도움이 될 것이다. 또한 카페와 같이 사람이 많은 곳이나 소음이 있는 경우 음성인식의 정확도가 떨어지는 문제점도 보완해야 할 부분이다.

Ⅵ. 결 론

본 논문에서는 인공지능을 기반으로 하여 초등학생들이 흥미를 갖고 영어를 학습할 수 있는 게임 형식으로 된 앱을 개발하였다. 실생활에서 볼 수 있는 사물들을 카메라로 인식해 영어 공부를 하는 흥미로운 콘텐츠를 제공하였고, 발음평가를 이용하여 학습자의 발음을 평가받을 수 있었다. 우주 여행이라는 주제와 학습 진행도의 맵을 구현하고 손가락 아이콘을 이용하는 등 처음 접하는 사용자들도 쉽게 이용할 수 있는 친화적인 사용자 인터페이스를 통해 사용자의 접근성을 높였다.

이 앱을 이용하면 경제적 측면에서 부담스러운 학원비와 교재비에서 벗어날 수 있고 시공간의 제약 없이 학습자가 원하면 어디서든 영어 학습이 가능하다는 장점이 있다. 멀티미디어 자료를 활용하기 때문에 영어 공부에 대한 접근성을 높이고 챕터마다 다양한 주제로 영어 도서를 제공함으로써 학습자의 호기심을 자극하여 영어에 대한 흥미를 유발할 수 있다. 본 애플리케이션 플랫폼은 콘텐츠의 범위를 확장하여 초등학교 교육 현장에서 디지털 교과서로도 활용될 수 있을 것이다.

Acknowledgments

본 연구는 2020년도 덕성여자대학교 교내연구비 지원에 의해 수행되었습니다.

References

2015 Elementary School Revised Curriculum Supplement 14_English Curriculum, Vol.2015(74), 2015.
V. Rohalevych, “Essentials of Artificial Intelligence for Language Learning”, Intellias, 2020. Available: https://www.intellias.com/how-ai-helps-crack-a-new-language/, .
Y. Zhang, J. Liu, “Natural Language Processing for Foreign Languages Learning as Computer-based Learning Tools”, Modern Applied Science, 2009. [https://doi.org/10.5539/mas.v3n1p125]
D. W. Otter, J. R. Medina and J. K. Kalita, "A Survey of the Usages of Deep Learning for Natural Language Processing," IEEE Transactions on Neural Networks and Learning Systems.
A. G. Howard, M. Zhu, B. Chen, et.al, “Mobilenets: Efficient convolutional neural networks for mobile vision applications.” arXiv:1704.04861, , 2017. Available: https://arxiv.org/pdf/1704.04861.pdf%EF%BC%89
K. Weiss, T.M. Khoshgoftaar, & D. Wang, “A survey of transfer learning”, Journal of Big Data 3, 2016. [https://doi.org/10.1186/s40537-016-0043-6]
N. Kim, J. Lee, H. Kim, S. Hong, “Performance Analysis of Exotic Plant Transfer Learning Classification According to Similar Data”, the Proceedings of Korea Software Congress, pp 712-714, 2019.
Duolingo, [Internet]. Available: https://ko.duolingo.com/, .
Artificial Intelligence English Conversation Speak Now [Internet]. Available: https://www.speaknow.ai/webapp/kids-pkg1-pc, .
Cake, [Internet]. Available: https://mycake.me/?locale=ko
J. Kang, D. Seo, Y. Eo, G.D. Kim, “Suggestion of AI English Learning App Service based on Real-Time V-Log Contents”, Journal of Digital Contents Society, Vol. 21, No. 10, pp.1777-1790, 2020. [https://doi.org/10.9728/dcs.2020.21.10.1777]
Public artificial intelligence open API·DATA service portal, [Internet]. Available: https://aiopen.etri.re.kr/, .
Naver Developers Papago Translation, [Internet]. Available: https://developers.naver.com/docs/papago/papago-nmt-overview.md, .