Korea Digital Contents Society
[ Article ]
Journal of Digital Contents Society - Vol. 24, No. 3, pp.421-428
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 31 Mar 2023
Received 08 Dec 2022 Revised 27 Dec 2022 Accepted 06 Feb 2023
DOI: https://doi.org/10.9728/dcs.2023.24.3.421

AR 카드를 이용한 영어 단어 및 문장 구조 교육 콘텐츠 개발

함동의1, ; 이정현1, ; 강창구2, *
1경상국립대학교 컴퓨터과학부 학사과정
2경상국립대학교 컴퓨터과학부 교수
Development of English Word and Sentence Structure Education Contents using AR cards
Dong-Ui Ham1, ; Jung-Hyun Lee1, ; Changgu Kang2, *
1Bachelor’s Course, School of Computer Science, Gyeongsang National University, Jinju 52725, Korea
2Professor, School of Computer Science, Gyeongsang National University, Jinju 52725, Korea

Correspondence to: *Changgu Kang Tel: +82-55-772-3321 E-mail: cgk@gnu.ac.kr Contributed by footnote: ‡ These authors and contributed equally to this work


Copyright ⓒ 2023 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

증강현실 기술은 사용자에게 재미와 흥미를 불어넣어 줄 수 있다. 이를 교육 분야에 접목하면 학습자에게 즐거움을 줄 수 있어, 교육의 효율성을 극대화할 수 있다. 이런 증강현실 기술을 바탕으로 우리는 미취학 아동들의 영어 학습에 흥미와 재미를 느낄 수 있도록 AR 카드를 이용한 영어 단어 및 문장 구조 교육 콘텐츠를 개발한다. 영어 교육 콘텐츠는 학습 모드와 평가 모드 중 하나를 선택하여 영어 학습을 진행할 수 있다. 학습 모드를 선택하면, 동물카드를 먼저 인식시켜 동물을 증강시킨다. 증강된 동물은 학습자가 직접 움직여 영어 단어를 선택할 수 있게 한다. 영어 단어를 선택하면 증강된 동물이 단어에 맞게 변한다. 모든 선택이 완료되면 증강된 동물은 애니메이션을 재생하고, 문장 구조에 맞게 단어를 조합 및 변형시켜 알맞은 문장을 만들고 읽어준다. 평가 모드는 배경에 증강된 동물을 보고 학습 모드와 같은 방법을 통해 증강된 동물과 똑같이 만든다. 이 과정을 통해 시각적 요소와 청각적 요소를 결합한 영어 문장 학습 콘텐츠를 개발한다.

Abstract

Augmented reality (AR) technology can inspire fun and interest in users. If applied to the educational field, it can give joy to learners, thereby maximizing the efficiency of education. Based on this augmented reality technology, we develop English word and sentence structure education contents using AR cards. The content may proceed with English learning by selecting one of the learning modes and an evaluation mode. When learning mode is selected, the animal card is recognized first to reinforce the animal. Augmented animals allow learners to choose English words. If an English word is selected, the augmented animal changes to match the word. When all choices are completed, an augmented animal animation is presented, combining and transforming words to match the sentence structure to create and read the right sentence. In the evaluation mode, the learner looks at the augmented animal in the background and makes it the same as the augmented animal specified in the English word, using methods such as the learning mode. Through this process, we intend to create English sentence learning content that combines visual and auditory elements.

Keywords:

Augmented reality, AR card, Unity, Education contents, English education

키워드:

증강 현실, 증강현실 카드, 유니티, 교육 콘텐츠, 영어 교육

Ⅰ. 서 론

4차 산업혁명 시대와 함께 인공지능, 가상현실(VR), 증강현실(AR), 빅데이터 기술들이 발전하였으며, 이러한 기술들이 가진 특징을 활용한 다양한 교육 콘텐츠들이 개발되고 있다. 인공지능 기술은 학습자에게 흥미 및 적성을 판단하여 자동으로 그에 알맞은 학습 콘텐츠를 제공할 수 있으며, 가상현실 기술은 실제 학습 공간에서 교육하기 힘든 역사 탐방, 우주 체험, 지진 및 화재 대비 훈련 등 현실감 있는 실습 교육을 가능하게 한다[1]-[4]. 또한 증강현실 기술은 현실과 3D 모델을 결합하여 학습자에게 실시간 과학실험 가이드를 제공할 수 있으며, 교육 현장에서 직접 하기 어려운 실험을 사용자 상호작용에 따라 3D 모델을 보여줄 수 있다[5],[6]. 마지막으로 빅데이터 기술은 학습 및 교육 현장에서 다양한 데이터를 축적함으로써 학습자의 이력 및 행동에 따른 상관관계를 분석하고 맞춤형 학습 콘텐츠를 제공할 수 있다[7].

앞서 언급된 기술 중 증강현실은 현실 공간에 3D 모델을 증강하고 실시간으로 상호작용을 가능하게 하며 사용자에게 시각적인 재미와 흥미를 불어넣어 준다. 이와 같은 특징을 활용하여 교육 분야에 접목시키면 학습자에게 활동적인 교육 콘텐츠를 제공해 즐거움을 유발한다[8].

과학 분야에서는 교육 현장에서 하기 힘든 화학 실험을 위한 도구나, 사람의 신체기관을 증강현실 기술을 이용해 체험 실습을 제공해주는 콘텐츠들이 개발되었다. 화학 실험도구를 제공하는 증강현실 콘텐츠의 경우, 학습자에게 여러 가지 실험도구를 제공해서 화학 실험을 진행하며, 실험이 끝나면 게임을 통해 실험 내용을 복습한다. 이 과정을 통해 학습자는 실제 교육 현장에서 이루어지기 힘든 화학 실험을 진행하면서 예습과 복습을 진행할 수 있다[9]. 다음으로 사람의 신체 단원에 대한 증강현실 교육 콘텐츠는 3D 모델로 제작된 인체의 주요 기관을 마커를 통해 증강시켜 보여주며, 증강된 기관을 누르면 기관에 대한 설명이 나온다. 학습자는 이를 통해 실제 신체기관을 보면서 우리 몸의 기관에 대해 학습할 수 있다[10]. 이러한 과학 교육용 증강현실 콘텐츠들은 교육자에게 실습내용에 대한 이해도와 현장감을 느끼게 해준다.

수학 분야에서는 스스로 직접 체험하고 즐거운 요소와 함께 배움으로써 교육의 효율성을 극대화한다. 이 점을 이용해 만들어진 증강현실 기반의 수학 교육 게임은 숫자 주사위와 연산자 주사위를 마커로 만들어, 플레이어 두 명이 번갈아 가면서 숫자 주사위와 연산자 주사위를 던져 셈을 한다. 계산된 결과 값만큼 증강된 보드판의 플레이어가 이동한다[11].

아동용 SW 교육 콘텐츠에도 증강현실 기술이 사용되었다. 명령어 카드를 배치하면 배치된 순서대로 캐릭터가 움직이며, 이러한 과정을 통해 캐릭터가 미로를 탈출할 수 있도록 하는 것이다. 이는 배치 순서를 생각하는 과정을 통해 아동의 컴퓨팅 사고력을 높일 수 있는 장점이 있다[12]. 그 외에도 증강현실을 이용해 근현대사를 직접 체험하는 박물관, 지리교과서에 마커를 부착해 만든 증강현실 교과서, 이야기책에서 캐릭터가 나타나는 마커 등 증강현실 기술은 역사, 지리 등 다양한 교육 콘텐츠 개발에 접목되고 있다[13]-[15].

본 논문에서 우리는 이러한 다양한 교육 콘텐츠에 활용된 증강현실 기술을 이용하여 6~7세의 미취학 아동들이 영어 학습에 재미와 흥미를 느낄 수 있도록 영어 단어 및 문장 구조 교육 콘텐츠를 개발한다. 콘텐츠는 프로토타입으로써 개발되었으며, 다음과 같은 기능을 가진다. 첫째, 어린이들이 AR 카드를 이용해 직접 문장을 만든다. 둘째, 만들어진 문장에 따라 캐릭터가 증강되며 적합한 애니메이션을 재생한다. 셋째, 증강된 캐릭터에 적합하지 않은 단어 선택 시 피드백을 준다. 넷째, 증강된 캐릭터를 보고 똑같이 만들어 보는 테스트를 진행한다. 이를 통해 영어 문장의 구조에 대해 이해할 수 있고, 문장에 적합한 증강된 3D 모델 및 애니메이션을 제공함으로써 문장의 의미를 이해시키고자 한다.

본 논문의 구성은 다음과 같다. 1장에서는 본 논문의 개발 동기와 목적에 대해 설명하고, 2장에서는 연관된 연구나 사례를 설명한다. 3장에서는 콘텐츠의 자세한 구조를 설명하고 4장에서는 결론을 짓는다.


Ⅱ. 관련 연구

증강현실 기술은 상호작용을 이용한 실시간 3D 모델 조작이 가능하며, 조작된 모델에 따라 학습자의 흥미 유발을 위한 시각적 요소를 제공할 수 있다. 언어 분야에서는 단어의 의미 및 문장의 구조, 문장을 구성하는 원리를 유아의 흥미를 이끄는 시청각 자료로 더욱 쉽고 재미있게 학습할 수 있도록 한다[16]. 이 장점을 이용해 교육용 게임과 같은 콘텐츠들이 개발되었다.

Catchy Words AR은 사용자가 모바일 기기를 직접 들고 움직여 흩어진 영어 알파벳을 찾는다. 그림 1과 같이 알파벳의 종류를 보고 어떤 단어를 만들 수 있는지 유추하여 알파벳을 배치한다. 단어를 정확히 맞추면 폭죽을 터뜨리는 애니메이션을 통해 정답임을 알려준다. 사용자는 단어를 만들며 철자를 외우는 과정에서 재미를 느낄 수 있다[17].

Fig. 1.

Catch Words AR

유아 언어교육 모바일 증강현실 어플리케이션은 퍼즐 형태로 문장을 구성하고 관련된 콘텐츠를 증강현실로 보여주는 콘텐츠이다. 이 콘텐츠는 동물이 그려진 마커, 동사가 그려진 마커, 형용사가 그려진 마커를 제공한다. 그림 2와 같이 동물이 그려진 마커를 카메라에 비추면 동물이 증강되어 마커 위에 나타난다. 유아는 증강된 시각적 콘텐츠에 흥미를 가지고 형용사, 명사, 동사의 순으로 이어지는 문장 구조를 익힐 수 있다[18].

Fig. 2.

Mobile augmented reality application for early childhood language education

AR Alphabet Book은 알파벳 학습을 위한 교육용 증강현실 콘텐츠로 개발되었다. 해당 콘텐츠는 그림 3과 같이 알파벳 책의 각 페이지가 마커 역할을 하여, 카메라에 비추면 해당 알파벳으로 시작하는 영어 단어가 무엇인지 증강된 3D 오브젝트를 통해 확인할 수 있다. 또한, 알파벳을 쓰는 방법을 알려주는 애니메이션이 재생되어 해당 알파벳의 획순을 알 수 있다. 이 콘텐츠를 체험한 학습자들은 학습 과정에서 대부분 재미와 흥미를 느꼈다[19].

Fig. 3.

AR Alphabet Book

Vocabulary Card AR 은 영어 단어 학습을 위한 증강현실 카드로 개발되었다. 그림 4와 같이 해당 콘텐츠는 학습하기를 원하는 영어 카드를 꺼내어 카메라에 비추면, 단어에 맞는 물체가 카드 위에 증강되어 나타난다. 그와 동시에 단어를 읽어주어 해당 단어를 읽는 방법도 학습할 수 있게 도와준다[20].

Fig. 4.

Vocabulary Card AR

제안된 사례와 연구들은 단어 암기 중심으로 콘텐츠가 개발되어 있으며 영어 문장 구조에 관한 학습을 제공하지 않는다. 본 논문에서는 유아가 동물이 그려진 AR 카드를 직접 움직여 문장을 만들어 영어 문장을 학습할 수 있는 콘텐츠의 프로토타입을 개발한다. 동물이 그려진 AR 카드를 카메라에 인식하면 동물이 증강되어 나타난다. 증강된 동물이 변하고 애니메이션 되는 모습을 통해 유아는 재미와 흥미를 느끼며 문장의 의미를 깨달을 수 있다.


Ⅲ. 콘텐츠 설계 및 개발

개발된 콘텐츠는 학습 모드와 평가 모드를 제공한다. 학습모드에서는 사용자가 모바일 장치를 이용하여 주어진 AR 카드를 인식하고 증강된 동물 캐릭터에 따라 적합한 영어 단어를 선택하게 된다. 그리고 평가 모드에서는 랜덤으로 만들어진 동물에 적합한 단어들을 사용자가 주어진 AR 카드를 이용하여 선택한다. 그림 5는 콘텐츠의 시작화면과 학습자가 직접 사용하는 모습을 보여준다. 본 장에서는 이러한 제안된 콘텐츠의 구조, 학습모드, 평가 모드에 대해 상세히 설명한다.

Fig. 5.

Start screen and demo

3-1 콘텐츠 구조

본 콘텐츠는 학습 모드와 평가 모드 중 하나를 선택함으로써 시작되며, 그림 6은 학습 모드와 평가 모드에 대한 흐름도를 보여준다. 학습 모드에서 사용자는 증강된 단어를 선택하여 문장을 만들며, 선택한 단어에 따라 애니메이션 되는 동물을 보면서 단어의 의미를 이해하게 된다. 제안된 콘텐츠에서 사용자는 AR 보드와 AR 카드들을 이용하여 증강된 3D 모델들을 조작한다(그림 7).

Fig. 6.

Flowcharts for (A) learning and (B) test mode

Fig. 7.

(A) an AR board and AR cards((B) animal cards and (C) a question card)

학습 모드는 AR 보드와 그 위에 놓인 동물카드를 인식함으로써 시작된다. 인식에 성공하면 동물카드 위에 동물이 나타나고 동시에 AR보드 위에는 영어 단어가 나타난다. 영어 단어는 색깔, 크기, 동사 순으로 나타나며, 증강된 단어 선택하면 다음 단어를 차례로 보여준다. 표 1은 콘텐츠에서 사용되는 색깔, 크기, 동사 단어들과 조합들을 보여준다. 인식된 동물카드에 따른 선택 가능한 단어들을 보여준다. 개발된 콘텐츠는 프로토타입으로써 모두 15개의 단어를 포함하고 있으며, 사용자가 선택된 단어에 맞게 동물의 상태 및 애니메이션이 변하게 된다. 또한 영어 문법에 맞게 문장을 재구성함으로써 문장 구조를 익힐 수 있도록 도움을 준다. 만약 증강된 동물이 해당 단어에 맞는 행동을 할 수 없다면 부정하는 애니메이션을 실행한다. 이후 문장을 완성했다면 문장을 한 번 읽어주고 잠시 후 증강된 동물의 상태가 초기화된다. 도중에 동물카드가 변한다면 모든 과정이 초기화되고 인식 과정부터 다시 시작한다. 직접 AR 카드들을 움직여 문장을 만드는 과정과 그 과정으로 나타난 동물의 애니메이션을 통해 유아의 흥미를 유발한다.

Word combination according to an animal card

다음으로 평가 모드는 사용자가 AR 보드의 중앙에 증강된 동물의 움직임과 형태를 보고 그에 알맞은 문장을 제한 시간 내에 최대한 많이 만들어내는 방식이다. 평가 모드는 AR 보드와 그 위에 놓은 문제카드(그림 7. (C))를 인식함으로써 시작된다. 인식에 성공하면 문제카드의 위에는 3D 물음표 모델이 증강되며 화면 상단에는 게임 타이머를 보여준다. AR 보드의 중앙에는 무작위로 움직이는 동물과 영어 단어가 증강된다. 영어 단어는 동물, 색깔, 크기, 행동 순으로 나타나며, 단어를 선택하면 차례로 다음 단어가 나타난다. 사용자가 단어를 선택하면 문제카드 위에 증강된 3D 물음표 모델은 그 단어에 맞는 모습으로 변화하고 문장은 재구성된다. 문장이 완성되었을 때 AR 보드 위에 증강된 동물과 문제카드 위에 완성된 동물이 일치하면 화면에는 정답을 나타내는 표시가 출력되고 문제카드의 상태가 초기화되며 타이머가 종료될 때까지 다음 문제가 나타난다.

3-2 학습 모드

본 콘텐츠에서는 동물카드와 AR 보드가 제공된다. 동물카드는 ‘Dog’, ‘Cat’, ‘Lion’, ‘Bird’로 4종류의 동물카드가 있으며, 카드 위에는 동물의 이미지와 동물의 영어 명칭이 기록되어있다(그림 7. (B)). 우리는 카드를 인식시키고 동물을 증강하는 기능을 구현하기 위해 VuforiaSDK를 이용한다. VuforiaSDK는 사전에 등록된 이미지나 카드를 인식하여 디스플레이 장치에 3D 모델을 증강시키는 기능을 제공한다[16]. 그림 8과 같이 사용자가 모바일 장치를 이용하여 동물카드를 카메라에 비추게 되면 화면에는 해당 동물 모델이 증강되고, 영어 단어가 화면 상단에 표시된다.

Fig. 8.

Augmented 3D animal models

동물이 증강되면 AR 보드 위에는 동물의 색을 선택할 수 있는 영어 단어들이 나타난다. 색깔을 나타내는 단어들은 ‘Red’, ‘Yellow’, ‘Green’, ‘Blue’ 4개의 로 구성되어 있으며, 사용자는 동물카드를 움직여 색깔을 선택할 수 있다. 사용자가 4개 중 하나의 단어를 선택하게 되면 증강된 단어들은 모두 사라지며 선택된 단어 색에 맞게 동물의 색은 변하게 된다. 그림 9는 사용자가 ‘Red’ 단어를 선택하고 ‘Dog’가 선택된 색에 맞게 변화된 결과를 보여준다.

Fig. 9.

(A) Augmented color words and (B) 3D dog model changed after color selection

다음으로 증강된 동물의 크기를 설정할 수 있도록 크기에 해당되는 단어들인 ‘Big’, ‘Small’, ‘Normal’이 나타난다(그림 9-A). ‘Normal’을 선택하면 현재 크기와 동일하게 변화가 없으며, ‘Big’ 또는 ‘Small’을 선택하면 해당 단어에 맞도록 크기가 변한다. 그림 10은 증강된 단어들과 선택 후 크기가 변화된 모습을 보여준다. ‘Dog’가 ‘Small’을 선택하면 증강된 강아지의 크기가 작아지는 것을 볼 수 있다. 그리고 화면 상단에는 어순에 맞도록 단어들이 나열됨을 확인할 수 있다.

Fig. 10.

(A) Augmented size words, and (B) the 3D dog model that got smaller after selecting ‘small’ word

크기 선택이 끝나면 AR 보드에는 동사에 해당하는 영어 단어들이 나타난다. 동사는 ‘Run’, ‘Fly’, ‘Jump’, ‘Stand’로 구성되어 있다. 동물카드를 움직여 증강된 동물에 적합한 동사를 선택하면 애니메이션을 실행한다. 그림 11은 ‘Dog’ 동물 카드를 이용하여 ‘Run’을 선택하여 애니메이션 된 결과를 보여준다.

Fig. 11.

(A) Augmented action words and (B) 3D dog model animated after selecting ‘Run’

증강된 동물이 할 수 없는 동사를 선택한 경우가 발생할 수 있다. 학습 모드의 경우에는 고개를 젓는 애니메이션이 실행되어 할 수 없음을 보여준 뒤, 증강된 동사 단어는 제거되지 않고 다른 단어를 선택할 수 있게 한다. 그림 12는 잘못된 단어를 선택했을 때 나타나는 결과를 보여준다. 학습 모드에서 3D 사자 모델이 증강된 상태에서 ‘Fly’를 선택하면, 날 수 없는 동물이기 때문에 사자는 고개를 젓는 애니메이션을 보여준다.

Fig. 12.

If the lion selects ‘Fly’, ‘head shaking animation’ is played

모든 단어의 선택이 완료되면 선택한 모든 단어와 조합되어 문법에 맞도록 화면 상단에 나타난다. 이때, 동사는 현재진행형으로 변경되어 출력된다. 현재진행형은 현재 진행 중인 동작을 나타내는 문법이기 때문에 상황에 맞는 문장을 보여주기 위해 현재진행형으로 변환시켜 주었다. 그림 13은 모든 단어 선택 후 나타난 완성된 문장을 보여준다. 문장이 완성되면 문장을 세 번 읽어주고 초기 상태로 돌아간다.

Fig. 13.

Completed sentence

학습 모드의 모든 단계에서 동물카드가 다른 카드로 변경되는 경우에는 모든 과정이 초기화되고 바뀐 동물카드로 진행할 수 있도록 한다. 그림 14는 기존에 증강된 ‘Lion’이 새로 인식된 ‘Bird’로 변경된 모습을 보여준다.

Fig. 14.

(A) before changing a card, (B) after changing a card

3-3 평가 모드

평가 모드는 사용자가 문제카드(그림 7. (C))를 이용하여 주어진 문제에 맞는 적합한 단어들을 선택하고 문장을 만들어야 한다. 문제카드가 인식되면 물음표 모양의 3D 모델이 증강되며, AR 보드의 중앙에는 평가 모드의 문제로서 애니메이션 동물 모델이 증강된다. AR 보드의 꼭짓점에는 동물, 색깔, 크기, 행동 4가지의 영어 단어가 순서대로 나타난다. 동물 단어는 ‘Dog’, ‘Cat’, ‘Lion’, ‘Bird’ 4개의 단어이다. 사용자는 문제카드를 직접 움직여 동물을 선택하며, 증강된 물음표 모양의 3D 모델은 선택한 동물로 변하게 된다. 다음으로 사용자는 학습 모드와 동일한 방법으로 문제카드를 움직여 색깔, 크기, 행동 순으로 적합한 단어를 선택한다. 정답을 맞히면 증강된 모든 3D 모델은 사라지고, 화면에는 정답을 나타내는 표시를 보여준다. 그림 15는 주어진 테스트 문제에 대해서 사용자가 테스트를 진행하는 예를 보여준다. (A)는 평가 모드가 시작되어 AR 보드의 중앙에 정답에 해당하는 동물이 나타나 애니메이션을 재생하는 모습이다. (B)는 사용자가 문제카드를 움직여 정답에 맞는 동물인 ‘Dog’를 선택한 후 카드에 강아지 모델이 증강된 모습이다. (C)는 알맞은 색깔인 ‘Green’을 선택해 증강된 동물의 색이 변경된 모습이다. (D)는 ‘Big’을 선택해 정답과 같은 크기가 된 동물의 모습이다. (E)는 사용자가 문제의 애니메이션 동작에 해당되는 단어를 선택 후 결과를 보여준다. (F)는 증강된 모든 3D 모델이 사라지고 새로운 문제가 나타나는 모습이다.

Fig. 15.

Test mode’s process

사용자가 오답을 선택하는 경우, 화면에 오답을 나타내는 표시를 보여주고 다음 문제를 풀게 한다. 그림 16은 오답을 선택했을 때의 진행되는 과정을 보여준다. (A)는 오답을 선택하면 나타나는 표시와 (B)는 증강된 3D 모델들이 초기화 후 다음 문제가 제시됨을 보여준다.

Fig. 16.

(A) Incorrect answer and (B) next question

마지막으로 테스트 시간이 종료되면 그림 17과 같이 정답 문제 수를 보여주고, 메뉴 돌아가기 버튼과 재도전 버튼이 나타난다.

Fig. 17.

Result screen


IV. 결 론

본 논문에서 우리는 증강현실 기술을 이용하여, 동물이 그려진 AR 카드를 카메라에 인식하면 동물이 증강되어 나타나게 하여, 증강된 동물이 변하는 모습을 통해 미취학 아동들이 영어 학습에 재미와 흥미를 느낄 수 있도록 영어 단어 및 문장 구조 교육 콘텐츠를 개발하였다. 개발된 콘텐츠는 사용자가 AR 카드를 이용해 직접 영어 단어를 선택할 수 있게 하였다. 또한 선택한 단어들을 적절히 조합 및 변형시켜 영어 문장을 학습할 수 있도록 하였으며, 문장이 완성되면 직접 읽어주어 문장을 읽는 방법도 학습할 수 있게 하였다. 다음으로 사용자는 평가 모드를 통해 정답에 맞는 영어 단어들을 선택하여 학습 상태를 점검할 수 있도록 했다.

개발된 콘텐츠는 프로토타입으로써 카드 수와 단어의 수가 제한적이다. 추후 연구로서 AR 카드 수와 단어의 수를 늘려 다양한 문장을 학습할 수 있도록 하며, 증강된 3D 모델 및 문장 구성에 따른 3D 애니메이션의 효과성에 대해 사용성 평가를 수행할 계획이다. 그리고 상용화를 위해 필요한 콘텐츠 개발 기준 및 품질검증지침에 기반하여 개발을 진행할 계획이다. 끝으로 개발된 콘텐츠가 실제 교육 현장에서 사용되어 어린이들이 영어 문장 구조와 의미에 대해 쉽게 학습할 수 있도록 도울 수 있기를 기대한다.

References

  • J. H. Ee and N. Huh, “Developing Adaptive Math Learning Program Using Artificial Intelligence,” The East Asian Mathematical Journal, Vol. 36, No. 2, pp. 273-289, February 2020. [https://doi.org/10.7858/eamj.2020.018]
  • Y. K. Ko, “History Education Through VR,” The Journal of Humanities and Social Sciences 21, Vol. 9, No. 6, pp. 487-500, December 2018. [https://doi.org/10.22143/HSS21.9.6.34]
  • C. S. Kwon, A Study on Development and Evaluation of Experiential Learning Game Contents Using Authentic Virtual Reality, Ph. D. dissertation, Seoul National University, Seoul, August 2017.
  • W. S. Hwang and K. S. Pyo, “Contents Improvements of the Disaster-Safety Virtual Reality Education and Training for Children,” in Proceeding of KICS Fall Conference 2019, Seoul, pp. 27-28, November 2019.
  • J. K. Shim and D. Y. Kwon, “Propose of the Laboratory Concept based on Augmented Reality with Tangible User Interface,” in Proceeding of KACE Winter Conference 2018, Seoul, pp. 75-78, January 2018.
  • M. Meng, P. Fallavollita, T. Blum, U. Eck, C. Sandor, S. Weidert, J. Waschke, and N. Navab, “Kinect for interactive AR anatomy learning,” in Proceeding of 2013 IEEE International Symposium on Mixed and Augmented Reality (ISMAR), Adelaide, SA, Australia, pp. 277-278, October 2013. [https://doi.org/10.1109/ISMAR.2013.6671803]
  • J. H. Kim, J. M. Kim, and B. S. Ko, “Custom STEM e-learning platform based on big data and machine learning,” in Proceeding of Korea Software Congress 2017, Jeju, pp. 805-807, December 2017.
  • J. H. Lee, “A Study on the Educational Use of Augmented Reality Based Mobile Education Content -Case Analysis of Mobile Augmented Reality Application for Education-,” The Journal of the Korean Society of Design Culture, Vol. 24, No. 1, pp. 569-585, March 2018. [https://doi.org/10.18208/ksdc.2018.24.1.569]
  • A. Y. Son, J. C. Han, H. A. Kim, Y. E. Kim, and B. H. Lee, “Mobile Chemical Experiment Tool Package with AR Technology and Game Feature,” in Proceeding of KIIT Conference, pp. 652-654, October 2020.
  • H. J. Ryu and H. W. Park, “A Development and Application of the Objects on the Unit of 'Our Body' on Augmented Reality,” The Journal of Korean Elementary Science Education, Vol. 36, No. 4, pp. 367-378, November 2017. [https://doi.org/10.15267/keses.2017.36.4.367]
  • H. S. Lee and J. W. Lee, “Mathematics education game based on augmented reality,” in Proceeding of HCI 2008, pp. 817-822, February 2008.
  • M. G. Kim, S. H. Kim, H. R. Kang, G. G. Kim, B. R. Jin, and Y. W. Lee, “Children's SW Education Content Based on AR,” in Proceeding of KIICE 2020 Spring Conference, pp. 191-193, July 2020.
  • Y. R. Kim, A study on the composition of modern historical experience museum combined with augmented reality(AR), Master’s thesis, Hongik University, Seoul, August 2018.
  • J. H. Park and Y. H. Kim, “Exploring Augmented Reality applications for Geography Learning: Focused on Marker Based Methods,” The Journal of the Korean Geographical Society, Vol. 48, No. 6, pp. 994-1008, December 2013.
  • C. B. Kim and K. Kim, “The effects of experiential learning based on augmented reality method on the learning of storybooks and involvement in educational activities for preschool children,” The Journal of Korea Open Association for Early Childhood Education, Vol. 16, No. 4, pp. 449-468, August 2011.
  • S. J. Ryu, “AR based Foreign Language Education: Application of Korean-French Fairy Tales,” The Journal of Story & Image Telling, No. 20, pp. 123-150, December 2020. [https://doi.org/10.22758/sni.2020.20.123]
  • Twice Apps Team. Catchy Words AR[Internet]. Available: https://twiceapps.com/catchy/catchy.html
  • S. H. Kang, M. W. Shin, M. J. Kim, and H. H. Park, “Mobile Augmented Reality Application for Early Childhood Language Education,” The Journal of Broadcast Engineering, Vol. 23, No. 6, pp. 914-924, November 2018. [https://doi.org/10.5909/JBE.2018.23.6.914]
  • D. R. A. Rambli, W. Matcha, and S. Sulaiman, “Fun Learning with AR Alphabet Book for Preschool Children,” Procedia Computer Science, Vol. 25, pp. 211-219, November 2013. [https://doi.org/10.1016/j.procs.2013.11.026]
  • I. F. Rozi, E. Larasati, and V. A. Lestari, “Developing vocabulary card base on Augmented Reality (AR) for learning English,” The Journal of The 2nd Annual Technology Applied Science and Engineering Conference (ATASEC 2020). Vol. 1073, pp. 12061-12066, August 2020. [https://doi.org/10.1088/1757-899X/1073/1/012061]
  • Vuforia engine developer portal [Internet]. Available: https://developer.vuforia.com/

저자소개

함동의(Dong-Ui Ham)

2018년~ : 경상국립대학교 컴퓨터과학부 (학사)

※관심분야 : 컴퓨터 그래픽스(CG), 증강현실(AR), 가상현실(VR) 등

이정현(Jung-Hyun Lee)

2018년~ : 경상국립대학교 컴퓨터과학부 (학사)

※관심분야 : 컴퓨터 그래픽스(CG), 증강현실(AR), 가상현실(VR) 등

강창구(Changgu Kang)

2010년 : 광주과학기술원 (공학석사)

2017년 : 광주과학기술원 (공학박사)

2018년~현 재: 경상국립대학교 컴퓨터과학부 부교수

※관심분야:컴퓨터 그래픽스(Computer Graphics), 인터랙티브 미디어(Interative Media), 증강현실(Augmented Reality), 인공지능(Artificial Intelligence) 등

Fig. 1.

Fig. 1.
Catch Words AR

Fig. 2.

Fig. 2.
Mobile augmented reality application for early childhood language education

Fig. 3.

Fig. 3.
AR Alphabet Book

Fig. 4.

Fig. 4.
Vocabulary Card AR

Fig. 5.

Fig. 5.
Start screen and demo

Fig. 6.

Fig. 6.
Flowcharts for (A) learning and (B) test mode

Fig. 7.

Fig. 7.
(A) an AR board and AR cards((B) animal cards and (C) a question card)

Fig. 8.

Fig. 8.
Augmented 3D animal models

Fig. 9.

Fig. 9.
(A) Augmented color words and (B) 3D dog model changed after color selection

Fig. 10.

Fig. 10.
(A) Augmented size words, and (B) the 3D dog model that got smaller after selecting ‘small’ word

Fig. 11.

Fig. 11.
(A) Augmented action words and (B) 3D dog model animated after selecting ‘Run’

Fig. 12.

Fig. 12.
If the lion selects ‘Fly’, ‘head shaking animation’ is played

Fig. 13.

Fig. 13.
Completed sentence

Fig. 14.

Fig. 14.
(A) before changing a card, (B) after changing a card

Fig. 15.

Fig. 15.
Test mode’s process

Fig. 16.

Fig. 16.
(A) Incorrect answer and (B) next question

Fig. 17.

Fig. 17.
Result screen

Table 1.

Word combination according to an animal card

AR Marker Color Size Action
Dog Red, Blue, Green, Yellow Big, Small, Normal Run, Jump, Stand
Cat
Lion
Bird Fly, Jump, Stand