Korea Digital Contents Society
[ Article ]
Journal of Digital Contents Society - Vol. 24, No. 11, pp.2929-2939
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 30 Nov 2023
Received 16 Sep 2023 Revised 24 Oct 2023 Accepted 15 Nov 2023
DOI: https://doi.org/10.9728/dcs.2023.24.11.2929

자폐스펙트럼장애 아동의 사회적 의사소통 기술 향상을 위한 모바일 앱 분석

김환희1 ; 연석정2, * ; 이영선3 ; 홍기형4
1인하대학교 교육학과 박사수료
2인하대학교 교육대학원 조교수
3이화여자대학교 특수교육과 교수
4성신여자대학교 서비스디자인공학과/AI융합학부 교수
An Analysis of Mobile Apps Targeting Social Communication Skills of Children with Autism Spectrum Disorder
Hwan-Hee Kim1 ; Seok Jeong Yeon2, * ; Youngsun Lee3 ; Ki-Hyung Hong4
1PhD Student, Department of Education, Inha University, Incheon 22212, Korea
2Assistant Professor, Graduate School of Education, Inha University, Incheon 22212, Korea
3Professor, Department of Special Education, Ewha Womans University, Seoul 03760, Korea
4Professor, Department of Services and Design Engineering, Sungshin Women’s University, Seoul 02844, Korea

Correspondence to: *Seok Jeong Yeon Tel: +82-32-860-7866 E-mail: stonewell@inha.ac.kr

Copyright ⓒ 2023 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

본 연구에서는 자폐스펙트럼장애 아동의 사회적 의사소통 기술 향상에 초점을 맞춘 모바일 앱의 특징들을 분석하기 위해 선정 절차와 포함 기준에 따라 총 37개의 앱을 분석대상으로 선정하였으며, 이를 모바일 앱의 학습 유형과 학습 목표, 모바일 앱의 특성 및 학습자 지원 전략에 따라 그 세부 내용을 분석하였다. 그 결과, 학습 유형으로는 평가형이 가장 큰 비중을 차지하였고, 학습 목표 영역 중 사회성 기술 향상에 대해 다룬 앱이 가장 많은 것으로 나타났다. 또한, 사용자 맞춤형 기능으로 사용자가 직접 데이터를 첨부하거나 편집하는 방식의 기능을 지원하는 앱이 가장 많았고, 학습 지원 전략으로는 학습 결과를 공유하거나 저장하도록 지원한 앱이 가장 많은 것으로 분석되었다. 이러한 분석 결과를 중심으로 한 논의를 제시하였다.

Abstract

This study included 37 mobile apps based on the selection procedure and inclusion criteria to analyze the characteristics of mobile-based learning and training apps developed to enhance the social communication skills of children with autism spectrum disorder. These apps were categorized by their learning types, objectives, characteristics, and learner support strategies. The results revealed that the majority of these apps focused on improving social skills. Additionally, the evaluation-type was the largest category of learning types. Notably, apps featuring user-customization, i.e., allowing direct data attachment or editing, were most prevalent. Furthermore, the facilitation of sharing or saving learning outcomes was determined to be the primary learner support strategy. Discussions were held based on these results.

Keywords:

Mobile Learning, Autism Spectrum Disorder, Social Skills, Communication Skills, Digital Therapeutics

키워드:

모바일 학습, 자폐스펙트럼장애, 사회성, 의사소통 기술, 디지털 치료제

Ⅰ. 서 론

1-1 연구의 필요성 및 목적

최근 ICT 기술이 빠르게 발전하면서 모바일 기기를 기반으로 하는 디지털 헬스케어(Digital Healthcare) 산업이 크게 성장하고 있다. 모바일 기기에 탑재된 센서를 활용하여 체온이나 걸음 수, 심박 수를 측정하거나 신체활동량 및 수면 패턴을 추적하고 식사량을 관리하는 일상생활의 모니터링에서부터 당뇨나 혈압, 심장질환 등을 진단하고 관리하는 의료적 영역에서의 모니터링까지 범위가 점차 확대되고 있다[1]. 특히, 최근에는 모바일 앱을 비롯한 인공지능, 가상현실, 챗봇 등의 소프트웨어용 의료기기(software as a medical device)를 기반으로 하여 의학적 장애나 질병을 예방, 관리, 치료하기 위한 근거 기반의 치료적 개입을 제공하는 디지털 치료제(Digital Therapeutics)가 주목을 받기 시작하였다[2],[3].

디지털 치료제로서는 최초로 FDA 인증을 받은 중독치료제 ReSET-O는 알코올 및 약물 중독치료에 사용되는 인지행동치료(CBT; Cognitive Behavior Therapy) 기반의 정서 조절 및 사회적 관계 회복, 다양한 질환 예방 등 총 31개의 세션을 모바일 앱에서 제공하고 있다[4],[5]. 국내에서도 ADHD(예, ADHD-Pay Attention) 및 공황장애(예, Panic-Relieve), 우울증(예, 마성의 토닥토닥), 경도의 인지장애(예, 시니엔케어) 등을 대상으로 개인 맞춤형의 인지행동치료, 행동교정, 생활습관 개선, 신경재활 등 활발한 디지털 치료제 관련 연구들이 이루어지고 있으나[6],[7], 아직까지는 대부분 개발된 앱의 이론적 근거가 제한적인 수준인 것으로 평가되고 있다[5]. 그럼에도 포스트 COVID-19 시대에서 디지털 치료제에 대한 요구는 점점 커지고 있어 디지털 기술을 기반으로 하는 심리학적 서비스 및 건강관리 서비스 산업은 지속적으로 확대되어 갈 것으로 보고되고 있으며[5], 더욱 다양한 기기 내 센서들을 활용하여 환경적 요소 및 행동이나 생리적 요소에 대한 다차원적인 데이터를 결합함으로써 보다 개인화된 정밀한 치료제로 발전해갈 것을 기대하고 있다[6].

이러한 관점에서 볼 때 디지털 치료제는 자폐스펙트럼장애(ASD; Autism Spectrum Disorder, 이하 ASD)를 대상으로도 매우 효과적인 개입 수단이 될 수 있을 것이다. ASD는 신경발달장애 중 하나로, 사회적 상호작용 및 의사소통 능력에서의 질적 결함을 보인다는 일반적인 특징을 가지는 동시에[8], 그 안에서는 매우 다양한 범위의 증상과 징후를 나타내며 다소 이질적인 편차를 보이는 것으로 알려져 있어 이들을 위한 효과적인 개입을 위해서는 개개인의 차이에 대한 고려가 중요하게 요구된다[9]. 디지털 기술 기반의 접근은 이러한 개인 맞춤형 옵션 제공이 용이하고 시공간적 제약이 적으며 반복적인 훈련이 가능하여 ASD 아동에게 효과적인 개입이 될 수 있으며, 또한 시각적 정보가 풍부한 디지털 콘텐츠와 전자기기에 대한 ASD 아동의 흥미도가 매우 높은 것으로 알려져 기술 기반의 훈련 프로그램에 대한 ASD 아동의 높은 자발적 참여를 기대할 수 있을 것이다[10].

ASD에 대한 디지털 기술 기반의 개입에 대해서는 여러 연구를 통해 그 효과성이 검증되고 있으며, 적용 영역 또한 학업적 영역에서부터 생활습관 개선, 정서적 조절, 의사소통기술 및 직업 기술 향상, 사회성 기술 향상 등 다양한 영역에서 효과가 나타나고 있다. 특히, 애플리케이션(application, 이하 앱)은 휴대성이 높고 터치를 통해 입력방식이 간편한 모바일 기기를 기반으로 하며, 텍스트와 이미지, 영상 등의 다양한 데이터로 표현이 가능하기 때문에 학습 내용에 대한 이해를 도울 수 있고, 장애아동의 개별 수준을 고려한 맞춤형 서비스 제공이 용이하다는 장점이 있어[11],[12], 디지털 치료제로도 적극 고려되고 있다. 무엇보다 모바일 앱을 활용한 개입은 ASD 아동의 적극적인 관심과 흥미를 유도하고 사회적 낙인효과를 감소할 수 있어 치료제에 대한 지속적 참여와 효과적인 반복 훈련을 통한 치료적 성과로 이어질 수 있을 것이다.

ASD 아동은 다양한 분야에 걸쳐 사회적 의사소통 및 사회적 상호작용의 지속적인 결함을 보이며, 제한적이고 반복적인 행동이나 흥미, 활동이 초기 발달 단계에서 발현되기 시작하여 개인적, 사회적, 학업적 또는 직업적 기능에 손상을 야기하는 발달 결함을 보인다[8]. 제한적이고 반복적인 행동이나 감각처리의 어려움은 행동치료 접근의 중재가 효과적인 것으로 알려져 있으며, 사회적 의사소통 능력 중재는 언어치료, 행동치료, 및 특수교육적 접근이 효과적인 것으로 알려져 있다. 사회적 의사소통 능력에의 결함이란, 음운론, 의미론, 구문론, 화용론의 언어적 구성요소를 포함하는 언어적인 능력뿐만 아니라, 얼굴 표정과 제스처를 이해하고 사용하는 비언어적인 능력에서의 결함을 보이는 것을 말한다. 또한, 의사소통 대화상대자의 나이와 장소에 따라 의사소통을 조율할 수 있는 능력을 포함하고 있다. ASD 아동의 심각도(level 1~level 3)에 따라 언어적 그리고 비언어적 능력의 결함 정도와 질적인 특징은 다양하다[8].

디지털 치료제는 치료대상자의 반응을 자동적으로 분석하여 치료대상자에게 맞춤화된 치료가 진행되도록 설계되어야 한다. 치료대상자에게 맞춤화된 치료를 위해서는 ASD 아동에게 주로 보이는 사회적 의사소통 능력의 결함 영역에 중재목표를 두어야 한다.

현재 ASD 아동을 대상으로 하는 디지털 치료제의 실질적인 사용은 아직 제한적인 수준이나[5], ASD의 사회적 의사소통 기술을 다루는 디지털 치료제의 정착 및 확산, 그리고 양질의 모바일 앱 서비스 구현을 위해서는 현재 ASD 대상으로 개발된 모바일 앱들의 기능적 특징과 학습 특성에 대해 면밀히 검토해볼 필요가 있다. 이에 본 연구에서는 ASD 아동의 사회적 의사소통 기술 향상에 초점을 맞춘 모바일 앱을 분석하여, 앱을 기반으로 하는 사회적 의사소통 기술의 학습 과정과 세부적으로 다루는 내용의 특징들을 살펴보고, 디지털 치료제로서의 유의미한 지표들을 확인함으로써 후속 연구의 방향성을 검토해보고자 한다.

1-2 용어의 정의

본 연구에서는 ASD 아동의 사회적 의사소통 능력을 DSM-5의 진단기준[8]과 의사소통 능력 분석기준[13]에 따라 사회성 기술과 의사소통 기술로 구분하여 용어를 정의하였다.

1) 사회성 기술

DSM-5 진단기준에 의하면[8], 사회적 의사소통, 사회적 상호작용의 지속적인 결함은 ASD의 주요 진단기준이다. 본 연구에서는 정상적인 대화의 실패, 흥미나 감정공유의 어려움, 언어적, 비언어적 의사소통의 불완전한 통합, 비정상적인 눈맞춤과 얼굴 표정, 몸짓의 이해와 사용의 결함은 사회성 기술에 해당된다고 보고, 구어 언어능력 이외에 타인과 상호작용을 위한 감정적 교류나, 상호작용을 위한 언어적, 비언어적 의사소통의 능력을 사회성 기술이라고 정의하였다[8],[13].

2) 의사소통 기술

의사소통 기술은 구어를 기반으로 하는 언어적 능력으로, 음운론, 의미론, 구문론, 화용론의 기본 언어학 구성영역을 포함하는 능력이다. 음운론은 조음능력, 의미론은 어휘사용능력을 포함하며, 구문능력은 문법형태소와 논리적인 문장을 만드는 능력, 화용능력은 다양한 의사소통 기능(요구하기, 질문하기, 대답하기 등)을 표현하는 능력으로 정의하였다[13].


Ⅱ. 연구방법

2-1 모바일 앱 검색

ASD 아동의 사회적 의사소통 기술 향상을 위한 모바일 앱을 분석하기 위해, 2022년 10월 8일부터 10월 22일까지 약 2주에 걸쳐 Google Play 스토어와 Apple 앱 스토어를 활용하여 분석대상 앱을 검색하였다. 검색어로는 ‘autism’, ‘social’, ‘communication’, ‘자폐’, ‘발달장애’, ‘의사소통’, ‘사회성’ 등의 단어를 조합하여 사용하였고, 검색어 입력 후 나타나는 관련 앱 자동 추천기능을 중심으로 검색을 진행한 결과, Apple 앱 스토어에서 95개, Google Play 스토어에서 24개의 관련 앱이 검색되었으며, 검색된 앱을 iOS 기반의 iPad Pro 4세대(Apple Inc., MY2H2KH/A)와 안드로이드 기반의 갤럭시탭 A8(Samsung, SM-X200) 기기에 다운로드하여 앱 분석을 실시하였다.

2-2 분석대상 모바일 앱 선정 절차

1) 선정 및 제외 기준

검색된 모바일 앱의 선정 기준으로는 1) 안드로이드 및 iOS 운영체계를 기반으로 하며, 2) ASD 아동을 대상으로 하고, 3) 그들의 사회적 의사소통 능력을 향상시키기 위한 목적을 가진 앱으로, 4) 한국어 또는 영어로 정보가 제공되는 경우를 포함하였다. 또한, 이전 버전의 콘텐츠를 포함하는 업그레이드 버전의 앱이 출시된 경우에는 최신 버전의 앱만 포함하였다.

ASD 아동의 사회적 의사소통 능력 향상을 위해 개발된 앱에 초점을 맞추어 세부적인 특징을 분석하기 위해 다음의 제외 기준을 설정하였다.

  • 1) ASD 아동을 대상으로 하지 않고, 부모나 교사, 전문가 등을 대상으로 설계되었거나 ASD 청소년 및 성인을 대상으로 설계된 앱
  • 2) 의미, 구문, 화용의 의사소통 기술과 사회적 기술 향상에 초점이 맞춰지지 않은 앱(예, 조음이나 음성치료 등은 제외)
  • 3) 기술 향상을 위한 학습 측면을 고려하지 않고, 네트워킹 형성이나 단순한 정보만을 제공하기 위한 앱, 또는 의사소통 도구로만 활용되는 앱
  • 4) 앱에 대한 설명이 충분히 제시되지 않거나, 제대로 작동하지 않는 앱

이상의 선정 및 제외 기준에 따라 총 37개의 모바일 앱이 분석대상 앱으로 선정되었다(그림 1).

Fig. 1.

Procedure for selecting mobile apps

2-3 분석 도구 및 방법

1) 앱 유형 분석 기준

ASD 아동을 대상으로 사회적 의사소통 기술을 학습할 수 있도록 개발된 모바일 앱의 세부 내용 분석을 위해 Alessi와 Trollip[14], 정수정 등[15]이 제시한 교육용 앱의 유형별 특징을 기반으로 하여 개인교수형, 반복연습형, 시뮬레이션형, 게임형, 문제해결형, 자료제시형, 평가형, 도구형으로 나누어 분석하였다(표 1).

Learning type characteristics of mobile apps

2) 앱의 학습 목표 분석 기준

모바일 앱에서 다루는 구체적인 학습 목표는 아동 언어장애의 자발화 분석기준을 참고하여, 사회성 기술과 의사소통 기술로 분류하여 분석하였다[13]. 자발화 분석은 구어 기반의 의사소통 능력을 평가하고 중재하는 지표로, 음운, 의미, 구문, 화용의 언어적 측면에서의 정보를 얻을 수 있다[13]. 본 연구에서는 조음 훈련 앱을 분석기준에서 제외하였으므로, 자발화 분석지표 가운데, 의미, 구문, 화용의 분석지표를 참고하여 분석기준으로 사용하였고, 의사소통 기술과 사회성 기술 분류기준에 대해서는 언어병리학 박사학위와 언어재활사 자격증을 소지한 제2연구자가 최종 검토하여 다음과 같이 분석 기준을 수정하였다.

의사소통 기술에서 하위범주는 의미, 구문, 화용 능력으로 분류하였다. 1) 의미 범주의 목표는 사물, 동작, 상태 등 어휘력 향상 또는 어휘지식 향상에 목표를 둔 앱을 포함한다, 2) 구문 범주의 목표는 조사, 동사의 어미 활용(과거시제, 현재시제, 미래시제 학습) 등 문법형태소 사용과 복문사용, 연결어미 사용에 목표를 둔 앱을 포함한다, 3) 화용 범주의 목표는 요구하기, 질문하기, 대답하기, 인사하기 등 다양한 의사소통 기능을 표현 향상에 목표를 둔 앱을 포함한다.

사회성 기술의 목표는 언어적, 비언어적 맥락 정보를 제공하여 치료대상자가 의사소통이 이루어지는 사람, 장소 등 다양한 정보를 이해하고 표현하여 의사소통을 조율하는 능력에 목표를 둔 앱을 포함한다.

3) 앱의 기능 및 학습 전략 분석 기준

모바일 앱의 특성에 대해서는 앱의 기능적인 전략과 학습 전략으로 크게 구분하여 분석하였는데, 기능적 전략으로는 첫째, 앱에서 활용된 데이터의 유형에 따라 텍스트, 이미지, 음성, 영상으로 나누어 분석하였고, 둘째, 사용자를 고려한 맞춤형 지원이 제공되었는지를 분석하기 위해 사용자의 콘텐츠 작성 및 편집 기능, 수준 및 요구에 따른 난이도 조절, 선호에 따른 옵션 제공, 사용자 환경 고려 등을 중심으로 분석하였다. 더불어, 학습자 지원을 위한 전략 특성으로 스토리 활용, 보상 제공, 다양한 계정 관리, 학습 결과 공유, 워크시트 제공 등에 대한 분석을 실시하였다(표 2).

Characteristics of mobile apps

2-4 분석자 간 신뢰도

분석자 간 신뢰도를 확보하기 위해 전체 분석대상 모바일 앱의 1차 분석을 마친 후 그중 약 20%에 해당하는 7개의 앱에 대해 공동연구자가 독립적으로 분석을 진행하여 두 연구자 간 일치한 수를 전체 합에서 나눈 후 100을 곱하는 방식의 일치-불일치 신뢰도 계산 방법을 이용하여 신뢰도를 산출하였다. 학습 유형 분석(85.71%), 학습 목표(100%), 앱 특성(100%)에 대한 분석 신뢰도 결과는 총 95.23%로 나타났다. 불일치로 나타난 항목에 대해서는 논의를 통해 합의를 이루어 분석하였다.


Ⅲ. 연구결과

3-1 모바일 앱의 개괄적 분석

ASD 아동의 사회성 및 의사소통 기술에 초점을 맞추어 개발된 총 37개의 모바일 앱에 대한 개괄적 분석 결과를 표 3에서 제시하였다.

Overview of mobile apps

총 37개의 분석대상 모바일 앱의 연도별 출시 현황은 다음의 그림 2와 같다. 2016년에 7개로 가장 많은 앱이 출시되었으며, 매년 1개 이상의 앱이 꾸준히 출시되어 온 것을 확인할 수 있었다.

Fig. 2.

Mobile app launch status

3-2 학습 목표 영역

총 37개의 분석대상 앱을 학습 목표에 따라 사회성과 의사소통 기술로 구분하였는데, 전체 앱 중 24개 앱은 ASD 아동의 사회성 기술 향상에 초점을 두었고, 나머지 13개 앱이 의사소통기술 향상을 위해 개발된 것으로 나타났다(표 4).

Mobile apps by learning objectives

먼저, 사회성 기술 향상을 다룬 앱들을 구체적으로 살펴보면, 학교나 가정, 또는 지역사회에서 요구되는 적절한 사회적 행동을 학습할 수 있도록 구성한 앱이 75%(예, Social Story Creator & Library, Social Skills for Autism, iModeling - Video Modeling, 총 18개)로 가장 많았는데, 주로 구체적인 사회적 상황 및 전략을 제시하거나(예, Autism Toolbox - Social Skills, Kloog 2 Return to Zugopolis) 각 상황에 대한 학습자의 사회적 행동을 목록화할 수 있도록 스토리북이나 앨범 형태의 도구적 기능을 제공(예, My Social Stories, Social Norms, i Create...Social Skills Stories)하고 있었다. 그리고 전반적인 사회적 행동을 넓게 다루기보다 특정한 기술 습득을 목표로 설정한 앱이 2편이었는데, 이는 식품을 구매하는 과정에 대한 이해를 돕거나 대인관계에서 친밀도에 따라 적절한 신체 접촉 범위에 대한 이해를 돕도록 내용을 구성하였다(예, i Get...Going to Grocery Store Vocabulary Photo Books and Social Skills Stories, Circles Social Skills Utility). 또한, 사회성 기술의 영역으로 감정에 대한 이해나 조절을 다룬 앱이 20.8%(총 5개)로 분석되었으며, 구체적으로는 감정에 대한 이해를 돕기 위해 감정 관련 어휘나 의미, 핵심 감정 식별 등을 다룬 앱(예, iTouchiLearn Feelings for Preschool Kids Free, emotionary by Funny Feelings)과 분노, 불안, 두려움 등의 특정 감정을 경험하는 상황에서 스스로 진정하거나 잘 다루어낼 수 있도록 구체적인 전략을 다룬 앱(예, Calm Counter Social Story & Anger Management Tool, Wisdom: The World of Emotions), 그리고 자신의 감정을 기반으로 선호를 적절하게 표현할 수 있도록 지원하는 앱(예, Me & My Choices)이 포함되었다. 그 외에도 사회적 추론 능력을 학습시키기 위해 특정 상황, 장소, 생각 등을 읽어내고 여러 단서를 해독함으로써 상황에 대한 이해를 향상시키고자 설계된 앱이 4.2%(예, Inference Pics, 총 1개) 포함되었다.

한편, ASD 아동의 의사소통 기술 향상에 초점을 맞춘 앱은 총 13개로 나타났으며, 그중에서도 화용 기술을 다룬 앱이 61.5%(예, Autism Social Video Exercises, Show Me...Social, Conversation Planner, 총 8개)로 가장 많았고, 다음으로는 구문 학습 앱이 23.1%(예, Sentence it! , Expressive Builder, Autism Speech DiegoSays, 총 3개), 어휘 학습을 다룬 앱이 15.4%(예, Scene Speak, Autism Read & Write, 총 2개)로 확인되었다. 먼저, 화용 기술을 다룬 대부분의 앱에서는 대화의 방식을 이해하거나 실제 대화 기술을 향상시키기 위해 연습 상황을 제공한 경우가 많았으며(예, Autism Social Video Exercises. Conversation Planner, InnerVoice Smart Communication), 그중에는 자신의 대답으로 인해 상대방이 느끼게 될 감정을 파악하는 부분에 더 초점을 맞춘 2개의 앱이 포함되어 있었다(예, Say It...Or Not?, Do it... Or Not?). 이러한 학습을 위해서 구체적인 사회적 상황에 대한 사례나 시나리오를 제공하거나(예, Conversation Skills, Do it... Or Not?, Social Skills With Billy) 화면에 나타나는 상대(예, avatar)와 대화 상황을 구성하는 방식이 활용되었다(예, Autism Social Video Exercises, InnerVoice Smart Communication ).

구문 학습을 다룬 앱으로는 인과관계나 시간 관계에 대한 이해를 바탕으로 구문을 표현하는 데 중점을 둔 앱(예, Sentence it! ), 주어진 이미지를 보고 적절한 표현을 사용하여 문법적으로 올바른 문장을 작성하도록 지원한 앱(예, Expressive Builder), 그리고 난이도에 따라 구절 또는 문장을 만들 수 있도록 단계별 옵션을 제공한 앱(예, Autism Speech DiegoSays)으로 분석되었다.

또한, 어휘 학습을 다룬 앱으로는 제시된 이미지의 일부 영역을 선택하여 해당 어휘의 음성 파일 및 텍스트 레이블을 붙이는 방식으로 학습을 제공한 앱(예, Scene Speak)과 어휘 읽기 및 쓰기 능력 향상을 위해 연습 과정을 제공한 앱(예, Autism Read & Write)이 있었다.

3-3 학습 유형에 따른 특성

전체 37개의 분석대상 모바일 앱을 학습 유형 기준에 따라 개인교수형, 반복연습형, 시뮬레이션형, 게임형, 문제해결형, 자료제시형, 평가형, 도구형으로 구분하여 분석한 결과, 평가형이 35.1%(예, Autism Read & Write, Autism Social Categories and Bahaviour App, Social Quest, 총 13개)로 가장 많았고, 다음으로는 도구형이 27%(예, Choice works, Social Norms, Scene Speak, 총 10개)로 많았다. 또한, 자료제시형을 활용한 앱은 18.9%(예, Social Story Creator & Library, Social Stories, Let's Go Places, 총 7개), 게임형은 10.9%(예, Wisdom: The World of Emotions, Kloog 2 Return to Zugopolis, 총 4개)로 분석되었으며, 그밖에도 시뮬레이션형 5.4%(예, Autism Social Video Exercises, InnerVoice Smart Communication, 총 2개)와 반복연습형 2.7%(예, Autism Speech DiegoSays, 총 1개) 있었다. 모바일 앱의 학습 유형 중 개인교수형과 문제해결형은 본 연구의 분석대상 앱 중에서는 확인되지 않았다. 학습 유형별 앱 분석내용은 다음과 같이 제시하였다(표 5).

Mobile apps according to learning type

분석대상 앱 중 가장 큰 비중을 차지한 평가형은 사회성 기술이나 의사소통 기술에 대해 학습한 내용을 평가하기 위해 다양한 형식으로 제시된 요구에 반응하는 방식으로 구성되었으며, 그중 가장 큰 비중을 차지하는 방식은 구체적인 사회적 상황을 제시한 후 그 상황에 맞는 적절한 대화, 행동, 감정 등의 반응을 주어진 보기 중에 골라 클릭하도록 구성되었다(예, Social Quest, Autism Read & Write, Say It...Or Not?). 그밖에는 문법적으로 적절한 문장이 되도록 제시된 이미지를 드래그하여 하나의 문장으로 작성하게 하거나(예, Sentence it!), 제시한 상황과 관련된 질문에 직접 대답하는 방식으로 구성된 앱이 있었는데, 이는 녹음기능을 활용하여 답변하거나(예, Expressive Builder) 옆에서 답변의 적절성을 평가할 인력자원이 요구되기도 하였다(예, Conversation Skills).

다음으로 도구형은 학습에 대한 이해를 높이기 위해 앱이 교육적 도구로 활용되는 경우를 의미하며, 그중에는 자신의 감정 조절 방법을 스스로 점검하고 실행할 수 있도록 감정의 시각화나 숫자세기의 방법 등을 제공하는 앱(예, Calm Counter Social Story & Anger Management Tool)이나 놀이 기술 및 커뮤니케이션 기술 등 자기모델링을 위한 영상 녹화, 편집, 공유 등의 기능을 제공하는 앱(예, iModeling - Video Modeling), 또는 대인관계에서 친밀한 정도에 따라 적절한 신체 접촉의 유형을 이해하도록 내용 구성을 지원하는 앱(예, Circles Social Skills Utility) 등이 포함되었고, 특히 특정한 주제를 바탕으로 자신만의 앨범이나 어휘 목록, 스토리북 등을 작성할 수 있도록 템플릿을 제공한 앱이 다수 있었다(예, Choice works, Me & My Choices, My Social Stories).

자료제시형은 인사하기, 친구 사귀기, 여가활동, 쇼핑, 식당 이용, 세탁하기, 순서 지키기, 사과하기 등 일상생활 기술 및 사회적 기술에 대한 구체적인 목표 행동과 전략들을 다양한 읽기 자료 및 시각적 이미지를 활용하여 제공한 앱이 대부분을 차지하였고(예, Social Story Creator & Library, Autism Toolbox - Social Skills, Let's Go Places), 이외에도 감정에 대한 이해를 돕기 위해 다양한 감정의 범주들을 하위범주로 나누어 사전적 의미와 함께 이모티콘으로 제시한 앱(예, emotionary by Funny Feelings)과 가정, 학교 및 지역사회에서의 사회적 상황에 대한 일련의 과정들을 시각적 스케줄로 정리하여 자료를 제공한 앱(예, Visual Schedule & Social Story)도 포함되어 있었다.

그 외에도 게임형에 속하는 4개의 앱은 지구에 추락한 외계인이 지구에서의 사회적 관습을 학습한다는 스토리나 등장 캐릭터가 각 단계를 거치면서 초능력을 얻게 된다는 등의 스토리 구성을 통해 학습자의 몰입감을 높여주고, 캐릭터를 활용하거나 단계마다 획득할 수 있는 리워드를 설정함으로써 학습에 대한 흥미를 이끌어 낼 수 있는 다양한 요소를 포함하고 있었으며(예, Kloog 2 Return to Zugopolis, Wisdom: The World of Emotions), 2개의 시뮬레이션 앱은 녹화 영상 또는 아바타, 캐릭터 등을 선택하여 상대방의 질문에 대답하거나 상대방의 표정에 나타나는 감정을 고려하여 대화를 나누는 연습을 진행하도록 구성되었다(예, Autism Social Video Exercises, InnerVoice Smart Communication).

3-4 앱 기능적 특성

앱 구성의 기능적 측면으로는 데이터 유형과 사용자 맞춤형 서비스 지원 여부에 대한 분석이 이루어졌다. 먼저, 데이터 유형을 분석하기 위해 분석대상 앱의 학습 콘텐츠 구성에 활용된 데이터를 크게 텍스트, 이미지, 음성, 영상 데이터로 분류하였고, 각 앱에서 사용되는 데이터 유형을 사용된 수만큼 중복으로 체크하여 빈도를 확인하였다(그림 3). 그 결과, 37개의 앱 중에서 35개(94.6%)의 앱이 텍스트 유형을 사용하였고, 34개(91.9%)의 앱에서 이미지 데이터를 활용하고 있었으며, 음성데이터를 활용한 앱은 32개(86.5%), 영상 데이터를 활용한 앱은 14개(37.9%)로 나타났다. 앱 내 저장된 녹화 영상을 활용하여 대화방식을 연습하도록 구성된 앱(Autism Social Video Exercises)과 애니메이션 영상으로 다양한 사회적 상황에 대한 에피소드를 제공하는 앱(The Social Express 2)을 제외한 모든 분석대상 앱에서 텍스트 데이터를 포함하고 있었으며, 32개의 음성데이터 중에는 영상에 포함된 오디오 파일을 활용하거나(예, Social Skills for Autism, Kloog 2 Return to Zugopolis, Autism Social Video Exercises), 문자를 음성으로 전환하는 TTS 기능을 활용한 앱(예, Social Story Creator & Library, Sentence it! ), 또는 마이크 및 녹음기능을 활용하여 학습자의 음성을 앱에 저장, 공유하는 방식으로 활용한 앱(예, Me & My Choices, i Get...Going to Grocery Store Vocabulary Photo Books and Social Skills Stories, Expressive Builder) 등이 포함되어 있었다.

Fig. 3.

Mobile apps by data type

또한, 총 37개의 분석대상 앱에서 사용자 개인에게 맞춤형 서비스를 지원하고 있는지에 대해 분석한 결과, 사용자가 직접 이미지나 음성데이터를 첨부하거나 텍스트를 입력하는 등 학습 콘텐츠를 작성하거나 편집하도록 한 앱이 45.9%(예, Social Story Creator & Library, Sentence it! , Me & My Choices, 총 17개)로 가장 많았으며, 힌트 제공, 진행속도 조절, 반복 재생기능 제공 등 사용자의 요구나 수준에 따라 난이도를 조절할 수 있게 구성한 앱이 16.2%(예, Autism Social Video Exercises, Social Quest, 총 6개)로 분석되었다. 그리고 3개(8.1%)의 앱에서는 사용자의 일정이나 환경을 고려하여 리마인더를 제공하거나 비밀번호 설정을 통한 잠금 기능을 사용할 수 있도록 지원하였으며(예, Visual Schedule & Social Story, i Create...Social Skills Stories, Choice works), 앱에서 실행되는 목소리 유형을 사용자의 선호에 따라 선택할 수 있도록 옵션을 제공하는 앱이 2.7%(예, Calm Counter Social Story & Anger Management Tool, 총 1개)로 분석되었다.

Fig. 4.

Mobile apps with customized support

3-5 학습자 지원 전략

사용자의 학습 지원을 위한 전략적 특성을 분석한 결과, 크게 스토리 활용, 리워드 제공, 다양한 계정 추가, 학습 내용 공유 및 저장, 워크시트 제공 등으로 나누어 분석되었는데, 그중 앱에서 학습한 내용을 보고서 등의 형태로 공유하거나 저장할 수 있도록 지원한 앱이 45.9%(예, Autism Toolbox - Social Skills, Sentence it!, Me & My Choices, 총 17개)로 가장 많았다. 다음으로는 단계마다 리워드를 제공하는 방법을 활용하여 학습에 대한 흥미를 유지하도록 지원한 앱이 37.8%(예, iModeling - Video Modeling, Social Quest, Say It...Or Not?, 총 14개)로 나타났으며, 학습자 개인 계정뿐만 아니라 부모나 교사, 치료사 등의 추가 계정을 지원하여 학습 과정에 대한 공유와 지원이 가능하도록 한 앱이 32.4%(예, Autism Read & Write, My Social Stories, Do it... Or Not?, 총 12개)로 분석되었다. 이외에도 8.1%(예, The Social Express 2, Wisdom: The World of Emotions, 총 3개)의 앱에서는 학습 활동과 관련하여 활용해볼 수 있는 워크시트를 제공하기도 하였다(그림 5).

Fig. 5.

Support strategy for learners


Ⅳ. 결론 및 논의

본 연구에서는 ASD 아동의 사회적 의사소통 기술 향상을 위해 현재까지 개발된 모바일 앱의 사회성 기술 및 의사소통 기술의 학습 과정과 세부적인 내용의 특징들을 분석하고자 하였다. 이를 위해 본 연구의 선정 절차와 포함 기준에 따라 총 37개의 앱을 분석대상 앱으로 선정하였으며, 이를 모바일 앱의 학습 유형에 따라 개인교수형, 반복연습형, 시뮬레이션형, 게임형, 문제해결형, 자료제시형, 평가형, 도구형으로 나누었고, 앱의 목표 기술에 따라서는 사회성 기술과 의사소통 기술로 구분하여 분석을 진행하였다. 또한, 모바일 앱의 특성을 구체적으로 살펴보기 위해 앱에서 활용된 데이터 유형과 사용자 맞춤형 서비스 지원 여부, 그리고 학습자 지원 전략적 특성에 대한 세부 내용을 분석하였다. 이에 대한 분석 결과를 간략히 정리하면 다음과 같다. 첫째, 앱의 목표 기술 영역 중 사회성 기술 향상을 다룬 앱이 가장 많았으며, 그중에서도 상황에 따라 요구되는 적절한 사회적 행동을 학습하도록 콘텐츠를 구성한 앱이 가장 큰 비중을 차지하였다. 둘째, 학습 유형별 분석에서는 모든 유형 중에서 평가형과 도구형이 전체의 절반 이상을 차지하는 것으로 확인되었다. 셋째, 사용자 맞춤형 기능의 지원에 대해서는 사용자가 직접 데이터를 첨부하거나 편집하는 방식의 기능을 지원하는 앱이 가장 많은 것으로 나타났다. 넷째, 사용자의 학습 지원을 위해서는 학습한 내용의 결과를 공유하거나 저장할 수 있도록 옵션을 제공한 앱이 가장 많았다. 이러한 분석 결과를 중심으로 다음과 같이 몇 가지의 논의가 이루어졌다.

첫째, 본 연구에서 분석된 앱 중에는 사회성 기술 향상을 다룬 앱이 가장 많은 것으로 나타났으며, 그중 대다수는 특정한 영역의 사회적 기술, 또는 구체적인 상황에 초점을 맞추어 다루기보다는 전반적인 사회적 기술을 광범위하게 다루어 많은 양의 자료를 제시하거나 또는 개발자가 설정한 몇 가지의 사회적 행동 목록을 일련의 순서에 따라 학습하도록 구성되어 있었다.

사회적 기술은 다른 언어능력과 구분되는 기술이라고 보기 어렵다. 언어학적 주요영역인 음운론, 의미론, 구문론, 화용론의 기본 언어능력을 기초로 타인과 장소와 맥락에 따른 의사소통을 조율하는 적절한 사회성 기술을 발달시킬 수 있다. 이러한 관점에서 볼 때, ASD 아동용 사회적 의사소통 능력 향상을 위한 애플리케이션은 대부분 언어적 목표를 포함하고 있고, 동시에 ASD 아동의 주요 결함인 사회성 기술 훈련을 대부분 담고 있으며, 이는 ASD 아동의 모바일 기반 교육 및 중재 애플리케이션에서도 가장 중요하게 다루는 목표임을 확인할 수 있었다. ASD 아동은 대화상대자의 연령과 친분 정도를 고려하여 존대 또는 하대하는 말을 적절히 사용하는 데 어려움을 보인다[13]. 또한, 도서관, 영화관과 같은 공적 상황에서 해야 하는 공식적인 말과, 가족이나 친구 간의 사적인 상황에서의 대화 조율 능력도 부족하다[16]. 또한, ASD 아동은 사회적 상호작용에 참여하는 것을 어려워하거나 부적절한 특성을 보이는 것으로 알려져 있어[17], 앱을 기반으로 하는 학습을 통해 사회적 상호작용 상황에서의 환경적 스트레스 요인을 최소화시키고, 실제 상황과 유사한 디지털 환경에서의 다양한 감각을 활용하여 새로운 상호작용 시도를 반복적으로 훈련할 수 있다는 점에서 효과적인 학습의 장이 될 수 있을 것이다[4],[9]. 그러나 다양한 요구를 가진 ASD 아동의 앱 기반 학습의 큰 효과를 기대하기 위해서는 사용자 개인의 특성을 반영한 유연한 학습환경이 제공되어야 할 것이다. 이를테면 사회적 기술을 학습하기 위해 사용자의 문자메시지나 SMS 사용 빈도, 통화 시간, 사용자가 움직이는 평균 거리, 스마트폰 사용 정도 및 패턴 등 사용자의 평소 대인관계를 유추해볼 수 있는 데이터를 반영하여 경험이 부족한 영역의 사회성 기술을 학습 목표로 추천할 수 있을 것이다. 이러한 학습 콘텐츠의 유연성은 학습자의 흥미와 앱 사용에 대한 동기를 높이게 되어 학습 효과 면에서도 긍정적인 영향을 기대할 수 있을 것이다. 디지털 치료제 앱 개발을 위해서는 치료대상자의 개별적인 능력과 반응을 분석해야 하는데, 목표 영역별로 향상의 정도를 적절히 파악해야 하고, 하위 중재목표가 서로 어떻게 관련되어 있는지 체계적으로 분석하여 반영하는 것이 필요할 것으로 보인다.

둘째, 사용자의 앱 기반 학습에 대한 이해 수준이 충분히 고려될 필요가 있다. 모바일 앱을 활용한 학습은 기기의 휴대성이 높아 늘 가까이에 소지하면서 전문가의 주도가 아닌 사용자 개인의 디바이스를 통해 선택적으로 참여하기 때문에 지속적인 참여를 유도하는 것이 학습의 효과성으로 연결될 수 있는 중요한 요소라고 할 수 있다. 이를 위해서는 학습 과정에 대한 스트레스나 거부감을 느끼게 하는 요소가 없는지 면밀히 파악해야 하고, 무엇보다 학습 내용에 대한 이해가 적절히 이루어지고 있는지를 모니터링하는 과정이 요구된다. 그러나 본 연구결과에 따르면, 전체 분석 앱의 16.2%만이 학습 진행속도를 조절하거나 반복 재생기능 또는 힌트를 제공하는 등의 방식으로 사용자의 요구나 수준을 고려한 난이도 조절이 가능하였다. 그러나 이러한 기능들이 제공된다 하더라도 사용자의 이해 수준을 사용자가 직접 평가하여 어떤 유형의 조절 기능이 요구되는지를 판단해야 하므로 ASD 아동이 스스로 학습하게 하는 데에는 어려움이 따를 수 있다. 이에 학습자가 스스로 학습 과정의 난이도를 판단하고 선택하도록 하기보다는 생체신호나 음성 및 운동 데이터 등을 인식하고 이를 분석함으로써 학습 수준에 대한 정확한 진단과 이에 따른 양질의 학습 서비스를 제공할 수 있을 것이다. 이와 관련한 예로 neuroback이라는 디지털 치료제가 있는데, 이는 사용자 개인의 스마트폰 카메라를 통해 안구의 움직임을 분석하여 인지 수준을 평가하는 방법으로 활용되고 있다[18].

셋째, 분석대상 모바일 앱을 학습 유형에 따라 나누어 분석한 결과에 따르면, 평가형이 가장 많은 것으로 나타났다. 평가형은 주어진 요구에 학습자가 적절히 반응하는지를 평가하는 방식으로 대부분 주어진 보기 중에 적절한 답을 고르거나 입력하는 방식으로 구성되어 있었다. 이는 다양한 사회적 의사소통 상황에 대한 유연한 이해보다는 하나의 정답을 찾는 것에 초점을 맞춘 경향이 두드러진다고 해석할 수 있겠다. 또한, 터치 기능으로 간편하게 답을 선택하도록 지원하고 있어 실제 학습자가 문제를 이해하고 답을 하였는지에 대한 의구심이 남게 된다. 한편, 분석 앱 중에는 답변을 기록하는 방식으로 녹음기능을 활용한 앱(예, Expressive builder)이 있었는데, 녹음된 학생의 답변을 저장해두고 추후에 전문가가 답변 내용을 확인하여 학습 이해 정도를 파악할 수 있도록 하였다. 이처럼 결과로 보여지는 답을 확인하는 데 초점을 맞추기보다 문제를 이해하고 풀어나가는 과정을 들여다볼 수 있도록 답을 저장하는 방식에 음성 및 영상 데이터를 활용하거나 아이트래커를 통한 눈 응시 데이터를 활용하는 등의 다양한 옵션을 제공하거나 또는 전문가와의 연계를 통한 지원으로 앱 기반의 학습이 가지는 취약점을 보완할 수 있을 것이다.

이와는 대조적으로 분석대상 모바일 앱의 학습 유형 중 시뮬레이션형은 5.4%에 그쳤고, 문제해결형은 전혀 이루어지지 않은 것으로 분석되었다. 교육용 앱을 분석한 다른 연구[15]에서도 시뮬레이션형이 4.7%, 문제해결형은 0%로 나타나 본 연구에서와 유사한 결과를 확인할 수 있었다. 또한, 장애 학생의 스마트러닝을 위한 앱 분석 연구[19]와 장애 아동의 언어치료용 앱 분석 연구[11]에서는 시뮬레이션형과 문제해결형의 앱이 각각 0%인 것으로 나타나, 보다 자연스러운 맥락 안에서 의사소통 기술을 훈련할 수 있도록 지원하는 다양한 유형들의 앱 개발이 절실하다고 언급한 바 있다. 이처럼 실제적인 문제 상황을 중심으로 해결해나가는 방식의 학습 콘텐츠는 앱에 대한 의존성을 줄임으로써 독립적 수행을 높일 수 있으며 학습한 기술을 일반화시키는 데 효과적인 방법으로 알려져 있어[20], 이에 대한 개발이 활발히 이루어질 필요가 있다.

넷째, 사용자의 학습 지원을 위한 전략적 특성으로는 학습한 내용을 결과 보고서 등의 형태로 제공하여 이를 가족과 공유하거나 저장할 수 있도록 한 앱이 45.9%를 차지하고 있었다. 그러나 학습 결과를 단순히 정답을 맞춘 점수 수준으로 제공하고 있어 학습 과정에 대한 보다 유의미한 데이터를 제공할 필요성이 제기된다. 앱 학습을 통해 수집된 학습자의 데이터는 이후 다양한 치료를 위한 진단과 평가 근거로 활용될 수 있어야 하며, 그래야 학습 내용에 대한 타당성 또한 입증할 수 있을 것이다. 더 나아가 결과에 대한 단순한 점수 제시를 넘어 결과가 나타내는 의미를 명확하게 해석하여 제공되어야 하고, 이후 요구되는 학습에 대한 안내 등 의미 있는 피드백이 제공되어야 하며, 필요한 경우에는 전문기관과의 연계를 추천할 수도 있을 것이다. 이러한 학습 이후 결과에 대한 책임감 있는 고려가 앱 기반의 학습 과정과 교육 콘텐츠의 질 제고 및 높은 학습 효과성으로 이어질 수 있겠다.

Acknowledgments

이 논문은 2022년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원(No.2022-0-00223, 자폐증 환자의 의사소통 능력 향상을 위한 디지털치료제 개발, 기여율 50%)과 2021년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임(NRF-2021S1A3A2A01087325, 기여율 50%).

References

  • B. G. Lee, “The Key to Unlocking the Smart Healthcare Market, Mobile Medical Devices,” The Optical Journal, Vol. 156, pp. 41-51, 2015.
  • Ministry of Food and Drug Safety. Report [Internet]. Available: http://www.mfds.go.kr/brd/m_1060/view.do?seq=14596, .
  • M. J. Choi, H. Kim, H.-W. Nah, and D.-W. Kang, “Digital Therapeutics: Emerging New Therapy for Neurologic Deficits after Stroke,” Journal of Stroke, Vol. 21, No. 3, pp. 242-258, September 2019. [https://doi.org/10.5853/jos.2019.01963]
  • J. Lim, “Mobile Technology Related Digital Therapuetics Trend,” Korea Contents Association Journal, Vol. 19, No. 2, pp. 19-24, December 2021.
  • K.-M. Chung and E. Chung, “New Mental Health Services in the Post–COVID-19 Era: Application of Technology-Based Approach to Autism Spectrum Disorders,” Korean Journal of Clinical Psychology, Vol. 39, No. 4, pp. 309-324, November 2020. [https://doi.org/10.15842/kjcp.2020.39.4.006]
  • M. Kim and J. Y. Shin, “Definition and Technology of Digital Therapeutics,” The Magazine of the IEIE, Vol. 49, No. 3, pp. 17-24, March 2022.
  • S.-D. Lee, “A Study on the Digital Therapeutics Based Community Care for Rehabilitation in Dysarthria in the Post-COVID-19 Era,” Journal of the Korea Convergence Society, Vol. 13, No. 1, pp. 313-323, January 2022. [https://doi.org/10.15207/JKCS.2022.13.01.313]
  • American Psychiatric Association, Diagnostic and Statistical Manual of Mental Disorders (DSM-5), 5th ed. Washington, DC: American Psychiatric Publication, 2013.
  • H.-J. Park, “Augmented Reality for Speech Language Intervention in Autism Spectrum Disorders,” Cogito, No. 91, pp. 27-49, June 2020. [https://doi.org/10.48115/cogito.2020.06.91.27]
  • V. Bernard-Opitz, N. Sriram, and S. Nakhoda-Sapuan, “Enhancing Social Problem Solving in Children with Autism and Normal Children through Computer-Assisted Instruction,” Journal of Autism and Developmental Disorders, Vol. 31, No. 4, pp. 377-384, August 2001. [https://doi.org/10.1023/A:1010660502130]
  • Y. Lee, S. Lee, and M. Sung, “Analysis of Mobile Application Trends for Speech and Language Therapy of Children with Disabilities in Korea,” Phonetics and Speech Sciences, Vol. 7, No. 3, pp. 153-163, September 2015. [https://doi.org/10.13064/KSSS.2015.7.3.153]
  • S. J. Yeon, “Analysis of Korean Augmentative and Alternative Communication Mobile Applications,” Special Education Research, Vol. 16, No. 2, pp. 81-109, May 2017. [https://doi.org/10.18541/ser.2017.05.16.2.81]
  • Y. T. Kim, Assessment and Treatment Language Disorders in Children, 2nd ed. Seoul: Hakjisa, 2014.
  • S. M. Alessi and S. R. Trollip, Computer-Based Instruction: Methods and Development, Englewood Cliffs, NJ: Prentice-Hall, 1985.
  • S.-J. Jeong, K. Lim, Y. Ko, H. Sim, and K. Kim, “The Analysis of Trends in Smart Phone Applications for Education and Suggestions for Improved Educational Use,” Journal of Digital Contents Society, Vol. 11, No. 2, pp. 203-216, June 2010.
  • Y. T. Kim, S. H. Song, J. A. Kim, and H. C. Kim, “Validity and Reliability of Korean Meta-Pragmatic Language Assessment for Children,” Communication Sciences & Disorders, Vol. 23, No. 1, pp. 94-108, 2018. [https://doi.org/10.12963/csd.18467]
  • P. Mundy, M. Sigman, J. Ungerer, and T. Sherman, “Defining the Social Deficits of Autism: The Contribution of Non-Verbal Communication Measures,” The Journal of Child Psychology and Psychiatry, Vol. 27, No. 5, pp. 657-669, September 1986. [https://doi.org/10.1111/j.1469-7610.1986.tb00190.x]
  • Neurotrack Technologies. Clinical Studies on Cognitive Screening and Intervention by Neurotrack [Internet]. Available: https://neurotrack.com/science, .
  • T. S. Lee and J. S. Kim, “The Analysis of Special Educational Applications for Smart Learning of Students with Disabilities,” The Journal of Special Education: Theory and Practice, Vol. 14, No. 1, pp. 259-283, March 2013.
  • J. Lim, “Functional Mobile Application Game Model Study Using Problem Solving Strategies for Persons with Developmental Disabilities,” Journal of The Korean Society for Computer Game, Vol. 25, No. 4, pp. 181-187, December 2012. [https://doi.org/10.22819/kscg.2012.25.4.019]

저자소개

김환희(Hwan-Hee Kim)

2013년:인하대학교 일반대학원 교육학과 (교육학 석사)

2019년~현 재: 인하대학교 일반대학원 교육학과 박사수료

※관심분야:발달장애, 특수교육공학, 동기/정서, 보완대체의사소통(AAC)

연석정(Seok Jeong Yeon)

2002년:이화여자대학교 일반대학원 언어병리학협동과정 (언어병리학 석사)

2017년:이화여자대학교 일반대학원 언어병리학과 (언어병리학 박사)

2005년~2018년: 이화여자대학교 발달장애아동센터 전임연구원

2019년~현 재: 인하대학교 교육대학원 조교수, 상담심리대학원 언어병리전공 주임교수

※관심분야:보완대체의사소통(AAC), 아동언어장애, 자폐스펙트럼장애(ASD)

이영선(Youngsun Lee)

2005년:Dept. of Special Education, The University of Kansas (M.S.)

2007년:Dept. of Special Education, The University of Kansas (Ph.D.)

2009년~2021년: 인하대학교 교육학과 교수

2021년~현 재: 이화여자대학교 특수교육학과 교수

※관심분야:성인기전환, 특수교육공학, 동기/정서, HCI/HRI

홍기형(Ki-Hyung Hong)

1987년:KAIST 전산학과 (석사)

1994년:KAIST 전산학과 (Ph.D.)

1994년~1998년: 한국전자통신연구원 선임연구원

1998년~현 재: 성신여자대학교 서비스디자인공학과/AI융합학부 교수

※관심분야:삶의 질 향상 기술, 웹정보시스템, 사용자인터페이스

Fig. 1.

Fig. 1.
Procedure for selecting mobile apps

Fig. 2.

Fig. 2.
Mobile app launch status

Fig. 3.

Fig. 3.
Mobile apps by data type

Fig. 4.

Fig. 4.
Mobile apps with customized support

Fig. 5.

Fig. 5.
Support strategy for learners

Table 1.

Learning type characteristics of mobile apps

Learning type Characteristics
Private lessons The type of teaching learners new concepts or knowledge through content presentation and modeling
Repetitive practice The type of person who practices to perform the concepts or knowledge they have learned faster and more accurately
Simulation Types that react sensitively according to learners’ responses by reproducing a real-life environment
Game Types designed for interesting learning by adding game elements such as rules, competition, interest, and rewards to learning content
Problem-solving An integrated learning type that presents unstructured problems to find learner-led solutions or answers
Presentation of data The type that stores a large amount of material related to the subject to find out what the learner needs
Evaluation Types designed to evaluate learning outcomes or take quizzes
Tool The type with a strong instrumental nature to facilitate learning rather than delivering learning

Table 2.

Characteristics of mobile apps

Analysis area Criteria
Functional strategy Data types Text, Image, Audio, Video
Customizing Creating and editing contents
Adjusting the difficulty level
Offer options based on preference
reflection of an individual’s situation
Learning strategy Learner support strategy Story
Reward
Multiple accounts
Sharing and saving results
Worksheet

Table 3.

Overview of mobile apps

No App Year Provider Objectives Learning
Types
Data
Types
Note. SO=Social, VO=Vocabulary, SY=Syntax, CO=Conversational. PD=Presentation of data, SI=Simulation, EV=Evaluation, GA=Game, RP=Repetitive practice, TO=Tool. T=Text, I=Image, A=Audio, V=Video.
1 Social Story Creator & Library
(v.5.2.2)
2012 Touch Autism SO PD T,I,A
2 Kloog 3 2015 Shine Ireland SO GA T,I,A,V
3 Autism Toolbox - Social Skills
(v.1.1)
2016 Behavior Toolbox Inc SO PD T
4 Kloog 2 Return to Zugopolis
(v.1.1)
2016 Shine Ireland SO GA T,I,A,V
5 Mission Rescue Kloog 2018 Shine Ireland SO GA T,I,A,V
6 Autism Social Video Exercises
(v.2.0)
2019 ImagiRation LLC CO SI A,V
7 Calm Counter Social Story & Anger Management Tool
(v.3.2)
2011 Touch Autism SO TO T,I,A
8 Sentence it! 2016 C.E.T- The Center for Educational Technology SY EV T,I,A
9 Me & My Choices 2016 C.E.T- The Center for Educational Technology SO TO T,I,A,V
10 iModeling - Video Modeling
(v.2.1.0)
2011 Autism SA SO TO T,I,A,V
11 Autism Social Categories and Bahaviour App
(v.1.1)
- Innovative Mobile Apps SO EV T,I,A,V
12 The Social Express 2
(v.7.0)
2014 The Language Express, Inc SO PD A,V
13 Visual Schedule & Social Story
(v.1.2)
2016 Nabeel Ahmed Khan SO PD T,I,A,V
14 Social Quest
(v.5.0)
2013 Smarty Ears SO EV T,I,A
15 i Get...Going to Grocery Store Vocabulary Photo Books and Social Skills Stories
(v.3.8.5)
2011 I GET It, LLC SO TO T,I,A
16 Show me... Social
(v.2.0.6)
2012 Learning Fundamentals, Inc. CO EV T,I,A
17 i Create...
Social Skills Stories
(v.3.8.5)
2012 I Get It, LLC SO TO T,I,A
18 Conversation Planner
(v.1.7)
2016 Janine Toole CO EV T,I,A
19 Say It...Or Not?
(v.1.2)
2017 Janine Toole CO EV T,I,A
20 Circles Social Skills Utility
(v.1.7.1)
2016 James Stanfield Co., Inc. SO TO T,I
21 Conversation Skills - Janine Toole CO EV T,I,A
22 iTouchiLearn Feelings for Preschool Kids Free
(v.3.0.2)
2012 Staytoooned SO EV T,I,A,V
23 My Social Stories
(v.2.01)
2014 SDKAPPS SO TO T,I
24 Do it... Or Not?
(v.1.3)
2017 Janine Toole CO EV T,I,A
25 Inference Pics
(v.1.2)
2018 Aptus Speech and Language Therapy Limited SO EV T,I,A
26 Social Skills With Billy
(v.1.2)
2015 Virtual Speech Center Inc. CO EV T,I,A
27 Social Norms
(v.1.1)
2014 Virtual Speech Center Inc. SO TO T,I,A
28 Scene Speak
(v.2.071)
2011 Good Karma Applications, Inc. VO TO T,I,A
29 emotionary by Funny Feelings
(v.1.2)
2012 Funny Feelings SO PD T,I
30 Wisdom: The World of Emotions
(v.3.9)
2018 Better Kids Ltd SO GA T,I,A,V
31 Choice works
(v.10.8)
2012 Bee Visual, LLC SO TO T,I,A,V
32 Let's Go Places
(v.1.7.1)
2013 Don Hanson SO PD T,I,A
33 Expressive Builder
(v.2.2.0)
2011 Mobile Education Store LLC SY EV T,I,A,V
34 InnerVoice: Smart Education
(v.6.6)
2018 iTherapy CO SI T,I,A,V
35 Social Stories
(v.1.7)
2014 Grey Olltwit Educational Software SO PD T,I
36 Autism Read & Write
(v.17.0)
2013 Green Bubble Labs VO EV T,I,A
37 Autism Speech DiegoSays
(v.2.0)
2011 Green Bubble Labs SY RP T,I,A

Table 4.

Mobile apps by learning objectives

Category Subcategory Number of apps App no.
Communication skills
(n=13)
Semantic
(vocabulary)
2 28, 36
Syntax 3 8, 33, 37
Pragmatic 8 6, 16, 18, 19, 21, 24, 26, 34
Social skills
(n=24)
Social 24 1, 2, 3, 4, 5, 7, 9, 10, 11, 12, 13, 14, 15, 17, 20, 22, 23, 25, 27, 29, 30, 31, 32, 35

Table 5.

Mobile apps according to learning type

Learning type Number of apps App no.
Private lessons 0 -
Repetitive practice 1 37
Simulation 2 6, 34
Game 4 2, 4, 5, 30
Problem-solving 0 -
Presentation of data 7 1, 3, 12, 13, 29, 32, 35
Evaluation 13 8, 11, 14, 16, 18, 19, 21, 22, 24, 25, 26, 33, 36
Tool 10 7, 9, 10, 15, 17, 20, 23, 27, 28, 31