Korea Digital Contents Society
[ Article ]
Journal of Digital Contents Society - Vol. 21, No. 6, pp.1059-1068
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 30 Jun 2020
Received 20 Apr 2020 Revised 15 Jun 2020 Accepted 25 Jun 2020
DOI: https://doi.org/10.9728/dcs.2020.21.6.1059

장애학생을 고려한 디지털교과서 플랫폼 사용성 평가에 대한 연구

손지영
대전대학교 중등특수교육과 교수
A Study of Usability Testing of a Digital Textbook Platform Considering Students with Disabilities
Ji-Young Son
Professor, Department of Secondary Special Education, Daejeon University, Daejeon 300-716, Korea

Correspondence to: *Ji-Young Son Tel: +82-42-280-2711 E-mail: sonjy@dju.kr

Copyright ⓒ 2020 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

본 연구에서는 디지털교과서 플랫폼의 기능을 장애학생을 고려한 사용성 관점에서 체계적으로 조사할 수 있는 사용성 평가도구를 개발하고, 현재의 디지털교과서를 대상으로 휴리스틱 사용성 평가를 실시하여 장애학생을 고려한 개선점을 도출하는 것을 목적으로 하였다. 이를 위해 디지털교과서 사용성 평가 도구와 장애학생을 고려한 디지털교과서에 대한 선행연구 분석을 통해 사용성 평가도구를 개발하였다. 그리고 관련된 연구 경험이 있는 6명의 전문가들이 2019년 초등학교 4학년 사회와 과학 과목의 디지털교과서를 대상으로 휴리스틱 사용성 평가를 실시하였다. 사용성 평가 결과, 디지털교과서의 인터페이스와 상호작용에 대한 사용성 평가 결과는 비교적 높은 수준이었으나, 사용자 지원과 학습지원은 낮은 수준의 결과를 나타냈다. 이러한 연구결과를 토대로 하여 장애학생을 고려하여 모든 학생을 위한 디지털교과서 플랫폼의 개선 방향을 제시하였다.

Abstract

The purpose of this study was to develop a usability testing tool that could systematically evaluate the functions of the digital textbook platform in consideration of students with disabilities. In addition, the purpose was to implement a heuristic evaluation of current digital textbooks and to identify improvement points in consideration of students with disabilities. As a research method, a usability testing tool was developed through an analysis of previous research on digital textbook usability evaluation tools and digital textbooks considering students with disabilities. Then, six experts with relevant research experience conducted a heuristic usability evaluation on digital textbooks in social studies and science courses in the fourth grade of the elementary school in 2019. As a result, the usability testing results for the interface and interaction of digital textbooks were relatively high, but the user support and learning support showed low results. Based on the results, the improvement direction of the digital textbook platform for all students was suggested considering the students with disabilities.

Keywords:

Students with Disabilities, Digital Textbook, Platform, Usability, Heuristic evaluation

키워드:

장애학생, 디지털교과서, 플랫폼, 사용성, 휴리스틱 평가

Ⅰ. 서 론

교육부는 2018년부터 초·중등학교에 디지털교과서를 전면 도입할 계획임을 밝혔으며, ‘초·중등학교 디지털교과서 국·검정 구분 고시(2016. 8. 28.)’를 발표하였다[1]. 이 고시에 따르면 디지털교과서는 2018년 초등학교 3-4학년과 중학교 1학년의 사회, 과학, 영어 교과를 시작으로 2015 개정 교육과정에 맞춰 매년 단계적으로 확대 적용되며 서책형 교과서와 함께 사용된다. 2020년 현재 디지털교과서는 2015년 개정 교육과정에 따라 초등학교 3학년부터 6학년까지 사회, 과학, 영어 과목이 개발되어 있으며, 중학교는 사회, 과학, 영어, 고등학교는 영어 과목이 개발되어 있다[2].

디지털교과서 플랫폼(platform)이란 일종의 뷰어(viewer)로서 학생과 교사가 학습내용에 접근할 수 있게 하는 매개체다[3]. 디지털교과서는 크게 교과서 내용인 콘텐츠와 콘텐츠를 볼 수 있도록 지원하는 뷰어로서의 기능을 포함하고 있다. 즉, 디지털교과서에서 콘텐츠 기능은 기존 서책형 교과서를 디지털화함으로써 활용할 수 있는 다양한 자원(멀티미디어 자료나 참고 자료 등)의 활용에 중점을 두고, 뷰어 기능은 이러한 디지털교과서를 효과적으로 활용하기 위한 각종 지원 기능을 포함하고 있다[3]. 특히 뷰어로서의 기능 중 정보 자원과의 연계, 하이퍼링크, 상호작용 기능, 학습관리시스템 등은 네트워크를 통한 연결로 학습자에게 다양한 학습 경험을 제공하고 누적되어 관리할 수 있도록 도움을 준다[4]. 현재의 디지털교과서는 뷰어나 교과서의 다운로드 없이 웹 브라우저에서 실시간 스트리밍으로 활용될 수 있으며, 뷰어는 여러 교과목에 동일하게 적용된다.

학생과 교사는 기본적으로 플랫폼을 통해 교과 내용 및 관련 자료에 접근하게 되며, 이를 통해 상호작용을 하게 된다[3]. 따라서 디지털교과서에서 플랫폼은 디지털교과서의 효과성을 평가하는 데 있어서 교과 내용, 교수설계, 사용자와 함께 중요한 구성요소가 되며[5], 디지털교과서 플랫폼이 얼마나 편리하고 사용성이 높은가에 따라 디지털교과서를 통한 교육의 효과에 영향을 미치게 된다.

이러한 디지털교과서는 국가정보화 기본계획과 교육정보화 기본계획에서 미래 교육 전략으로서 제시하고 있을 뿐 아니라, 장애학생 스마트러닝 지원 계획에서도 디지털교과서의 개발을 구체적으로 제안하고 있다[6]. 다양한 학습자의 교육 요구에 부합하는 보편적인 교과서를 개발하고 활용하기 위한 노력은 디지털교과서 도입의 본래 취지를 살리는 것이다[7]. 미국의 경우 장애학생들의 학습 환경을 개선하고 학습능력을 상승시키고자 디지털교과서의 필요성을 강조하였다[8]. 실제로 장애학생들의 학습에 효과적이고 효율적인 디지털교과서가 개발된다면 모든 학생들이 이용할 수 있는 보편적인 교과서가 될 수 있을 것이다[9].

이러한 상황에서 교육 현장에서도 장애학생을 위한 디지털교과서의 필요성이 강조되어 디지털교과서 개발 방안에 대한 연구가 일부 이루어졌다[7],[9],[10]. 그러나 일반교육 현장에서 디지털교과서의 보급이 시작되고 있음에도 불구하고 장애학생을 위한 디지털교과서는 본격적으로 개발이 진행되지 못하고 있는 실정이다[11].

앞으로 통합교육 환경에서 장애학생을 포함해 모든 학생들이 효과적으로 학습할 수 있도록 디지털교과서를 개발하기 위한 노력이 이루어져야 할 것이다. 2018년부터 교육부 주도로 이루어지고 있는 2015 개정교육과정 디지털교과서가 특수교육 현장에서 효과적으로 사용되기 위해 어떠한 점이 개선되어야 할지 검토해 보고, 디지털교과서에서 실제 구현 가능하고 실천 가능한 수준과 방향을 고려하는 것이 필요할 것이다[7].

또한 디지털교과서 플랫폼에 대한 중요성에도 불구하고, 디지털교과서 플랫폼의 사용성을 평가한 연구들은 부족한 상황이다[3]. 최근 일부 선행연구들에서 장애학생을 위한 디지털교과서 개발에 대한 연구를 수행하였으나[9], [11], 이들 연구들은 장애학생을 위해 디지털교과서 개발 과정에서 고려해야 할 지침들을 제시하고 있을 뿐 현재 활용 중인 디지털교과서 플랫폼의 사용성 측면을 체계적으로 다루지는 못하고 있다.

디지털교과서의 플랫폼 사용성을 체계적으로 평가하기 위해서는 무엇보다 사용성 평가 도구가 개발될 필요가 있다[3]. 현재 디지털교과서의 어떤 영역을 대상으로 하고, 어떠한 사용성 요인을 중심으로 사용성 평가가 이루어져야 할지에 대해 면밀하게 검토할 필요하다.

이에 본 연구에서는 장애학생을 고려한 디지털교과서 플랫폼의 기능을 사용성 평가의 관점에서 체계적으로 조사할 수 있는 사용성 평가도구를 개발하고, 현재의 디지털교과서를 대상으로 휴리스틱 사용성 평가를 실시하는 것을 목적으로 하였다. 이러한 사용성 평가 결과를 토대로 하여 현재 디지털교과서 플랫폼이 장애학생을 고려하여 향후 어떠한 개선이 필요한 지에 대해서 제안하도록 하였다.


Ⅱ. 이론적 배경

2-1 디지털교과서와 플랫폼 구성

디지털교과서는 서책형 교과서(교과 내용)에 용어사전, 멀티미디어 자료, 평가문항, 보충·심화학습 내용 등 풍부한 학습 자료와 학습 지원 및 관리 기능이 추가되고 에듀넷·티-클리어(https://www.edunet.net/nedu) 등 외부 교육용 콘텐츠와 연계가 가능한 새로운 개념의 교과서이다[2]. 그리고 위두랑(http://rang.edunet.net)은 디지털교과서와 연계하여 학생 활동 중심 교실수업을 돕는 학급 단위 소셜 네트워크 서비스로, 교사와 학생의 실시간 의견공유, 자료탑재 및 관리, 모둠별 협업활동, 학습 포트폴리오 제작 등을 지원한다[2].

플랫폼이란 소프트웨어가 실행되는 환경으로서 응용프로그램이 실행될 수 있는 기초를 이루는 컴퓨터 시스템을 의미한다[12]. 디지털교과서 플랫폼은 디지털교과서가 원활하게 실행될 수 있도록 디지털교과서의 설계, 개발, 실행 및 관리 등을 지원하고, 응용프로그램이 실행될 수 있도록 기초를 제공하는 통합 솔루션이라 할 수 있다[13]. 디지털교과서 플랫폼들을 살펴보면 주로 텍스트의 하이라이팅, 용어 검색, 정리 및 요약, 멀티미디어 실행 등의 기능을 갖추고 있다. 그러나 이러한 특성은 이들 플랫폼이 교수자와 학습자가 상호작용하는 수업 상황을 전제로 개발되었다기보다, 주로 개인적인 학습상황에서 콘텐츠를 체계적으로 탐색, 검색, 선별하여 정리해줌으로써 학습을 지원하는 것을 목적으로 개발된 것으로 볼 수 있다[3].

현재는 2015년 개정 교육과정에 따라 초등학교 3학년부터 6학년까지 사회, 과학, 영어 과목이 개발되어 있으며, 중학교는 사회, 과학, 영어, 고등학교는 영어 과목이 개발되어 있다[2]. 이러한 디지털교과서는 교육과정에 따라 서책형 교과서의 내용을 그대로 담고 있으면서도 풍부한 교육 자료와 자원을 기반으로 학생들의 다양한 학습 활동을 유도하고 있다[14]. 다음 표 1은 현재 디지털 교과서의 주요 메뉴와 기능들을 제시한 것이다.

Main menu and functions of digital textbooks

현재 디지털교과서는 사진, 동영상, 애니메이션, 조작형 활동 자료 등을 제공하고 있고, 학습의 실재성을 높이는 실감형 콘텐츠를 접목하여 제공하고 있다. 또한 학습자 속도와 수준에 맞춰 스스로 학습할 수 있는 수준별 학습 활동, 보충·심화학습 자료 및 평가문항을 제공하고 있고, 학습커뮤니티 위두랑과 연계하여 의견 교환, 자료 공유, 포트폴리오 작성 등을 지원하고 있다[2]. 뷰어를 포함한 플랫폼은 콘텐츠를 보여주는 기능 뿐 아니라 학습 데이터를 저장하고 관리하고 다양한 상호작용을 가능하게 하는 역할을 한다[4].

디지털교과서의 플랫폼이 개선되지 않으면 콘텐츠에서 장애학생의 접근성을 개선해도 소용이 없다. 따라서 디지털교과서를 탑재하여 운영하는 플랫폼의 접근성을 개선하기 위한 노력이 이루어져야 할 것이다. 또한 장애학생을 위한 다수의 기능은 콘텐츠가 아닌 플랫폼에서 제공해야 하는 데이터 관리 및 상호작용 기능이므로 이러한 플랫폼을 개선하려는 노력이 반드시 이루어져야 한다[7].

2-2 디지털교과서 사용성 평가

1) 사용성 평가

사용성(usability)의 일반적 정의는 사용자가 주어진 환경에서 효율적이고 쉽게 작업을 수행할 수 있는 정도를 의미한다[15]. 즉, 사용성은 기존의 시스템 중심의 설계에서 탈피한 사용자 중심의 설계 개념이며, 시스템에 대한 사용자들의 경험에 영향을 주는 많은 요소들과 관련이 된다.

여러 선행연구들에서 Nielsen[15]은 사용성의 요소를 다음과 같이 구체적으로 제시하였다. 학습용이성(learnability)은 사용자가 처음에 얼마나 쉽게 배울 수 있는가에 대한 정도이다. 효율성(efficiency)은 사용자가 이미 시스템을 익히고 난 후에 원하는 작업을 빨리 수행할 수 있는 정도를 의미한다. 기억용이성(memorability)은 사용자가 시스템을 일정 기간 후에 다시 사용할 때에 쉽게 기억할 수 있는 정도이다. 오류(errors)는 시스템을 사용하는 동안 어느 정도의 오류가 발생 하며, 실수를 해도 빨리 되돌릴 수 있는 정도를 의미한다. 마지막으로 만족도(satisfaction)는 개인이 시스템 환경을 사용하면서 주관적으로 느끼고 만족하는 정도를 말한다.

전문가 기반의 사용성 평가 방법은 가이드라인 검토, 휴리스틱 평가, 일관성 조사, 인지 과정 검토법 등이 있으며, 일반적으로 전문가 기반의 사용성 평가 방법들은 숨겨진 잠재적인 사용성 문제들을 찾는 것을 목적으로 한다[16]. 이러한 평가 방법은 전문가들에 의해 가이드라인이나 휴리스틱 준거, 과제를 통하여 사용자 인터페이스를 검토한다. 이러한 전문가 평가 방법 중 휴리스틱 평가와 인지과정 검토법이 가장 광범위하게 사용된다[17]. 이 중에서 휴리스틱 평가 방법은 상대적으로 간단한고 일반적인 체크리스트를 사용하여 시스템 분석을 구조화하기 위한 방법이다. 일반적으로 몇 명의 평가자들을 통하여 사용성 문제에 대해 시스템을 분석하는 것으로서, Nielsen[18]은 대체로 5명의 평가자가 사용성 문제의 약 75%를 발견한다고 언급하였다. 이 방법을 적용하면 고치기 쉬운 형태로 사용성 문제가 도출되기 때문에 최근에 가장 많이 사용되고 빠르고 저렴하게 수행할 수 있는 장점이 있다[19].

2) 디지털교과서 사용성 평가도구

임철일 외[3]의 연구에서는 디지털교과서의 플랫폼 사용성을 평가하기 위한 도구를 개발하고, 이를 적용해 현재 활용 중인 디지털교과서의 사용성 평가를 실시하여 기존 플랫폼의 개선점을 도출하였다. 문헌조사, 사용환경 분석, 전문가 자문을 통하여 평가 영역과 항목을 도출한 후, 델파이 조사 및 교사와 학생 대상으로 평가도구 현장 사전 검토를 통하여 타당성을 검증하였다. 평가도구는 학생용과 교사용의 두 가지 형태로 개발되었으며, 인터페이스, 교수-학습지원, 기술적 안정성의 세 가지 영역으로 구성되었다.

김보금과 이지연[20]의 연구에서는 디지털교과서는 아니지만 전자책의 사용성을 향상시키기 위해 문헌조사를 통하여 기존에 제시된 휴리스틱 평가 원칙을 검토하고 휴리스틱 평가를 통해 도출된 기준들과 비교하여 전자책 뷰어 프로그램에 적합한 휴리스틱 원칙을 제안하였다.

차현진 외[21]의 연구에서는 디지털교과서의 플랫폼에 초점을 맞추지는 않았고 전반적으로 디지털교과서를 평가하는 사용성 평가 기준을 개발하였다. 기존 전자책과 연계된 사용성 평가 및 휴리스틱 관련 연구에 기반하여 인지적, 전략적, 정의적 어려움을 가진 학습자에게 좀 더 효과적이고 사용자 친화적인 도서로 활용될 수 있도록 하는 전자책 사용성 평가 준거를 개발하였다.

이러한 선행연구들에서 제시하고 있는 사용성 평가 항목들을 제시해보면 다음의 표 2와 같다.

Results of previous research analysis on the usability testing items of digital textbooks

2-3 장애학생을 위한 디지털교과서 관련 지침

본 연구에서는 장애학생을 위해 디지털교과서 개발에 적용해야 하는 지침을 연구한 선행연구들을 통해 사용성 평가 도구에 적용할 수 있는 의미 있는 준거를 도출하고자 하였다. 이에 다음과 같은 선행연구들을 선정하여 분석하였다.

1) 특수교육용 디지털교과서 접근성 설계 지침

한국교육학술정보원[22]의 연구에서는 특수교육용 디지털교과서의 접근성 설계 지침을 개발하고 특수교육용 디지털교과서의 접근성 평가 지침을 개발하였다. 이를 위해 문헌연구 및 관련자료 분석과 실시간 전문가 델파이조사를 실시하였으며, 델파이조사의 전문가 패널 외에 특수학교(급) 교사 및 관리자, 일반교사, 디지털교과서 개발 업체, 교과서 관련 전문가, 연구 시범학교 담당자 등 관련 분야 학자와 현장 전문가 등을 대상으로 토론회를 개최하여 연구 결과에 대한 의견을 수렴하였다.

이 연구에서는 접근성 설계 지침에 근거하여 디지털교과서 접근성 평가 지침을 제시하였다. 기초 평가로써 키보드 접근성 평가, 화면낭독 프로그램 테스트, 발견적 방법이나 시나리오에 기반한 접근성 전문가의 직접적인 평가, 사용자 직접 평가 등 4가지를 제안하였고, 설계 지침 각 항목에 따른 37개 항목의 체크리스트와 평가 결과 판정 및 해석 기준을 제시하고 있다.

2) 장애학생을 위한 디지털교과서 제작 지침

국립특수교육원[11]에서는 장애학생 교육 환경에서 활용 가능한 디지털교과서 제작 지침의 필요성을 인식하고, 보편적 학습설계(universal design for learning) 이론을 기반으로 하여 비장애학생과 함께 장애학생도 활용할 수 있는 디지털교과서 제작 지침을 개발하였다. 선행연구와 사례 분석을 통해 개발된 디지털교과서 제작 지침 초안을 바탕으로 현직 특수교사들을 대상으로 델파이 조사를 실시하여 지침을 개발하였다. 장애학생들을 위한 디지털교과서 제작 지침은 지침의 특성에 따라 총 4개의 영역(교수‧학습 내용 설계, 교수‧학습 방법 및 활동 설계, 접근성 설계, 구조와 표현)으로 구분되었고, 특수교육 환경에서 공통교육과정과 기본교육과정 적용 환경에 따라 두 유형의 지침을 개발하였다. 필수적으로 꼭 지켜져야 하는 중요도가 높은 필수 지침과 필수적이지는 않지만 장애학생들을 위해 필요한 권장 지침으로 나누어 제시하고 있다.


Ⅲ. 연구방법

3-1 선행연구 분석을 통한 평가도구 개발

우선, 디지털교과서의 사용성 평가 항목 관련 선행연구들[3],[20],[21]과 장애학생을 위한 디지털교과서 관련 선행연구들[11],[22]에서 제시하고 있는 사용성 평가 준거 내용들을 분석하여 그 결과를 토대로 다음과 같이 평가도구를 개발하였다. 첫째, 선행연구에서 제시하고 있는 디지털교과서 플랫폼의 사용성 평가 준거의 내용들을 범주화하였다. 둘째, 기존의 선행연구에서 중복적으로 여러 부분에서 언급되는 요소들을 중심으로 초안을 구성하였다. 셋째, 선행연구를 근거로 개발된 평가도구 초안에 대해 장애학생 디지털 교과서 관련 연구 경험이 있는 박사 2인에게 전문가 검토를 의뢰하였다. 전문가 검토를 통해 중요성이 높은 평가요소들을 중심으로 하여 휴리스틱 평가척도의 내용을 최종적으로 수정, 보완하였다.

사용성 평가 척도에 대한 점수는 선행연구들[3],[23]에 근거하여 5점 척도로 평가하도록 하였다. 사용성 평가 문항별로 평가 요소에 대해 1-5점 사이의 점수로 구분하여 평가하였다.

3-2 휴리스틱 사용성 평가 실시

1) 사용성 평가 참여자

휴리스틱 평가(heuristic evaluation) 방법은 간단한 체크리스트를 사용해 시스템 분석을 구조화하여 사용성 평가를 실시하는 방법이다. 일반적으로 몇 명의 전문가들을 통하여 시스템의 사용성 문제에 대해 분석하는 것으로서, Nielsen[18]은 이러한 방법이 사용성 평가에 가장 흔하게 사용되는 방법이라고 언급하며 대체로 5명의 평가자가 사용성 문제의 약 75%를 발견한다고 설명하였다.

본 연구에서 사용성 평가 참여자는 장애학생을 위한 디지털교과서 개발이나 연구에 1년 이상 참여한 경험이 있는 특수교사 3명, 대학교수 및 연구원 3명으로 선정하였다. 이러한 참여 참여자의 인적사항은 다음과 같았다.

Characteristics of usability testing participants

2) 사용성 평가 방법

본 연구에서 사용성 평가를 실시한 디지털교과서는 2015 개정 교육과정에 따라 개발한 초등학교 4학년 사회와 과학 과목으로 하였으며, 2019학년도 기준의 디지털교과서 플랫폼을 대상으로 하였다. 디지털교과서의 플랫폼에 해당하는 뷰어는 여러 교과목에 동일하게 적용되므로, 본 연구에서는 특정 콘텐츠를 지정하지는 않고 공통적인 플랫폼의 기능을 중점적으로 하여 평가를 실시하였다.

본 연구에서 사용성 평가방법은 일반적인 휴리스틱 평가 절차에 근거하여[18],[24] 평가자들이 디지털교과서를 전반적으로 살펴보고 학생의 입장에서 가상으로 학습해 본 후에 사용성 평가 항목들에 초점을 맞추어 사용성을 집중적으로 평가하도록 하였다. 그리고 각 평가 항목마다 5점 척도(1: 전혀 그렇지 않다, 2: 대부분 그렇지 않다, 3: 부분적으로 그렇다, 4: 대부분 그렇다, 5: 매우 그렇다) 평가와 이와 관련된 구체적인 의견을 기술하도록 하였다.

Fig. 1.

Digital textbook(science) screen example

본 연구에서 실시한 사용성 평가지의 평가 결과 분석은 양적 방법으로 분석하였는데, Nielsen[18]은 사용성 평가 결과에서 보통 평균점을 채택하는 것이 가장 적절하다고 보았다. 이에 본 연구에서는 디지털교과서의 사용성에 대해 5점 척도로 평가한 결과를 평균으로 요약했으며, 평가자가 기술한 구체적인 의견들은 유형별로 목록을 만들고 범주화하였다.


Ⅳ. 연구결과

4-1 사용성 평가 항목 및 평가문항 도출

다지털교과서의 사용성 평가 항목과 관련된 선행연구들[3],[20],[21]과 장애학생을 위한 디지털교과서 개발 관련 선행연구들[11],[22]에서 제시하고 있는 사용성 평가 준거 내용들을 분석하여 그 결과를 토대로 내용을 범주화하여 초안을 구성하였다. 다음의 표 4는 본 연구에서 개발한 사용성 평가 준거와 5개 선행연구들의 내용분석 결과를 함께 제시한 것이다.

Results of previous research analysis on usability testing items in the study

장애학생 디지털 교과서 연구 경험이 있는 박사 2인의 전문가 검토 결과에서는 각 평가영역별로 장애학생을 고려한 디지털교과서의 요구가 차별적으로 드러나는 것이 필요하다는 것이 가장 많이 언급되었다. 사용자 지원 영역에서 대안적인 수단을 제공하는 것과 같은 부분이 차별적이나 인터페이스나 상호작용 영역의 평가항목들이 일반적인 평가내용이 많다는 지적이 있었다. 이에 접근성과 피드백 부분에 대한 내용에 차별성이 더 드러나도록 보완하였다. 그리고 호환성이나 시스템 안정성에 대한 내용은 본 연구의 범위에서는 포함시키지 않는 것이 적절하다는 의견이 있어서 반영하여 수정하였다.

선행연구 분석과 전문가 검토 결과를 토대로 하여 다음과 같이 5개의 영역으로 사용성 평가항목과 문항을 개발하였다.

첫째, 인터페이스 영역은 디지털교과서 플랫폼에서 사용하는 인터페이스가 사용하기 쉽고 사용자의 기대에 맞게 작동되어야 하는 것을 의미하였다. 시각, 청각, 인지적인 장애를 가지고 있다고 하더라고 이러한 학생들이 생각하는 기대에 어긋나지 않게 해야 하며 인지적으로 어려움이 있어도 쉽게 이해하고 기억할 수 있는 용어와 표현을 사용해야 한다. 본 연구에서 기존의 사용성 평가도구와의 차별성은 쉽게 이해할 수 있는 용어와 그림을 사용하고 있는지에 대한 내용을 보완하였다.

둘째, 사용자 조절 영역은 디지털교과서에서 제공하는 여러 기능들을 사용자가 적절하게 통제할 수 있어야 한다는 것에 초점을 두었다. 기존의 사용성 평가도구들에서는 학습도구를 추가 삭제하거나 검색을 용이하게 하는 수준이었다면, 본 연구에서는 음성 및 자막 제공, 속도 조절 등 시각, 청각, 발달장애 학생들이 학습을 촉진할 수 있도록 하면서 이러한 사용자 조절들이 비장애 학생들에게도 도움이 되도록 하는 것에 초점을 맞추어 항목을 개발하였다.

셋째, 상호작용 영역에서는 디지털교과서를 활용하는 수업에서 교사 및 학생들의 상호작용을 활성화시키는 기능을 강조하였다. 교수‧학습 상황에서 구체적인 피드백을 제공하거나 커뮤니티를 활용하여 자료를 공유하고 상호작용을 활발하게 하는 것을 의미하였다.

넷째, 학습지원 영역은 다양한 특성과 수준을 가진 학생들의 개별적인 요구와 수준에 맞게 학습을 지원하고 교사가 학생의 활동을 개별적으로 관리할 수 있도록 하는 것을 의미하였다. 본 연구에서는 심화된 수준 뿐 아니라 쉬운 수준 등 학습에 어려움이 있는 장애학생들을 고려하여 수준을 다양하게 제공하는 것을 구체적으로 명시하였다. 또한 중요한 학습내용을 제시하는 것 뿐 아니라 학습자들의 다양한 학습활동도 쉬운 수준으로 활동할 수 있도록 하고 평가활동에서도 다양한 수준으로 힌트를 제공하도록 하여 장애학생과 학습에 어려움이 있는 학생들을 모두 고려하도록 하였다.

다섯째, 사용자 지원 영역은 통합교육 환경에서 시각, 청각, 지체, 발달장애 학생들이 디지털교과서를 효과적으로 활용하기 위해 대안적인 수단을 활용하도록 하는 것들을 강조하였다. 본 연구에서 제시하는 모든 영역들에서 장애학생들을 고려하고 있지만 이 영역에서는 장애학생들을 위해서 별도로 고려해서 대안적으로 제공해야 하는 것에 초점을 두었고, 이 외의 영역들은 별도로 구분하여 제공하기보다 기존의 콘텐츠 내에서 적응적으로 제공하는 것에 초점을 맞춘 것이 차이점이라고 할 수 있다.

다음의 표 5는 본 연구에서 최종적으로 개발한 디지털교과서 사용성 평가 도구를 제시한 것이다.

Digital textbook usability testing tool considering students with disabilities

4-2 사용성 평가 결과

사용성 평가 결과를 평가 영역 별로 살펴보면, 다음의 표 6과 같이 인터페이스(3.6)와 상호작용(3.6)에 대한 사용성 평가 결과는 비교적 높은 수준이었으나, 사용자 지원(1.7)과 학습지원(2.4)은 매우 낮은 수준의 사용성 평가 결과를 나타냈다.

Digital textbook usability testing results considering students with disabilities

첫째, 인터페이스 영역의 사용성 평가 결과를 살펴보면 전체평균 3.2점 보다 높은 3.5점을 보였으며, 이 중에서 사용용이성이 3.9점으로 가장 높았고 접근성이 3.1점으로 가장 낮았다. 구체적으로는 디지털교과서 화면에 제시되어 있는 바로가기 아이콘(메뉴 아이콘 바로가기, 페이지 히스토리)에 대한 사용성 점수가 일관적으로 낮게 나타났으며, 접근성 측면에서 이미지 아이콘에 텍스트 설명을 삽입하는 것에 대한 평가 점수는 1.2점으로 가장 낮았다. 평가자들의 의견을 살펴보면, 바로가기 아이콘의 기능을 이해하기 어렵고 사용하기 어려웠다고 언급하였고, 아이콘들이 모두 이미지 파일로 이루어져 있는데 각각에 대한 대체 텍스트 삽입이 이루어져 있지 않았다고 지적했다.

둘째, 사용자 조절 영역의 사용성 평가 결과는 평균 3.1점으로 전체 평균보다는 조금 낮은 수준이었다. 이 중에서 정보제시의 조절이 2.2점으로 낮은 수준이었다. 특히, 학습화면에서 음성(내레이션)을 제공하는 것과 멀티미디어의 속도를 조절하는 것이 1.3점으로 가장 낮았다. 평가자들은 디지털교과서가 주로 시각적인 내용 중심으로 제공되고 일부분에만 동영상 자료가 삽입되어 있어서 전체적인 학습 내용에 대한 음성지원은 제공되지 않는다고 지적했다. 또한 동영상 자료에 대해서 속도를 조절할 수 없다고 언급했다.

셋째, 상호작용 영역에서는 피드백과 자료 공유 항목이 모두 3.7점으로 전체 평균보다 높은 수준이었으며, 교사/학생 상호작용 항목도 3.5점으로 이와 비슷하게 높은 수준이었다. 이에 대해 평가자들은 퀴즈에서 정답을 선택했을 때 구체적인 설명이 제공되었고 오답을 선택하면 힌트를 순차적으로 제공하면서 정답을 유도하는 설명이 제공되었다고 언급했다.

넷째, 학습지원 영역의 항목들은 대부분 전체 평균보다 낮은 수준의 사용성 평가 점수를 나타냈다. 이 중에서 수준별 지원 및 이해를 돕는 지원이 2.0점으로 가장 낮았고 학습 기록 및 점검 항목도 2.5점으로 낮은 수준이었다. 평가자들은 학습내용이나 학생 활동을 여러 수준으로 나누어 제시하는 것이 없기 때문에 수준별 지원은 제한적이라고 지적했다. 또한 커뮤니티 위두랑을 통해서 자신의 학습정보를 확인할 수 있게 되어있지만, 자기점검이나 성찰을 할 수 있는 기능은 부족하다고 설명했다.

다섯째, 사용자 지원 영역은 전체 평가 영역들 중에서 1.7점으로 가장 낮은 사용성 평가 점수를 나타냈다. 특히, 대체 학습방법 제공은 1.2점으로 가장 낮은 수준을 보였으며, 시각자료에 대한 텍스트 설명과 동영상 자료에 대한 해설은 전혀 이루어지지 않았다. 안내 및 도움 제공 항목을 보면, 메뉴에서 도움말을 제공하고 있지만 시각장애 학생을 위해 전체 화면 구성에 대한 음성 설명이나 텍스트 설명은 매우 부족한 것으로 나타났다.


Ⅳ. 결 론

본 연구결과를 토대로 하여 시사점을 살펴보면 다음과 같다.

첫째, 기존의 디지털교과서 플랫폼 사용성 평가도구에 대한 선행연구들[3],[20],[21]에서는 인터페이스의 측면만을 중점적으로 하여 일반적인 사용성 준거와 유사하게 제시하는 데 초점을 두었다. 그러나 본 연구에서 제시하고 있는 사용성 평가도구는 다양한 특성과 요구를 가진 장애학생들이 교육을 받는 통합교육 상황에서 디지털교과서의 활용을 고려하였다. 그래서 인터페이스 측면 뿐 아니라 교수․학습의 맥락을 고려한 학습지원과 상호작용, 장애학생이 학습에 참여할 수 있도록 하는 여러 지원들에 대해서 중요하게 다룬 것이 의의라고 할 수 있다.

둘째, 본 연구에서 제안하고 있는 디지털교과서 사용성 평가 도구는 장애학생들만 분리되어 교육받는 특수학교 상황이 아니라 장애학생과 비장애학생들이 함께 학습하는 통합교육 상황에서 장애학생이 일반교육 디지털교과서에서 소외되지 않도록 하는 것에 초점을 맞춘 것이다. 즉, 본 연구결과는 통합교육 환경에서 시각, 청각, 지체, 발달장애 학생들이 디지털교과서를 효과적으로 활용하기 위해 필요한 다양한 요소들을 기존의 디지털교과서 내에서 적응적으로 제공하는 것에 초점은 맞추어 현재의 디지털교과서가 개선되어야 함을 강조하고 있다.

셋째, 기존의 디지털교과서를 장애학생들도 함께 참여하여 학습에 활용할 수 있도록 하기 위해서는 사용자 맞춤 지원과 학습 지원 측면에서 더욱 개선이 필요함을 알 수 있었다. 본 연구결과, 사용자 지원과 학습지원은 매우 낮은 수준으로 나타났다. 현재 디지털교과서는 주로 시각자료 중심으로 내용을 전달하고 있고 일부 동영상을 제외하고는 학습내용에 대한 음성지원이 제공되지 않았다. 그래서 시각장애 학생이 정보에 접근하여 학습내용을 확인하고, 발달장애 학생이 집중해서 학습하기에는 현재의 디지털교과서로는 한계가 있다고 판단된다. 또한 이미지 파일에 대한 대체 텍스트 설명이나 동영상에 대한 화면해설은 전혀 이루어지지 않아서 시각장애 학생들이 디지털교과서의 학습내용을 파악하는 것에서는 상당한 어려움이 있을 것이다. 발달장애 학생들도 참여할 수 있는 쉬운 수준의 학습내용이나 활동을 제공하는 것도 미미하였다. 이와 같이 디지털교과서를 모든 학생들이 학습하기 위해 여러 측면에서 개선이 필요한 점들을 본 연구를 통해 발견할 수 있었다.

후속연구와 관련하여 다음과 같은 제언을 할 수 있다. 첫째, 본 연구에서는 국내 선행연구를 기반으로 하여 사용성 평가 항목을 도출하였으나 향후 해외의 다양한 사례를 조사하여 이를 반영하는 것이 필요할 것이다. 둘째, 본 연구에서는 장애영역별로 세부적인 요구사항을 반영하지는 못하였다. 앞으로는 다양한 장애영역별 요구를 반영한 정교화된 사용성 평가도구 개발이 필요하다. 셋째, 본 연구에서는 초등학교 4학년 사회와 과학 플랫폼을 대상으로 사용성 평가를 실시하였으나, 다양한 학교과정을 대상으로 하는 사용성 평가가 이루어져서 플랫폼의 개선점을 여러 상황에서 도출할 수 있어야 할 것이다.

본 연구에서 디지털교과서 플랫폼 사용성 평가도구를 개발하고 이를 적용하여 사용성 평가를 실시하면서, 앞으로 모든 학생을 위한 교육(education for all)을 지향하기 위한 디지털교과서 플랫폼의 개선 방향을 제시하였다. 디지털교과서의 콘텐츠 개발뿐 아니라 이를 탑재하여 운영하는 플랫폼 측면에서도 장애학생을 고려하여 지속적으로 발전시켜 나가야 할 것이다.

Acknowledgments

이 논문은 2018학년도 대전대학교 교내학술연구비 지원에 의해 연구되었습니다.

참고문헌

  • Ministry of Education. Notification of the classification of digital textbooks of elementary and secondary schools according to the 2015 revised curriculum[Internet]. Available:https://www.moe.go.kr/boardCnts/view.do?boardID=294&lev=0&statusYN=C&s=moe&m=0204&opType=N&boardSeq=64153, .
  • Korea Education and Research Information Service. Guide to using digital textbooks in 2020 school year. [Internet]. Available: https://webdt.edunet.net, .
  • C. Lim, H. D. Song, Y. Lee, Y. Lee, “Development and Implementation of a Digital Textbook Platform Usability Assessment Instrument,” Journal of Educational Technology , Vol. 5, No. 4, pp. 127-157, December 2009. [https://doi.org/10.17232/KSET.25.4.127]
  • D. H. Koo, “A Study on the Improvement Plan for the Application of Digital Textbooks,” The Journal of Korea Elementary Education, Vol. 29, No. 2, pp. 81-91, June 2018. [https://doi.org/10.20972/kjee.29.2.201806.81]
  • Y. S. Jeong, "Development of Evaluation Criteria on Digital Text-book," The Journal of Korean Association of Computer Education, Vol. 11, No. 3, pp. 13-20, March 2008.
  • S. O. Roh, Y. G. Woo. “The Status and Future Agenda of Smart Learning Support,” Policies for Students with Disabilities of Korea. The Journal of Special Children Education, Vol. 18, No. 4. pp. 201-225, December 2016.
  • J. Y. Son, H. J. Cha, “Analysis of Digital Textbooks and the Improvements on the Development Process of Digital Textbooks from the Universal Design for Learning Perspective,” Korean Journal of Special Education, Vol. 53. No. 4, pp. 213-240, March 2019. [https://doi.org/10.15861/kjse.2019.53.4.213]
  • J. E. Lee, “The Development of Design Principle for Digital Text with UDL Guideline in Secondary School for Supporting Instructional Inclusion,” The Korea Journal of Learning Disabilities, Vol. 8, No. 2, pp. 1-29, 2011.
  • K. J. Lee, S. S. Lee, “An Study for Role and Design Direction on the Digital Textbook for Special Education,” Korean Journal of Special Education, Vol. 48, No. 4, pp. 317-336, March 2014.
  • S. G. Kang, J. S. Ko, K. W. Lim, “Learning Module Type and Suitability Analysis on Textbook Learning Activity for Special Education Digital Textbook Based on Design of Learning Module,” Journal of Special Education for Curriculum and Instruction, Vol. 10, No. 2, pp.1-19, 2017. [https://doi.org/10.24005/seci.2017.10.2.1]
  • National Institute of Special Education(NISE), Research on Guidelines and Usage Scenarios for Digital Textbooks for Students with Disabilities. National Institute of Special Education, Research Report, 2018.
  • E. S. Jeong, K. H. Jeong, J. S. Song, “A Study on Improvement Plans of Digital Textbook,” Communications of the Korean Institute of Information Scientists and Engineer, Vol. 27, No. 7, pp. 51-58, 2009.
  • E. S. Jeong, Y. H. Song, J. B. Chae, “A Study on the Digital Textbook Development Strategies and Development direction,” in Proceeding of the Annual Symposium on The Korean Institute of Information Scientists and Engineers, pp. 230-235, 2008.
  • H. J. Cha, B. K. Kye, K. H. Jeong, “Analysis of Impacts of Digital-Textbooks on Learners’ Self-regulated Learning and Problem-solving Competency,” The Korea Contents Society, Vol. 17, No. 2, pp. 13-25, 2017.
  • J. Nielsen, Usability Engineering. New Riders: Academic Press, 1993. [https://doi.org/10.1016/B978-0-08-052029-2.50007-3]
  • J. H. Yoon, A Study on the Usability Evaluation of Digital Textbook Platform Interface, Master. Thesis, Chung-ang University, Seoul, 2010.
  • D. J. Bennett, P. Stephens, “A Cognitive Walkthrough of Autopsy Forensic Browser,” Information Management & Computer Security, Vol. 17, No. 1, pp. 20-29. 2009. [https://doi.org/10.1108/09685220910944731]
  • J. Nielsen, Designing Web Usability. New Riders Publishing: Indiana USA, 2000.
  • H. K. Kim, Study on Web Usability of Internet Newspaper, Master. Thesis, Ewha Womans University, Seoul, 2002.
  • B. K. Kim, J. Y. Lee, “The Development of Heuristics for User-centered eBook Reader on Personal Computers,” Journal of the Korean Society for Information Management, Vol. 29, No. 1, pp. 211-229, March 2012. [https://doi.org/10.3743/KOSIM.2012.29.1.211]
  • H. J. Cha, Y. J. Hwang, M. H. Kim, M. L. Ahn, “A Study on a Usability Evaluation for a Model e-book Prototype applied UDL Principles,” Korean Journal of the Learning Sciences, Vol. 7, No. 3, pp. 95-118, December 2013.
  • The Korea Education and Research Information Service(KERIS), Development of Guidelines for Designing and Evaluating Accessibility of Digital Textbooks for Special Education. The Korea Education and Research Information Service, Research Report, 2009.
  • J. Y. Son, M. S. Yeom, “Usability Testing of Open Course Ware(OCW)-Focusing on Students with Visual and Hearing Impairments,” Journal of Digital Contents Society, Vol. 17, No. 1, pp. 43-50, Feb 2016. [https://doi.org/10.9728/dcs.2016.17.1.43]
  • M. S. Kim, Self-regulated Learning Support Model for UX Improvement of Mobile Education Service Focused on UX Improvement plans of OCW Service, Ph.D. dissertation, Hanyang University, Seoul, 2015.

저자소개

손지영(Ji-Young Son)

2005년 : 서울대학교 대학원(교육학석사)

2008년 : 서울대학교 대학원(교육학박사-특수교육)

2009년~2010년: 가톨릭대학교 의과대학 BK21사업단 연구교수

2011년~2013년: 청주대학교 교직과 교수

2014년~현 재: 대전대학교 중등특수교육과 교수

※ 관심분야: 보편적 학습설계(universal design for learning), 특수교육공학(special education technology), 보조공학(assistive technology), 스마트교육(smart education) 등

Fig. 1.

Fig. 1.
Digital textbook(science) screen example

Table 1.

Main menu and functions of digital textbooks

Cateory Manu name Functions
Viewer Table of contents Checking and moving content
My library Viewing memos, linked materials, highlights, and bookmark lists
Zoom in/out Zooming in/out the pages
Pen writing Writing with a pen and drawing a picture
Search Searching text, e-learning site, knowledge encyclopedia
Community Moving to the learning community
Print Printing main text
Help Help for Viewer
One or two sides Viewing the screen in one or two sides
Page move Going straight through the page preview screen
Main text Bookmark Bookmark function for important pages
Highlight Marking with highlighter in the text
Memo Writing a note in the text
Record Inserting recordings into the text
Data Link Linking files stored on devices or related Internet sites in the text
Copy Copying specified text content
Edunet and T-Clear Search Searching for terms or concepts in Edunet and T-Clear

Table 2.

Results of previous research analysis on the usability testing items of digital textbooks

Category Lim et al[3] Kim & Lee[20] Cha et al[21]
Interface User expectations
- Ease of operation
- Ease of interface
- Efficiency
- Consistency
- In-page mobility
- Page layout
Usability
-Effectiveness
- Emotion and Aesthetic
- Efficiency
User control
- Ease of search
- Ease of adding and deleting learning tools
- Reorganization of learning content and process
- User controllability
- Visibility
- Readability
- User control
- Readability
Learning support Learning/teaching Support
- Customized classes by learner level
- Student records and management
- Learning control
-Functionality Learning factors
- Use of multimedia
- Cognitive load
-Organization
- Teaching and learning tools
Interaction
- Support for group activities
User support and universal accessibility
- Class support for various learner characteristics
- Offers of help Learners with special needs
- Visual impairment
- Hearing impairment
- Physical disability
System Compatibility
- Operation in various environments of personal computers
Durability
- Function maintenance and repair
- Program reaction and
transmission speed
- Access control and security functions
- Security

Table 3.

Characteristics of usability testing participants

No. gender age Affiliation
/Position
Career
(year)
Final
education
Major
1 female 29 Special school Teacher 5 Bachelor Special education
2 male 44 Special school Teacher 13 Master Special education
3 female 48 Special school Teacher 16 Bachelor Special education
4 male 51 University Professor 15 Doctor Special education
5 female 42 University Professor 7 Doctor Education Technology
6 female 41 Research Institute Researcher 9 Master Education Technology

Table 4.

Results of previous research analysis on usability testing items in the study

Domains Testing items Lim et al[3] Kim & Lee[20] Cha et al [21] NISE [11] KERIS [22]
1. Interface Ease of understanding o o o
Convenience of placement o o
Ease of use o o o o o
Ease of memory o o o
Consistency of placement o o o o
Convenience of movement o o
Accessibility o o
2. User control Control of information presentation o o o o o
Control of interfaces o o
3. Interaction Feedback o o o o
Data sharing o o
Teacher/students interaction o o o
4. Learning support Level-based support o o
Support for self-study o o
Learning record and monitoring o o
5. User customized supports Alternative learning methods o o o
Guidance and help o o

Table 5.

Digital textbook usability testing tool considering students with disabilities

Domains/Items Questions
1. Interface Ease of understanding 1. Is it easy to understand the function by looking at the icons used in the menu at the bottom?
2. Is it easy to understand what the function was by looking at the menu(highlight, memo, recording, copy, etc.) used in the text ?
3. Is it easy to understand what the function looked like by looking at the shortcut icons(menu icon shortcut, page history) on the screen?
Convenience of placement 1. Is the function on the lower menu placed in a convenient location?
2. Is the menu used in the text(highlight, memo, recording, copy, etc.) placed in a convenient location?
3. Is the shortcut icons(menu icon shortcut, page history) on the screen placed in a convenient location?
Ease of use 1. Is it easy to write a pen in the menu?
2. Is it easy to highlight while learning?
3. Is it easy to take notes while learning?
4. Is it easy to record while learning?
5. Is it easy to use copying while learning?
6. Is it easy to connect internet sites and saved files through the data link function while learning?
7. Is it easy to check the notes, highlights, data links, bookmarks?
8. Is it easy to use the search function to make the desired search within the text?
9. Is it easy to print what you needed while learning?
10. Is it easy to use the shortcut icons on the screen(menu icon shortcut, page history)?
Ease of memory 1. Is it easy to remember how to use the menu icons after using it for the first time?
2. Is it easy to remember how to use after using the menu used in the text(highlight, memo, recording, copy, etc.) for the first time?
3. Is it easy to remember how to use the shortcut icons(menu icon shortcut, page history) on the screen??
Consistency of placement 1. Are menus and icons consistently placed on the screen?
2. Is the screen structure consistent for each learning screen?
Convenience of movement 1. Is it easy to move pages in the learning process?
2. Is it easy to navigate through the page navigation and shortcut menus?
3. Is it easy to navigate through the table of contents in the menu?
Accessibility 1. Is it providing alt-text when the icons consist of image files?
2. Are there shortcut keys that make it easy to move the screen using only the keyboard?
3. Is the screen clear even if the learning screen is enlarged significantly?
4. Can menus or icons be clearly identified without color?
2. User control Control of information presentation 1. Is voice support (narration) provided for all learning content?
2. Are subtitles provided for audiovisual materials such as video, audio, and animation?
3. Can you easily control the speed of video, voice, and animation?
Control of interfaces 1. Is it easy to enlarge and reduce the learning screen?
2. Is it easy to change the settings of the learning screen to one-sided and two-sided?
3. Can you adjust the interface to show only the desired interface?
3. Interaction Feedback 1. Are specific feedback provided on correct answers during student evaluation activities?
2. Do you provide specific feedback on incorrect answers during student evaluation activities?
Data sharing 1. Is it possible to upload and share each other's data through the community in the learning process?
Teacher/students interaction 1. Is teacher interaction effectively provided through the community?
2. Is interaction with peers effectively provided through the community?
4. Learning support Level-based support 1. Is it suggested to divide the main learning content into several levels(intensity level, easy level, etc.) so that the difficulty can be adjusted according to the level of the learner?
2. Is it presented in several levels(intensity level, easy level, etc.) so that all students can participate in learner activities?
3. Is it provided by the different levels of hints that can lead to answers in evaluation activities?
4. Is the glossary provided in detail using photos and pictures to help understanding the learning content?
Support for self-study 1. Are there learning activities that can be practiced repeatedly for home or supplementary learning?
Learning record and monitoring 1. Is it providing to check learning records such as progress and grades through the learning community?
2. Is it providing support for students to self-check and self-reflect in the learning process through the learning community?
5. User customized supports Alternative learning methods 1. Is it providing alt-text of specific information about the content that contains the visual information consisting of a non-text image?
2. Is it providing the screen commentary of the visual information presented in the video material?
3. Can all functions of a digital textbook be used equally with a keyboard without a mouse?
Guidance and help 1. Does the help menu help you understand the features of a digital textbook?
2. If the understanding of the overall structure and the icon of the screen for digital textbooks, is it providing a description of the layout and the relative position of the entire screen of the display component as voice or text?

Table 6.

Digital textbook usability testing results considering students with disabilities

Area Items Questions Usability level
Question average Item average
1. Interface Ease of understanding Menu icons 4.0 3.3
Menu used in the text 4.3
Shortcut icons 1.7
Convenience of placement Location of menu 4.3 3.8
Location of Menu in the text 4.7
Location of shortcut icons 2.3
Ease of use Writing a pen 4.0 3.9
Highlighting 5.0
Taking notes 4.3
Recording 3.7
Copying 4.7
Data link function 4.0
Checking data 3.3
Searching 4.0
Printing 4.3
Shortcut function 2.0
Ease of memory Menu icons 3.7 3.3
Menu used in the text 4.7
Shortcut icons 1.7
Consistency of placement Placement of menus and icons 4.0 3.8
screen structure 3.7
Convenience of movement Moving pages 4.3 3.8
Page navigation and shortcut menus 3.7
Table of contents in the menu 3.3
Accessibility Alt-text of image files 1.2 3.1
Shortcut keys 2.7
Screen clarity 4.3
Identifying without color 4.2
Area average 3.6
2. User control Control of information presentation Voice support (narration) 1.3 2.2
Subtitles for multimedia 3.8
Control of the speed 1.3
Control of interfaces Enlarge and reduce the learning screen 4.7 4.0
Screen to one-sided and two-sided 4.7
Adjusting the interface 2.7
Area average 3.1
3. Interaction Feed back Specific feedback provided on correct answers 3.8 3.7
Specific feedback on incorrect answers 3.5
Data sharing Sharing each other's data 3.7 3.7
Teacher/students interaction Teacher interaction 3.7 3.5
Peers interaction 3.3
Area average 3.6
4. Learning support Level-based support Different levels of learning contents 1.0 2.0
Different levels of learner activities 1.7
Different levels of hints 1.8
Glossary using pictures 3.3
Support for self-study Practice activity 2.8 2.8
Learning record and monitoring Checking learning records and test results 3.0 2.5
Self-check and reflection support 2.0
Area average 2.4
5. User customized supports Alternative learning methods Alt-text explanation of a non-text image 1.0 1.2
Screen commentary of video material 1.0
Equal use with keyboard 1.7
Guidance and help Effectiveness of help menu 3.0 2.1
Voice guidance for screen 1.2
Area average 1.7
Total average 3.2