대학의 학습관리시스템(LMS) 품질, 만족도, 교육 효과의 관계 분석
Copyright ⓒ 2024 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
초록
본 연구는 대학의 학습관리시스템(LMS; Learning Management System)에서 시스템 품질, 정보 품질, 서비스 품질이 LMS 만족도를 매개하여 교육 효과에 미치는 영향을 조사하였다. 대전의 A대학교 학부생 1,646명을 대상으로 온라인 설문조사를 통해 자료를 수집하였으며, SPSS 26.0과 Smart PLS(v.5)를 활용하여 분석하였다. 연구 결과, 첫째, 시스템 품질, 정보 품질, 서비스 품질은 LMS 만족도에 통계적으로 유의미한 영향을 미치는 것으로 나타났다. 둘째, 시스템 품질은 교육 효과에 직접적인 영향을 미치지 않지만, LMS 만족도를 매개했을 때 통계적으로 유의미한 영향을 미치는 것으로 나타났다. 셋째, 정보 품질과 서비스 품질은 교육 효과에 직접적인 영향을 미치는 것으로 나타났으며, LMS 만족도가 매개했을 때 역시 통계적으로 유의미한 영향을 미치는 것으로 나타났다. 이에 LMS의 품질 요소가 만족도와 교육 효과에 미치는 영향을 분석하여 시사점을 제시하였다.
Abstract
This study investigated the impacts of system, information, and service quality on educational effectiveness, mediated by learning management system (LMS) satisfaction, in a university setting. Data were collected from 1,646 undergraduate students at University A in Daejeon through an online survey and analyzed using SPSS 26.0 and Smart PLS (v.5). The results indicated that, first, system, information, and service quality significantly influenced LMS satisfaction. Second, although system quality did not directly impact educational effectiveness, its effect was statistically significant when mediated by LMS satisfaction. Third, both information and service quality directly impacted educational effectiveness, and these effects remained statistically significant when mediated by LMS satisfaction. Based on these analytical findings, this paper presents implications regarding the influence of LMS quality elements on satisfaction and educational effectiveness.
Keywords:
Learning Management System, LMS Quality, LMS Satisfaction, Educational Effectiveness, Higher Education키워드:
학습관리시스템(LMS), LMS 품질, LMS 만족도, 교육 효과, 고등 교육Ⅰ. 서 론
전례 없는 코로나19 팬데믹으로 인해 대학 교육은 크게 변화하였다. 교수자와 학습자는 전염병 전파를 막기 위해 전통적인 대면 수업 대신 비대면 수업 또는 블렌디드 수업이라는 생소한 교육 방식에 급격히 적응해야 했다[1]. 비대면 수업은 교수자와 학습자 사이의 물리적 시간과 공간의 분리를 요구하며, 기존 대면 교육의 형태를 완전히 변화시켰다.
대학에서는 2022학년도 2학기부터 개강을 전후로 3주간 집중 방역 점검 기간을 운영하고, 대면 교육을 운영하였다[2]. 그리고 2023학년도 2학기부터는 코로나19의 등급을 2급에서 4급으로 조정하고 방역 체계를 완화하였으며 대학의 방역지침 관련 내용을 수정하여 적용하였다[3]. 엔데믹 시대로 접어든 현재, 고등교육 현장에서는 원격 수업, 대면과 비대면이 병렬적으로 혼합된 형태의 수업, 대면과 비대면이 동시에 진행되는 수업 등 다양한 형태의 교육환경이 만들어지고 있다. 대학의 비대면 교육은 코로나19 팬데믹 상황에서의 방역 목적이 아닌, 교육의 효과성을 높이기 위한 전략의 일환으로 활발하게 활용되고 있는 것이다. 또한, 교육부에서는 2023학년도 대학원격교육지원센터 중점 추진 사항으로 대학 학습자의 기초학력 증진 및 학업성취도 향상을 위해 원격학습 콘텐츠 개발을 추진하였다[4]. 이처럼 코로나19 팬데믹 사태가 완전히 종식된 후에도 대학에서는 기존의 대면 교육으로 완전히 돌아가기보다는 대면 교육과 비대면 교육이 공존하는 블렌디드 러닝(blended learning)이나 하이브리드 러닝(hybrid learning) 형태의 교육이 활성화되고 있다.
특히 대학에서는 블렌디드 러닝(blended learning)과 하이브리드 러닝(hybrid learning)의 효율적 운영을 위해 비대면 학습 플랫폼, LMS의 사용이 급증하였다. LMS는 비대면 상황에서 교수자와 학습자 간의 상호작용을 촉진하고, 학습 자료를 효율적으로 관리하며, 학습 성과를 체계적으로 평가할 수 있는 도구로써 대학 교육에서 중요한 구성 요소로 자리 잡고 있다. 이러한 변화는 특히 코로나19 팬데믹 이후 더욱 가속화되었으며, 비대면 학습 상황에서 LMS의 중요성이 크게 부각되었다.
LMS의 중요성과 필요성을 이해하기 위해서는 그 기능과 역할에 대한 명확한 이해가 필요하다. LMS는 단순히 학습 자료를 제공하는 수준을 넘어, 학습 진행 상황을 추적하고 학습자 간의 협업을 지원하는 다양한 기능을 포함한다. 이러한 기능들은 학습자의 학습 경험을 향상시키고, 교육의 질을 높이는 데 기여한다[5]. 그러나 이러한 LMS의 기능을 효과적으로 수행하기 위해서는 LMS 품질 요소들이 적절하게 구성되고 관리되어야 한다. LMS 품질 요소는 시스템 품질, 정보 품질, 서비스 품질로 구분된다. 시스템 품질은 LMS의 사용자 인터페이스, 글자나 그래픽, 폰트, 응답 시간 등을 포함하며, 정보 품질은 제공되는 학습 자료의 명확성, 유용성, 신뢰성 등을 의미한다. 서비스 품질은 LMS 운영 중 발생하는 문제에 대한 지원 서비스의 신속성, 적극적 지원, 안내 등을 포함한다[6]. 이러한 품질 요소들은 학습자의 만족도와 교육 효과에 직·간접적인 영향을 미치기 때문에 이를 체계적으로 분석하고 개선 방안을 도출하는 연구가 필요하다.
이에 본 연구에서는 코로나19 이후 엔데믹 시대, 대학의 LMS에서 시스템 품질, 정보 품질, 서비스 품질이 LMS 만족도와 교육 효과에 어떠한 영향을 미치는지를 분석하여 LMS의 운영과 개선에 필요한 구체적인 방향성을 제시하는 것을 목표로 한다. 이를 통해 교육 기관은 LMS를 효과적으로 활용하고, 학습자의 학습 경험을 향상시키는 데 기여할 수 있을 것이다. 또한, 본 연구는 LMS의 품질 향상을 위한 구체적인 방안을 제공함으로써, 교육 기술의 발전과 학습 환경의 개선에 기여할 수 있을 것으로 기대된다. 이러한 연구 목적을 달성하기 위한 구체적인 연구 문제는 다음과 같다.
- 연구 문제 1. 대학의 LMS에서 시스템 품질, 정보 품질, 서비스 품질, LMS 만족도, 교육 효과는 어떠한 관계가 있는가?
- 연구 문제 2. 대학의 LMS에서 LMS 만족도는 시스템 품질, 정보 품질, 서비스 품질이 교육 효과에 미치는 영향을 매개하는가?
Ⅱ. 이론적 배경
2-1 대학의 LMS
코로나19 팬데믹은 대학의 비대면 교육과 학습을 촉진하는 데 있어 LMS의 가치를 더욱 부각시켰다. 이전의 LMS는 주로 전통적인 강의실 기반 교육을 보완하는 용도로 사용되었지만, 팬데믹을 계기로 핵심 정보 및 상호작용 도구로 전환되었다. 현재 대면 수업이 재개된 엔데믹 상황에서는 학습자의 LMS 경험을 고찰하는 것이 사용자 경험 개선에 유용한 정보를 제공할 수 있다. 또한, MOOC(Massive Open Online Course)와 개방형 대학(Open Universities) 등 LMS에 기반하여 강의를 제공하는 사례가 늘어남에 따라, 학습자의 LMS 경험을 이해하는 것이 더욱 중요해지고 있다[5].
대학의 효과적인 이러닝을 위해 LMS는 필수 요소이다. LMS는 동영상 강의 제공, 학습자료 제공, 메시지 전송, 평가, 게시판, 토론 등의 기능을 통해 교수학습을 지원하고 관리하기 위한 시스템으로 정의한다[7]. 그리고 학습자의 역량을 향상시키기 위해 학습 활동을 종합적으로 관리하는 시스템으로 정의하기도 한다. 일반적으로 교수자와 학습자, 그리고 학습자 간 상호작용 기회를 강화하며, 강의자료 및 공지사항 제공, 온라인 강의, 성적 안내 등의 기능을 포함한다[8]. 또한, LMS는 학습자의 기록 관리와 학습 진행 상황을 모니터링하는 인터페이스를 제공하기도 하며, 역량 및 학습 관리, 학습전략 차이 분석, 학습자료 관리 등의 기능을 추가로 제공하기도 한다. 그리고 상담 시스템, 학습 콘텐츠 관리 시스템, 학력 진단 시스템, 커뮤니티 시스템과 같은 다양한 솔루션과의 연동 기능도 제공한다[9].
또한, LMS는 일반적으로 교육 주체의 목적과 필요에 맞게 구성된다. 즉, 특정 형태로 엄격히 정형화된 시스템이 아니라, 필요에 따라 기능을 추가 및 삭제할 수 있는 유연한 형태를 가지고 있다는 의미이다. 시스템에 따라 차이가 있지만 대부분의 LMS는 일반적으로 과제물, 강의자료, 성적, 공지사항, 알림(SMS, MMS), 강의일정, 게시판, 자유게시판, 토론방, 출결 확인, 학사일정 안내, 설문조사, 시험 및 퀴즈 등의 기능을 갖추고 있다[9],[10].
LMS와 같이 학습을 지원하는 시스템의 사용 의도 또는 만족도에 영향을 미치는 요인을 탐색하기 위해 다양한 모델들이 제안되었다. DeLone과 McLean[11],[12]의 IS(Information System) 성공 모델에 따르면 정보 시스템의 품질은 ‘정보 품질(Information Quality)’, ‘시스템 품질(Systems Quality)’, ‘서비스 품질(Service Quality)’의 세 가지 주요 차원이 존재하며 각각의 품질은 개별적이거나 또는 통합적으로 측정되어야 함을 강조하였다. 그리고 그 이유로 사용자의 실제 활용과 관련된 만족도에 영향을 미치기 때문이라 밝히고 있다. DeLone과 McLean의 IS 모델을 ‘사용’과 ‘성공’의 분산된 하위 모델로 재특정 및 확장한 Seddon[13]에 따르면 시스템 품질은 소프트웨어와 데이터 구성 요소를 포함하는 정보 시스템 처리 자체의 품질을 의미하며 시스템의 기술적 건전 정도를 나타내는 척도로 정의한다. 정보 품질은 정보 시스템이 생산하는 출력물의 품질을 의미하며[11] 정확성, 완전성, 일관성, 통용성의 네 가지 차원으로 구성되어 있다[14]. 서비스 품질은 서비스에 대한 사용자의 규범적 기대와 서비스 결과에 대한 인식 사이의 불일치 정도로 정의되며 신뢰성, 대응성, 확신성, 공감의 네 가지 차원으로 구성된다[15]. Benmoussa 외[16]의 연구에서는 시스템 품질, 정보 품질, 서비스 품질이 정보 시스템의 효율성에 미치는 영향을 분석하였으며 시스템 품질을 사용성, 유연성, 접근성으로, 정보 품질을 신뢰성, 안정성, 정확성으로, 서비스 품질을 응답성, 보충, 공감으로 각각 정의하였다.
2-2 LMS 품질과 LMS 만족도, 교육 효과의 관계
시스템 품질, 정보 품질, 서비스 품질이 조직의 성과에 미치는 영향을 탐색한 Gorla[15]에 따르면 서비스 품질이 조직의 성과에 가장 큰 영향을 미치며 동시에 조직 내부의 효율성과 전략적 이점 모두에 중요한 영향을 미친다고 밝히고 있다. 더하여 시스템 품질이 정보 품질에 미치는 영향을 분석한 결과, 시스템 품질은 정보 품질에 직접적인 영향을 미치며, 이는 다시 조직 성과에 간접적으로 영향을 미친다는 사실을 밝혀냈다. 이처럼 조직의 정보 시스템 품질은 성과에 주요한 영향을 미친다. 동일한 맥락에서 원격교육에서 LMS의 품질이 시스템의 만족도와 교육 효과에 미치는 영향을 탐색한 연구들을 살펴볼 필요가 있다.
대학의 원격교육에서 학습자가 인식하는 LMS 품질이 학습자 만족도에 미치는 상대적 영향과 사용매체(PC, Mobile)에 따른 차이를 분석한 탁하연[17]의 연구에 따르면 LMS 품질(시스템 품질, 정보 품질, 서비스 품질)과 학습자 만족도 간에는 정적 상관관계가 있다고 밝히고 있다. 또한, 시스템 품질, 정보 품질, 서비스 품질 중 정보 품질이 가장 많은 설명력을 보이는 것을 확인했다. 이러닝 환경에서 학업성취도에 영향을 미치는 변인 간의 구조적 관계를 규명한 유화영과 임유진[18]의 연구에서는 정서지능, 이러닝 품질, 자기효능감, 학습자의 만족도와 학업성취도 변인 간의 구조적 관계를 분석하는 연구를 수행하였다. 변인 중 이러닝 품질은 시스템 품질, 콘텐츠 품질, 서비스 품질로 구성되어 있으며 이러닝 품질이 학습자의 만족도에는 영향을 미치지만 학업성취도에는 영향을 미치지 않는다고 밝혔다.
직장인과 비직장인 학습자를 대상으로 이러닝 품질, 학습자 만족, 전자구전행동을 연구한 이미숙 외[19]의 연구에서는 시스템 품질, 서비스 품질, 정보 품질의 순서로 학습자 만족도에 영향력이 큰 것으로 나타났다. 또한, 시스템 품질 평균이 비직장인 집단보다 직장인 집단에서 높다고 밝혔다. 코로나19로 인한 교양체육 비대면 수업 상황에서 LMS 품질, 사용만족도, 조직지원인식, 정서적 몰입, 구전의도 간의 관계를 규명한 한이준과 정태욱[20]의 연구에서는 시스템 품질, 정보 품질, 서비스 품질 중 정보 품질과 서비스 품질은 사용 만족도에 영향을 미치지만 시스템 품질은 사용만족도에 영향을 미치지 않는다고 밝혔다. 이러닝 품질과 관련 변인에 대한 실증연구를 수행한 이미숙[21]은 지각된 품질(시스템 품질, 정보 품질, 서비스 품질)이 학습자의 만족도, 학습자의 흥미, 전환 비용, 학습자의 충성도의 관계를 규명하였는데 그 결과에 따르면 지각된 품질에 대해서는 서비스 품질의 설명력이 가장 크고 시스템 품질과 정보 품질의 설명력은 동등하며 설명력에는 큰 차이가 없다고 밝혔다. 또한, 지각된 품질은 학습자의 만족도와 전환 비용에 영향을 미치며 학습자의 만족도와 전환 비용은 학습자의 충성도에도 영향을 미치는 것을 확인할 수 있다.
이러닝 시스템에서 시스템 품질, 정보 품질, 서비스 품질이 사용자의 만족에 미치는 영향을 연구한 Achmadi[22]의 연구에서는 시스템 품질, 정보 품질, 서비스 품질이 이러닝 시스템 사용자 만족도에 유의미한 영향을 미치는 것으로 나타났다. 시스템 품질이 좋을수록 사용자 만족도가 높아지며 이는 이러닝 시스템이 이해하기 쉬운 지침을 제공하고, 학습 요구에 맞는 자료를 제시하며, 학습 과정을 지원하고, 조작이 쉽고, 교수자와 학습자 간 소통을 원활하게 하며, 기능에 쉽게 접근할 수 있을 때 사용자 만족도가 높아짐을 의미한다. 그리고 정보 품질이 높을수록 사용자 만족도가 높다는 것은 시기적절하고 정확하며 관련성 있는 정보를 제공하는 시스템일수록 사용자 만족도가 증가함을 의미한다고 밝혔다. Widiastuti 외[23] 연구에서는 정보 시스템 활용에서 있어 DeLone과 McLean의 IS 성공 모델[12]을 사용하여 대학 교수자 93명을 대상으로 온라인 설문을 통해 시스템 품질, 정보 품질, 서비스 품질이 사용자 수용성, 만족도, 순이익에 미치는 영향을 확인하는 연구를 수행했다. 구조방정식 모델링(SEM; Structural Equation Modeling)을 기반으로 한 부분최소제곱법(PSL; Partial Least Squares)으로 자료를 분석한 결과, 시스템 품질, 정보 품질, 서비스 품질은 시스템 사용에는 긍정적이지만 통계적으로 유의한 영향을 미치지는 않은 반면, 사용자 만족도에는 긍정적이고 통계적으로 유의미한 영향을 미쳤다고 밝히고 있다. 또한, 결과적으로 시스템 사용과 사용자 만족도는 순이익에 긍정적이고 유의미한 영향을 미치는 것을 확인하였다.
이상의 연구들과 같이 시스템 품질, 정보 품질, 서비스 품질이 사용자 만족도와 학습 경험, 교육 효과에 유의미한 영향을 미치는지에 대한 연구 결과는 혼재되어 있으며, 때문에 변인 간의 구조적인 관계를 탐색할 필요가 있다. 또한, 고등교육현장에서 코로나19 팬데믹으로 인한 비대면 교육의 전면 시행 시기를 거치며, 원격교육과 LMS 활용이 보편화된 엔데믹 시대, 학습자가 인식하는 LMS의 품질과 만족도, 그리고 교육 효과에 대한 관계를 규명할 필요가 있다.
Ⅲ. 연구 방법
3-1 연구 대상
본 연구의 연구 대상은 대전 소재 4년제 A대학의 재학생 1,646명이다. 성별은 남학생 40.2%, 여학생 59.8%로 여학생이 더 많았으며, 학년은 1학년 31.6%, 2학년 20.8%, 3학년 21.2%, 4학년 이상 26.4%로 나타났다. 그리고 학문 분야는 인문사회계열 41.8%, 자연과학 및 공학계열 48.2%, 의약학계열 7.9%, 예체능계열 2.1%로 나타났다. 연구 대상의 인구통계학적 특성에 대한 분석 결과는 표 1과 같다.
3-2 자료 수집 및 분석 방법
본 연구는 2024년 3월 25일부터 4월 3일까지 총 10일 동안 대전 소재 A대학 소속 학습자를 대상으로 네이버폼을 활용하여 온라인 설문조사를 실시하였다. 학습자 1,812명이 설문에 응답하였으며, 이 중 불성실 응답자 112명과 연구 목적에 적합하지 않은 대학원생 54명 등 총 166명을 제외하여 최종 1,646명의 데이터를 분석에 활용하였다. 데이터 분석을 위해 SPSS 26.0과 Smart PLS(v.5) 프로그램을 활용하였다. 일반적으로 CB-SEM(Covariance Based Structure Equation Model)은 이론 검증과 개발이 주요 목적인 반면, PLS-SEM(Partial Least Squares based Structural Equation Modeling)은 탐색적 분석과 예측을 위해 활용한다. 특히, 본 연구에서 Smart PLS(v.5)를 사용한 이유는 기존의 CB-SEM에 비해 상대적으로 사용자 용이성, 사용자 인터페이스, 안정성 등의 측면에서 우수하며, 100개 정도의 적은 표본으로도 분석이 가능하지만 표본의 수를 증가시킬수록 모델 추정의 정확성이 높아지는 Smart PLS의 특징을 고려하여 본 연구에 활용하였다. 구체적인 분석 방법으로 수집된 자료의 인구통계학적 특성을 빈도분석으로 확인하였고, 반영적 측정 모델 평가를 실시하였다. 이를 위하여 내적 일관성 신뢰도, 집중타당도, 판별타당성을 측정하였다[24]. 마지막으로 부트스트래핑 과정을 거쳐 구성개념 간 관계를 검증하고, 매개효과를 검증하였다. 본 연구의 변인 간 구조 모형은 그림 1과 같다.
3-3 측정 항목의 신뢰도 분석
본 연구를 수행하기 위해 구성된 측정 도구는 학습자의 인구통계학적 특성에 관련된 3개 문항과 시스템 품질, 정보 품질, 서비스 품질, LMS 만족도, 교육 효과를 측정하기 위한 23개 문항으로 구성되어 있다. 각 요인별 문항에 대한 구체적인 사항을 살펴보면 다음과 같다.
시스템 품질은 Koh와 Kan[6] 연구에서 문항을 번역하고 수정·보완하여 사용하였다. 시스템 품질은 5점 리커트 척도 8문항으로 구성하였다. 시스템 품질의 예시 문항은 ‘LMS는 가장 중요한 정보가 내가 보기 가장 쉬운 곳에 배치되어 있다.’, ‘LMS는 글자나 그래픽이 이해하기 쉽게 표현되어 있다.’, ‘LMS는 폰트 스타일(글자체, 색깔, 채도)이 읽기 쉽게 표시되어 있다.’, ‘LMS는 원하는 메뉴에 쉽고 빠르게 접근할 수 있다.’, ‘LMS는 도움말 및 문서 기능에 대한 정보가 명확하게 표시되어 있다.’, ‘LMS는 필요한 정보를 쉽게 찾을 수 있다.’, ‘LMS는 이전에 학습 및 탐색했던 정보로 쉽게 되돌아갈 수 있다.’, ‘LMS는 페이지 전환 속도가 충분히 빠르다.’ 등으로 구성되었다. 시스템 품질의 신뢰도는 Cronbach’s .921로 나타났다.
정보 품질은 Koh와 Kan[6] 연구에서 문항을 번역하고 수정·보완하여 사용하였다. 정보 품질은 5점 리커트 척도 6문항으로 구성하였다. 정보 품질의 예시 문항은 ‘LMS는 강좌의 명확한 수업 목표, 과정, 결과를 확인할 수 있다.’, ‘LMS는 나의 수업을 지원하기 적합하다.’, ‘LMS는 수업에 필요한 보조도구와 보조자료를 제공한다.’, ‘LMS는 수업 운영과 관련된 다양하고 유용한 콘텐츠를 제공해 준다.’, ‘LMS는 학습 현황을 확인하는데 용이하다.’, ‘LMS를 통해 필요한 정보에 접근이 용이하다.’ 등으로 구성되었다. 정보 품질의 신뢰도는 Cronbach’s .931로 나타났다.
서비스 품질은 Ozkan과 Koseler[25] 연구에서 문항을 번역하고 수정·보완하여 사용하였다. 서비스 품질은 5점 리커트 척도 3문항으로 구성하였다. 서비스 품질의 예시 문항은 ‘LMS 이용 중 문제 발생 시 즉각적인 도움을 받았거나, 도움 받을 수 있는 방법을 쉽게 인지할 수 있다.’, ‘LMS 이용 중 직면하는 기술적인 문제에 대해 신속하고 적극적인 지원과 해결에 대한 도움을 받을 수 있다.’, ‘LMS 활용 수업에 대한 행정절차(강의일정, 출석처리 등) 안내가 잘 이루어진다.’ 등으로 구성되었다. 서비스 품질의 신뢰도는 Cronbach’s .876로 나타났다.
LMS 만족도는 Koh와 Kan[6] 연구에서 문항을 번역하고 수정·보완하여 사용하였다. LMS 만족도는 5점 리커트 척도 4문항으로 구성하였다. LMS 만족도의 예시 문항은 ‘LMS는 사용하기 쉽다.’, ‘LMS를 통해 동료 학습자와의 상호작용이 쉽다.’, ‘나는 다른 학생들에게 LMS 활용을 추천할 것이다.’, ‘현재 LMS에 전반적으로 만족한다.’ 등으로 구성되었다. LMS 만족도의 신뢰도는 Cronbach’s .864로 나타났다.
교육 효과는 손맥 외[26] 연구에서 문항을 수정·보완하여 사용하였다. 교육 효과는 5점 리커트 척도 2문항으로 구성하였다. 교육 효과의 예시 문항은 ‘LMS는 학습에 도움이 된다.’, ‘LMS를 사용하는 것이 교육 기회를 확대한다고 생각한다.’ 등으로 구성되었다. 교육 효과의 신뢰도는 Cronbach’s .796로 나타났다. 분석 결과는 표 2와 같다.
Ⅳ. 연구 결과
선행 연구를 토대로 대학의 LMS 품질(시스템 품질, 정보 품질, 서비스 품질), LMS 만족도, 교육 효과의 관계 분석을 위해 Smart PLS를 활용하였다. 분석 결과, 구조 모형은 그림 2와 같다.
4-1 확인적 요인 분석
PLS-SEM를 바탕으로 측정모델의 분석을 위하여 내적일관성과 집중타당성, 그리고 판별타당성을 검증하였다. 표 3과 같이 내적일관성을 확인하기 위한 Cronbach’s α는 .796∼.931(기준>.7), rho_A는 .813∼.934(기준>.7), 합성신뢰도(Composite reliability)는 .907∼.946(기준>.7)으로 모두 기준치 이상으로 내적일관성이 확보되었다. 또한, 모든 항목의 표준화 적재 값은 기준치 이상으로 집중타당성이 확보되었으며(표준화 적재 값: .709∼.927; 기준>.5), 평균분산 추출 값(Average variance extracted)은 .645∼.830(기준>.5)으로 모두 기준치 이상으로 집중타당성도 확보된 것으로 나타났다[24]. 분석 결과는 표 3과 같다.
4-2 시스템 품질, 정보 품질, 서비스 품질, LMS 만족도, 교육 효과의 관계
연구 문제 1의 대학의 LMS에서 시스템 품질, 정보 품질, 서비스 품질, LMS 만족도, 교육 효과는 어떠한 관계가 있는가에 대한 연구 결과는 다음과 같다.
연구 모형에 대한 모형 적합도를 살펴본 결과, LMS 만족도 및 교육 효과에 대한 수정된 R2값이 각각 .688, .693 등으로 나타났다. 일반적으로 수정된 R2값이 .5 이상일 경우 적합한 모형으로 판단한다. 따라서 두 종속변인에서 모두 적합한 것으로 판단하였다. 분석 결과는 표 4와 같다.
총 효과에서는 LMS 만족도를 종속 변인으로 했을 때, 시스템 품질(t=14.861, p<.001), 정보 품질(t=14.833, p<.001), 서비스 품질(t=9.300, p<.001) 모두 통계적으로 유의한 영향을 미치는 것으로 나타났다. 교육 효과를 종속 변인으로 했을 때, 정보 품질(t=8.011, p<.001), 서비스 품질(t=2.525, p<.05), LMS 만족도(t=24.405, p<.001) 모두 통계적으로 유의한 영향을 미치는 것으로 나타났다. 반면 시스템 품질(t=0.182, p>.05)은 통계적으로 유의한 영향을 미치지 않는 것으로 나타났다. 분석 결과는 표 5와 같다.
연구 문제 2의 LMS 만족도는 시스템 품질, 정보 품질, 서비스 품질이 교육 효과에 미치는 영향을 매개하는가에 대한 연구 결과는 다음과 같다.
시스템 품질은 교육 효과에 직접적인 영향을 미치지 않은 것으로 나타났으나, LMS 만족도를 매개했을 때 통계적으로 유의한 영향을 미치는 것으로 나타났다(t=12.419, p<.001). 이는 LMS 만족도가 시스템 품질이 교육 효과에 미치는 영향을 완전 매개하고 있음을 의미한다. 정보 품질은 교육 효과에 직접적인 영향을 미치는 것으로 나타났으며, LMS 만족도가 매개했을 때 역시 유의한 영향을 미치는 것으로 나타나 LMS 만족도가 부분 매개하는 것으로 나타났다(t=13.034, p<.001). 서비스 품질도 교육 효과에 직접적인 영향을 미치는 것으로 나타났으며, LMS 만족도가 매개했을 때 역시 유의한 영향을 미치는 것으로 나타나 LMS 만족도가 부분 매개하는 것으로 나타났다(t=8.493, p<.001).
이를 통해 LMS 만족도를 향상시키는 전략을 활용하여 시스템을 개발하고 운영하게 되면 자연스럽게 교육 효과를 향상시킬 수 있음을 확인하였다. 분석 결과는 표 6과 같다.
Ⅴ. 결론 및 제언
본 연구는 대전 소재 4년제 대학의 재학생을 대상으로 LMS의 시스템 품질, 정보 품질, 서비스 품질이 학습자의 LMS 만족도와 교육 효과에 미치는 영향을 분석하였다. 연구 결과 첫째, 시스템 품질, 정보 품질, 서비스 품질이 LMS 만족도에 영향을 미치는 것으로 나타났다. 둘째, 시스템 품질은 교육 효과에 직접적인 영향을 미치지 않으나, LMS 만족도를 매개했을 때 통계적으로 유의한 영향을 미치는 것으로 나타나 LMS 만족도가 완전 매개하는 것으로 나타났다. 셋째, 정보 품질과 서비스 품질은 교육 효과에 직접적인 영향을 미치는 것으로 나타났으며, LMS 만족도가 매개했을 때 역시 유의한 영향을 미치는 것으로 나타나 LMS 만족도가 부분 매개하는 것으로 나타났다. 본 연구 결과를 바탕으로 다음과 같이 이론적, 교육적, 제도적 시사점을 제시하고자 한다.
5-1 이론적 시사점
본 연구는 기존의 LMS 관련 연구와 차별화된 몇 가지 이론적 시사점을 제공한다.
첫째, LMS의 시스템 품질, 정보 품질, 서비스 품질이 학습자의 LMS 만족도와 교육 효과에 미치는 영향을 체계적으로 분석함으로써 LMS 연구의 이론적 토대를 강화하였다. 본 연구에서는 시스템 품질이 LMS 만족도에는 유의한 영향을 미치지만, 교육 효과에는 직접적인 영향을 미치지 않는다는 점을 발견했다. 이는 LMS의 기술적 측면보다는 콘텐츠의 질과 서비스의 질이 학습 성과에 더 중요한 역할을 한다는 시사점을 제공한다. 이는 대학의 학습자가 LMS를 단순히 학습의 관리 개념을 넘어서 학습에 도움을 받는 유용한 시스템으로 접근한다는 기존의 연구와 일치하는 결과이다[6].
둘째, LMS 만족도가 정보 품질과 서비스 품질이 교육 효과에 미치는 영향을 부분적으로 매개한다는 결과가 나타났다. 이는 LMS의 사용자 만족도가 교육 효과를 높이는 중요한 요인임을 시사한다. 학습자의 LMS 만족도가 교육 효과를 증대시키는 데 중요한 역할을 한다는 점에서, LMS 만족도를 높이는 다양한 전략들이 교육 효과를 증진시키는 데 기여할 수 있음을 연구를 통해 이론적으로 설명하고, 실증적으로 확인하였다.
이러한 이론적 시사점들은 LMS의 품질 향상이 대학의 학습자 만족도와 교육 효과에 어떻게 기여할 수 있는지를 이해하는 데 중요한 역할을 한다. 이를 통해 LMS 관련 연구의 범위와 깊이를 확장하는 데 기여할 수 있으며, 향후 연구자들이 다양한 품질 요소와 학습 성과 간의 관계를 탐구하는 데 있어 유용한 이론적 기반을 제공할 것이다.
5-2 교육적 시사점
본 연구는 고등교육기관이 LMS를 설계하고 운영하는 데 중요한 정보를 제공하며, 다음과 같은 교육적 시사점을 도출할 수 있다.
첫째, LMS의 시스템 품질, 정보 품질, 서비스 품질이 학습자의 학습 경험에 중요한 영향을 미친다는 점에서, 고등교육기관은 LMS의 품질을 향상시키는 데 집중해야 한다. 이는 LMS 품질이 학습자의 만족도와 교육 효과에 긍정적인 영향을 미친다는 기존의 선행연구와 일치하는 결과이다[17],[19],[21]. 본 연구는 LMS의 각 품질 요소가 LMS 만족도와 교육 효과에 미치는 영향을 분석함으로써, 고등교육기관이 LMS를 통해 학습자의 교육 효과를 극대화할 수 있는 구체적인 전략을 제시할 수 있다. 예를 들어, LMS의 시스템 품질을 높이기 위해 복잡한 메뉴 구조를 피하고, 학습자가 필요로 하는 주요 기능을 쉽게 찾을 수 있도록 직관적으로 설계하고, 학습자가 쉽게 사용할 수 있도록 접근성을 강화하는 것이 필요하다. 그리고 정보 품질을 높이기 위해 학습 자료를 체계적으로 정리하고, 최신 자료를 지속적으로 업데이트하며, 다양한 학습 도구와 자료를 제공하는 것이 중요하다. 또한, 서비스 품질을 높이기 위해 학습자에게 신속하고 적극적인 기술 지원을 제공하고, 학사 행정 절차에 대한 명확한 안내를 제공하는 것이 필요하다.
둘째, LMS의 사용자 만족도가 교육 효과를 증대시키는 데 중요한 역할을 한다는 점에서, LMS의 사용자 경험(UX; User Experience)을 개선하는 것이 필요하다. 학습자가 LMS를 쉽게 사용할 수 있도록 직관적인 인터페이스를 제공하고, 학습자 간 상호작용을 촉진할 수 있는 기능을 추가하는 것이 효과적이다. 이는 학습자가 LMS를 통해 더 적극적으로 학습에 참여하고, 학습 동기를 높이는 데 도움이 된다.
셋째, LMS를 효과적으로 활용하기 위해 교수자의 역량 강화가 중요하다. 교수자는 LMS의 다양한 기능을 활용하여 학습 자료를 제공하고, 학습자와의 상호작용을 촉진하며, 학습 동기를 부여하는 데 기여할 수 있다. 이를 위해 대학의 교육 관련 유관 부서에서는 교수자에게 LMS 활용 교육을 제공하고, 블렌디드 러닝과 같이 대면과 비대면을 혼합한 형태에서의 효과적인 교수법 운영 방안을 공유하는 것이 필요하다.
결론적으로, 본 연구는 LMS의 품질 향상이 학습자의 LMS 만족도와 교육 효과에 미치는 영향을 분석함으로써, 고등교육기관이 LMS를 통해 교육 효과를 극대화할 수 있는 구체적인 전략을 제시하였다. 이를 통해 고등교육기관은 학습자의 학습 경험을 향상시키고, 더 나은 교육 효과를 달성할 수 있을 것이다.
5-3 제도적 시사점
본 연구에서는 LMS의 품질 요소가 학습자의 만족도와 교육 효과에 미치는 영향을 분석함으로써, 고등교육기관과 정책 입안자들에게 다음과 같은 중요한 제도적 시사점을 제공할 수 있다.
첫째, LMS의 품질 향상을 위한 정책적 지원이 필요하다. 교육부와 같은 정책 기관은 고등교육기관이 LMS의 품질을 향상시킬 수 있도록 재정적, 기술적 지원을 제공해야 한다. 이는 LMS 시스템의 업그레이드, 최신 학습 콘텐츠 개발, 기술 지원 인프라 구축 등을 포함한다. 그리고 정책적으로 LMS 품질 향상을 위한 기준과 가이드라인을 마련하고, 고등교육기관이 이를 준수하도록 유도하는 것도 중요하다.
둘째, LMS의 시스템 품질 향상을 통한 사용자 경험(UX)을 개선하기 위해 제도적 지원이 필요하다. LMS의 인터페이스를 직관적이고 사용하기 쉽게 개선하기 위해 UX 전문가와 협력하여 시스템을 설계하고, 사용자 테스트를 통해 지속적으로 개선하는 것이 중요하다. 또한, 학습자의 피드백을 반영하여 LMS를 업데이트하고, 사용자 만족도를 높이기 위한 다양한 기능을 추가하는 것이 필요하다. 이를 위해 정책적으로 LMS UX 개선을 위한 연구와 개발을 지원하는 제도가 필요하다.
셋째, LMS의 정보 품질과 서비스 품질 향상을 위한 제도적 개선이 필요하다. 정보 품질을 높이기 위해 학습 콘텐츠의 표준화와 체계적인 관리가 필요하며, 이를 위해 학습 콘텐츠 관리 시스템(LCMS; Learning Content Management System)을 도입하고, 콘텐츠 품질 평가 기준을 마련하는 것이 중요하다. 또한, 서비스 품질을 높이기 위해 기술 지원 인력 확충과 전문성 강화, 신속한 문제 해결 시스템 구축 등이 필요하다. 이를 통해 학습자가 LMS를 사용할 때 발생하는 문제를 신속하게 해결하고, 학습에 집중할 수 있도록 지원해야 한다.
넷째, LMS의 품질 향상을 위한 지속적인 평가와 모니터링 시스템 구축이 필요하다. 정책적으로 LMS의 품질을 정기적으로 평가하고, 그 결과를 바탕으로 개선 방안을 마련하는 것이 중요하다. 이를 위해 학습자의 만족도와 학습 성과를 평가하는 지표를 개발하고, LMS 운영 성과를 모니터링하는 시스템을 구축하는 것이 필요하다. 또한, LMS 품질 평가 결과를 공개하여 고등교육기관 간의 경쟁을 유도하고, 품질 향상을 위한 자발적인 노력을 촉진하는 것도 중요하다.
결론적으로, 본 연구는 LMS의 품질 요소가 학습자의 LMS 만족도와 교육 효과에 미치는 영향을 분석함으로써, 교육 정책과 제도를 개선하기 위한 구체적인 방향성을 제시하였다. 이를 통해 고등교육기관은 LMS를 통해 학습 효과를 극대화하고, 학습자의 학습 경험을 향상시킬 수 있을 것이다. 정책 입안자들은 본 연구 결과를 바탕으로 LMS의 품질 향상을 위한 다양한 지원과 제도를 마련하여, 교육의 질을 높이는 데 기여할 수 있을 것이다.
5-4 제언
본 연구는 대전 소재 4년제 대학의 재학생들을 대상으로 LMS의 품질이 학습자의 만족도와 교육 효과에 미치는 영향을 분석함으로써 중요한 시사점을 제공하였다. 그러나 몇 가지 제언과 한계점을 통해 연구의 완성도를 높이고, 향후 연구에 기여할 수 있는 방향을 제시하고자 한다.
첫째, 다양한 표본 확보의 필요성이다. 본 연구는 대전 소재 A대학의 재학생을 대상으로 하였기에 연구 결과를 일반화하는 데 한계가 있다. 향후 연구에서는 다양한 지역과 대학의 학습자를 대상으로 표본의 대표성을 높이는 것이 필요하다. 이를 통해 다양한 학습 환경에서의 LMS 품질과 학습 성과 간의 관계를 보다 정확하게 분석할 수 있을 것이다.
둘째, LMS의 품질과 학습 성과 간의 관계 규명을 위한 시계열적인 연구가 필요하다. 본 연구는 단기간의 데이터를 바탕으로 분석을 진행하였다. 그러나 LMS의 품질과 학습 성과 간의 관계는 시간이 지남에 따라 변화할 수 있다. 따라서 향후 연구에서는 종단 연구를 통해 시간에 따른 변화를 분석하여, 보다 심층적인 시사점을 도출할 필요가 있다.
셋째, LMS 품질 외의 다른 변인들의 영향력을 고려할 필요가 있다. 본 연구는 LMS의 시스템 품질, 정보 품질, 서비스 품질이 학습자의 만족도와 교육 효과에 미치는 영향을 분석하였으나, 학습자의 개인적 특성, 학습 동기, 교수자의 교수법 등 다른 변인들이 교육 효과에 미치는 영향을 배제할 수 없다. 이에 향후 연구에서는 이러한 다양한 변인들을 포함한 통합적인 모형을 제안하여 분석하는 것이 필요하다.
References
- M. Y. Doo, M. Zhu, and C. J. Bonk, “Influence of Self-Directed Learning on Learning Outcomes in MOOCs: A Meta-Analysis,” Distance Education, Vol. 44, No. 1, pp. 86-105, 2023. [https://doi.org/10.1080/01587919.2022.2155618]
- Ministry of Education. University Quarantine and Academic Operations Plan for the Second Semester of the 2022 Academic Year [Internet]. Available: https://www.moe.go.kr/, .
- Ministry of Education. Guide to University COVID-19 Infection Prevention Management (Edition 9-1) [Internet]. Available: https://www.moe.go.kr/, .
- Ministry of Education. Draft Plan for the Operation of the University Distance Education Center in 2023 [Internet]. Available: https://www.moe.go.kr/, .
- J. Jiang, P. D. Simon, and L. K. Fryer, “Capturing Students’ LMS Experience: Measurement Invariance across Chinese and English Versions,” Journal of Computing in Higher Education, 2024. [https://doi.org/10.1007/s12528-024-09402-8]
- J. H. L. Koh and R. Y. P. Kan, “Perceptions of Learning Management System Quality, Satisfaction, and Usage: Differences among Students of the Arts,” Australasian Journal of Educational Technology, Vol. 36, No. 3, pp. 26-40, 2020. [https://doi.org/10.14742/ajet.5187]
- E. E. Beck, “Learning Management Systems: The Need for Critical Analyses,” in Proceedings of the 4th Decennial Conference on Critical Computing: Between Sense and Sensibility, New York: NY, pp. 173-176, 2005. [https://doi.org/10.1145/1094562.1094592]
- L. Rutter and M. Matthews, “InfoSkills: A Holistic Approach to On-Line User Education,” The Electronic Library, Vol. 20, No. 1, pp. 29-34, February 2002. [https://doi.org/10.1108/02640470210418245]
- J. S. Ryu, I. W. Park, S. H. Jang, Y. S. Cho, and C. K. Hong, Research Report on the Functional Design of Learning Management Systems (LMS/LCMS), Korea Education and Research Information Service, Research Report KR2004-7, 2004.
- D. S. Kim, “Analysis of Screen Components for facilitating Collaborative Interactions on the Web-Based Learning System,” Journal of Korean Association for Educational Information and Broadcasting, Vol. 7, No. 2, pp. 5-26, 2001.
- W. H. DeLone and E. R. McLean, “Information Systems Success: The Quest for the Dependent Variable,” Information Systems Research, Vol. 3, No. 1, pp. 60-69, March 1992.
- W. H. DeLone and E. R. McLean, “The DeLone and McLean Model of Information Systems Success: A Ten-Year Update,” Journal of Management Information Systems, Vol. 19, No. 4, pp. 9-30, 2003.
- P. B. Seddon, “A Respecification and Extension of the DeLone and McLean Model of IS Success,” Information Systems Research, Vol. 8, No. 3, pp. 240-253, September 1997.
- Y. U. Huh, F. R. Keller, T. C. Redman, and A. R. Watkins, “Data Quality,” Information and Software Technology, Vol. 32, No. 8, pp. 559-565, October 1990.
- N. Gorla, T. M. Somers, and B. Wong, “Organizational Impact of System Quality, Information Quality, and Service Quality,” The Journal of Strategic Information Systems, Vol. 19, No. 3, pp. 207-228, September 2010.
- K. Benmoussa, M. Laaziri, S. Khoulji, M. L. Kerkeb, and A. El Yamami, “Impact of System Quality, Information Quality and Service Quality on the Efficiency of Information System,” in Proceedings of the 3rd International Conference on Smart City Applications, Vol. 41, pp. 1-6, 2018. [https://doi.org/10.1145/3286606.3286818]
- H. Tak, “The Effect of Learning Management System(LMS) Quality on Learner Satisfaction in University Distance Education,” Culture & Convergence, Vol. 45, No. 9, pp. 1291-1300, September 2023. [https://doi.org/10.33645/cnc.2023.09.45.09.1291]
- H. Yu and E. Lim, “Analysis of the Structural Relationship among Variables Affecting Academic Achievement in an e-Learning Environment,” Journal of Korean Association for Educational Information and Media, Vol. 25, No. 3, pp. 477-497, 2019.
- M. S. Lee, J.-H. Choi, and J.-H. Seok, “A Study about e-Learning Quality, Learner Satisfaction, and eWOM based on Information Systems Success Model (ISSM): Comparison between Working and Non-Working Learners,” Korean Business Education Review, Vol. 33, No. 2, pp. 1-21, 2018.
- I. J. Han and T. W. Chung, “The Relationship among LMS Quality, Use Satisfaction, Perceived Organizational Support, Affective Commitment, and Intention of Word-of-Mouth in Physical Education as Liberal Arts,” Asian Journal of Physical Education and Sport Science, Vol. 10, No. 1, pp. 39-52, 2022.
- M. Lee, “The Empirical Study on e-Learning Quality and Its Relevant Constructs,” Journal of Korean Society for Quality Management, Vol. 45, No. 4, pp. 917-932, December 2017. [https://doi.org/10.7469/JKSQM.2017.45.4.917]
- A. Achmadi and A. O. Siregar, “The Effect of System Quality, Information Quality and Service Quality on User Satisfaction of E-Learning System,” The International Journal of Business Review, Vol. 4, No. 2, pp. 103-120, 2021.
- R. Widiastuti, B. S. Haryono, and A. Said, “Influence of System Quality, Information Quality, Service Quality on User Acceptance and Satisfaction and Its Impact on Net Benefits (Study of Information System Users Lecturer Performance Load (BKD) in Malang State University),” HOLISTICA, Vol. 10, No. 3, pp. 111-132, December 2019. [https://doi.org/10.2478/hjbpa-2019-0032]
- K. K. Shin, “Structural Equation Modeling with SmartPLS 3.0: Focused on Writing Master’s and Doctoral Theses and Academic Papers,” Seoul: Cheongram, 2018.
- S. Ozkan and R. Koseler, “Multi-Dimensional Students’ Evaluation of e-Learning Systems in the Higher Education Context: An Empirical Investigation,” Computers & Education, Vol. 53, No. 4, pp. 1285-1296, December 2009. [https://doi.org/10.1016/j.compedu.2009.06.011]
- M. Son, E. Y. Cho, and H. W. Kim, “An Empirical Study on the Measurement of e-Learning Success,” Journal of Knowledge Management Research, Vol. 15, No. 2, pp. 67-88, 2014. [https://doi.org/10.15813/KMR.2014.15.2.004]
저자소개
2006년:충남대학교 교육학과(문학사)
2015년:충남대학교 대학원(교육학 석사)
2020년:충남대학교 대학원(교육공학 박사수료)
2011년~2016년: 한밭대학교 공학교육혁신센터 연구원
2016년~현 재: 충남대학교 교수학습지원센터 팀장
※관심분야:고등교육, 교수설계, 동영상 학습, 생성학습 등
2014년:충남대학교 교육학과(문학사)
2016년:충남대학교 대학원(교육학 석사)
2019년:충남대학교 대학원(교육공학 박사수료)
2020년~2022년: 충남대학교 교양교육센터 연구원
2022년~현 재: 한국기술교육대학교 Edutech센터 연구교수
※관심분야:고등교육, 학습분석, LMS, LXP 등
2010년:일본 와세다대학교 대학원(교육학 석사-일본어교육학)
2023년:충남대학교 교육대학원(교육공학 박사수료)
2015년~2022년: 한국직업능력연구원
※관심분야:교수설계, 직업교육 등