학습분석학 기반의 온라인 학습 학업성취도 예측 분석

2-1 학습분석학과 학업성취도 예측 요인

학습분석학은 학습 과정을 이해하고 학습 결과의 예측을 통한 학습 결과의 개선을 목적으로 학습자 및 학습 환경에 관한 데이터를 측정, 수집, 분석, 보고하는 학문으로 정의하고 있다[11]. 학업성취도는 학습분석 분석에서 매우 의미 있게 다루고 있는 변인인데, 학습분석의 주요 목적 중 하나가 학습자의 학업성취도를 예측하고자 하는 데 있기 때문이다.

학업성취도나 학습 성과에 대한 예측 요인을 학습분석의 관점에서 접근하는 연구를 살펴보면 다음과 같다. 대학 블랜디드 학습 환경에서 학습자 특성과 온라인 학습 활동이 학업성취도에 미치는 효과를 학습분석학적 관점에서 탐색한 연구에서는 온라인 학습 활동의 경우, 학습자의 1, 2주차 과제 제출 여부, LMS 접속 횟수와 학습 시간이 학습자의 학업성취도에 가장 큰 영향을 주고 있는 예측 요인으로 분석하였다[12]. 블렌디드러닝 환경에서의 연구에서는 총 21개의 변인 중 주별 온라인 활동으로 학습자료 보기 횟수, 동영상 플레이 버튼 클릭 횟수, 온라인 연습문제 점수와 함께 주별 오프라인 퀴즈 점수, 방과 후 튜터링에 참여한 총 횟수와 같은 변인들이 학업성취도를 유의미하게 예측한 것으로 보고하였다[9].

한편, 2010~2020년까지의 62개 학습분석 연구에 관한 문헌 분석을 통해 학습성과 예측 요인을 종합적으로 탐색한 결과, 학생의 온라인 학습 활동, 학기 평가 성적, 학생의 학업에 대한 감정(academic emotion)의 세 가지 변인이 학습 성과를 가장 확실하게 예측하는 변수로 분석되었음을 제시하였다[13]. 또한, 2011~2020년까지 발표된 총 94개의 학습예측분석 연구에 관한 문헌 연구에서는 학습분석에 활용할 수 있는 분석 변인을 학습자의 행동적, 인지적, 사회적 참여 데이터로 유형화하였으며, 학습자의 정서적 참여 데이터를 추가 변인으로 고려할 필요성을 제시하였다[7].

2-2 학습분석에 기반한 학업성취도 예측 연구 분석

학습분석에 기반한 학업성취도 예측에 관한 선행 연구들을 살펴보면 다음과 같다.

첫째, 학업성취에 대한 예측력을 확인하는 연구이다. 머신러닝을 활용해 이러닝 학습자의 데이터를 토대로 학업성취 수준을 예측하는 조현국[14]의 연구에서, k-근접 이웃 알고리즘, 서포트 벡터 머신, 의사결정 나무, 랜덤 포레스트, 그래디언트 부스팅, 인공 신경망 등 6가지의 분석 모형을 통해 학업성취 수준을 예측하였다. 전체 모형 중 5가지 모형에서 90% 수준의 높은 정확도를 나타냈는데, 연구 결과 트리 분석에서는 기말고사, 중간고사, 과제, 출결 순, 서포트 벡터 머신의 피처 선택에서는 과제, 기말고사, 중간고사, 출결 순으로 예측력이 높은 것으로 분석되었는데, 이처럼 다양한 분석 방법을 활용함으로써 분석 방법에 따라 예측력이 어떻게 달라지는지를 제시하였다. 또한, 조일현 등[15]은 기업의 온라인 학습 환경에서 학습관리시스템에 남긴 학습자들의 웹 로그 데이터를 수집하여 이들의 학습시점 간격의 규칙성, 총 접속 시간, 학습 접속 횟수가 학업 성취를 8.6% 예측하는 것으로 제시하였다.

둘째, 학업성취도의 예측 시기에 관한 연구를 들 수 있다. 조일현 등[8]의 연구에서 학습 시점 간격의 규칙성, 총 학습 시간, 학습 접속 횟수의 변인을 통해 학업성취도의 예측력이 어떤 시점에서 가장 높은지 대학의 원격수업 학습자에 대한 데이터로 분석한 결과, 학습 시점 간격의 규칙성이 학업성취도를 유의미하게 예측하였으며. 예측 시점은 학습 기간의 절반이 지났을 때 유의미하게 예측된다고 보고하였다. 또한, Huang 등[9]의 연구에서는 온라인 활동(학습자료 보기 횟수, 동영상 플레이 버튼 클릭 횟수, 온라인 연습문제 점수)과 오프라인 활동(퀴즈 점수, 방과 후 개인교습 총참여 횟수)과 같은 변인들이 전체 수업 기간 중 1/3이 지난 시점에 학업성취도를 예측하였다고 보고하였다. 한편, 최민선[10]의 연구에서는 지능형 학습분석 플랫폼 기반 학습 환경에서 학업성취도 예측 모델을 통해 학습 기간의 1/2 시점에서 유의미하게 학업성취도를 예측하는 것으로 분석하였다.

셋째, 학습 행태 및 학습 참여 행태에 대한 학습분석을 통해 학업성취도를 예측하는 연구를 들 수 있다. 서진선 등[16]은 LMS 로그 데이터 분석을 통한 온라인 학업성취 예측 모형을 분석하였는데, 학습자의 온라인 학습 활동 중 강좌접속 수, 학습자료 클릭 수, 게시물 열람과 같은 학습 행태가 학업성취도를 유의하게 예측하는 것으로 분석하였다. 이는 온라인에서 학습자가 학습자료를 탐색하고 활용하는 활동에 참여하는 빈도수가 높을수록 우수한 높은 학업성취도를 보일 가능성이 높은 것으로 나타났다. 이성혜 등[17]의 연구에서는 학습분석을 통한 초, 중등 대상의 온라인 문제 기반 학습의 학습 행태 분석에서 학습 기간, 학습 일수, 학습회수, 건너뛰기 횟수, 반복 학습, 복습 횟수 변인 분석을 통해 학습자의 학습 참여 수준을 고수준, 중수준, 저수준으로 구분하여 학습 참여 수준이 높은 고수준 집단에서 높은 학업성취도를 보인 것으로 분석되었다. 노일경 등[18]의 연구에서도 재직 학습자 학습 활동의 특성 및 학업성취의 영향 변인을 학습분석 방법으로 분석한 결과, 게시판 참여, 학습 규칙성, 학습 빈도 등의 학습 활동 변인이 학업성취에 영향을 미치고 것으로 분석되었으며, 학습 참여의 규칙성이 학업성취에는 정적 영향이 있는 것으로 나타나 학습 시간 관리의 중요성을 제시하였다. 또한, 온라인 학습 과정에서 교수자, 튜터, 그리고 학습자 간 상호작용의 적극성도 학업성취도에 영향을 미치는 것으로 나타났다.

한편, 일부 연구에서는 학습 활동 참여가 학업성취도를 유의하게 예측하는 요인으로 검증되지 않았는데, 임혜진 등[19]과 김필형[20]의 연구에서는 사회적 상호작용이나 학습참여 활동 등이 학업성취도에 미치는 영향이 통계적으로 유의하지 않음을 제시하고 있다.

마지막으로, 학습분석 결과에 대한 학습자 인식 연구를 들 수 있다. 퍼듀대학교의 Course Signals(CS)는 학생들의 행동 데이터와 학생정보시스템, 코스관리시스템, 도서관시스템 등을 연계하여 낮은 성적이 예측되는 학생들을 삼색 신호등의 시각적 사인으로 표기하여, 학습자 스스로 성적 향상을 위해 노력하거나 수강 철회의 기회를 제공한 바 있다[21]. CS를 제공받은 학습자는 제공받지 않은 학습자에 비해 성적이 향상되었으며, CS 횟수가 늘어날수록 학생들의 등록유지 비율도 높아지는 것으로 분석되었다. 이러한 연구는 학습분석 결과가 학습자의 자기 성찰에 도움을 주며, 긍정적 학습 결과를 위해 노력하는 효과를 보인다는 점을 시사한다.

한편, 박연정 등[22]의 연구에서는 학습 활동에 기반한 학습 처방의 제공에 대한 학습자들의 인식 조사에서 교수자가 낮은 성적의 가능성을 직접적으로 언급하기보다는 시스템에서 객관적 정보 형태로 제공되는 것을 선호하는 것으로 분석하였는데, 이는 학습분석 결과의 활용에 있어 학습자의 감성을 고려할 필요가 있다는 점을 의미한다.

2-3 선행 연구 분석에 따른 시사점

선행 연구의 시사점을 종합적으로 분석해 보면 다음과 같다. 첫째, 학습분석 예측 요인들은 크게 행동적, 인지적, 사회적, 정서적 요인으로 유형화할 수 있다. 그럼에도, 정서적 요인을 필수적으로 포함하지 않은 연구들이 많은 이유는 학습자의 정서적 데이터는 시스템에서 자동으로 수집하는데 한계가 있으므로, 이러한 데이터 특성을 고려하여 연구 문제의 특성에 따라 정서적 요인의 포함 여부를 결정할 필요가 있다. 둘째, 학업성취도 예측력 분석뿐만 아니라, 학업성취도의 예측 시기를 분석하기 위해서는 수업의 진행 과정에서 주차별 학습 활동에 대한 분석을 넘어서 각 주차의 학습 활동에 대한 누적 분석이 필요하다는 점이다. 셋째, 온라인 학습 행태나 상호작용은 학습분석에서 유의미한 예측 요인으로 볼 수 있으나, 온라인 학습 활동이 학업성취도에 미치는 영향이 유의미하지 않은 경우도 있어, 학습 과정에서 발생하는 다양한 학습 행태와 참여 활동 데이터를 수집할 수 있는 범위 내에서 충분하게 고려하여 학습분석을 시행할 필요가 있다는 점이다. 이러한 선행 연구의 시사점을 바탕으로 온라인 학습에서 학업성취도를 예측하기 위한 연구설계를 구안하였고, 학습 행태를 고려하여 학업성취도 예측 요인의 영향력과 예측 시기를 확인함으로써 학습자의 성공적 학습을 위한 수업 운영에서의 시사점을 탐색하고자 하였다.

3-1 연구 대상

본 연구에서는 A사이버대학교의 ‘학습코칭의 이해와 실제’ 교과목을 수강한 학습자를 대상으로 학습과정에서 수집한 주차별 누적 학습활동 데이터에 대한 학습분석을 통해 학업성취도를 예측하였다. 참여 대상자는 총 94명이며, 학습자들은 한 학기 동안 각 주차별 동영상 강의 수강과 퀴즈에 참여하고, Q&A 게시판 및 자유게시판 활동을 수행하였으며, Zoom 수업의 참여, 3회에 걸쳐 코칭 실습 과제(코칭계획서 작성, 1차 학습코칭보고서 작성, 최종 학습코칭보고서 작성)를 수행하고 교수자의 피드백을 받아, 최종적으로 학습코칭 실습 과제를 완성하도록 하였다. 본 연구의 학업성취도 예측 요인으로 분석된 데이터의 유형과 세부 내용은 다음의 표 1과 같다.

Table 1.

Predictive factors of academic achievement

3-2 자료 수집 및 분석 방법

본 연구의 자료 분석에서 활용한 모든 데이터는 LMS상에 기록된 학습 활동 데이터를 활용하였으며, 출석 점수, 수강일차 및 학습 시기 유형, 주차별 퀴즈 점수, 3회에 걸친 과제 점수, Q&A 및 자유게시판, Zoom 수업의 참여 여부의 학습 참여 데이터들이 분석 자료로 활용되었다.

출석 데이터는 14주차 동안 각 주차별 강의가 오픈된 뒤, 2주 기한 내에 수강을 완료한 경우에만 100% 출석으로 인정하였다. 수강 패턴을 확인하기 위해 수강일차를 분석하였는데, 주차별 강의 오픈 후 바로 강의를 수강하였는지, 마감 시간에 임박하여 수강하였는지를 확인하였다. 또한, 일과 학습을 병행하는 사이버대학교 학습자 특성상 학습시기 유형을 주중형과 주말형으로 구분하여 학습시기 패턴을 분석하였다. 한편, 총 3차에 걸쳐 과제(5주차, 9주차, 14주차)를 제출하도록 하였는데, 1차 과제는 ‘학습코칭계획서’를 작성하도록 하고 교수자의 피드백을 제공하였으며, 2차 과제는 1차 학습코칭 실시 후 보고서를 작성하도록 하여 코칭 활동에 대한 피드백을 제공하였으며, 3차 과제는 전체 학습코칭 활동에 대한 보고서를 제출하도록 하고 교수자의 종합적인 피드백을 제공하는 방식으로 과제가 진행되었다. 또한, 주차별 퀴즈 점수, 질의응답 게시판 및 자유게시판에의 참여 여부와 Zoom수업에의 참여 여부를 분석한 자료를 수집하였다. 최종적으로 학업성취도는 출석, 퀴즈, 3회의 과제, 학습 활동에 대한 참여도 점수를 합산하여 산출하였다.

학습자의 수강 패턴을 분석하기 위해, 2주차부터 14주차까지의 수강일차 자료를 토대로 K-means 군집분석을 실시하였다. K-means 군집분석은 비계층적 군집분석의 한 종류로, 각 개체와 클러스터의 중심 사이의 거리가 최소가 되도록 할당하는 분석 방법이다[13]. 분석 결과, 3개 집단으로 분류되었으며 집단별 차이를 확인하기 위해 ANOVA 분석을 수행하였다. 최종적으로 학업성취도 예측 요인의 영향력을 분석하기 위해 14주차까지의 누적 자료를 산출하여, 누적 수강일차와 퀴즈 점수, 학습 시기, 과제 점수, Q&A 및 게시판 참여 여부, Zoom 수업 참여 여부를 독립변수로, 최종 학업성취도 점수를 종속변수로 하는 로지스틱 회귀분석을 실시하였으며, 모든 분석은 SPSS 21버전을 활용하였다.

4-1 기술통계

학업성취도에 대한 예측력 분석을 위해 수집된 94명의 학습 활동 데이터에 대한 기술통계는 다음의 표 2, 표 3과 같다. 수강일차는 주차별 수업 오픈 후 평균 7.6일차(SD=3.7)에 학습을 완료한 것으로 나타났다. 게시글 수는 한 학기 동안 평균 0.6(SD=1.2)개로 나타났으며, 주차별 퀴즈 점수는 평균 2.4점(SD=.4)을 기록하였다. 한 학기 동안 3회의 과제를 제출하였는데, 1차 과제는 15점 만점에 12.4점(SD=3.1), 2차는 5점 만점에 3.7점(SD=1.6) 3차는 40점 만점에 32.0점(SD=11.3)으로 나타났다. 출석 점수는 10점 만점에 9.9점(SD=.4)으로, 거의 모든 학생이 기한 내에 출석을 완료하였다. 퀴즈 점수는 20점 만점에 15.6(SD=4.0)점, 참여도 점수는 10점 만점에 8.0(SD=1.2)점으로, 학업성취도는 100점 만점에 81.5(SD=17.4)점으로 산출되었다.

Table 2.

Descriptive satistics for continuous data(N=94)

Table 3.

Descriptive statistics for categorical data(N=94)

분류형 자료의 경우, 학습시기는 평일형이 87.2%로 우세하였으며, 게시판은 59.6%, Q&A 활동은 76.6%, Zoom 수업은 66.0%의 학생들이 참여한 것으로 나타났다.

4-2 학습 패턴 분석

학습패턴 분석은 주차별 수강일차와 학습시기 유형을 분석하였는데, 우선 수강일차 학습 패턴을 분석하기 위해, 2~14주차의 수강일차에 대한 k-means 군집분석을 실시한 결과, 다음의 표 4와 같이 수강일차가 평균 4.0일인 집단은 ‘이른 집단’으로, 평균 8.0일은 ‘평균 집단’으로 평균 12.1일 이상은 ‘늦은 집단’으로 분류되었다.

Table 4.

Results of k-means cluster analysis for weekly learning days

수강일차 학습 패턴의 집단 간 차이를 살펴보기 위해 세 집단의 퀴즈, 과제, 최종 학업성취도 점수에 대한 ANOVA를 실시하였으며, 결과는 다음의 표 5와 같다. 세 집단의 퀴즈점수(p=.092)는 통계적으로 유의한 차이가 없었으며, 과제는 부분적으로 차이가 나타났는데, 과제 1(p=.605)과 과제 3(p=.655)에서는 통계적으로 유의한 차이를 볼 수 없었으나, 과제 2(p=.031)에서는 ‘평균 집단’이 ‘이른 집단’이나 ‘늦은 집단’에 비해 유의(p<.05)하게 높은 점수를 보였다. 과제 2는 1차 학습코칭보고서를 작성하는 과제였는데, 수강일차가 ‘늦은 집단’의 경우 과제 2에서 낮은 점수를 기록한 것은 동영상 강의 수강에 급급한 나머지, 코칭 실습 과제 활동에 충분한 시간을 투자하지 못했기 때문이라고 볼 수 있다.

Table 5.

ANOVA results for quizzes, assignments, and academic achievement by learning days patterns

다음으로 학습 시기 패턴을 분석하기 위하여 수강일차의 요일 정보를 분석하여 주말형과 주중형으로 분류하였다. 분석 결과, 주말형이 12명(12.8%), 주중형이 82명(87.2%)으로 나타났다. 학습시기 패턴에 따른 퀴즈 및 과제, 학업성취도의 ANOVA 결과는 표 6과 같으며, 모두 통계적으로 유의한 차이(p>.05)가 나타나지 않았다.

Table 6.

ANOVA results for quizzes, assignments, and academic achievement by study timing

결과적으로 수강일차나 학습 시기와 같은 학습 패턴은 학업성취도에 많은 영향을 미치지 않았는데, 이는 학습자별 일정한 학습패턴이 발견되기는 하나, 패턴별 차이가 학업성취도에 직접적인 영향을 미친다고 볼 수 없다는 점을 시사한다.

4-3 주차별 학업성취도 예측 결과

주차별 흐름에 따라 학업성취도 예측을 위해 학습 활동 데이터에 대한 1차 로지스틱 회귀분석을 실시한 결과, 출석 점수와 Q&A 및 자유게시판 게시물 수는 영향력이 유의하게 도출되지 않았다. 따라서 이들 요인을 제외하고, 주차별 누적 수강일차, 학습 시기, 누적 퀴즈 점수, 과제 1, 과제 2, 과제 3, 게시판 및 Q&A 참여 여부와 Zoom 수업의 참여 여부를 포함하는 2차 로지스틱 회귀분석을 실시하였으며, 분석 결과는 다음의 표 7과 같다. 최종적으로 14주차의 R²의 값이 .99로 매우 큰 설명력을 갖는 것으로 분석되었으며, 주차별 누적 데이터를 분석한 결과, 5주차부터 R²값이 .628로 약 63%의 높은 설명력을 갖는 회귀모형인 것으로 나타났다. 따라서 본 예측 모형을 통해 학습 후 약 1/3 이상 시점부터 학업성취도를 유의미하게 예측하는 것으로 분석되었다.

Table 7.

Regression analysis results by week for academic achievement

또한, 누적 퀴즈 점수와 과제 1, 2, 3은 최종 학업성취도에 통계적으로 유의한 영향을 미치는 것으로 나타났다. 과제 3의 R²값이 .70로 가장 큰 영햑력을 갖는 것으로 나타났으며, 과제 1은 5주차에서 최대 0.62, 누적 퀴즈 점수는 2주차에서 최대 0.40, 과제 2는 9주차에서 최대 0.35, 게시판 참여 여부는 2주차에서 최대 0.28, Q&A 참여 여부는 4주차에서 최대 0.14, 수강일차는 9주차에서 최대 -.13, Zoom 수업 참여 여부는 7주차에서 0.08 학습시간은 8주차에서 최대 .07 순으로 영향력이 높은 것으로 나타났다.

한편, 학업성취도 예측 시기를 살펴보면, 누적 퀴즈 점수는 2주차부터 유의(p=.000)한 것으로 나타났으며, 과제 1은 5주차(p=.000)부터, 과제 2는 9주차(p=.000)부터, 누적 수강일차는 9주차(p=.022)부터 지속적으로 유의한 영향력을 갖는 것으로 분석되었다. 과제 3은 14주차(p=.000)에서 학업성취도를 통계적으로 유의하게 설명하는 것으로 분석되었다.

일부 요인은 부분적인 영향력을 보였는데, 학습 시기는 11주차(p=.014)와 14주차(p=.000)에서만 유의한 영향력을 갖는 것으로 분석되었다. 또한, 게시판 참여 여부(p=.001)와 Q&A 참여 여부(p=.018)는 14주차에서만 유의하게 나타났으며, Zoom 수업 참여 여부는 유의하지 않았다.

4-4 추가 분석 결과

학업성취도 예측 요인과 예측 시기를 분석하기 위해 실시한 로지스틱 회귀분석에서, 학습 시기는 11, 14주차에서만, 게시판 및 Q&A 참여 여부는 14주차에서만 통계적으로 유의한 것으로 나타났으며, Zoom 수업 참여 여부는 유의하지 않은 것으로 분석되었다. 이러한 부분적 영향력의 의미를 확인하기 위해, 다음의 표 8과 같이 추가 분석을 실시하였다. 학습시기 유형은 주중형과 주말형의 학습 패턴에 따른 집단 간 학업성취도의 차이를 t검정으로 분석하였는데, p=.190으로 통계적으로 유의하지 않은 것으로 나타났다. 따라서 사이버대학 학습자의 상황에 따라 주중형과 주말형이라는 학습패턴이 일정하게 나타나기는 하나, 이러한 패턴이 학업성취도에 차이를 가져오지는 않는 것으로 최종 확인되었다. 게시판, Q&A, Zoom 수업 참여와 같은 사회적 요인에 대한 t검정 결과, 각 활동에 참여한 집단은 미참여 집단에 비해 상대적으로 우수한 학업성취도를 보인 것으로 나타났으며, 세 요인 모두 p<.001 수준에서 통계적으로 유의한 것을 알 수 있었다. 따라서 로지스틱 회귀분석에서는 여러 변인들과의 상호 영향으로 사회적 요인의 영향력이 검증되지 않았으나, t검정을 통해 수업 참여를 위한 사회적 활동은 학업성취도에 영향을 준다는 것을 알 수 있었다.

Table 8.

Analysis of academic achievement between groups according to study timing, participation in bulletin board, Q&A, and Zoom classes

최종적으로 도출된 최종학업성취도 영향요인 및 영향시기를 정리해 보면, 다음의 그림 1과 같다.

Fig. 1.

Factors and timing of influence on final academic achievement

5-1 결론

본 연구는 94명의 사이버대학교 학생을 대상으로 온라인 학습에서의 학업성취도 예측 요인들의 영향력과 예측 시기를 분석함으로써, 교수학습 과정에서 학습자의 학업성취도를 높이기 위한 학습전략 및 교수적 개입 시기를 확인하기 위한 목적으로 이루어졌다. 학업성취도 예측 요인을 분석하기 위해, 출석 점수, 수강일차, 학습시기, 퀴즈 점수, 과제 점수, 게시판, Q&A, Zoom 수업 참여 여부의 학습 참여 데이터를 분석하였으며, 연구 결과를 바탕으로 본 연구의 결론을 제시하면 다음과 같다.

첫째, 학업성취도 예측 요인 중 행동적 요인인 출석 점수, 누적 수강일차, 학습 시기 유형을 분석한 결과, 출석 점수는 통계적으로 유의하지 않았으며, 수강일차의 경우, k-means 군집분석을 통해 이른 집단(평균 4일), 평균 집단(평균 8일), 늦은 집단(평균 12.1일 이상)의 패턴이 나타나는 것으로 확인되었다. 그럼에도 이러한 집단의 차이가 학업성취도에는 통계적으로 유의한 차이는 나타나지 않았으며, 늦은 집단의 과제 2 점수가 통계적으로 유의하게 낮은 것으로 분석되어 부분적인 영향력이 확인되었다. 한편, 학습 시기 유형에서도 주중형과 주말형의 패턴 유형이 학업성취도의 차이를 가져오지는 않는 것으로 나타났다. 이는 일과 학습을 병행하는 사이버대학 학습자가 나름의 학습 일정을 계획하여 기한 내에 학습을 수행하는 일정한 패턴을 보이나, 이러한 패턴이 학업성취도를 예측하는 요인으로 작동하지는 않는다는 것을 알 수 있었다. 또한 출석 점수는 10점 만점에 9.9점으로 거의 모든 학생이 기한 내에 학습을 완료함에 따라 영향력이 분석되지 않았다. 따라서 전반적으로 행동적 요인은 학업성취도에 큰 영향을 미치지 않는 것으로 분석되었다.

둘째, 학업성취도 예측을 위해 주차별 학습 활동 데이터에 대한 로지스틱 회귀분석을 통해 학업성취도에 대한 영향력을 분석한 결과, 회귀식의 R²값이 .99로 매우 큰 설명력을 갖는 것으로 분석되었다. 회귀분석 모형은 개강 후 약 1/3 시점인 5주차부터 학업성취도의 약 63%를 설명하는 높은 설명력을 보이는 것으로 나타나 비교적 학기 초에 학업성취도 예측이 이루어질 수 있음을 확인하였다.

셋째, 세부적으로 예측 요인별 영향력의 크기를 살펴보면 주차별 상황에 따라, 과제 3은 14주차에서 70%, 과제 1는 5주차에서 최대 62%, 누적 퀴즈 점수는 2주차에서 최대 40%, 과제 2는 9주차에서 최대 35%, 게시판 참여 여부는 2주차에서 최대 28%, Q&A 참여 여부는 4주차에서 최대 14%, 수강일차는 9주차에서 최대 13%, Zoom 수업 참여 여부는 7주차에서 최대 8% 학습시간은 8주차에서 최대 7% 순으로 영향력을 갖는 것으로 나타났다.

전반적으로 과제와 퀴즈와 같은 인지적 유형의 예측 요인이 학업성취도에 큰 영향력을 갖는 것으로 나타났으며, 사회적 요인(게시판, Q&A, Zoom수업 참여)과 행동적 요인(수강일차, 학습시기 유형) 순으로 영향력이 나타나 예측 요인의 유형에 따른 영향력에서 큰 차이를 보이는 것을 알 수 있었다.

넷째, 학업성취도에 대한 예측 시기를 분석한 결과, 퀴즈는 2주차부터 지속적으로 통계적으로 유의한 수준(p=.000)에서 학업성취도를 예측함으로써 매우 의미있는 예측 요인으로 작용함을 알 수 있었다. 또한, 누적 수강일차는 9주차(p=.022)부터 학업성취도를 예측하는 요인으로 분석되어, 주차가 진행될수록 수강일차가 늦은 집단의 학업성취도가 낮을 가능성이 높아, 학기 2/3 시점에는 수강일차가 늦어지는 학습자에 대한 집중 관리와 지원이 필요한 것으로 나타났다. 과제 1, 2, 3의 경우 출제된 주차(5, 9, 14주차)부터 지속적으로 유의한 수준(p=.000)에서 학업성취도를 예측할 수 있어, 과제 결과에 대한 모니터링과 피드백을 통해 학습자의 성공적 학습 결과를 이끌어내는 교수자의 지원이 중요하다는 점을 알 수 있었다.

마지막으로, 학업성취도 예측 요인 중, 행동적 요인(학습 시기 유형), 사회적 요인(게시판, Q&A)에 대한 영향력이 회귀분석에서 부분적으로 나타남에 따라, 각 요인별 집단 간 학업성취도를 t검정으로 추가 분석하였다. 분석 결과, 학습시기 유형은 집단 간 차이를 보이지 않았지만, 게시판, Q&A, Zoom 수업 참여와 같은 사회적 요인은 모두 유의한 수준(p<.001)에서 높은 학업성취도를 보인 것으로 분석되었다. 회귀분석에서는 게시판과 Q&A에의 참여가 14주차만에서 유의하게 나타났으나, 추가 분석을 통해 상호작용에 참여하는 활동은 학업성취도에 차이를 가져올 수 있는 의미있는 활동이라는 점을 확인하였다.

종합적으로, 본 연구는 온라인 학습에서 학업성취도 영향 요인에 대한 예측력와 예측시기를 확인함으로써 수강일차와 퀴즈 점수, 과제 점수 등의 인지적 요인이 학업성취도를 예측하는 중요 요인임을 확인하였으며, 특히 퀴즈의 경우 학기 초인 2주차부터 학업성취도를 예측할 수 있다는 점에서 주차별 퀴즈 점수의 모니터링과 과제 피드백을 통해 성공적 학습 결과를 위한 교수자의 지원에 대한 중요성을 확인할 수 있었다.

5-2 온라인 수업 설계 및 학습자 지원을 위한 시사점

앞서 제시한 연구 결과를 바탕으로, 학업성취도와 관련된 교육과정 설계 및 학습자 지원에 대한 시사점을 다음과 같이 정리할 수 있다.

첫째, 학업성취도의 예측 시기를 앞당기기 위해서는 인지적 요인의 학습 활동을 학기 초반부터 배치하는 것이 필요하다. 본 연구를 통해 주차별 퀴즈나 과제가 학업성취도를 예측할 수 있는 중요 요인으로 분석된 만큼, 학습자의 학습 수준을 확인할 수 있는 학습 참여 활동을 설계할 필요가 있다. 특히 퀴즈는 매주 규칙적으로 실시하는 경우 학기 초부터 학업성취도를 유의미하게 예측할 수 있다고 볼 수 있다. 이러한 수업 설계는 낮은 학업성취도를 보일 수 있는 학습자를 사전에 식별할 수 있는 체계를 갖추는데 매우 유용하다고 볼 수 있다.

둘째, 수강일차와 같이 학습의 규칙성도 학업성취도의 중요 예측 요인인 만큼 적어도 학기 2/3 시점에 수강일차에 대한 점검을 통해 학습이 늦어지는 학습자를 식별하고 학습을 독려할 필요가 있다. 이는 꾸준한 성실성을 보이는 학습자가 우수한 학업성취도를 갖는다는 연구 결과를 얻은 이은주와 정영식[23]의 연구와도 같은 맥락에서 유의미하다고 볼 수 있다.

셋째, 학습분석학적 관점에서 자동화된 학습 활동 모니터링 및 피드백 체계를 갖출 필요가 있다. 본 연구 결과에서 알 수 있듯이 주차별 학습 활동 모니터링이 학업성취도를 향상하는데 매우 유용할 수 있다는 점을 시사한다. 학습자의 학습 활동 데이터를 정기적으로 분석하여, 낮은 학업성취도를 보일 가능성이 있는 학습자에게 맞춤형 피드백을 제공함으로써 학업 성공의 가능성을 높일 필요가 있다. 한편, 박연정과 조일현[22]은 온라인 학습 활동에 기반한 학습 처방의 제공에 대한 학습자들에 대한 인식 조사에서 교수자의 평가와 개입이 직접적으로 연계되기보다는 온라인 학습 활동에 대한 객관적 정보 형태로 제공되는 것에 대하여 긍정적인 태도를 보였다는 연구 결과 제시하였는데, 이는 시스템 내에서 학습분석 결과를 자동화된 정보 형태로 제공하는 것이, 교수자가 직접적으로 학습자에게 부정적인 메시지를 주는 것보다 바람직할 수 있다는 점에서 적극 고려해 볼 필요가 있다.

넷째, 과제 설계의 중요성을 인식하고 성적 산출을 위한 일회성 기말과제가 아닌, 과정 수행형 과제 설계를 통해 과제 수행의 질적 개선을 위한 기회를 제공하는 형태의 과제를 채택할 필요가 있다. 본 연구에서는 과제 1, 2, 3을 진행하는 동안, 학습자의 학습코칭 실습 역량을 개발하도록 연계된 과정형 과제를 제시하였는데, 이러한 형태의 과제 수행은 학습 결과를 더욱 쉽게 예측할 수 있어 학업성취도를 예측하는 데 유용한 접근이라고 볼 수 있다. 이는 학습 초기의 과제 제출 여부가 학업성취도의 예측 요인이라는 전은화와 한재훈[12]의 연구 결과와도 맥을 같이 하며, 학습 과정에서 지각한 학문적 성장이 학업성취도에 유의미한 영향을 준다는 김현진과 김현아[24]의 연구 결과와도 연계되는 맥락을 보인다. 따라서, 교수자는 학습목표에 부합하고 학습자의 참여를 유도할 수 있는 의미 있는 과제를 설계하되, 학습 과정에서 작은 여러 개의 과제를 배치하여 교수자가 학습 과정을 관찰할 수 있도록 과제를 설계하는 전략을 고려할 필요가 있다.

마지막으로 교수학습 전략 특성에 따라 학습분석학에서 고려해야 할 요인들을 다양하게 탐색하고 적용할 필요가 있다. 많은 연구에서 학습분석학을 통해 학업성취도에 대한 예측 등을 제시하고 있으나, 교수학습 전략 특성에 따라 다양한 양상을 보이게 된다. 본 연구에서는 출석 점수와 Q&A, 자유게시판 게시글 수는 학업성취도에 유의미한 영향을 미치지 않는 것으로 분석되었는데, 이는 학습자 간 출석 점수 게시글 작성 빈도에서 변별력이 부족했기 때문이다. 따라서 다양한 학습 활동 및 학습 패턴을 분석하면서 학습자간 변별력을 보이는 요인들이 학습분석에서 고려될 수 있도록 선행 작업이 이루어지고, 이후 분석을 시행하여야만 의미 있는 결과를 얻을 수 있다. 이는 학습분석에 관한 연구 결과들을 일반화하여 적용하지 않도록 주의해야 함을 의미하며, 향후, 다양한 교수학습 환경에 따른 학습분석학적 연구가 이루어질 필요가 있음을 시사한다.