Journal Archive

Knowledge Tracing은 교육 분야에서 학습자의 학습 과정을 추적하고 모니터링하는 기술이다. 이 기술은 주어진 시험 또는 문제를 학습자가 얼마나 정확하게 푸는지를 평가하고, 학습자의 지식수준을 추정하는 데 사용된다. 이를 통해 개인화된 학습 경로를 제시하고 학습자의 학습 행동을 정량적으로 분석하는 데에 활용되는 등, 최근까지 활발하게 연구되고 있다[4]-[6]. 학습자의 지식수준을 효과적으로 추적하기 위해서는 학습자가 이전에 푼 문제와 그에 대한 정확도, 시간 등의 정보를 기록하고 분석해야 한다. 하지만 기존의 KT는 학습자의 이전 상태 정보를 반영하지 않고, 오직 현재 문제 결과만을 기반으로 학습자의 이해도를 추적하고 있어 순차적 특성을 갖는 학습 데이터를 처리하는 데 어려움이 있다[4]. 이러한 한계를 극복하기 위해 KT 기술에 딥러닝 기술을 도입한 Deep KT가 등장하여 활발하게 응용되고 있다[1].

Deep KT는 교육 분야에서 학습자의 학습 과정을 딥러닝을 활용하여 추적하고 모니터링하는 기술이다[1]. Knowledge Tracing을 발전시킨 Deep KT는 순환 신경망(RNN)이나 장기 단기 메모리(LSTM)와 같은 딥러닝 모델을 활용하여 학습자의 학습 행동을 시계열 데이터로 처리하고 이해도를 추정한다. Deep KT는 학습자가 이전에 푼 문제와 그에 대한 정확도, 시간 등의 시계열 정보를 기반으로 학습자의 지식수준을 예측하고 모델링한다. 이를 통해 학습자의 개별 학습 패턴과 지식 변화를 더 정확하게 추적하고 개인화된 학습 경로를 제시하는 여러 연구가 진행되었다[7]-[9]. 하지만 Deep KT도 딥러닝 모델을 사용하는 만큼 몇 가지 한계점이 존재한다. 우선, 대량의 데이터와 긴 학습 시간이 필요하다. 특히 시계열 데이터를 처리하는 과정에서 학습의 복잡성이 더 높아질 수 있다. 또한, 딥러닝 모델의 특성상 많은 파라미터를 가지고 있는데, 특히 데이터가 부족한 경우에는 과적합(overfitting)이 발생할 가능성이 있다[3].

Deep KT에서 사용되었던 RNN (Recurrent Neural Network)은 딥러닝의 한 종류로, 시퀀스 데이터를 처리하는 데 특화된 네트워크 구조이다. RNN은 일련의 입력 데이터를 순서대로 처리하면서 각 시점(time step)에서의 hidden state를 출력으로 계산하며 이전 시점의 정보를 현재 시점에 전달한다. 이러한 순환구조를 통해 Deep KT에서는 학습자의 이력을 시계열로 기록하고 특징을 포착하여 학습자의 이전 학습 행동을 추적하는 데 사용한다. 그러나 RNN의 구조는 간단하고 유연하지만, 긴 시퀀스 데이터에서 발생하는 기울기 소실(Vanishing Gradient) 또는 폭발적인 기울기 문제로 인해 학습이 어려워질 수 있다. 특히, RNN은 시퀀스가 길어질수록 이전 시점의 정보를 현재 시점으로 전달하기 어려워진다. 이러한 한계로 긴 시퀀스 데이터를 처리하는 문제점을 보완하기 위해 LSTM이 등장하였다[10].

LSTM(Long Short-Term Memory)은 RNN의 한계를 보완하여 시퀀스 데이터의 장기적인 의존성을 더욱 잘 모델링할 수 있도록 설계된 특별한 종류의 RNN이다. LSTM은 내부적으로 기억셀(memory cell)이라는 구조를 사용하여 이전 시점에서의 정보를 기억하고 이를 현재 시점으로 전달함으로서 장기적인 의존성을 관리한다. 기억셀은 세 개의 중요한 게이트(forget gate, input gate, output gate)로 구성되며, 게이트 메커니즘을 활용한 LSTM은 기울기 소실 문제를 해결하고 긴 시퀀스 데이터에서도 효과적으로 장기적인 의존성을 학습할 수 있는 특징 때문에 Deep KT에서 학습자의 학습 패턴 및 지식 추적에 주로 사용되고 있다[10].

XGBoost(eXtreme Gradient Boosting)는 Tianqi Chen[11]에 의해서 2016년에 8월 소개되었으며 2015년에는 Kaggle에 게시된 29개의 챌린지 우승 솔루션 중 17개의 솔루션이 XGBoost를 사용한 바가 있다. XGBoost는 Gradient boosting 알고리즘으로 의사결정 나무(Decision Tree) 기반의 앙상블 모델이다. Gradient boosting 알고리즘은 약한 분류기를 통해 학습한 후, 나타나는 오차를 다음 약한 분류기에서 학습하며 오차를 줄여나가 강한 예측 모델을 만드는 Boosting 기법이다. 손실 함수 미분값의 크기가 점차 줄어드는 방향으로 가중치를 업데이트하며 손실 함수의 최솟값을 찾아가는 경사 하강법을 접목하여 실제값-예측값을 의미하는 잔차(Residual)를 줄여가는 방식이다[12]. XGBoost는 Gradient Boosting 알고리즘을 기반으로 하고 있어 높은 예측 성능을 보여주며, 병렬 실행을 통해 학습 속도 및 분류 속도에서 뛰어난 성능을 보여주고 있다. 또한, L1 정규화 및 L2 정규화를 제공하여 데이터양이 증가할 때 발생할 수 있는 과적합을 방지하고 일반화 성능을 향상할 수 있다[13],[14].

기존의 오프라인 학습에서는 데이터의 크기가 크지 않고 데이터의 종류도 정답 여부와 학습 시간에 대한 단순한 정보만 주어졌다. 온라인 학습으로 넘어오면서 LSTM-based Deep Knowledge Tracing (DKT) 모델은 빅데이터에 대한 느린 연산속도와 다양한 특징을 고정된 벡터에 압축하는 과정에서 정보 손실이 증가하는 문제가 발생한다[15]. 또한, 온라인 학습에서는 실시간으로 계속 주어지는 다양한 학습 데이터를 빠르게 처리할 필요가 있다. 본 연구에서는 이러한 문제를 해결하기 위해 그림 1과 같은 XGBoost-based Knowledge Tracing (XKT) 지식 추적 방법을 제안한다. DKT 모델은 인코딩과 임베딩을 통해 데이터의 전처리를 해야하지만, 결정 트리(Decision Tree) 기반 XGBoost 모델은 다양한 특징들의 전처리를 Feature Engineering만을 통해 정렬과 군집화를 수행할 수 있다. 가공된 데이터로 XGBoost 모델을 학습시키는 중, 실시간으로 데이터가 추가되어도 앙상블 방식의 XGBoost 모델은 이전의 결과값에 새로운 데이터를 계속 학습시켜 주는 장점이 있다.

Fig. 1. 
XGBoost based knowledge tracing model

표 1과 같이, 기존 DKT 학습에서 사용된 데이터(학습자 ID, 문제 번호 및 유형, 정답 유무)와는 다르게 게임 기반 온라인 학습 시스템은 많은 양의 데이터를 수집할 수 있다. 게임 형태의 온라인 학습 시스템의 경우 학습자들이 게임 플레이 방식의 다양한 문제들을 푸는 과정에서 그에 대한 정확도와 시간 등의 부가 정보를 수집할 수 있다. 이때, 학습자의 이해도를 추적하고 개인화된 학습 경로를 제공하기 위해 DKT를 사용할 수 있지만, 다차원 특징에 대한 학습률이 떨어진다는 단점이 있다. 따라서 본 연구에서는 DKT의 단점을 보완하고 모델링의 성능을 향상하기 위해 XGB(eXtreme Gradient Boosting)를 적용한다. XGB는 2-5장에서 설명한 바와 같이 Gradient Boosting 알고리즘으로 높은 성능과 빠른 학습 속도를 제공하며, Decision Tree를 기반으로 하기 때문에 다차원 특징들을 효과적으로 처리하여 학습자의 지식 추적에 활용될 수 있다. XGB를 적용한 지식 추적 모델(XKT)을 통해 학습자 별 개개인에 특화된 학습 방향성을 정확하게 제시할 수 있게 된다.

DKT와 XKT의 데이터 종류 수에 따른 학습 지표로는 AUC를 사용하였고 학습 데이터로는 표 2와 같은 세 가지 데이터를 사용하였다. 각각의 데이터는 서로 다른 이름의 열들을 가지고 있으며, 각 열의 특성에 따라 열의 이름을 통일시켜 주고 학습을 진행하였다.

본 연구에서는 Deep Learning 기반인 LSTM을 사용한 DKT[3]와 Decision Tree 기반인 XGBoost[11]를 기반으로 본 논문에서 제안된 XKT 두 가지 모델에 대해 특징 개수에 따른 성능 비교 실험을 수행하였다. 이러한 선택은 Deep Learning과 Decision Tree 기반 모델 간의 성능 비교를 통해 각 모델의 장점과 한계를 보기 위함이다. 해당 실험에는 "ASSISTment 2009,"[16] "Algebra 2005,"[17] 그리고 "Bridge to Algebra 2006"[18] 세 가지 데이터 셋을 활용하였다. "ASSISTment 2009" 데이터 셋은 학습자들이 온라인 수학 학습 플랫폼에서 진행한 활동을 기록한 것으로, 다양한 문제 유형과 난이도를 포함하고 있다 "Algebra 2005"와 "Bridge to Algebra 2006" 데이터셋은 대부분 대중교육 학습과정에서 활용되는 Algebra 과목과 관련된 데이터로, 학습자들의 수학적 이해도를 다양한 상황에서 반영하고 있다. 각 데이터셋은 3-2장에서 설명한 방식대로 Train과 Test로 분할한 후, 각 모델에 맞게 데이터를 전처리하여 학습시켜 모델 간의 공정한 비교와 성능 평가를 할 수 있도록 하였다. DKT와 XKT의 비교 실험은 표 4, 표 5와 같이 파라미터들을 설정해주고 진행하였다.

본 연구에서는 초기 데이터 사이즈를 256으로 설정하였으며, 이 결정은 학습 프로세스의 속도와 성능 간의 균형을 찾기 위한 실험적인 접근에 기반한다. 작은 데이터 사이즈로 시작할 경우 모델 학습 속도가 향상되지만, 성능은 저하될 우려가 있었다. 반면, 큰 데이터 사이즈를 사용하면 모델의 성능이 개선될 것으로 예상되었지만 학습 속도가 저하될 우려가 있었다. 따라서 다양한 데이터 사이즈에서 실험을 진행하고 그 결과를 통해 최적의 데이터 사이즈를 256으로 선정하였다.

실험 결과를 효과적으로 시각화하기 위해, 각 특징 개수에 대한 두 모델의 AUC 변화를 Epoch 별로 list에 저장하는 과정을 50번 반복하여 얻은 실험 결과로 평균과 분산을 계산하여 그래프로 작성하였다. 그림 2에서는 "user_id", "problem_id", "skill_name", "correct" 4개의 특징에 따른 DKT와 XKT의 성능을 비교하였다. 이 실험에서는 모든 데이터셋에서 DKT가 XKT에 비해 평균 약 8.5% 우수한 성능을 나타내는것을 볼 수 있다. 이는 DKT의 Deep Learning 기반 구조로 인해 학생 개별의 학습 패턴을 더 정확하게 학습하고 예측할 수 있는 능력 때문이다[3]. 그림 3과 같이, 데이터 셋의 크기가 증가함에 따라 DKT와 XKT의 성적 차이가 줄어드는 경향을 관찰할 수 있다. 이는 XKT의 앙상블 모델 특성으로 설명할 수 있다[19]. 큰 데이터셋에서는 XKT가 특징간의 상호작용을 더 잘 파악하며 예측하기 때문에, XKT의 성능이 향상되고 DKT와의 성적 차이가 축소된 것으로 해석할 수 있다. 그림 3의 결과는 이미 앞서 DKT와 XKT의 특징에 대해 설명한 내용과 일치한다. "hints"라는 새로운 특징를 추가하여 두 모델의 성능을 비교한 결과, XKT가 DKT에 비해 평균 약 3.5% 우수한 성적을 냈다는 것을 확인할 수 있다. 이를 통해 우리가 이전에 언급한 DKT와 XKT의 특징이 실제 결과에 어떤 영향을 미쳤는지 명확하게 확인할 수 있다. 또한, 실험 결과를 종합적으로 분석한 결과, 다차원 특징를을 사용하는 경우에 XKT가 DKT보다 우수한 성능을 보여준다. 3개의 데이터셋 중 2개의 경우에 XKT가 더 우수한 성적을 보여주었으며, 세번째 데이터셋에서도 15 epoch까지는 XKT가 더 좋은 성능을 보여준다. 특히 DKT의 경우 특징 5개일 때 성능이 떨어진 모습을 보였으며 Epoch의 크기가 커질수록 DKT의 성능이 저하되는 반면에 XKT의 성능이 향상되는 모습을 실험을 통해 확인하였다. 이는 이전 연구에서 언급된 seq2seq 모델의 한계에 직면했다는 점을 의미한다[20]. 반면에 XKT는 특징 5개에서와 같이 다차원 특징 데이터일수록 성능이 향상된 모습을 보인다. 이는 Decision Tree 기반인 XGB 모델의 장점으로 다양한 정보를 포착하며 비선형 관계를 학습하고 특징 간의 상호작용을 높일 수 있다는 점을 의미한다. 본 실험 결과와 같이 XKT가 다차원 특징 데이터에서 더 강인함을 확인할 수 있다.

Fig. 2. 
DKT vs. XKT of AUC in 4 features

Fig. 3. 
DKT vs. XKT of AUC in 5 features

본 연구에서는 "특징 개수가 많아질수록 XKT의 성능이 향상된다"는 점을 보다 확실하게 입증하고 실험 결과의 일관성과 신뢰성을 강화하기 위해 Kaggle의 "Predict Student Performance from Game Play"이라는 Competition에 참가하였다. 이 대회는 “Education Resource and Information Center (ERIC) Archive”에서 수집한 실제 게임인 “Jowilder”의 플레이 데이터를 활용하여 학습자의 성취도를 예측하는 것을 목표로 하고 있다. 이 게임 데이터를 분석하여 학습자의 게임 플레이 패턴과 학습 성과를 이해하고, 이를 기반으로 성취도를 예측하는 모델을 개발하는 것이 주된 목표이다. 본 대회의 데이터는 실험에 사용한 데이터에 존재하는 학습자의 정답 여부와 더불어 다른 여러 특징을 가진 다차원의 데이터라는 점에서 검증에 적합하다고 판단하였고, 실험 결과의 신뢰성을 검증하기 위해 XGBoost 모델을 Baseline으로 설정하였다. 또한, CatBoost, LightGBM [21],[22]과 RNN과 같은 모델이 본 대회에서 널리 사용되었음을 확인하였다. 표 1에서 확인할 수 있듯이 게임 기반의 온라인 학습 시스템은 많은 데이터가 존재하기 때문에, Decision Tree 계열의 Boosting 알고리즘이 많이 채택되었다고 파악할 수 있다. 대회에서 사용한 XKT 모델의 파라미터 값은 표 6과 같다.

대회에서의 데이터를 가지고 본 연구에서 제안하는 알고리즘을 평가한 결과는 다음과 같다. 평가는 100번의 Boost Round를 학습시키는 과정을 50번 반복하여 얻은 결과로 평균을 계산하여 그래프로 작성하였다. 그림 4와 같이 AUC 점수는 꾸준히 상승하였고 그림 5와 같이 Error는 줄어드는 모습을 보였다. 이를 통해 다차원 특징 데이터에서도 XKT를 통해 강인한 지식 모델 학습이 가능함을 확인할 수 있다.

Fig. 4. 
Mean AUC of XKT model in Kaggle PSPG

Fig. 5. 
Mean error of XKT model in Kaggle PSPG

본 연구는 DKT와 XKT를 활용하여 학습자의 이해도 예측 성능을 비교하고 평가하는 것에 초점을 맞추었지만 몇 가지 한계점이 존재한다. 먼저, 사용한 데이터셋은 제한된 범위 내에서 수집되었고, 데이터의 양과 다양성이 충분하지 않을 수 있다. 또한, 데이터 전처리 과정에서 어떤 정보를 무시하거나 변형하므로서 정확한 분석을 제한할 수 있다. 두 번째로, 실험에서 사용한 특징을 선택하고 조합하는 과정에서 주관적 판단이나 경험이 작용할 수 있다. 따라서 더 나은 Feature Engineering 방법을 고려하거나 다양한 특징 조합을 시도한다면 더 정확한 결과를 얻을 수 있을 것이다. 세 번째로, 학습자의 개인적인 특성이나 환경 요인 등은 고려하지 않았다. 이러한 추가적인 변수들이 학습자의 성능에 영향을 줄 수 있으며, 이를 고려하는 모델링이 더 정확한 예측을 가능하게 할 수 있을 것이다. 향상된 예측 모델을 개발하고자 한다면 이러한 한계점들을 보완하여 다양한 요인을 종합적으로 고려하는 연구를 진행하는 것이 필요하다.