Journal Archive

독립변수가 여러 개가 적용되는 다중 선형 회귀 모델은 과대적합(overfitting)될 때가 종종 있다. 이를 차원의 저주(curse of dimensionality)[9]라고 부른다. 과대적합이 발생하면 훈련 데이터에만 잘 맞도록 학습되므로 훈련 데이터가 조금만 바뀌더라도 학습 결과가 크게 바뀔 수 있으며 개발된 모형은 과대 차원으로 일반화 능력이 떨어지게 된다. 이것을 해결하기 위해 선형 모형에서는 정규화 방법으로 LASSO 회귀, Ridge 회귀, Elastic Net을 제안한다. 이들 방법은 파라미터의 값에 제약을 가함으로써 모델을 정돈해서 과대적합을 피할 수 있게 한다.

Random Forest 알고리즘은 부트스트랩 샘플링 기법을 이용하여 다수의 데이터셋을 생성한 후 각각의 데이터셋에 대하여 의사결정트리 알고리즘을 적용하여 데이터셋과 동일한 크기의 트리 모형을 생성하도록 한다[13]. 알고리즘의 최종 예측값은 각각의 트리에서 예측된 값을 평균하거나 투표한 값이다.

최현희 등[7]은 KC 간의 관계를 찾기 위하여 신뢰도 및 지지도에 기반하여 규칙을 정리하는 ARM(association rule mining)을 활용하였다. ARM은 데이터의 특성을 추출한다는 면에서는 유의미하나, 데이터에서 발견되는 작은 변화로 인하여 발견하는 값들이 크게 달라지기 때문에 신뢰할 수 있는 결과를 얻기 어렵다. 다만 ARM의 앙상블 버전을 Random Forest 알고리즘으로 간주할 수 있다[14].

Random Forest 알고리즘의 강점은 목적변수에 대한 특성변수들의 중요도를 계산해 준다는 것이다. 중요도를 계산하는 알고리즘은 대표적으로 지니 중요도(gini importance)와 퍼뮤테이션 중요도(permutation importance)로 요약된다[15]. 지니 중요도는 트리 모형에서 각 변수가 분류될 때 불순도의 감소분을 고려하는 알고리즘이며, 퍼뮤테이션 중요도는 OOB(out-of-bag) 샘플에 존재하는 변수들 중 하나를 골라 무작위로 섞은 데이터를 트리에 흘려보냈을 때의 예측값의 차이로부터 계산된다. 본 논문의 실험에서는 특성변수 중요도의 계산에 퍼뮤테이션 중요도를 활용하였다.

시간 또는 연속적인 순서를 따르는 관측치들이 존재할 때 관측된 값이 직접적으로 확인 불가능한 은닉된 상태에 영향을 받는다는 가정이 있다면 HMM을 활용할 수 있다. 그림 1과 같이 입력 데이터를 x₁ x₂ x₃ x₄ ... x_t라고 할 때 이러한 x_i들이 s₁ s₂ s₃ s₄ ... s_t 의 영향을 받아 일어난다면 HMM을 기반한 모형화를 고려할 수 있다. 가령, 학생이 어떤 개념을 습득했는지 정확히 관측하기는 어려우나 해당 개념에 관한 시험의 문항별 정확도가 습득 여부의 영향을 받아 나타나므로 HMM을 통해 모형화할 수 있다. 학생이 시험에서 t개의 문제를 풀고 얻은 점수를 x₁ x₂ x₃ x₄ ... x_t로 표현하고 학생이 가진 이해도 자체는 s₁ s₂ s₃ s₄ ... s_t로 구성한다. 이때 응답 점수인 x₁ x₂ x₃ x₄ ... x_t는 ‘정확’, ‘부정확’과 같은 이산화(discretization)된 값을 가져야 한다.

Fig. 1. 
HMM and its observations

은닉상태의 수가 m개라면 관측치 x의 확률분포 p(x)는 식(3)과 같이 표현되며 이는 선형혼합모형(linear mixture model)의 형태와 유사하다[8].

HMM을 활용하여 풀 수 있는 문제는 학습 데이터로부터 식 (4)에 나타난 HMM의 파라미터 θ를 계산하는 것 등으로 구성되어 있다.

우리의 관심사인 KC의 순서를 결정하는 문제도 HMM 파라미터 θ를 구하는 과정에서 얻어질 수 있다. 가령, KC에 대한 2개의 은닉상태를 ‘모름(unlearned)’, ‘습득(learned)’으로 나타내면, HMM에 대한 EM(expectation maximization) 알고리즘으로 알려진 Baum–Welch 알고리즘[16]을 수행하여 그 결과인 HMM의 파라미터 θ를 구하는 과정 중에 식 (5)와 같은 A(전이확률) 행렬을 얻을 수 있다.

KC 간 선후관계 분석을 위하여 D사의 온라인 수학 학습 서비스에서 수집되는 문제풀이 로그 중 레벨 평가 데이터를 활용하였다. 이 중 초·중등 학생을 대상으로 하는 11레벨부터 15레벨까지의 레벨 평가 로그를 연구 데이터로 선정하였다. 학습자는 교수자의 판단에 따라 3회까지 레벨 평가에 재응시할 수 있다. 그러나 3회까지 응시하는 학생의 수가 적으므로 학습자의 수를 고려하여 본 연구에서는 2회까지의 데이터를 활용하였다. 표 1은 본 연구에 활용한 학습 데이터를 구성하는 각 레벨의 평가 로그의 수, 평가를 수행한 학생의 수, 해당 레벨에서 공부해야 하는 KC의 갯수를 나타내고 있다.

그림 3은 각 레벨의 KC들에 속한 각 문항에 대하여 0(모름)과 1(습득)로 측정된 응답을 KC 별로 평균한 값으로 각 레벨 내 KC 별 학습의 정확도를 표현한 것이다.

Fig. 3. 
Average graph of KC accuracy by level

본 연구에서는 KC 간의 연관성을 찾아내는 작업을 상관계수와 회귀계수의 수학적 연관성에 근거하여 상관분석에서 회귀분석의 문제로 확장하고자 한다[17]. 어떤 KC에 대해 연관성이 있는 다른 KC가 존재한다고 가정하고 KC의 이름을 변수라 하면, 관련 KC들의 관측치로부터 유의미한 관계의 목적변수와 특성변수의 쌍을 관찰할 수 있다.

한 KC에 여러 개의 평가 문제가 포함되어 있다면 해당 문제들의 테스트 결과로부터 해당 개념의 습득 여부를 판단할 수 있다[18]. 즉, 특정 KC에 관련된 문제들의 정확도의 평균값을 해당 KC의 습득 여부를 확인하기 위한 대푯값으로 활용할 수 있다. 회귀분석의 문제로 다시 돌아가서 보면 이 평균값들의 관련성은 KC 간, 즉 목적변수로 쓰인 KC와 특성변수 KC 간의 관련성으로 고려할 수 있다. 표 2는 KC 간 관계를 얻어내기 학습자별 문제풀이 학습 로그로부터 KC 별 평균값을 계산하여 생성한 데이터셋을 보여주고 있다.

HMM 모형은 마르코프 성질(markov property)를 가정한다. 그러므로 KC의 문제풀이 결과의 평균값들이 순차적으로 입력되었다고 하면 특정 KC가 목적 KC에 영향을 주는 KC로 선택되었다 할 때 마르코프 성질에 의해 그 특정 KC에 영향을 주는 다른 KC들은 설명변수 리스트에서 배제되어야 한다. 예를 들어, y가 KC_i이고 X는 KC_i를 제외한 KC_j(i ≠ j)인 회귀 모형이 있다고 하자. HMM 모형을 고려한다면 입력으로 사용되는 X 간의 영향 관계 또는 연관성이 배제되어야 하므로 설명변수 간의 독립성을 보장하는 LASSO 회귀 모형을 활용할 수 있다. 그런데 단순 LASSO는 교차검증 과정을 고려하지 않으므로 본 연구에서는 LASSO 모형과 교차검증을 모두 달성할 수 있는 Elastic Net 모형을 활용한다.

회귀분석에서 유의수준 값을 5%라 하면 설명변수들의 p-value가 0.05보다 작게 나오는 경우 모두 통계적으로 유의한 변수로 받아들인다. 이때 유의한 변수를 복수 개 얻게 된다면 복수 개의 연관관계를 얻게 되고 복수 쌍들 간의 의미 있는 서열화가 문제가 될 수 있다. 즉, 선형 모형에 근거한 Elastic Net(LASSO) 모형만으로는 유의수준 내에 존재하는 관계들 사이의 중요도에 따른 서열화가 불가능하다. 따라서 선형 모형을 고려한 Elastic Net(LASSO) 모형에서 유의수준을 만족하는 관계 리스트를 얻었다면, 비선형 모형으로 중요도 값을 산출해 주는 Random Forest 알고리즘을 추가하여 발견된 관계들에 대한 신뢰도를 높임과 동시에 유의수준 내 관계들에 대한 서열화를 시도할 수 있다.

본 연구에서 제안하는 유의미한 관계를 갖는 KC 쌍을 도출하기 위해 Elastic Net(LASSO)과 Random Forest를 적용하는 절차를 다음과 같이 요약할 수 있다.

• ① Elatic Net(LASSO)을 이용하여 종속 변인 KC_i를 설명하는 KC_j를 유의수준 0.05 기준으로 선별한다.
• ② Random Forest 모형을 통하여 KC_i에 대한 KC_j들의 중요도를 계산한다.
• ③ ②의 Random Forest 모형에서 얻은 관계 쌍들 중 상위 10%에 해당하는 관계들을 추출한다.
• ④ ①과 ③에서 추출된 관계들을 최종 관계 쌍에 가장 중요한 연관관계로 저장하고 분석 방법을 BOTH로 설정한다.
• ⑤ ④에서로 충분한 KC 관계 쌍을 얻지 못할 경우, 최종 관계 쌍과 겹치지 않는 관계 중 Elastic Net(LASSO)에서 얻은 연관 쌍에 ②에서 얻은 중요도 정보를 더해 최종 관계 쌍에 분석 방법을 LASSO라고 설정한다.
• ⑥ ⑤에서로 충분한 KC 관계 쌍을 얻지 못할 경우, 최종 관계 쌍과 겹치지 않는 관계 중 Random Forest 모형에서 상위 10% 이내에 드는 관계들을 최종 관계 쌍에 추가하고 분석 방법을 RF라고 설정한다.

Elastic Net(LASSO)과 Random Forest를 적용하여 연관관계를 갖는 KC 쌍들을 얻었다면 다음으로 각 KC 쌍의 선후를 결정해야 한다.

대상이 되는 KC_i와 KC_j가 있고 이들이 가지는 값 KC(i)와 KC(j)가 0(모름) 또는 1(습득)이라면 2회의 문제풀이 결과에 따라 0 → 0, 0 → 1, 1 → 0, 1 → 1의 전이확률을 계산할 수 있다. 그러나, 만일 0 또는 1로 나타나는 KC_i의 상태 값이 어떤 은닉상태의 영향을 받아 나타난다면 전이확률은 그 은닉상태의 값을 토대로 계산해야 한다. 또한, 연관관계를 얻기 위하여 사용한 값들은 연속형 값을 가졌기 때문에 HMM을 적용하기 전 이를 이분화된 값으로 치환하는 과정이 필요하다[19].

HMM 알고리즘을 이용하면 서로 의존적인 관계를 맺고 있는 HMM의 파라미터 셋인 θ = {π, A, B}를 얻을 수 있다. 여기서 π는 초기확률, A는 전이확률, B는 방출확률이다. 두 KC가 매우 유사한 개념이고 시차만 다르다면 ‘모름’(0)의 비율이 줄어드는 순서대로 두 KC의 선후 관계를 따져볼 수 있다. 그러나 KC를 가장 작은 단위의 서로 다른 지식 개념이라고 볼 때 두 KC의 선후관계는 Chen[20]이 제시한 바와 같이 식 (6)와 식 (7)에 의해 연관관계 (KC(i), KC(j))의 전이확률이 미리 정한 유의수준인 α를 만족한다면 선후관계 KC_i→KC_j가 성립한다고 판단한다.

본 연구에서는 HMM의 파라미터를 추정하는 방법인 Baum Welch 알고리즘[6]을 적용하여 그림 4와 같이 모름(KC(i))->모름(KC(j)), 습득(KC(j))->습득(KC(i))의 전이확률을 계산한 후, 이들이 유의수준 α 이상일 때 KC_i→KC_j의 순서가 있다고 결정한다.

FIg. 4. 
Transition probability to derive the prerequisite relations between KC

각 레벨에서 학습자의 KC별 문제풀이 로그로부터 Elastic Net(LASSO)에서는 0.05의 유의수준을 만족하는 KC 쌍을 고려하였고 Random Forest에서는 특성변수의 중요도가 상위 10% 이상일 경우 연관관계 후보로 추출하였다. 이처럼 유의미한 연관관계를 도출하기 위한 유의수준(0.05, 10%)을 선택하기 위해 Elastic Net(LASSO)에서의 세 가지 유의 확률 조건(0.05, 0.01, 0.001)과 RF의 결과 중 유의미한 상위 중요도를 고르는 세 가지 조건(10%, 20%, EL과 동일한 개수) 과 최종 관계 쌍 리스트에 먼저 적용한 알고리즘에 따른 실험 결과(Elastic Net(LASSO), RF)를 모두 고려한 총 18쌍의 조건에 대하여 성능이 비교적 만족스러웠던 결과를 도출한 조합이다.

표 3에 유의수준 조건에 따른 총 18쌍에 대해 레벨별 정확도를 나타내었다. Method 열은 연관관계 도출 절차를 진행할 때 Elastic Net(LASSO)과 Random Forest(RF) 중 어느 알고리즘을 먼저 사용하는지를 나타낸다. LASSO 열은 연관관계 후보를 도출할 때 Elastic Net(LASSO) 알고리즘에 적용된 유의 수준이다. RF 열은 연관관계 후보를 도출할 때 Random Forest 알고리즘에 적용된 특성변수의 중요도 값이다. 표 3의 4번째와 7번째 행에서 모든 레벨의 중요도가 공통적으로 상위 값을 나타내므로 LASSO의 유의수준 0.05, RF의 특성변수 중요도 10%의 요건으로 정하였다.

표 4는 본 연구에서 적용한 수학 문항평가 데이터 중 15 레벨에서 추출된 연관관계를 나타낸 것이다. 표 4의 before와 after 열은 KC쌍의 선후를 나타낸다. before_title은 해당 연관관계의 선수 KC에 대한 설명이며, after_title은 해당 연관관계의 후수 KC에 대한 설명이다. mapped 열은 본 연구에서 제안한 Elastic Net(LASSO)+RF+HMM 모형을 통해 추출한 연관관계가 타겟 선후관계에 존재할 경우 1로 표기되며, 모형에서 찾아낸 선후관계 목록 중에 mapped가 1인 항목의 비중이 각 레벨의 정확도로 계산된다. 한편, mapped 값이 0인 경우 주어진 타겟 목록에는 없으나 본 연구의 모델이 찾아낸 선후관계로서 학습 데이터로부터 분석되었다는 의미가 있다. 따라서 mapped 값이 0인 선후 관계가 타겟 목록에서 누락되었을 가능성이 있을지 교사에게 검토하도록 제안하고 관련 커리큘럼 혹은 교수법을 보강할 수 있을 것이다. 표 4의 method 열은 각 연관관계를 추출할 때 적용된 알고리즘을 기입한 것으로 BOTH는 Elastic Net(LASSO)과 Random Forest의 순서로 적용되어 검출된 관계, LASSO는 Elastic(LASSO)에서만 추출된 관계, RF는 Random Forest에서만 추출된 관계라는 의미이다.

앞서 Elastic Net(LASSO)와 RF 기법으로 추출된 KC 연관관계들을 모집단으로 하고 HMM을 적용하여 얻은 전이확률에 기반하여 각 연관관계의 방향을 결정하였다. 앞서 KC의 습득 여부를 문제풀이 점수를 활용하여 측정하는 동안 확률적 요인을 고려하기 위해서 MSMM대신 HMM을 활용해야 함을 언급하였다. 또한, Chen[20]에서 논의된 바와 같이 모름(KC(i)) ->모름(KC(j)), 습득(KC(j))->습득(KC(i))의 전이확률이 α이상일 때 KC_i→KC_j의 순서가 있다고 보았다.

본 연구에서는 HMM을 이용하여 전이확률을 얻은 후 이 값들이 내포하는 선후 관계를 결정하기 위하여 α를 0.3으로 설정하였는데 이는 D사에서 제공한 전문가가 만든 선후 관계 리스트와 가장 잘 맞는 값이다. 이는 표 4의 direction에서 “forward”로 표시된 것은 확률적으로 before로 나타난 KC가 after로 나타난 KC의 앞에 나와야 함을 의미한다.

ElasticNet(LASSO)+RF+HMM 모형을 이용하여 얻은 선후관계가 있는 KC쌍에 대한 정확도(precision)와 HMM 대신 MSMM을 적용했을 때의 정확도를 비교하였다. 표 5에 나타난 바와 같이 확률적인 면에 대한 고려가 있었을 때 MSMM을 적용했을 때보다 HMM을 적용했을 때 정확도 기준 평균 7% 향상된 것을 확인할 수 있다.

이는 문제풀이 로그와 같은 데이터를 사용하는 KC 모형화가 필요한 경우, 전이확률의 계산에 더하여 보이지 않는 확률적 특성을 추가 고려하는 HMM 알고리즘을 활용함으로써 선후관계 예측에 향상된 정확도를 얻을 수 있다는 것을 보여주고 있다.