Journal Archive

군집은 같은 군집 내의 객체들과는 비슷한 성향을 나타내고, 다른 군집의 객체들과는 다른 특성을 나타내는 집합이다. 그림 1은 Kmeans 알고리즘을 나타낸다.

Fig. 1. 
Kmeans algorithm

Kmeans 군집 분석은 분할기법의 하나로, n개의 객체가 주어진 경우 이를 군집으로 분류하기 위하여 K개로 분할을 시도한다[11]. 그림 1의 알고리즘은 제곱 오차 함수를 최소화할 수 있도록 K개의 분할을 만든다. 식 (1)은 제곱오차를 적용하여 객체를 임의의 K개의 그룹으로 분류하기 위한 식이다.

식 (1)에서 E는 데이터베이스에서 모든 학생들의 제곱오차를 합한 값이며, n은 전체 학생수이고 K는 군집의 수, t는 반복의 수이다. 또한, p와 m_i는 다차원이며 p는 해당 학생을 나타내는 공간의 점이고, m_i는 군집 c_i의 평균이다.

Kmeans 알고리즘을 사용하여 군집할 대상은 전국의 중학교 학생들을 대상으로 2010년부터 2016년까지 7년 동안 반복적인 추적조사를 실시한 자료 중 중학교 1학년 자료이다. 2010년 중학교 1학년을 대상으로 여러 가지 변인을 추출하여 비슷한 학들끼리 군집을 실시한다. 아이디(ID)를 기본으로 공부 습관에 관한 변인들을 추출 한다. 추출된 변인은 아이디를 제외하고 17개의 변인이다. 표 1은 17개의 변인과 변인설명, 그리고 변인값을 나타낸다.

표 1의 변인을 기준으로 2351명의 아이디를 포함한 18개의 변인에 대한 평가한 값을 추출한다. 추출한 자료는 결측치가 없었으므로 그대로 결측치를 처리하지 않고 사용한다. 표 2는 17개의 변인에 대해 중학교 1학년의 학생들이 평가한 값의 예를 나타낸다.

반면, 표 2의 자료를 가공하지 않고 학생이 평가한 값을 기준으로 군집할 경우 값의 가중치가 다른 변인들과 비교하여 상대적으로 얼마나 큰가 작은가를 반영할 수 없으므로 비슷한 학생을 찾았을 경우 정확도가 낮아진다. 예를 들어, 표 2에서 ID 14201의 INT2A07w1은 ‘2’의 값, ID 14204의 INT2A02w1도 ‘2’로 값은 값을 나타낸다. 그러나 INT2A07w1의 ‘2’와 INT2A02w1의 ‘2’는 다른 가중치를 나타낸다. 따라서 변인에 대해 평가한 값이 다른 학생들이 평가한 값과 비교하여 어떤 가중치를 나타내는가를 표시할 필요가 있다. 따라서, 학생이 변인에 대해 평가한 값이 다른 학생들과 비교하였을 경우 상대적으로 어느 정도의 위치에 있는가를 가중하여 군집을 해야 한다. 이와 같이 평가한 값에 대하여 상대적으로 얼마의 가중치를 나타내는가를 계산하기 위하여 정규화를 실시한다.

정규화를 위한 방법으로 z점수(z_score)를 이용하여 원점수의 상대적 위치를 계산한다. z점수란 특정 점수가 평균으로부터 얼마나 떨어져 있는가를 알려주는 함수로 평균과 표준편차를 이용해서 계산하는 일종의 표준점수이다. ‘+’는 특정 점수가 평균보다 클 때를 나타내고, ‘–’는 특정 점수가 평균보다 작을 때를 나타낸다. 자료 집합의 모든 원소에 대해 각각의 z점수를 계산하여 자료를 정규화한다.

이와 같이 정규화된 결과는 서로 다른 변인들의 평가값에 대해 서로 상대적인 비교를 가능하게 한다. z점수의 평균은 항상 0, 표준편차는 1을 나타낸다. 표 3은 표 2를 z점수에 의하여 정규화한 결과를 나타낸다.

표 3과 같이 정규화를 한 후 Kmeans 알고리즘에 의하여 중학교 1학년 자료를 5개의 군집으로 분류한다. 군집 결과, 각 그룹의 크기는 602, 329, 299, 408, 713 등이다. 그림 2는 군집된 5개의 그룹에 대한 결과를 나타낸다. 그림 2와 같이 군집된 그룹을 그래프로 나타내기 위하여 17개의 변인 중 표준편차가 큰 10개의 변인을 추출하고, 그 중 5개 변인에 대한 평가값의 평균을 PC1으로 지정한다, 그리고, PC2는 나머지 5개의 변인에 대한 평가값의 평균을 나타낸다.

Fig. 2. 
Five groups clustered by Kmeans algorithm

표 4는 그림 2와 같이 군집된 그룹의 각 변인에 대한 중앙값을 나타낸다. 표 5는 표 4를 기반으로 분석한 각 그룹별 특징과 학습 습관이 좋은 순위를 나타낸다.

표 5에서 군집된 각 그룹별 특징의 특이사항을 보면 학습 습관이 가장 좋은 Group2의 경우 학업시간 관리를 비롯한 모든 변인이 대부분 우수하나 학교 공부의 중요성에 대해서는 다소 낮은 평가를 하였다. Group3은 전반적으로 학습 습관이 가장 좋지 않으나 자기 통제 항목에서는 Group1보다는 높은 평가를 하였다.

2010년 중학교 1학년의 데이터를 기반으로 비슷한 학습 습관을 갖는 5개의 그룹으로 군집된 학생들이 중학교 3학년이 되는 2012년도에는 각 그룹의 학생들이 국어, 수학, 영어, 과학에 대하여 어떠한 성적 분포를 나타내는가를 분석할 수 있다. 표 6은 2012년도인 중학교 3학년 학생들의 성적 분포를 분석하기 위하여 추출한 변인과 변인 설명을 나타낸다.

표 7은 2010년의 자료에 기반하여 그림 2와 같이 군집된 학생들이 중학교 3학년이 되는 2012년도에 국어, 수학, 영어, 과학에 대해 평가한 각 과목의 평균을 나타내는 표이다. 표 5의 학생들에 비하여 Group1은 36명, Group2는 21명, Group3은 25명, Group4는 15명, 그리고 Group5는 35명의 학생이 평가를 하지 않아서 중학교 1학년 자료에 비하여 그룹의 크기가 감소하였다. 표 6과 표 7을 비교하면 학습 습관이 우수한 학생들의 그룹인 Group2가 중학교 3학년이 되었을 때도 모든 성적이 가장 높았으며, 학습 습관이 가장 안좋은 그룹인 Group3의 경우 성적이 최하위였다. 그림 3은 표 7을 기반으로 그려진 그룹별 4과목의 평균을 나타낸다. 그림 3에서 4과목 중 수학 과목은 국어 과목과 비교하였을 때 학습 습관이 가장 좋았던 Group2에서는 국어와 수학의 차이가 다른 그룹보다 작다는 것을 알 수 있다. 즉, 학습 습관의 영향을 가장 많이 받는 과목은 수학이며, 학습 습관에 가장 적게 영향을 받는 과목은 국어라는 것을 알 수 있다.

Fig. 3. 
Average of 4 subjects by group

다음으로, 2015년 고등학교 3학년과 2016년 대학교 1학년이 평가한 여러 변인 중 학습성취도에 관한 변인 7개와 6개를 각각 추출하여 비슷한 학생들끼리 군집된 그룹의 학생들이 어떠한 학습성취도를 나타내는가를 분석하였다. 표 8은 고등학교 3학년 자료로부터 추출한 7개 변인과 대학교 1학년 자료로부터 추출한 6개의 변인을 나타낸다.

표 8의 변인을 기준으로 학습성취도와 삶의 만족도를 고등학교 3학년 때와 대학1학년으로 구분하여 그룹별로 비교한다. 고등학교 3학년이 되는 자료는 중학교 3학년 학생들의 자료에 비하여 Group1은 26명, Group2는 34명, Group3은 33명, Group4는 19명, 그리고 Group5는 51명의 학생이 평가를 하지 않아서 중학교 3학년 자료에 비하여 그룹의 크기가 감소하였다. 또한, 대학교 1학년이 되는 자료도 고등학교 3학년 학생들의 자료에 비하여 Group1은 182명, Group2는 92명, Group3은 90명, Group4는 128명, 그리고 Group5는 213명의 학생이 평가를 하지 않아서 자료의 수가 대폭으로 감소하였다. 고등학생이 대학생이 되면서 재수를 하는 학생들이 발생하는 등 평가를 하지 못한 여러 가지 원인이 있을 것으로 추정한다.

표 9는 고등학교 3학년 자료와 대학교 1학년 자료 중 표 8의 변인에 대해 평가한 값의 평균을 나타낸다. 그림 4는 표 9에서 2015년도 고등학교 3학년 자료의 그룹별 학습성취도 및 삶의 만족도의 변인에 대한 그룹 별 평균을 나타낸다.

Fig. 4. 
Achievement of learning by group for high school 3rd grade data

그림 4에서 중학교 1학년 때의 학습 습관은 고등학교 3학년이 되었을 때도 연관이 되어서 학습 습관이 좋았던 학생의 학습성취도가 고등학교 3학년 때도 높았다. 특히, 성적의 주관적 평가 변인에서 Group2에 속한 학생들이 평가한 값의 평균이 다른 그룹들과 비교할 때 현저하게 높았다. 그러나 숙제를 빠짐없이 하는 부분에서는 다른 그룹에 비하여 높지 않은 평가를 하였다. 또한, 성적의 만족도 변인에서는 Group2가 다소 높긴 하지만 전반적으로 모든 그룹의 학생들이 현재의 성적보다 향상되기를 희망하였다.

그림 5는 표 9에서 2016년도 대학교 1학년 자료 중 대학 및 전공 만족도의 변인에 대한 그룹별 평균을 나타낸다. 표 10은 비슷한 학습 습관의 학생들이 고등학교 3학년과 대학교 1학년이 되었을 경우의 학습성취도를 기술한 표이다.

Fig. 5. 
The comparison of university satisfaction for the first grade at university

그림 2와 같이 군집된 학생들을 기반으로 각 그룹의 특징 벡터를 추출할 수 있다. 그룹의 특징을 추출하기 위해 중학교 1학년이 학생들이 학습 습관에 대해 평가한 17개의 각 평가 문항에 대해 평가한 값을 가중치로 정의한다. 각 그룹의 학생들이 문항에 대해 평가한 값의 각 항목 별 평균을 사용하여 17개의 변인으로 이루어진 특징 벡터를 산출한다. 식 (2)는 학생이 평가한 변인에 대해 평가한 값을 행렬 V_ck로 나타낸 식이다. V_ck는 k번째 군집에 속한 n명의 학생과 m개의 변인으로 구성된 행렬이다. 식 (2)에서 v_ckij는 i번째 학생이 변인 j에 대해 평가한 값이다.

식 (2)에서와 같이 k번째 군집에 속한 학생이 평가한 변인에 대해 평가한 값을 행렬 V_ck로 나타냈을 경우 k번째 그룹의 특징을 나타내기 위한 요소를 식 (3)으로 표현할 수 있다.

식 (4)은 k번째 그룹의 특징을 나타낸다. 식 (4)에서 w_ckINT2A01w1은 식 (3)과 같이 INT2A01w1의 변인에 대하여 k번째 군집의 학생들이 이 변인에 대하여 평가한 값의 평균을 나타낸다.

표 11은 식 (2), 식 (3), 식 (4)을 이용하여 정의한 그룹별 특징 벡터를 나타낸다.

중학교 1학년인 새로운 학생이 표 1의 변인에 대해 평가를 하였을 경우, 표 11과 같이 추출된 그룹의 특징을 기반으로 이 학생을 가장 성향이 비슷한 그룹으로 분류한다. 이 학생이 분류된 그룹의 학생들의 속성을 기반으로 이 학생이 중학교 3학년, 고등학교 3학년, 고등학교를 졸업한 후 대학에 간 경우의 학습성취도와 대학 및 전공 만족도를 예측할 수 있다.

실험 자료는 한국아동·청소년패널조사 자료를 이용하였다. 2010년도 중학교 1학년 2351명이 17개의 변인에 대하여 평가한 자료를 기반으로 하여 1500명은 훈련 집합, 나머지 851은 테스트집단으로 분류하였다. 1500명의 훈련 집합에 대하여 학생들이 17개의 변인에 대하여 평가한 자료를 기반으로 학생들을 군집하고, 군집된 그룹을 분석한다. 그리고 나머지 851명을 대상으로 분석한 그룹을 기반으로 학습성취도를 예측하고 정확도를 평가한다.

예측의 정확도를 평가하기 위하여 RMSE(Root Mean Squared Error)을 사용하였다. RMSE 척도는 예측의 정확도를 평가하는 척도인 MAE(Mean Absolute Error)보다 상대적으로 큰 오차에 민감한 특성을 갖으며, 추천과 예측 시스템의 정확도를 평가하는 데 유리한 척도이다[17].

식 (8)에서 N은 총 예측한 변인 수, ϵ_i는 i번째 변인의 예측 평가값과 실제 평가값 사이의 오차이다.

본 논문에서 제안한 방법(Cluster_Cos)의 성능을 평가하기 위해 테스트 집합 학생 851명을 대상으로 중학교 1학년 때 17개의 변인에 대해 평가한 값을 기반으로 각 그룹으로 분류하고, 분류된 그룹의 학생들 중 K명의 이웃을 선정한다. K명의 이웃을 기반으로 테스트 집합의 학생들이 학습성취도에 관한 변인에 대하여 평가할 값을 예측하였다. 그리고 식 (8)을 이용하여 예측한 값과 실제로 평가한 값이 얼마의 차이가 있는가를 계산하고 그 정확도를 평가하였다. 표 16은 이웃의 수 K의 값을 변경함에 따라 본 논문에서 제안한 Cluster_Cos방법, Cluster_Eu, 그리고 Cluster_P방법의 예측 정확도를 비교한 표이다. 그림 6은 중학교 3학년 성적에 대한 예측의 정확도를 식 (8)을 이용하여 비교한 그림이다. 그림 7은 고등학교 3학년 학습성취도에 대한 예측의 정확도를 비교하였으며, 그림 8은 대학교 1학년의 대학 및 전공 만족도에 대한 예측의 정확도를 비교하였다.

Fig. 6. 
Accuracy of predicting scores for the third grade at middle school

Fig. 7. 
Accuracy of predicting learning achievement for the third grade at high school

Fig. 8. 
Accuracy of predicting university satisfaction for the first grade at university and major

표 16과 그림 6에서 보면, 중학교 3학년 성적에 대한 예측의 정확도는 Cluster_Cos 방법이 가장 정확하였으며, Cluster_Eu의 방법은 안정적이기는 하나 Cluster_P의 방법보다 정확도가 낮았다. 또한, 그림 7에서와 같이 고등학교 3학년의 학습성취도는 중학교 3학년 성적에 대한 예측의 정확도보다 높았으며, 중학교 3학년대상 실험의 성능과 같이 Cluster_Cos의 방법이 정확도가 높았다. 마지막으로 대학교 1학년의 대학 및 전공에 대한 만족도에 대한 예측은 고등학교 3학년의 학습성취도를 예측한 경우의 정확도보다 높았으며 다른 경우와 같이 Cluster_Cos의 방법이 정확도가 높았다. 결론적으로 중학교 3학년, 고등학교 3학년, 대학교 1학년으로 올라오면서 변인을 평가하는 학생들의 수가 줄어들면서 보다 평가를 정확하게 하는 이웃들이 증가함에 따라 정확도가 높아진다는 것을 알 수 있다. 또한, 한국아동·청소년패널조사 자료와 같이 학습 자료에 희소성이 거의 없는 자료를 대상으로 유사도를 측정하는 방법은 피어슨 상관 계수를 이용한 방법이나 유클리드 거리를 이용하는 방법보다 코사인 유사도를 이용한 방법이 정확도가 높다는 결과를 보였다. 유클리드 거리를 이용한 방법은 피어슨 상관 계수보다는 정확도가 낮으나 안정적인 결과를 보였다.