Journal Archive

강의 환경에서 학생들이 강의 내용을 잘 습득하고 있는지를 파악하는 것은 교수자에게 중요하다. 학생들과 실시간으로 소통을 할 수 있는 현장형 및 실시간 강의의 경우 교수자가 수업을 진행하며 학생들의 행동 혹은 자세를 관찰함으로써 학생이 수강에 어려움을 느끼지는 않는지 같은 상태를 파악하는 것이 가능하다. 최근 COVID-19의 대유행[1]과 인터넷 기술의 발달은 학교, 회사 등 전반적인 산업에 대해 온라인 형태로의 전환을 크게 앞당겼으며, 그중 K-MOOC[2], Coursera[3], Udacity[4]와 같은 다양한 온라인 교육 플랫폼은 온라인 교육 시장을 활성화하는 데에 중요한 역할을 하고 있다. 이러한 온라인 강의 플랫폼을 활용한 강의는 대부분 녹화형 강의이기 때문에 강의를 하는 교수자와 강의를 듣는 학생 간에 시공간적인 차이가 존재하며, 이 때문에 교수자는 강의를 듣고 있는 학생의 상태를 파악하는 것이 어렵다.

온라인 강의 학습자의 감정 상태를 파악하려는 연구가 있었는데, 대부분의 기존 연구는 카메라를 활용하여 학습자의 얼굴을 촬영하거나 다양한 외부 센서 기기를 사용하는 방식을 제안했다. 논문[5]은 학습자의 얼굴과 마우스 조작 상태 등을 이용하여 온라인 강의 학습자의 부주의(In-attention) 상태를 파악하고, 학습자에게 알람을 주는 시스템을 개발하였다. 하지만, 논문[5]에 보고된 것처럼 카메라로 학습자의 얼굴을 모니터링하는 경우 ‘프라이버시 침해에 관한 우려 때문에 학습에 방해가 된다’는 제한점이 존재한다. 논문[6]과 논문[7]의 연구에서는 각각 압력 센서가 부착된 의자를 활용하거나, 헤드 마운트 형 EEG 측정 기기를 활용하여 학습자의 감정 혹은 인지 상태를 파악하였다. 환경에 설치된 센서 기기를 활용하는 기술은 사용할 수 있는 장소에 시간에 제약이 존재하는 문제가 있고, EEG 센서와 같이 사용자들이 일반적으로 사용하지 않는 특수한 기기를 사용하는 방법은 활용 가능성 측면에서 제한이 있다.

본 논문에서는 기존 연구의 제약점을 극복하고 온라인 강의 학습자의 상태를 파악하는 데 도움이 될 수 있도록 손목시계 형태의 웨어러블 디바이스에서 수집되는 생리 신호 데이터를 이용하여 온라인 강의 학습자의 감정 상태를 파악하는 방법을 제안한다. 손목시계 형태의 웨어러블 디바이스는 사람들에게 친숙하여 학습자에게 착용의 불편함을 초래하지 않으며, 생리 신호 데이터는 카메라를 활용한 기술보다는 프라이버시 침해에 관한 우려가 적은 데이터이다.

본 연구에서 파악하고자 하는 온라인 학습자의 감정 상태는 좌절감(Frustration)이다. 강의를 듣는 학습자가 학습 내용이 어렵거나 잘 이해가 되지 않으면 좌절감을 느낄 수 있고, 학습자가 지속하여 강의에 대해 좌절감을 느끼게 된다면 강의를 듣는 것을 계속하지 못하고 중도 포기할 가능성이 존재한다. 온라인 강의 도중 학습자가 느끼는 좌절감을 빠르게 알아낼 수 있다면, 학습자가 강의 내용을 이해하지 못한다거나 추가적인 도움이 필요하다는 것을 알 수 있는 중요한 정보가 될 수 있다.

본 연구에서 학습자의 좌절감 상태를 파악하기 위해 PPG(Photoplethysmography) 데이터와 EDA(Electrodermal Activity) 데이터를 이용한다. PPG와 EDA 데이터를 수집하는 센서는 최신의 스마트 워치 혹은 스마트 밴드에서 사용자의 건강 상태 혹은 운동 여부 등을 파악하기 위해 탑재되는 경우가 많이 있다 [8][9][10]. 제안하는 방법은 센서 퓨전 기술을 기반으로 1) PPG 데이터와 EDA 데이터에서 각각 특징을 추출하고, 2) 추출된 PPG 특징과 EDA 특징을 융합 이용하여 학습된 기계 학습 모델을 통해 학습자의 좌절감을 세 수준으로 분류한다. F1 점수를 평가지표로 하여 10-겹 교차검증을 통해 분류 성능을 평가한 결과 0.75의 F1 점수를 보였다.

본 논문은 다음과 같이 구성되었다. 다음 섹션에서는 온라인 강의 학습자의 상태를 파악하고자 한 기존의 기술에 대해 알아보고, 각 기술의 한계점을 기술한다. 섹션 3에서는 제안하는 방법을 소개하고, 온라인 강의 학습자의 감정 상태 분류 모델을 만들기 위한 데이터 수집 방법과 절차를 설명한다. 섹션 4에서는 구현된 기술에 대한 성능 평가 방법과 그 결과를 서술하고, 섹션 5에서 결론을 맺는다.

온라인 강의 학습자의 상태를 알아내는 기존의 연구는 크게 카메라의 영상 데이터를 이용하는 방법과 부가적인 센서 기기를 활용한 방법으로 나누어진다. 많은 연구에서 온라인 강의 학습자의 상태를 파악하는 방법으로 웹캠에서 수집되는 영상 데이터를 활용하였다. 얼굴은 학습자의 감정 혹은 인지 상태가 가장 잘 나타나는 곳이라고 할 수 있다. 논문[5]에서는 학습자의 얼굴과 마우스 조작 상태 등을 이용해서 온라인 강의 학습자의 부주의 (In-attention) 상태를 파악하고 학습자에게 적절한 알람을 주어 강의에 집중할 수 있도록 도와주는 시스템을 개발하고, 이를 실제 사용자들이 사용할 수 있게 하였다. 논문[11]의 연구에서도 웹캠을 이용해 학습자의 표정을 인식해 온라인 강의 학습자의 감정 상태(Engagement, Frustration)를 파악하는 자바 튜터링 프로그램을 제안하였다.

웹캠을 사용한 시스템뿐만 아니라 스마트폰의 카메라를 활용한 연구도 존재한다. 논문[12][13]의 연구에서는 스마트폰을 활용하여 온라인 강의를 수강하는 학습자의 상태를 파악하기 위해, 스마트폰의 전면 카메라와 후면 카메라를 이용하였다. 이 연구에서 파악하고자 한 것은 6가지의 감정 상태(Boredom, Confusion, Curiosity, Frustration, Happiness, Self-efficacy)이었다. 이를 위해 전면 카메라로 얼굴을 인식하고 후면 카메라로 사용자의 손가락에서 PPG 신호를 수집하여 활용하는 방법을 제안하였다.

카메라를 사용하여 얼굴을 인식하는 기술은 학습자의 상태를 파악하는 데에 효과적인 방법일 수 있지만, 학습자의 학습에 방해 요소로 작용할 수 있다. 논문[5]의 연구에서 제안하는 시스템을 사용한 사용자의 과반수(67%)가 프라이버시 침해가 우려되어 웹캠 기반 시스템을 사용하는 것이 꺼려진다고 답을 하였다. 본 논문에서는 손목 착용형 기기에서 수집되는 생리 신호 데이터를 활용함으로써, 학습자의 프라이버시 침해 우려를 최소화하도록 하였다.

부가적인 센서를 이용하여 온라인 강의 학습자의 상태를 파악한 연구도 존재한다. 온라인 학습자의 상태를 파악하기 위한 센서로 가장 많이 사용된 센서 종류는 생리 신호 센서이다. 생리 신호 센서는 온라인 강의를 수강하는 학습자의 생리 신호의 변화를 감지하여 학습자의 상태를 파악하며, 대표적인 센서는 PPG, EDA, EEG, ECG 센서 등이 있다. 논문[14]에서는 손목 밴드 형태의 EDA 센서로부터 수집되는 데이터를 활용하여 학습자의 감정 상태를 파악하고자 하였다. 논문[7]에서는 머리에 착용하는 EEG 센서로부터 수집되는 정보를 활용하여 학습자의 집중(Attention) 상태를 파악하고자 하였다. 논문[6]은 압력 센서가 부착된 의자 형태의 기기를 사용하여 학습자의 관심도(Interest level)를 알아내고자 하였다. 이를 위해 의자의 압력 센서를 이용하여 학습자의 자세 정보를 분석하였다. 센서를 사용한 기존 연구 대부분은 단일 센서를 사용하거나[6][7][14], 온라인 학습에 불편함을 줄 수 있는 별도의 기기를 사용한다.

본 연구에서 제안하는 손목시계 형태의 웨어러블 디바이스 기반의 감정 상태 분석 방법은 평소에 시계를 착용하는 학습자라면 강의 수강에 불편함이 별로 없을 것이다. 또한, 기존 연구에서는 주로 단일 센서를 이용하여 상태를 파악하고자 하였으나 본 논문에서는 2개의 센서를 퓨전하여 사용하는 방법을 적용하여 성능을 개선하고자 하였다.

본 연구는 손목시계 형태의 기기에서 수집되는 생리 신호 데이터(PPG, EDA)를 이용해서 온라인 강의 학습자의 좌절감을 파악하는 것을 목표로 한다. 제안하는 방법의 구성 요소는 Fig. 1과 같다. 본 연구에서 사용한 웨어러블 센서 기기는 Empatica E4이며, 이 기기는 기존 연구에서 모바일 게임 플레이어의 engagement를 측정하는 데 사용되었다[15].

Fig. 1. 
Processing pipeline

3-1부터 3-3에서는 각 구성 요소를 설명하고 3-4에서는 본 연구를 위한 데이터 수집 방법과 절차를 설명한다.

본 논문에서는 PPG, EDA 센서 데이터를 기반으로 온라인 강의 학습자의 강의 시청 중 느끼는 좌절감을 인식하는 방법을 제안하였다. 두 센서를 퓨전하여 온라인 학습자의 좌절감을 세 단계 분류하는 모델을 만들었으며, 10겹 교차검증을 통해 평균 F1 점수 0.75의 성능을 보임을 나타내었다. 본 논문에서 제안하는 방법은 손목시계 형태의 디바이스에서 수집되는 센서 데이터를 활용함으로써 카메라를 사용한 방법과 비교하여 프라이버시 침해 우려를 감소할 수 있을 것으로 기대된다. 또한, 단일 생리 센서를 사용하는 것과 비교하여 센서 퓨전 방법은 더 나은 성능을 보임을 확인하였다.

본 연구의 의의는 다음과 같다. 연구 결과를 바탕으로 온라인 강의를 듣는 학습자가 좌절감을 느끼는 것을 학습 도중 알 수 있다면, 학습자가 학습 내용을 어려워하거나 잘 이해하지 못하고 있다는 것을 파악할 수 있다. 이런 상태가 지속해서 나타난다면 학습을 중도 포기할 가능성이 존재하므로 사전에 개입이 필요할 수 있다. 학습자의 좌절감 상태를 자동으로 감지하는 방법이 온라인 학습 시스템에 통합이 된다면, 학습자에게 관련 정보를 제공해주는 것은 물론, 강의자에게도 학습자 현황 통계 정보 등을 제공하여 강의자가 학습자에게 적절한 도움을 주도록 환기하는 것이 가능해질 것이다.

본 연구의 한계와 그에 따른 향후 연구과제로서 다음과 같은 것들이 있다. 첫째, 더 많은 실험 참가자와 다양한 전공, 나이의 참가자를 대상으로 하는 실험과 장기간에 걸친 실험을 할 필요가 있다. 본 실험에서는 9명의 컴퓨터공학 전공 대학생을 대상으로 하고 온라인 강의도 컴퓨터 분야의 강의를 사용하였으나, 다른 전공 분야의 학생을 대상으로 하는 실험에서도 유사한 결과가 나올지 검증이 필요하다. 그리고 온라인 강의는 대학생뿐만 아니라 초중고교 학생들도 많이 듣기 때문에 다른 연령대의 학생을 대상으로 하는 연구도 필요하다. 또한, 현재 결과는 3번의 온라인 강의를 듣는 동안의 데이터를 이용했으나, 수일 혹은 그 이상의 더 긴 기간에 걸친 결과 분석이 필요할 것이다.

둘째, 본 연구에서는 온라인 학습자의 감정 상태 중 좌절감(frustration) 상태를 세 단계로 분류하는 방법을 기술했으나, 기존 다른 연구에서 다루었던 다양한 감정 상태, 예를 들어, 부주의(in-attention), 관심도(interest), 지루함(boredom) 등을 포괄하여 감지하는 방법에 관한 연구도 필요하다. 이를 통해 온라인 강의 학습자 혹은 강의자를 지원할 수 있는 애플리케이션을 좀 더 유용하게 만들 수 있을 것이다.

셋째, 본 연구 결과를 바탕으로 실제 학습자에게 도움이 될 수 있는 학습 지원 시스템 및 애플리케이션을 연구 개발하는 것도 중요한 향후 과제이다. 온라인 강의 학습 도중 학습자의 높은 좌절감이 감지된다면, 해당 강의의 학습에 어려움을 느끼는 것으로 판단할 수 있으므로 이 정보를 강의자에 전달하여 보충 설명을 제공하도록 하거나, 학습자와 강의자 사이에 질의응답을 위한 커뮤니케이션 채널을 제공하는 서비스를 제공하는 것이 가능할 것이다. 온라인 학습자의 요구를 파악하여 효과적인 학습자 지원 서비스의 핵심 기능을 정의하고 이를 개발하기 위한 연구를 수행하는 것은 실용적인 연구가 될 것이다. 그리고 이러한 서비스는 기존 온라인 강의 시스템에 효과적으로 통합이 될 필요가 있고 이와 관련한 추가 연구도 필요하다.