생리 신호 센서 퓨전을 이용한 온라인 강의 학습자의 좌절감 상태 인식 방법

Ⅰ. 서 론¹⁾

강의 환경에서 학생들이 강의 내용을 잘 습득하고 있는지를 파악하는 것은 교수자에게 중요하다. 학생들과 실시간으로 소통을 할 수 있는 현장형 및 실시간 강의의 경우 교수자가 수업을 진행하며 학생들의 행동 혹은 자세를 관찰함으로써 학생이 수강에 어려움을 느끼지는 않는지 같은 상태를 파악하는 것이 가능하다. 최근 COVID-19의 대유행[1]과 인터넷 기술의 발달은 학교, 회사 등 전반적인 산업에 대해 온라인 형태로의 전환을 크게 앞당겼으며, 그중 K-MOOC[2], Coursera[3], Udacity[4]와 같은 다양한 온라인 교육 플랫폼은 온라인 교육 시장을 활성화하는 데에 중요한 역할을 하고 있다. 이러한 온라인 강의 플랫폼을 활용한 강의는 대부분 녹화형 강의이기 때문에 강의를 하는 교수자와 강의를 듣는 학생 간에 시공간적인 차이가 존재하며, 이 때문에 교수자는 강의를 듣고 있는 학생의 상태를 파악하는 것이 어렵다.

온라인 강의 학습자의 감정 상태를 파악하려는 연구가 있었는데, 대부분의 기존 연구는 카메라를 활용하여 학습자의 얼굴을 촬영하거나 다양한 외부 센서 기기를 사용하는 방식을 제안했다. 논문[5]은 학습자의 얼굴과 마우스 조작 상태 등을 이용하여 온라인 강의 학습자의 부주의(In-attention) 상태를 파악하고, 학습자에게 알람을 주는 시스템을 개발하였다. 하지만, 논문[5]에 보고된 것처럼 카메라로 학습자의 얼굴을 모니터링하는 경우 ‘프라이버시 침해에 관한 우려 때문에 학습에 방해가 된다’는 제한점이 존재한다. 논문[6]과 논문[7]의 연구에서는 각각 압력 센서가 부착된 의자를 활용하거나, 헤드 마운트 형 EEG 측정 기기를 활용하여 학습자의 감정 혹은 인지 상태를 파악하였다. 환경에 설치된 센서 기기를 활용하는 기술은 사용할 수 있는 장소에 시간에 제약이 존재하는 문제가 있고, EEG 센서와 같이 사용자들이 일반적으로 사용하지 않는 특수한 기기를 사용하는 방법은 활용 가능성 측면에서 제한이 있다.

본 논문에서는 기존 연구의 제약점을 극복하고 온라인 강의 학습자의 상태를 파악하는 데 도움이 될 수 있도록 손목시계 형태의 웨어러블 디바이스에서 수집되는 생리 신호 데이터를 이용하여 온라인 강의 학습자의 감정 상태를 파악하는 방법을 제안한다. 손목시계 형태의 웨어러블 디바이스는 사람들에게 친숙하여 학습자에게 착용의 불편함을 초래하지 않으며, 생리 신호 데이터는 카메라를 활용한 기술보다는 프라이버시 침해에 관한 우려가 적은 데이터이다.

본 연구에서 파악하고자 하는 온라인 학습자의 감정 상태는 좌절감(Frustration)이다. 강의를 듣는 학습자가 학습 내용이 어렵거나 잘 이해가 되지 않으면 좌절감을 느낄 수 있고, 학습자가 지속하여 강의에 대해 좌절감을 느끼게 된다면 강의를 듣는 것을 계속하지 못하고 중도 포기할 가능성이 존재한다. 온라인 강의 도중 학습자가 느끼는 좌절감을 빠르게 알아낼 수 있다면, 학습자가 강의 내용을 이해하지 못한다거나 추가적인 도움이 필요하다는 것을 알 수 있는 중요한 정보가 될 수 있다.

본 연구에서 학습자의 좌절감 상태를 파악하기 위해 PPG(Photoplethysmography) 데이터와 EDA(Electrodermal Activity) 데이터를 이용한다. PPG와 EDA 데이터를 수집하는 센서는 최신의 스마트 워치 혹은 스마트 밴드에서 사용자의 건강 상태 혹은 운동 여부 등을 파악하기 위해 탑재되는 경우가 많이 있다 [8][9][10]. 제안하는 방법은 센서 퓨전 기술을 기반으로 1) PPG 데이터와 EDA 데이터에서 각각 특징을 추출하고, 2) 추출된 PPG 특징과 EDA 특징을 융합 이용하여 학습된 기계 학습 모델을 통해 학습자의 좌절감을 세 수준으로 분류한다. F1 점수를 평가지표로 하여 10-겹 교차검증을 통해 분류 성능을 평가한 결과 0.75의 F1 점수를 보였다.

본 논문은 다음과 같이 구성되었다. 다음 섹션에서는 온라인 강의 학습자의 상태를 파악하고자 한 기존의 기술에 대해 알아보고, 각 기술의 한계점을 기술한다. 섹션 3에서는 제안하는 방법을 소개하고, 온라인 강의 학습자의 감정 상태 분류 모델을 만들기 위한 데이터 수집 방법과 절차를 설명한다. 섹션 4에서는 구현된 기술에 대한 성능 평가 방법과 그 결과를 서술하고, 섹션 5에서 결론을 맺는다.

Ⅱ. 관련 연구

온라인 강의 학습자의 상태를 알아내는 기존의 연구는 크게 카메라의 영상 데이터를 이용하는 방법과 부가적인 센서 기기를 활용한 방법으로 나누어진다. 많은 연구에서 온라인 강의 학습자의 상태를 파악하는 방법으로 웹캠에서 수집되는 영상 데이터를 활용하였다. 얼굴은 학습자의 감정 혹은 인지 상태가 가장 잘 나타나는 곳이라고 할 수 있다. 논문[5]에서는 학습자의 얼굴과 마우스 조작 상태 등을 이용해서 온라인 강의 학습자의 부주의 (In-attention) 상태를 파악하고 학습자에게 적절한 알람을 주어 강의에 집중할 수 있도록 도와주는 시스템을 개발하고, 이를 실제 사용자들이 사용할 수 있게 하였다. 논문[11]의 연구에서도 웹캠을 이용해 학습자의 표정을 인식해 온라인 강의 학습자의 감정 상태(Engagement, Frustration)를 파악하는 자바 튜터링 프로그램을 제안하였다.

웹캠을 사용한 시스템뿐만 아니라 스마트폰의 카메라를 활용한 연구도 존재한다. 논문[12][13]의 연구에서는 스마트폰을 활용하여 온라인 강의를 수강하는 학습자의 상태를 파악하기 위해, 스마트폰의 전면 카메라와 후면 카메라를 이용하였다. 이 연구에서 파악하고자 한 것은 6가지의 감정 상태(Boredom, Confusion, Curiosity, Frustration, Happiness, Self-efficacy)이었다. 이를 위해 전면 카메라로 얼굴을 인식하고 후면 카메라로 사용자의 손가락에서 PPG 신호를 수집하여 활용하는 방법을 제안하였다.

카메라를 사용하여 얼굴을 인식하는 기술은 학습자의 상태를 파악하는 데에 효과적인 방법일 수 있지만, 학습자의 학습에 방해 요소로 작용할 수 있다. 논문[5]의 연구에서 제안하는 시스템을 사용한 사용자의 과반수(67%)가 프라이버시 침해가 우려되어 웹캠 기반 시스템을 사용하는 것이 꺼려진다고 답을 하였다. 본 논문에서는 손목 착용형 기기에서 수집되는 생리 신호 데이터를 활용함으로써, 학습자의 프라이버시 침해 우려를 최소화하도록 하였다.

부가적인 센서를 이용하여 온라인 강의 학습자의 상태를 파악한 연구도 존재한다. 온라인 학습자의 상태를 파악하기 위한 센서로 가장 많이 사용된 센서 종류는 생리 신호 센서이다. 생리 신호 센서는 온라인 강의를 수강하는 학습자의 생리 신호의 변화를 감지하여 학습자의 상태를 파악하며, 대표적인 센서는 PPG, EDA, EEG, ECG 센서 등이 있다. 논문[14]에서는 손목 밴드 형태의 EDA 센서로부터 수집되는 데이터를 활용하여 학습자의 감정 상태를 파악하고자 하였다. 논문[7]에서는 머리에 착용하는 EEG 센서로부터 수집되는 정보를 활용하여 학습자의 집중(Attention) 상태를 파악하고자 하였다. 논문[6]은 압력 센서가 부착된 의자 형태의 기기를 사용하여 학습자의 관심도(Interest level)를 알아내고자 하였다. 이를 위해 의자의 압력 센서를 이용하여 학습자의 자세 정보를 분석하였다. 센서를 사용한 기존 연구 대부분은 단일 센서를 사용하거나[6][7][14], 온라인 학습에 불편함을 줄 수 있는 별도의 기기를 사용한다.

본 연구에서 제안하는 손목시계 형태의 웨어러블 디바이스 기반의 감정 상태 분석 방법은 평소에 시계를 착용하는 학습자라면 강의 수강에 불편함이 별로 없을 것이다. 또한, 기존 연구에서는 주로 단일 센서를 이용하여 상태를 파악하고자 하였으나 본 논문에서는 2개의 센서를 퓨전하여 사용하는 방법을 적용하여 성능을 개선하고자 하였다.

Ⅲ. 웨어러블 센서 기반 감정 상태 분석 방법

본 연구는 손목시계 형태의 기기에서 수집되는 생리 신호 데이터(PPG, EDA)를 이용해서 온라인 강의 학습자의 좌절감을 파악하는 것을 목표로 한다. 제안하는 방법의 구성 요소는 Fig. 1과 같다. 본 연구에서 사용한 웨어러블 센서 기기는 Empatica E4이며, 이 기기는 기존 연구에서 모바일 게임 플레이어의 engagement를 측정하는 데 사용되었다[15].

Fig. 1.

Processing pipeline

3-1부터 3-3에서는 각 구성 요소를 설명하고 3-4에서는 본 연구를 위한 데이터 수집 방법과 절차를 설명한다.

3-2 Physiological feature extractor

Physiological feature extractor는 입력된 PPG 데이터와 EDA 데이터에서 특징을 추출한다. 각 센서 데이터의 특징은 강의 슬라이드 단위로 추출된다. 일반적인 강의에서는 강의 슬라이드마다 소요 시간이 다르므로 슬라이드 시간에 따라 달라지는 특징은 강의 슬라이드 시간으로 나누어 정규화하였다.

1) PPG signal feature extraction

PPG 데이터에서 추출되는 특징은 표 1과 같으며, 시간-도메인 특징과 주파수-도메인 특징으로 구분된다. 이러한 특징은 PPG 데이터를 이용한 특징 추출 방법을 연구한 기존 논문[16]을 참고하여 추출되었다.

Table 1.

PPG features

2) EDA signal feature extraction

EDA 데이터에서 추출되는 특징은 표 2와 같으며, SCR(Skin Conductance Response) 특징과 페이직 컴포넌트 시리즈 특징으로 구분된다. 본 연구에서 사용된 EDA 데이터 특징은 EDA 데이터를 활용한 기존 논문[15], [17]을 참고하여 추출되었다.

Table 2.

EDA features

3-4 데이터 수집

1) 실험 참가자

실험을 위하여 총 9명의 실험 참가자(성별 – 남 5, 여 4, 나이 – 평균: 24.4, 표준 편차: 3.8)를 모집하였다. 참가자들은 모두 컴퓨터 공학을 전공하는 학생들로, 모두 온라인 강의를 수강해 본 경험이 있었다.

2) 실험용 강의

본 연구에서 온라인 강의 학습자의 생리 신호 데이터 수집을 위해 K-MOOC에서 제공하는 강의를 사용하였다. 실험을 위한 강의는 참가자의 사전 지식과 수준을 고려하여 제공할 수 있도록 표 3과 같이 총 네 개의 강의를 사전에 선정하였다.

Table 3.

The lectures for data collection

3) 실험 절차

실험은 총 세 단계로 이루어진다. 첫째는 준비 단계로, 약 15분간 실험에 관한 설명을 진행하고 실험에 사용되는 웨어러블 센서 기기인 E4를 착용하도록 하였다. 그리고, 약 5분짜리의 인공지능 관련 유튜브 영상을 보게 함으로써 실험 환경에 적응할 수 있도록 하였다. 둘째, 본 실험 단계로 참가자는 총 3개의 강의를 들었다. 이때, 실제 온라인 강의를 듣는 환경과 유사하도록 강의 자료와 필기를 할 수 있는 도구를 이용할 수 있도록 제공하였다. 본 실험 단계에서 표 3의 4개 강의 중 첫 두 개 강의를 듣고 참가자가 느낀 난이도에 따라 세 번째 혹은 네 번째 강의 중 하나를 선택적으로 듣도록 하였다. 셋째, 마지막 단계로 강의를 들은 후에 강의의 모든 슬라이드에 대해 설문지를 작성하였다. 각 강의 중간에 약 5분 정도의 쉬는 시간을 가지도록 하였다.

4) 감정 자가 보고 데이터

본 연구는 온라인 강의 학습자가 느낄 수 있는 감정 상태 중 하나인 좌절감(Frustration)을 파악하는 것을 목표로 한다. 이는 학습자의 감정 상태를 파악하기 위한 기존 연구에서 다루었던 감정 중 한 가지이다[12][13]. 온라인 학습자는 강의 시청 중 내용이 잘 이해가 되지 않거나 모르는 부분이 있으면 좌절감을 느낄 수 있다. 학습자가 느끼는 좌절감의 Ground truth 데이터는 실험 참가자의 자가 보고 설문을 기반으로 생성되었다. 이를 위해 설문 문항을 표 4와 같이 만들었다. 이 설문 문항은 청소년기 학생들의 성취 감정 설문지에 관한 논문[18]을 참고하여 만들어졌다. 각 문항은 5점 척도(1.-매우 그렇지 않다. ~ 5.-매우 그렇다.)로 평가되며, 참가자는 각 강의 슬라이드 별로 설문 문항에 응답하였다. 각 설문 문항 점수의 합계 점수를 해당 슬라이드의 점수로 하였다. 본 연구에서는 좌절감 높음, 보통, 그리고 낮음으로 분류한다. 이를 위해 합계 점수를 5점, 10점 기준으로 나누어, 합계 점수가 10점 이상일 경우 높음, 5점 이상 10점 미만일 경우 보통, 5점 미만일 경우 낮음으로 좌절감 분류 레이블을 할당하였다.

Table 4.

Questionnaire items

Ⅳ. 평가

4-2 평가 결과

감정 상태 분류 모델의 성능은 그림 2와 같으며, 평균 F1 점수는 0.75이다. 감정 상태 분류 모델은 높음, 보통, 그리고 낮음 세 개의 클래스에 대해서 분류할 때 모델의 평균 정밀도와 재현율은 각각 0.75, 0.75이다.

Fig. 2.

Overall performance

본 연구에서 사용한 RBF 커널 SVM 모델 외에 다른 기계 학습 모델을 사용하는 경우의 성능을 비교하였다. 비교 모델은 선형 모델인 선형 SVM(SVM_Linear) 모델, 트리 기반의 앙상블 모델인 Random Forest(RF)이다. 성능 비교 결과는 그림 3과 같으며, RF, 선형 SVM, RBF 커널 SVM 모델의 평균 F1 점수는 각각 0.70, 0.63, 0.75이다. 가장 좋은 결과를 보인 모델은 RBF 커널 SVM 모델이며, 성능이 가장 좋지 않은 모델은 선형 SVM 모델이었다.

Fig. 3.

Comparison of machine learning models

제안 방법은 PPG 센서와 EDA 센서에서 수집되는 데이터를 같이 사용하여 좌절감 상태를 파악하는 것을 목표로 한다. 기존의 단일 센서를 사용했을 때와 제안하는 방법의 성능 차이는 그림 4와 같다. PPG 센서 혹은 EDA 센서 1개만 사용했을 때의 결과는 각각 평균 F1 점수 0.67, 0.51로 나타났다. 반면, 센서 퓨전을 했을 때는 0.75로 단일 센서만 사용한 경우와 비교해 성능이 개선됨을 확인할 수 있었다.

Fig. 4.

Comparison of performance of used sensors

Ⅴ. 결 론

본 논문에서는 PPG, EDA 센서 데이터를 기반으로 온라인 강의 학습자의 강의 시청 중 느끼는 좌절감을 인식하는 방법을 제안하였다. 두 센서를 퓨전하여 온라인 학습자의 좌절감을 세 단계 분류하는 모델을 만들었으며, 10겹 교차검증을 통해 평균 F1 점수 0.75의 성능을 보임을 나타내었다. 본 논문에서 제안하는 방법은 손목시계 형태의 디바이스에서 수집되는 센서 데이터를 활용함으로써 카메라를 사용한 방법과 비교하여 프라이버시 침해 우려를 감소할 수 있을 것으로 기대된다. 또한, 단일 생리 센서를 사용하는 것과 비교하여 센서 퓨전 방법은 더 나은 성능을 보임을 확인하였다.

본 연구의 의의는 다음과 같다. 연구 결과를 바탕으로 온라인 강의를 듣는 학습자가 좌절감을 느끼는 것을 학습 도중 알 수 있다면, 학습자가 학습 내용을 어려워하거나 잘 이해하지 못하고 있다는 것을 파악할 수 있다. 이런 상태가 지속해서 나타난다면 학습을 중도 포기할 가능성이 존재하므로 사전에 개입이 필요할 수 있다. 학습자의 좌절감 상태를 자동으로 감지하는 방법이 온라인 학습 시스템에 통합이 된다면, 학습자에게 관련 정보를 제공해주는 것은 물론, 강의자에게도 학습자 현황 통계 정보 등을 제공하여 강의자가 학습자에게 적절한 도움을 주도록 환기하는 것이 가능해질 것이다.

본 연구의 한계와 그에 따른 향후 연구과제로서 다음과 같은 것들이 있다. 첫째, 더 많은 실험 참가자와 다양한 전공, 나이의 참가자를 대상으로 하는 실험과 장기간에 걸친 실험을 할 필요가 있다. 본 실험에서는 9명의 컴퓨터공학 전공 대학생을 대상으로 하고 온라인 강의도 컴퓨터 분야의 강의를 사용하였으나, 다른 전공 분야의 학생을 대상으로 하는 실험에서도 유사한 결과가 나올지 검증이 필요하다. 그리고 온라인 강의는 대학생뿐만 아니라 초중고교 학생들도 많이 듣기 때문에 다른 연령대의 학생을 대상으로 하는 연구도 필요하다. 또한, 현재 결과는 3번의 온라인 강의를 듣는 동안의 데이터를 이용했으나, 수일 혹은 그 이상의 더 긴 기간에 걸친 결과 분석이 필요할 것이다.

둘째, 본 연구에서는 온라인 학습자의 감정 상태 중 좌절감(frustration) 상태를 세 단계로 분류하는 방법을 기술했으나, 기존 다른 연구에서 다루었던 다양한 감정 상태, 예를 들어, 부주의(in-attention), 관심도(interest), 지루함(boredom) 등을 포괄하여 감지하는 방법에 관한 연구도 필요하다. 이를 통해 온라인 강의 학습자 혹은 강의자를 지원할 수 있는 애플리케이션을 좀 더 유용하게 만들 수 있을 것이다.

셋째, 본 연구 결과를 바탕으로 실제 학습자에게 도움이 될 수 있는 학습 지원 시스템 및 애플리케이션을 연구 개발하는 것도 중요한 향후 과제이다. 온라인 강의 학습 도중 학습자의 높은 좌절감이 감지된다면, 해당 강의의 학습에 어려움을 느끼는 것으로 판단할 수 있으므로 이 정보를 강의자에 전달하여 보충 설명을 제공하도록 하거나, 학습자와 강의자 사이에 질의응답을 위한 커뮤니케이션 채널을 제공하는 서비스를 제공하는 것이 가능할 것이다. 온라인 학습자의 요구를 파악하여 효과적인 학습자 지원 서비스의 핵심 기능을 정의하고 이를 개발하기 위한 연구를 수행하는 것은 실용적인 연구가 될 것이다. 그리고 이러한 서비스는 기존 온라인 강의 시스템에 효과적으로 통합이 될 필요가 있고 이와 관련한 추가 연구도 필요하다.

Acknowledgments

이 논문은 2020년도 한국기술교육대학교 교육연구진흥과제 연구비 지원에 의하여 연구되었음.

References

• The COVID-19 pandemic has changed education forever. This is how [Internet]. Available: https://www.weforum.org/agenda/2020/04/coronaviruseducation-global-covid19-online-digital-learning/.
• K-MOOC [Internet]. Available: http://www.kmooc.kr/, .
• Coursera [Internet]. Available: https://www.coursera.org/, .
• Udacity [Internet]. Available: https://www.udacity.com/, .
• T. Robal, Y. Zhao, C. Lofi, and C. Hauff, “IntelliEye: Enhancing MOOC Learners' Video Watching Experience through Real-Time Attention Tracking,” in Proceedings of the 29th on Hypertext and Social Media (HT '18), Baltimore, MD, USA, pp. 106-114, July 2018. [https://doi.org/10.1145/3209542.3209547]
• S. Mota and R. W. Picard, “Automated posture analysis for detecting learner’s interest level,” in Proceedings of the 2003 Conference on Computer Vision and Pattern Recognition Workshop, Madison, WI, USA, June 2003. [https://doi.org/10.1109/CVPRW.2003.10047]
• D. Szafir and B. Mutlu, “ARTFul: adaptive review technology for flipped learning,” in Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, Paris, France, pp. 1001-1010, April 2013. [https://doi.org/10.1145/2470654.2466128]
• Apple Watch Series 6 [Internet]. Available: https://www.apple.com/apple-watch-series-6/, .
• Fitbit [Internet]. Available: https://www.fitbit.com/, .
• Galaxy Watch [Internet]. Available: https://www.samsung.com/sec/watches/, .
• J. Grafsgaard, J. B. Wiggins, K. E. Boyer, E. N Wiebe, and J. Lester, “Automatically recognizing facial expression: Predicting engagement and frustration,” in Proceedings of the Sixth International Conference on Educational Data Mining, Memphis, Tennessee, USA, July 2013.
• P. Pham, and J. Wang, “AttentiveLearner2: a multimodal approach for improving MOOC learning on mobile devices,” in Proceedings of the 18th International Conference on Artificial Intelligence in Education, Wuhan, China, pp. 561-564, June 2017. [https://doi.org/10.1007/978-3-319-61425-0_64]
• P. Pham, and J. Wang, “AttentiveLearner: improving mobile MOOC learning via implicit heart rate tracking,” in Proceedings of the 17th International Conference on Artificial Intelligence in Education, Madrid, Spain, pp. 367-376, June 2015. [https://doi.org/10.1007/978-3-319-19773-9_37]
• B. Woolf, W. Burleson, I. Arroyo, T. Dragon, D. Cooper, and R. Picard, “Affect-aware tutors: recognising and responding to student affect,” International Journal of Learning Technology, Vol. 4, No. 3-4, pp. 129-164, October 2009. [https://doi.org/10.1504/IJLT.2009.028804]
• S. Huynh, S. Kim, J. Ko, R. K. Balan, and Y. Lee. “EngageMon: Multi-Modal Engagement Sensing for Mobile Games,” Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, Vol. 2, No. 1, Article 13, March 2018. [https://doi.org/10.1145/3191745]
• P. V. Gent, H. Farah, N. V. Nes, and B. V. Arem, “HeartPy: A novel heart rate algorithm for the analysis of noisy signals,” Transportation Research Part F: Traffic Psychology and Behaviour, Vol. 66, pp. 368-378, October 2019. [https://doi.org/10.1016/j.trf.2019.09.015]
• D. Makowski, T. Pham, Z. J. Lau, J. C. Brammer, F. Lespinasse, H. Pham, C. Schoelzel, and S. A. Chen, “Neurokit2: A Python Toolbox for Neurophysiological Signal Processing,” Behavior Research Methods, pp. 1-8, February 2021. [https://doi.org/10.3758/s13428-020-01516-y]
• F. Peixoto, L. Mata, V. Monteiro, C. Sanches and R. Pekrun, “The Achievement Emotions Questionnaire: Validation for Pre-Adolescent Students”, European Journal of Developmental Psychology, Vol. 12, No. 4, pp. 472-481, 2015. [https://doi.org/10.1080/17405629.2015.1040757]