가상현실 수업 시뮬레이션 콘텐츠에 대한 사용자 정서 분석

1-1 시뮬레이션 사용자 경험

가상현실 시뮬레이션(virtual reality simulation, VRS)은 다양한 분야에서 학습자의 훈련을 위해 적용되고 있는 방법으로, 위험한 상황에 대한 훈련을 통해 자신감을 높이고, 필요한 지식을 얻을 수 있는 장점이 있다[1]. 학습자는 아바타를 사용한 가상의 시나리오를 경험하는 과정에서 주어진 과제를 해결하면서 문제해결에 필요한 행동과 기술을 시뮬레이션하고, 자신의 의사결정이 반영된 결과를 확인할 수 있다[2]. 이렇게 시뮬레이션을 통해 기술을 숙달한 학습자는 실제 상황에서 더욱 자신감 있게 문제를 해결할 수 있다[3]

이러한 시뮬레이션을 사실적으로 구현할수록 학습자의 인식수준과 흥미를 크게 향상시킬 수 있다[4]. 따라서 시뮬레이션을 사용해서 적절한 의사결정을 내리거나 상황대처 역량을 키우기 위해서는 학습자가 시뮬레이션에서 제공하는 학습상황을 실제 상황처럼 느낄 수 있도록 문제상황을 실감 나게 제공해야 한다[5]. 문제상황을 실감나게 제시하기 위해서는 상황이 구현되는 실제적인 공간과 사실적인 상황맥락을 구현하는 것이 중요하다. 시뮬레이션이 진행되는 공간을 사실적으로 구현함으로써 사용자의 공간입체감이 향상되어 사용자는 훈련해야 할 상황을 더 실제와 같이 경험할 수 있게 된다[6]. 또한, 상황 판단과 맥락정보를 종합적으로 이해해야 하는 과제를 다루는 시뮬레이션에서는 사실적인 문제상황을 구현하는 것이 중요하다[7]. 복합적인 상황요인을 사실적으로 구성함으로써 학습자는 미묘하게 변하는 다양한 상황 요소를 종합적으로 판단하여 문제상황에서 어떻게 대응하는 것이 적절한가를 시뮬레이션할 수 있기 때문이다. 그래서 훈련효과가 높은 시뮬레이션 콘텐츠를 개발하기 위해서는 상황맥락을 구성하는 요소들을 사실적으로 표현해줘야 한다.

문제장면을 사실적으로 구현한 시뮬레이션 콘텐츠를 설계하기 위해서는 시뮬레이션을 통한 학습과정에서 나타나는 학습자의 경험을 다각적으로 이해할 필요가 있다[8]. 상황맥락의 미묘한 변화를 이해하고 대응하기 위해서는 학습자의 인지적인 요소만 관여하는 것이 아니기 때문이다. 사용자 경험에 대한 다각적 분석을 통해서 사용자가 시뮬레이션으로부터 얻는 경험의 질을 반영한다면 가상현실 기반의 상황중심 시뮬레이션 설계를 위한 중요한 설계전략을 도출할 수 있을 것이다.

시뮬레이션 수행에 대한 사용자 경험을 여러 측면에서 이해하기 위해서는 의사결정 과정에서 사용자의 인지적 판단요인과 수행결과에서 나타나는 행동적 요인 이외에 사용자의 감성적 요인을 함께 고려해야 한다[8]. 사용자는 복잡한 상황에서 의사결정을 내리기 위해서 인지적이고 감성적인 사고를 바탕으로 종합적인 의사결정을 내리기 때문이다[9]. 오히려 복잡한 상황에서 발생하는 미묘한 변화를 이해하고 반응하는 과정을 이해하기 위해서는 사용자의 감성적인 요인을 잘 이해해야 한다. 감성(sensibility)은 자극의 변화를 인지하고 반응하는 마음의 기제라고 할 수 있다[10]. 감성은 학습자가 자극을 처리하는 방향으로 주의, 기억과 판단을 유도하여 학습자의 인지과정과 동기에도 영향을 미쳐 학습과 수행에 영향을 주는 중요한 요인이다[8]. 컴퓨터 활용 분야에서는 오래 전부터 감성적인 요인의 중요성이 부각되어 왔으며, 이처럼 컴퓨터가 인간의 감성(sensibility), 감정(emotion), 느낌(feeling)을 인식하고 분석하여 이에 적절한 대응을 하는 포괄적인 연구 분야를 감성 컴퓨팅(affective computing)이라고 한다[11]. 이러한 감성컴퓨팅을 실현하기 위해서는 학습자의 감정인식과 감정분석을 위해 물리적 신호와 생리적 신호를 분석하여 신뢰할 수 있는 감정상태에 대한 정보를 수집할 수 있다[11]. 따라서 상황맥락을 이해해서 반응해야 하는 복잡한 시뮬레이션이 사용자에게 어떤 영향을 미치는가를 이해하기 위해서는 학습자의 감정변화에 대한 이해가 필요하다. 그러므로 시뮬레이션에서 컴퓨터와의 상호작용을 심층적으로 이해하기 위해서는 시뮬레이션을 수행하는 사용자의 감정 변화를 파악해야 할 것이다.

1-2 교사양성 수업시뮬레이션

교사교육 분야는 복잡한 문제상황에 대한 의사결정 훈련을 필요로 하는 분야 중 하나이다. 교사의 입장에서 학교에서의 수업은 학생과의 역동적인 상호작용을 통해서 발생되는 매우 복잡한 의사결정 과정이기 때문이다[12]. 같은 내용의 수업이라고 하더라도 수업상황이나 맥락에 따라서 운영결과가 달라지기도 한다. 그래서 유능한 교사의 양성을 위해서 수업 중 문제상황에 대처하기 위한 시뮬레이션이 제안되어 활용되고 있다[13].

수업 중 발생하는 문제상황에는 수업방해행동으로 인한 수업 중단이 있다. 학생의 수업방해로 수업이 중단될 경우, 교사는 문제행동의 원인을 파악하여 조속히 문제를 해결하고 교실수업을 이어가야 한다[14]. 논문[12]에서는 수업방해행동에 대한 교사의 대처방식에 따라 교실수업의 지속 여부가 달라진다고 보았다. 교사가 학생의 수업방해행동에 대해 효과적으로 대처하면 계획대로 교실수업이 진행되지만, 효과적으로 대처하지 못한다면 교실수업이 중단될 수 있다. 즉, 수업방해행동에 대한 교사의 대처역량은 수업의 성공여부에 영향을 미치는 중요한 요인이 되는 것이다. 그러나 학생의 수업방해행동에 대한 대처경험이 적은 저경력 교사는 문제학생의 감정을 파악하고, 그들의 감정을 이해하며 대화하는 것에 어려움을 겪는다[14]. 학생의 수업방해행동에 대한 교사의 미숙한 대처는 성공적인 수업을 저해하고, 다른 학생들에게도 피해를 줄 수 있으므로 교원양성과정에서 이러한 문제상황에 대해 대처하는 훈련이 필요하다.

예비교사는 수업시뮬레이션을 통해 수업 중 발생하는 복잡한 문제상황에 대한 적절한 대응전략을 학습할 수 있다. 학생의 수업방해행동에 대한 대처능력을 키우기 위해서는 교실에서 발생할 수 있는 사실적인 문제상황 시나리오를 구성하고, 이를 적절한 장면으로 구현하여 제공하는 것이 중요하다[15]. 수업시뮬레이션에서 복잡한 교실상황이나 문제상황을 재현하기 위해서는 교사가 수업 중 문제학생을 상대하며 어떻게 행동하고 반응할 것인지를 고려해서 시뮬레이션의 콘텐츠를 구성해야 한다. 이를 위해서는 문제상황이 진행됨에 따라 나타나는 예비교사의 정서를 반영하여 문제상황을 진행시킬 수 있는 시뮬레이션 콘텐츠의 설계가 필요하다. 다시 말해 수업 시뮬레이션에서 예비교사와 가상학생 간의 상호작용적인 요인을 확인하기 위해서는 시뮬레이션을 수행하는 교사가 문제상황에 대응하며 어떻게 느끼는지 확인하고, 교사의 정서변화에 영향을 미치는 요인을 파악해야 한다. 왜냐하면 수업시뮬레이션에서 문제학생 역할의 가상학생 아바타와 상호작용 하는 과정에서 예비교사의 정서상태가 달라질 수도 있기 때문이다[9]. 이러한 과정을 통해 실제 교실에서 복잡한 문제상황에 대처하는 교사의 정서변화를 반영한 수업시뮬레이션 콘텐츠를 개발한다면 시뮬레이션을 경험하는 예비교사에게 더욱 실감 나는 문제상황을 제공할 수 있을 것이다.

1-3 수업시뮬레이션의 시나리오 구조

수업시뮬레이션 콘텐츠를 운용하기 위해서는 적절한 시나리오가 적용되어야 한다. 시나리오의 구조는 시뮬레이션의 활용범위를 결정하는 중요한 요인이기도 하다[16]. 시나리오의 구조에 따라서 시뮬레이션의 활용방법 등이 달라질 수 있기 때문이다. 또한, 시나리오의 구조가 문제해결과정이나 문제상황을 대변하는 요인이 되기도 한다. 시나리오의 구조는 수업시뮬레이션을 통해 도달하고자 하는 목표에 따라 달라진다.

논문 [16]은 수업시뮬레이션에서 학생문제행동이 고조되는 정도를 5단계로 구분하여 제시하였다. 실제 학생문제행동에서 나타나는 문제행동 주기를 바탕으로 5단계의 시나리오 주기를 설정하고(자극-동요-고조-절정1-절정2), 시나리오 주기가 진행되면서 점점 학생문제행동이 심화되도록 구성하였다. 예비교사는 수업시뮬레이션의 시작 단계에서 가상학생 아바타의 문제상황을 경험하고, 이를 해결해야 하는 상황에 처하게 된다. 학생과의 갈등 상황이 점차 진행되는 형식의 시나리오의 구조는 사용자의 정서반응에 영향을 미칠 수 있다[17]. 시나리오 주기에 따라 나타나는 문제행동의 강도에 따라 예비교사의 정서 반응에서 차이가 나타나기 때문이다.

논문 [18]은 학부모 상담 수업시뮬레이션의 구성을 실제 학부모 상담 절차를 반영하여 4단계 시나리오 구조로 구성하였다(협력적 분위기 조성-문제행동 안내-학부모의 관점요청 및 해결방안 탐색-협조 요청). 이처럼 상담 절차가 반영된 시나리오 단계에 따라 가상의 학부모와 상담하는 과정을 통해 예비교사는 일반적인 학부모 상담의 절차를 이해하고, 상담 진행 과정에 따른 적절한 상담 기법을 익히게 된다. 이와 같이 실제 수행 절차나 단계를 반영하여 시나리오를 구성한다면 학습자는 실제 수행 단계에 따라 필요한 기술을 경험하면서 문제해결 절차를 익힐 수 있을 것이다.

그런데 논문 [17],[18]의 수업시뮬레이션의 구조는 학습자가 시뮬레이션의 시작단계에서 곧바로 문제상황에 개입하고, 문제를 해결해야 하므로 경험이 많지 않은 예비교사에게는 부담이 될 수도 있다. 예비교사는 문제를 이해하고 상황을 판단하기 위해 초기 단계에서 상황을 이해하기 위한 시간이 더 필요할 수도 있다. 정교화된 문제해결을 위해서는 시나리오의 초기 단계에서 문제를 진단하고 상황을 파악하는 것이 더욱 중요하기 때문이다. 따라서 수업시뮬레이션에서 제시되는 문제상황에 익숙하지 않은 예비교사를 위해서 시뮬레이션의 초기 단계에서 문제상황을 인식할 수 있는 기회를 제공하여 시나리오에 대한 이해를 촉진하는 구성을 고려할 수 있다. 문제상황을 먼저 제시하여 상황을 이해할 수 있는 시간을 제공한다면, 예비교사는 문제를 파악하고, 적절한 문제해결 방안을 탐색하며 문제학생을 대응하기 위한 준비를 할 수 있다. 이렇게 사전에 문제상황을 파악한다면, 예비교사는 이후 문제해결 과정에서 더욱 적극적으로 개입할 수 있을 것이다.

1-4 사용자 정서분석 요인

수업시뮬레이션에서 제시된 문제상황에 사용자가 정서적으로 몰입하게 만들기 위해서는 수업 중 발생하는 문제상황을 실감 나게 구현해야 한다[9]. 실감 나는 문제상황을 구현하기 위해서 수업시뮬레이션을 수행하는 과정에서 나타나는 사용자의 정서상태를 분석한다면 사용자가 더욱 정서적으로 몰입할 수 있게 수업시뮬레이션 콘텐츠를 설계할 수 있을 것이다[19]. 또한, 사용자의 정서를 이해함으로써 수업시뮬레이션을 수행하는 동안의 사용자 경험을 파악한다면 이를 바탕으로 효과적인 설계가 가능할 것이다[16]. 수업시뮬레이션 수행 중에 사용자의 정서를 분석하는 방법에는 사용자의 얼굴표정을 활용한 분석방법이 있다[20].

얼굴표정을 통해 확인할 수 있는 정서 요인에는 주의집중(attention), 정서참여(emotional engagement), 정서가(valence), 7가지 기본 감정(7 basic emotions) 등이 있다[18]. 주의집중은 시뮬레이션을 수행하면서 사용자가 얼마나 관심을 갖고 집중하는지를 보여주는 지표이고, 정서 참여는 사용자의 정서반응 강도를 나타낸다[16]. 정서가는 사용자의 정서 상태를 긍정, 중립, 부정으로 수치화하여 보여주는 값이다[21]. 7가지 기본감정은 인간의 감정을 대표적인 7개의 이산적 감정으로 구분하여 나타내는 것으로 분노, 경멸, 혐오, 공포, 기쁨, 슬픔, 놀람으로 나타낸다. 기쁨의 감정은 학습성취와 정적상관이 있고[22], 놀람은 학습자의 인지불균형이 있을 때 주로 나타난다[23]. 부정정서인 분노, 슬픔, 공포 감정은 스트레스와 관련이 있게 나타난다[24].

이러한 정서분석 요인을 통해 선행연구에서는 수업시뮬레이션에서 사용자의 정서상태를 분석하였다[16],[18]. 논문[16]에서는 수업시뮬레이션에서 사용자의 전문성 수준에 따른 정서적 참여와 정서가를 분석하였다. 얼굴표정 분석을 통해 현직교사와 예비교사 집단의 정서적 참여 수준과 긍정정서를 비교하였는데, 전문성 수준이 높은 현직교사 집단은 예비교사 집단에 비해 정서적 참여 수준과 긍정정서가 높게 나타남을 확인하였다. 논문 [18]에서는 학부모 상담 시뮬레이션을 수행하는 사용자의 얼굴표정 분석을 통해 상담 진행단계에 따라 변화하는 사용자의 정서적 참여와 정서가를 파악하였다. 이들은 4단계로 구성된 상담 절차에 따라 학부모 아바타와의 상담이 진행되면서 정서적 참여 수준이 낮아지고, 부정정서가 유의하게 높아짐을 확인하였다.

이처럼 수업시뮬레이션을 수행하는 예비교사의 얼굴표정을 통해 정서를 분석함으로써 예비교사가 수업시뮬레이션에 얼마나 적극적으로 참여하는지를 확인할 수 있다. 또한, 예비교사가 문제상황을 대처하면서 어떠한 감정을 느끼고 있는지를 파악한다면 예비교사가 경험하는 곤란도 수준을 고려하여 정서적으로 더욱 몰입할 수 있는 시나리오를 설계할 수 있을 것이다.

1-5 연구목적 및 연구문제

이 연구의 목적은 가상현실 기반 수업 시뮬레이션에서 사용자의 정서상태가 어떻게 변하는가를 확인하는 것이다. 복잡한 상황을 구현하는 시뮬레이션 콘텐츠에 대한 사용자 경험을 정서 차원에서 분석하고자 한다. 이를 위해 시뮬레이션 콘텐츠의 사용자 경험의 정서분석을 위한 요인으로 주의집중, 정서참여, 정서가, 기본감정의 상태를 분석할 것이다.

수업시뮬레이션은 학생의 문제행동에 대한 대응역량을 증진시키기 위한 것이다. 이를 위한 시나리오는 1) 학습상황 관찰, 2) 문제상황 파악, 3) 문제상황 중재의 3단계로 구성되었다. 예비교사를 대상으로 수업 시뮬레이션을 적용하고, 시뮬레이션 수행 중에 예비교사의 얼굴표정을 수집하여 시나리오 단계에 따라 변화하는 정서지각 차이를 비교하고자 한다. 시나리오 단계에 따라 나타나는 예비교사의 정서지각을 비교함으로써 예비교사의 정서적 참여를 높일 수 있는 수업 시뮬레이션 설계방안을 확인할 수 있을 것이다. 이를 위해 다음과 같이 네 가지의 연구문제를 설정하였다.

• [연구문제 1] 가상현실 수업 시뮬레이션의 시나리오 단계(학습상황 관찰, 문제상황 파악, 문제상황 중재)에 따라서 사용자의 주의집중은 달라지는가?
• [연구문제 2] 가상현실 수업 시뮬레이션의 시나리오 단계(학습상황 관찰, 문제상황 파악, 문제상황 중재)에 따라서 사용자의 정서참여는 달라지는가?
• [연구문제 3] 가상현실 수업 시뮬레이션의 시나리오 단계(학습상황 관찰, 문제상황 파악, 문제상황 중재)에 따라서 사용자의 정서가는 달라지는가?
• [연구문제 4] 가상현실 수업 시뮬레이션의 시나리오 단계(학습상황 관찰, 문제상황 파악, 문제상황 중재)에 따라서 사용자의 기본감정은 달라지는가?

2-1 참여대상

이 연구의 참여자는 예비교사 17명(남=5명, 여=12명)이다. 이들은 4년제 종합대학의 교직교육과 재학생으로 평균연령 23.94세(SD=1.39), 연령분포는 22~27세였다. 예비교사 집단은 모두 4학년(7학기) 이상이었으며, 전공 분포는 인문사회계열=13명(76.5%), 공학계열=3명(17.6%), 예체능계열=1명(5.9%)이었다. 이들 중 교생실습 경험이 있는 학생은 5명(29.4%)이었다. 모든 실험참가자는 자발적 희망에 의해 유급으로 참여했으며, 얼굴표정 수집 및 분석에 동의하였다.

2-2 실험환경

실험은 화상회의 플랫폼인 ZOOM을 통해 원격으로 진행되었다. 실험참가자는 자신의 웹캠으로 얼굴과 음성을 촬영하여 ZOOM을 통해 송출하였고, 실험진행자는 수업 시뮬레이션 프로그램 화면을 공유하여 실험참가자에게 제공하였다. 실험참가자는 안내에 따라 수업 시뮬레이션을 단계적으로 수행하였으며, ZOOM에서 수업 시뮬레이션을 수행하는 참가자의 얼굴을 녹화하여 분석에 활용하였다.

학습상황 관찰과 문제상황 파악 단계에서는 가상학생 간의 대화 장면을 보여주었고, 문제상황 중재 단계에서는 실험참가자가 직접 문제의 원인이 되는 가상학생과 대화하도록 하였다. 문제상황 중재 단계에서 실험진행자는 실험참가자의 질문을 듣고, 적절한 가상학생의 응답과 제스처를 송출하였다. 학습상황 관찰단계와 문제상황 발생단계에서 제시된 영상의 재생시간은 각 14초였다. 실험참가자가 직접 대화를 진행한 문제상황 중재 단계의 평균 소요 시간은 3분 12초(SD=0.71)이었다.

2-3 수업시뮬레이션

2) 수업 중 문제상황 시나리오

이 연구에서는 협동학습 중 발생한 문제상황 시나리오를 적용하였다[26]. 이 시나리오는 협동학습 상황 중 소집단 사이에 갈등이 발생하여 학습이 중단되는 내용이다. 협동학습 중 교사는 관찰자나 조력자 역할을 하여 문제상황이 발생하기 전에는 학생들의 학습활동에 직접적으로 개입하지 않지만, 문제상황이 발생한 이후에는 빠르게 중재하여 다시 학습이 이루어지도록 해야 한다. 그림 1과 같이 협동학습 수업 장면을 구현하기 위해 가상학생 4명씩 모둠을 이루는 모둠형 교실 배치를 하였고, 수업 중 동료학습자와 갈등이 생긴 가상학생과 개별 면담을 할 수 있도록 교실 뒤편을 배경으로 개별면담 환경을 구현하였다. 이 연구의 참여자에게 예비교사로서 협동학습 중 발생한 문제상황을 관찰하고, 문제의 원인을 파악하여 학생과의 상담을 통해 학습에 다시 참여하도록 해야 한다는 목표를 제시하였다.

Fig. 1.

Teaching simulation scene(L: observation, R: Intervention)

3) 시뮬레이션 콘텐츠 단계

수업시뮬레이션 콘텐츠는 3단계로 구성되었다(1단계: 학습상황 관찰, 2단계: 문제상황 인식, 3단계: 문제상황 중재). 1단계는 학습상황 관찰 단계로 연구참여자에게 교실수업 장면을 보여준다. 소집단 활동 중인 가상학생 아바타는 모둠학습 주제를 정하기 위해 토의를 하고, 연구참여자는 협동학습이 일어나는 학습상황을 관찰한다.

2단계는 협동학습 중 학생들 사이에서 갈등이 발생하고, 연구참여자는 이러한 상황을 관찰하는 단계이다. 주인공 역할의 가상학생은 협동학습 중 자신의 의견을 비난하는 동료학생에게 욕설을 하며 위협적인 행동을 하고, 상대 학생도 이에 맞서며 다툼이 일어난다. 이때 연구참여자는 장면을 관찰하며 학생들의 갈등 원인을 파악한다.

3단계는 연구참여자가 예비교사로서 직접 문제상황에 개입하여 문제상황을 중재하는 단계이다. 이 단계에서 연구참여자는 교사로서 갈등을 일으킨 문제학생과의 상담을 진행하게 된다. 문제학생 아바타는 자신의 의견을 비난한 상대방이 먼저 잘못했으므로 자신은 잘못하지 않았다고 주장하며 수업 참여를 거부한다. 교사가 설득해도 모둠을 바꿔주지 않으면 수업에 참여하지 않겠다고 우기며 교사와의 상담에 부정적인 태도를 보인다. 이러한 상황에서 교사는 문제학생 아바타를 설득하여 다시 수업에 참여하도록 해야 한다. 표 1에는 수업시뮬레이션 콘텐츠 단계별 문제학생 아바타와 참여자의 역할을 구분하여 제시하였다.

Table 1.

Avatar and research participant roles for each stage of simulation content

2-4 종속변수 및 측정방법

이 연구의 종속변수는 주의집중, 정서참여, 정서가, 7가지 기본감정이다. 주의집중은 학습상황에 대한 학습자의 집중 수준을 확인하는 지표이다[18]. 정서참여는 학습자의 정서적 참여정도를 확인하는 지표인데, 이러한 정서참여는 학습자의 행동참여와 인지참여 수준에 주요한 영향을 미치기 때문에 학습과정에서 학습자의 학습참여 수준을 확인할 수 있는 지표로 사용된다[27]. 정서가는 학습자의 긍정정서와 부정정서를 확인하는 지표로 0을 기준으로 양수이면 긍정정서, 음수이면 부정정서로 판단된다[28]. 기본감정은 인간의 얼굴표정으로 나타나는 기본감정으로 Ekman이 제안한 분노, 경멸, 혐오, 공포, 기쁨, 슬픔, 놀람의 7가지 감정을 측정하였다[29]. 실험은 ZOOM 화상수업 플랫폼을 통해 이루어졌으므로 실험참가자가 소지한 웹캠으로 송출된 얼굴표정 영상을 녹화하여 얼굴표정을 통해 정서상태를 분석하였다.

2-5 분석도구

이 연구에서 사용한 얼굴표정 분석 도구는 생체신호 분석 플랫폼인 iMotions 9.3이다. 이 플랫폼은 자동화된 얼굴 코딩 시스템(automatic facial coding system)을 적용하여 얼굴 영역을 감지하고, 얼굴표정을 코딩하여 감정 상태를 분류할 수 있다. 그림 2는 자동 얼굴 코딩 방법을 나타낸 것이다[30]. 먼저 시스템은 그림 2의 왼쪽 그림처럼 사용자의 얼굴 영역을 감지하고, 오른쪽 그림과 같이 눈, 눈썹, 입꼬리, 코 끝 등 얼굴의 특정 랜드마크를 파악한다. 이렇게 사용자의 얼굴 모델을 구성하고, 사용자의 얼굴 움직임 변화를 수집하여 변화하는 랜드마크의 위치와 방향 정보를 통해 사용자의 감정상태를 도출할 수 있다.

Fig. 2.

Face detection and feature detection (iMotions)

iMotions에서는 얼굴표정을 통한 감정상태 인식을 위해 AFFDEX 엔진을 사용하였는데, 이는 합성곱 신경망(Convolution Neural Network, CNN)을 활용한 심층학습(deep learning) 기반의 감정인식 엔진이다. 이 알고리즘은 Affectiva사에서 개발한 얼굴표정 분석 엔진으로 머리의 방향, 눈 사이의 거리 및 34개의 얼굴 랜드마크(눈썹, 눈, 입술 등의 연결점)의 분석을 통해 주의집중, 정서가, 정서참여와 7가지 기본감정의 정도를 도출하여 수치화한 값을 보여준다. 도출된 감정별 수치는 특정 감정이 나타날 가능성에 대한 확률값을 의미한다. 이러한 수치는 표정의 나타남 정도 또는 감정의 강화 정도에 따라 0(표정 없음)~100(표정이 완전히 있음)으로 나타낸다. 정서가는 부정감정과 긍정감정을 구분하기 위해 0을 중심으로 -100~100의 범위에서 도출된다[28].

2-6 분석방법

그림 3은 iMoitons를 활용한 분석장면이다. 실험참가자의 신원을 보호하기 위해 인식된 얼굴표정 부위를 제외하고 주위의 배경은 흐리게 설정하였다. 이 실험에서 분석에 사용된 영상은 수업시뮬레이션 실행장면과 예비교사의 얼굴을 2분할하여 녹화한 영상이었다. 그림 3과 같이 iMotions에서는 상단에 분석에 사용된 영상과 하단에 감정분석 결과 그래프를 함께 제공한다. iMotions 플랫폼에서는 분석용 영상의 우측에 나오는 실험참가자 얼굴을 감지하고, 얼굴의 랜드마크를 파악하여 감정상태를 수치화하여 제공한다. 이렇게 추출된 감정상태는 하단에 그래프 형식으로 제공되며, 영상의 흐름에 따라 해당 부분에서 나타난 감정상태를 분석할 수 있다.

Fig. 3.

iMotions analysis dashboard

분석을 위해 30Hz 단위로 수집된 실험참가자의 주의집중, 정서참여, 정서가, 7가지 기본감정을 수치화한 데이터를 추출하였으며, 시나리오 단계별 평균 추출데이터의 수는 학습상황 관찰: 268.12개, 문제상황 관찰: 472.71개, 문제상황 중재: 6234.76개였다. 시뮬레이션 콘텐츠 단계별 감정의 평균을 계산하여 반복측정 분산분석으로 차이를 분석하였다. 분석에는 SPSS 26.0을 사용하였으며, 유의수준은 .05이었다.

3-1 주의집중

시뮬레이션 콘텐츠 단계에 의한 주의집중의 차이를 확인하기 위해 반복측정 분산분석(repeated measures ANOVA)을 실시하였다. 가정 검정 결과, Mauchly의 구형성 검정 결과가 위배되어 (p <.05) Greenhouse-Geisser에 의한 보정값을 확인하였다. 주의집중에서는 시뮬레이션 콘텐츠 단계에 따른 유의한 차이가 나타나지 않았다(F_(2,32)=3.40, p =.077).

3-2 정서참여

시뮬레이션 콘텐츠 단계에 의한 정서참여를 확인하기 위한 가정 검정 결과를 충족하였다 (Mauchly's W=.91, p >.05). 시뮬레이션 콘텐츠 단계에 따라 정서참여에서는 매우 유의한 차이가 있었다(F_(2,32)=29.75, p =.000, 부분 η²=.65). 대비검정 결과, 문제상황 중재 단계에서의 정서 참여는 학습상황 관찰과 문제상황 관찰 단계에 비해 유의하게 높았다(F_(1,16)=47.73, p =.000, 부분 η²=.75).

따라서 이전 두 단계에 비해 문제상황 중재 단계에서 예비교사의 정서참여가 매우 높아짐을 알 수 있다. 그림 4는 시뮬레이션 콘텐츠 단계에 따른 정서참여 지각의 차이를 그래프로 나타낸 것이다. 1단계와 2단계에서는 정서참여 점수가 낮게 나타났지만, 3단계에 이르게 되면 정서참여가 유의미하게 높아짐을 확인할 수 있다.

Fig. 4.

Emotional engagment based on simulation contents phases

3-3 정서가

정서가에 대한 구형성 검정 결과는 충족되었다(Mauchly's W=.95, p >.05). 그러나 시뮬레이션 콘텐츠 단계에 따른 정서가는 유의한 차이가 없었다(F_(2,32)=0.75, p >.05). 시나리오가 진행되는 동안 사용자의 정서가는 일정한 수준을 유지한 것이라고 볼 수 있다. 이런 결과는 관찰이 시작된 1단계에서 형성된 정서가가 중재단계에 이르기까지 지속될 수 있음을 의미하는 것이다.

3-4 기본감정

7가지 기본감정에 대한 구형성 검정에서는 기쁨을 제외하고 모두 구형성 가정을 충족하지 못하였다(기쁨: Mauchly's W=.72, p >.05, 기쁨 외 감정: p <.05). 따라서 Greenhouse-Geisser에 의해 보정된 값을 확인하였다. 7가지 기본감정 중 혐오와 놀람에서만 시뮬레이션 콘텐츠 단계에 따른 유의한 차이가 있었다(혐오: F_(2,32)=8.14, p =.009, 부분 η²=.34, 놀람: F_(2,32)=13.86, p =.001, 부분 η²=.46). 다른 다섯 가지 감정은 시뮬레이션 콘텐츠 운영단계에 따른 차이가 없었다(분노: F_(2,32)=2.23, 경멸: F_(2,32)=0.80, 공포: F_(2,32)=1.76, 기쁨: F_(2,32)=1.36, 슬픔: F_(2,32)=1.06, 모두 p >.05).

혐오 감정에 대해 대비분석 결과, 학습상황 관찰 단계와 문제상황 관찰 단계에 비해 문제상황 중재 단계에서의 혐오 감정이 유의하게 높았다(F_(1,16)=8.64, p =.010, 부분 η²=.35). 그림 5는 시뮬레이션 콘텐츠 단계에 따른 혐오 감정 지각을 나타낸 것이다. 놀람 감정에서도 대비분석 결과, 학습자 관찰 단계와 문제 원인 파악 단계에 비해 문제상황 중재 단계에서의 놀람 감정이 유의하게 높았다(F_(1,16)=14.99, p =.001, 부분 η²=.48). 시뮬레이션 콘텐츠 단계에 따라 지각된 놀람 감정의 지각은 그림 6과 같다.

Fig. 5.

Disgust based on simulation contents phases

Fig. 6.

Surprise based on simulation contents phases

4-1 결론

이 연구에서는 예비교사를 대상으로 가상현실 기반 수업시뮬레이션을 적용하고, 수업시뮬레이션 콘텐츠 단계에 따른 정서지각의 차이를 분석하였다. 이 연구의 결과를 통해 다음과 같이 세 가지의 결론을 도출하였다. 첫째, 수업시뮬레이션의 콘텐츠 단계는 예비교사의 정서참여에 영향을 미쳤다. 예비교사가 시나리오 상황을 관찰하는 것보다 직접적으로 문제상황을 중재하였을 때 정서적 참여가 더 높아진 것이라고 할 수 있다. 이런 결과는 시뮬레이션에 등장하는 캐릭터와의 상호작용을 높이는 것이 중요하다는 점을 보여주는 것이다. 이러한 결과는 간호교육을 위한 시뮬레이션에서 학습자가 시뮬레이션과 직접 상호작용할 때 정서참여가 더 높아졌다는 선행연구결과와 일치하는 것이다[19].

둘째, 수업시뮬레이션 콘텐츠 단계에 따른 예비교사의 정서 상태에서 차이가 있었다. 특히, 7가지 기본정서 중에서 혐오와 놀람의 정서상태가 3단계에서 유의미하게 올라갔다. 이것은 사용자가 시뮬레이션을 통해서 실질적으로 중재를 시작하면서 감정적인 개입이 함께 나타났음을 보여주는 것이라고 할 수 있다. 따라서 수업시뮬레이션 콘텐츠의 유용성을 높이기 위해서는 실질적인 중재 단계에서 학습자의 감정요인을 반영할 수 있는 대사나 내용을 추가하는 것이 필요할 수 있다.

셋째, 주의집중과 정서가에서는 수업시뮬레이션 콘텐츠 단계에 따른 유의한 차이는 없었다. 정서참여나 감정상태가 일관성 있게 3단계에서 유의미하게 올라간 것과는 상반되는 결과라고 할 수 있다. 이는 주의집중이나 정서가는 변화하지 않고 콘텐츠 단계와 상관없이 일관성을 유지하고 있다는 것을 보여준다. 이런 결과는 시뮬레이션의 초기 단계에서 형성된 주의집중이나 정서가는 비교적 일관성을 유지한다는 차원으로 해석할 수 있을 것이다.

4-2 논의

이 연구에서는 얼굴표정을 통해 언어적 상호작용이 적용된 단계에서 학습자의 정서적 참여가 높아짐을 확인하였다. 반면에 주의집중과 정서가는 수업시뮬레이션 콘텐츠에 따른 차이가 없었다. 따라서 상대적으로 지속적으로 유지되는 주의집중과 정서가에 비해 수업시뮬레이션 설계에 따른 영향을 받는 정서참여를 촉진하는 설계방안을 고려해야 할 것이다. 이 연구의 결론과 수업시뮬레이션을 수행하는 사용자의 정서지각이 다르게 나타나는 요인을 파악한 선행연구의 결과[9],[16]를 종합하여 학습자의 정서참여를 높이기 위한 수업시뮬레이션 콘텐츠 설계방안을 다음과 같이 세 가지로 논의하였다.

첫째, 예비교사의 정서참여를 높이기 위해 언어적 상호작용을 적용한 수업시뮬레이션을 적용해야 한다. 이러한 결과는 예비교사가 언어적 상호작용을 적용한 수업시뮬레이션 콘텐츠를 더욱 유용하게 지각하고, 흥미롭게 여긴다는 선행연구 결과와도 연결된다[31]. 예비교사는 가상학생과 언어적으로 상호작용 하는 과정에서 수업시뮬레이션 콘텐츠의 상황에 더욱 정서적으로 몰입하게 되는데, 이러한 과정을 통해 수업시뮬레이션을 유용한 훈련도구로 인식할 수 있을 것이다.

둘째, 수업 시뮬레이션 콘텐츠를 설계하기 위해서는 사용자 요인을 고려해야 한다. 이 연구는 예비교사를 대상으로 진행하였지만, 수업시뮬레이션에서 현직교사와 예비교사의 정서를 비교한 연구에서는 사용자 요인에 의해 정서지각에서 차이가 있었다[16]. 그러므로 사용자와 정서적으로 상호작용하는 시뮬레이션을 설계하기 위해서는 시뮬레이션을 수행하는 사용자 요인을 고려해야 할 것이다.

셋째, 예상하지 못한 가상학생의 반응을 제공함으로써 예비교사의 정서참여를 촉진할 수 있을 것이다. 수업시뮬레이션 수행 중 예상하지 못한 상호작용은 사용자의 정서지각에 영향을 미칠 수 있다. 논문 [9]에서는 가상학생과 상호작용하는 과정에서 미리 예고된 상호작용이 이루어질 때에 비해 예고되지 않은 상호작용이 이루어졌을 때 예비교사의 긍정정서가 높아짐을 확인하였다. 이처럼 수업시뮬레이션에서 제공되는 시나리오를 어떤 방식으로 제공하느냐에 따라 예비교사의 정서지각이 달라질 수 있을 것이다.

수업시뮬레이션을 효과적으로 적용하기 위해서는 수업시뮬레이션 콘텐츠 설계방안에 대한 연구가 지속적으로 수행되어야 할 것이다. 이 연구에서는 얼굴표정 분석을 통해 사용자의 정서상태를 파악하였다. 그러나 얼굴표정은 사람에 따라 숨기거나 감출 수 있는 요인이므로 얼굴표정만으로는 정확한 정서상태를 확인하기 어렵다. 특히, 학생 상담이나 학부모 상담 상황에서 교사는 화나 분노의 부정적 감정을 느끼지만, 원만한 상담을 위해서 자신의 부정적 감정을 감추기도 한다[32]. 그러므로 후속연구에서는 시선추적이나 뇌전도, 피부전도반응, 심박수 등의 다양한 양식의 생체데이터를 함께 분석한다면 사용자의 정서상태를 더욱 세심하게 파악할 수 있을 것이다.