Korea Digital Contents Society

Journal Archive

Journal of Digital Contents Society - Vol. 22 , No. 2

[ Article ]
Journal of Digital Contents Society - Vol. 22, No. 2, pp. 199-208
Abbreviation: J. DCS
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 28 Feb 2021
Received 15 Dec 2020 Revised 12 Jan 2021 Accepted 12 Jan 2021
DOI: https://doi.org/10.9728/dcs.2021.22.2.199

실시간 온라인 교육 플랫폼의 인터랙션 디자인 제안 : 학습자 참여와 몰입을 위한 인터페이스 프로토타입 실험 연구
신효림1 ; 김시완2 ; 최준호3, *
1연세대학교 정보대학원 UX전공 박사과정
2연세대학교 정보대학원 UX전공 석사과정
3연세대학교 정보대학원 UX전공 교수

Interaction Design of Synchronous Online Learning Platform : Experimental Study on the Interface Prototypes for Students’ Participation and Cognitive Absorption
Hyorim Shin1 ; Siwan Kim2 ; Junho Choi3, *
1Doctor’s Course, Department of UX, Yonsei University, Seoul 03722, Korea
2Master’s Course, Department of UX, Yonsei University, Seoul 03722, Korea
3Professor, Department of UX, Yonsei University, Seoul 03722, Korea
Correspondence to : *Junho Choi Tel: +82-2-2123-4196 E-mail: uxlab.junhochoi@gamil.com


Copyright ⓒ 2021 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

코로나 팬데믹으로 인해 실시간 온라인 교육의 학습자 입장에서 사용 경험을 개선하기 위해 다양한 차원의 연구가 필요한 실정이며, 교육적 맥락에 맞는 실시간 온라인 수업 플랫폼의 인터페이스 디자인 연구가 매우 중요하다. 이 연구는 유저 다이어리와 온라인 포커스 그룹 인터뷰를 통해 학생-교사간 피드백 상호작용의 통점을 탐색하고, 학습자의 적극적 참여와 몰입을 유도하는 인터페이스 디자인 개선안을 도출하였다. 정성적 조사 결과를 기반으로 교수-학생간 상호작용을 활성화하기 위한 직조작과 AI 기반 자동화 인터페이스 프로토타입을 설계하여 실험 조사를 실시하였다. 분석 결과 직조작 인터랙션 방식의 인터페이스가 기존 인터페이스나 자동화 인터페이스보다 더 높은 수업 경험 성과를 낼 수 있음을 확인하였다.

Abstract

It is imperative in the era of COVID-19 pandemic that a diverse dimensions of research tries to improve the user experience of synchronous online education, and it is necessary to study how to design the interfaces of synchronous online class platforms in the pedegogical context. This study investigated the pain points of student-teacher feedback interactions through online focus group interviews and proposed the new interface design inducing learners' active participation and cognitive absorption. Based on the findings of the qualitative research, a direct manipulation and an AI-assisted automation interface prototypes were designed and an experimental study was conducted. The results showed that the direct manipulation interface had the higher performance of class experiences than the default and automation interface types.


Keywords: Synchronous Online Learning, Direct Manipulation Interface, Automation Interface, Participation Intention, Cognitive Absorption
키워드: 실시간 온라인 교육, 직조작 인터페이스, 자동화 인터페이스, 참여 의도, 인지적 몰입

Ⅰ. 서 론

COVID-19로 실시간 온라인 교육이 전면적으로 시행되었다. 상용화된 온라인 화상 회의 플랫폼이 사용되고 있으나, 교육 환경에 최적화되어 설계된 인터페이스가 아니기 때문에 교수자와 학습자가 모두 어려움을 겪고 있는 실정이다. 실시간 온라인 교육에서 발생하는 문제들을 해결하고자, IT 기업들과 연구자들은 다양한 측면에서 해결 방안을 모색하고 있다.

온라인 교육과 원격 근무 플랫폼의 수요가 폭발적으로 증가하면서, IT 기업들은 비대면 상호작용의 만족도와 생산성을 높이기 위해, 인공지능 기반의 다양한 기술들을 개발하고 있다. NVIDIA는 2020년 10월 5일 맥신(Maxine)이라는 클라우드 기반의 인공지능 화상회의 플랫폼 서비스를 새롭게 발표하였는데, 사용자 시선의 정면 처리, 실시간 번역 및 자막 생성, 소음 제거 등의 기술을 지원한다[1]. SK텔레콤은 자사의 실시간 온라인 회의 플랫폼인 MeetUs에 인공지능 기술을 결합하여 참여자 간 상호작용 및 집중도를 개선하여 상용화할 예정이며, 특히 교육용 커스터마이징을 지원하고 2021년 광주 교육청과 함께 가상화 교실 서비스 상용화 평가를 진행한다고 발표하였다[2].

그러나, 학교 교육 맥락에 맞는 온라인 화상 강의 플랫폼의 인터페이스 개선 연구는 아직 미비한 실정이다. 이 연구에서는 학습자에게 초점을 맞추어 학습자의 인식과 실시간 온라인 교육 경험을 탐구하고, 실시간 온라인 교육에 적합한 인터페이스를 제안하고자 한다. 이를 위해 학습자를 대상으로 유저 다이어리와 온라인 포커스 그룹 인터뷰를 실시해 경험 통점(pain point)과 개선점을 발견하고, 이를 기반으로 개선된 실시간 온라인 교육 플랫폼 인터페이스 프로토타입을 설계하여 실험을 통해 개선 효과를 실증적으로 검증하고자 한다.


Ⅱ. 이론적 배경
1-1 실시간 온라인 교육과 화상 회의 플랫폼 연구

온라인 교육은 실시간 온라인 교육(Synchronous online learning)과 비실시간 온라인 교육(Asynchronous online learning)은 구분되며, 기반 시스템과 사용 맥락, 이용 방법이 다르고 이점과 한계에도 차이가 있다[3],[4]. 실시간 온라인 교육은 온라인을 기반으로 한 플랫폼에 교수자와 학습자가 동시접속하여 상호작용하는 형태의 교육을 말한다. 즉, 오프라인에서 이루어지던 강의실 수업이 그대로 온라인으로 옮겨진 것으로 볼 수 있다. 대학에서 녹화 강의 중심으로 온라인 교육을 진행했던 것은 비실시간 온라인 교육에 해당하며 기존의 많은 온라인 교육 연구도 비실시간 방식에 집중되어 왔다.

아직까지 실시간 온라인 교육에 최적화된 플랫폼이 개발되지 않은 상황으로 인하여 교육 기관들은 온라인 회의 플랫폼을 사용하고 있다. 이러한 온라인 회의 플랫폼의 교육적 사용에 관련하여, 교수자나 학습자의 인식과 경험 탐구, 플랫폼의 사용성 평가, 플랫폼 비교 연구 등 여러 측면에서 연구가 이루어지고 있다.

학습자 인식 측면의 연구에서는, 실시간 온라인 교육에 대한 만족도, 선호도, 기대, 추천도, 재수강 의사 등을 분석하고[5], 온라인 기반 교육 환경에서 실재감을 높이기 위한 교수자의 실천과제를 도출하였다[6]. 플랫폼 측면에서는 시스템 사용성 척도(System Usability Scale)와 기술 수용 모델(Technology Acceptance Model)을 사용하여 Microsoft Teams의 사용성을 평가하였다[7].

실시간 온라인 교육에서 대중적으로 사용되고 있는 Zoom, Microsoft Teams, Cisco Webex의 멀티미디어 품질을 비교하여 학생들이 Microsoft Teams를 가장 낮은 품질로 인식하고 있음이 밝혀졌으며[8], 학습자의 실시간 온라인 교육 경험 데이터를 수집하여 신경망 모델을 통해 분석한 결과, 플랫폼의 가용성(Availability)이 사용자의 만족도에 가장 큰 영향을 미치는 것으로 나타났다[9].

1-2 실시간 온라인 교육의 학습자 경험과 인터페이스 디자인

온라인에서도 오프라인만큼 전달력 있게 강의를 제공하여 학습자의 만족도를 높이려는 목적의 연구에서는, 매체를 통해 대화할 때 상대방이 실제로 존재한다고 느끼는 사회적 실재감이 온라인 교육에서 중요한 요인으로 나타났다[10]. 온라인 교육에서 사회적 실재감은 학습자의 학습 동기를 유발, 유지하고 참여 의도를 높인다[11],[12]. 또한, 사회적 실재감이 학습자의 인지적 몰입을 높이고, 이는 교수자-학습자, 학습자-학습자 간의 상호작용, 학습 성과 및 만족을 높인다는 연구결과도 지속적으로 보고되고 있다[12],[13],[14].

학습자의 상호작용, 학습 성과 및 만족에 영향을 미치는 또 다른 요인은 온라인 교육에서 강의실을 대체하는 실시간 온라인 교육 플랫폼의 인터페이스이다. 사용자 중심으로 디자인된 인터페이스는 시각적으로 정보를 파악하기 쉽고, 커뮤니케이션 효율성을 높이는 효과를 기대할 수 있다[15]. 빠른 인터랙션이 요구되는 실시간 맥락에 맞게 설계된 인터페이스는 오류를 줄이고 사용성(Usability)을 증가시키므로[16], HCI(Human-Computer Interaction) 원칙에 부합하는 인터페이스를 설계하는 것이 중요하다.


Ⅲ. 연구설계

이 연구의 목적은 실시간 온라인 교육 플랫폼에 대한 학습자의 통점을 탐색하고, 개선된 실시간 온라인 교육 플랫폼의 인터페이스 설계를 제안하는 것이다.

이 연구는 실시간 온라인 교육에 관한 사용자 경험을 알아보고자 유저 다이어리(User Dairy)와 온라인 포커스 그룹 인터뷰(Online Focus Group Interview)를 실시하였다. 유저 다이어리를 통해 경험 통점(pain point)을 도출하고 온라인 포커스 그룹 인터뷰를 통해 개선된 인터랙션 디자인 방안을 도출하는 것을 목표로 하여 자료를 수집 및 분석하였다. 이후 개선 방안을 실제 강의 상황에 적용하여 프로토타입을 제작해 사용자 평가를 진행하였다. 연구의 과정은 <그림1>과 같다.


Fig. 1. 
Schematization of the user research process

3-1 유저 다이어리 (User Dairy)

실시간 온라인 교육 플랫폼 사용의 경험 통점(pain point)이 무엇인지 도출하기 위해, 실시간 온라인 강의 수강 경험이 있는 14명의 대학원생에게 3일간 유저 다이어리를 작성하도록 하였다. 어떤 상황(context)에서 무엇을 했는지(what), 혹은 하고 싶었는데 하지 못했는지, 그리고 그 이유(why)는 무엇이었는지 구체적으로 기술할 수 있도록 다이어리 템플릿을 제공하였다.

연구참여자 한 명당 3건의 다이어리를 수집하여 총 42건의 유저 다이어리를 분석하였다. 전체 다이어리를 반복하여 읽으며 주요한 문장들을 추출하였다. 참여자 개인별로 추출한 문장들을 비교하며 개인 내 분석을 하였고, 14명의 자료를 비교하여 개인 간 분석을 하여 동질성을 확인하였다. 이후 추출된 문장들을 유사한 내용으로 묶어 나가며 소주제를 도출하였다. 도출된 소주제는 1) 질의 시 커뮤니케이션 오류에 대한 우려, 2) 오디오 출력 상태 확인 불가로 인한 토론/질의 참여의지 감소, 3) 개인캠 노출로 인한 심리적 부담감,4) 동시 발화시 인지의 어려움, 5) 발화자와 청자 간 비언어적 커뮤니케이션 부족, 6) 학습자의 이해도 전달의 어려움이다.

3-2 온라인 포커스 그룹 인터뷰

유저 다이어리에서 도출된 경험 통점의 해결 방향을 도출하기 위하여 온라인 포커스 그룹 인터뷰(Online Focus Group Interview)를 시행하였다. 유저 다이어리 분석에서 정리한 여섯 가지의 소주제를 기반으로 인터뷰 질문을 구성하였다. COVID-19로 대면 인터뷰를 진행하는 것이 불가능하여 온라인 회의 플랫폼 Zoom을 통해 온라인 포커스 그룹 인터뷰를 실시하였다. 온라인 포커스 그룹 인터뷰의 적절한 인원은 4~6명이며, 지리적 제약이 없기 때문에 연구에 더 적합한 연구참여자를 찾을 수 있고 비용과 시간 측면에서도 이점이 있다[17].

이 연구는 4명씩 그룹을 구성하여 총 3그룹, 12명의 연구참여자를 대상으로 인터뷰를 진행하였다. 그룹 당 인터뷰 시간은 40분 내외였으며, 원활한 의견 개진을 위해 연구자와 연구참여자 모두 얼굴 영상과 마이크를 활성화한 상태로 진행하였다. 연구참여자의 동의를 얻어 인터뷰는 녹화하였다. 분석 과정은 다음과 같이 진행하였다. 우선, 전사한 인터뷰 스크립트에서 각 그룹별로 주요 내용을 문장 단위로 추출하고, 유사한 내용으로 묶어 나가며 소주제를 도출하였다.

실시간 온라인 강의 경험의 통점을 개선할 솔루션 방향으로 도출된 소주제는 다음과 같이 추출하였다: 1) 교수자의 퍼실리테이터 역할 강화, 2) 참여자 간 상호작용 증진, 3) 시스템 오류의 즉각적 확인과 회복, 4) 개인캠으로 인한 심리적 부담감 최소화, 5) 수강생들의 발화 순서 관리, 6) 수강생들의 전체적 분위기 확인, 7) 실시간 피드백을 위한 채팅 기능 확대이다.

3-3 인터랙션 개선안 설계 (Designing for Improved Interaction)

온라인 포커스 그룹 인터뷰를 통해 도출된 경험 개선 방향을 기반으로 온라인 교육 플랫폼의 인터페이스 디자인 프로토타입을 설계하였다. 실시간 회의 플랫폼인 Zoom의 인터페이스 요소를 기반으로 메인 화면에 질문하기 버튼과 같이 교육적 사용에 필요한 기능을 위한 인터페이스 요소를 추가하여 디자인하였다. 또한, NVIDIA, SK텔레콤 등이 실시간 온라인 회의 플랫폼에 인공지능 기술을 적용하고 있고[1],[2], 현재의 인공지능 기술로 500개의 얼굴 특징점을 자동 분석하여 수업 내용에 대한 학생들의 관심과 지루함을 파악할 수 있으며[18], 사람의 움직임을 감지할 수 있는 인공지능 모션 인식 기술[19]이 상용화된 현실을 반영하여 개선안의 한 가지로 인공지능이 학습자의 모션과 감정을 인식하는 가상의 자동화 인터랙션을 인터페이스 디자인을 통해 제시하였다.

인터뷰 결과 중에서 상용 플랫폼에서 이미 개선중인 부분은 설계 대상에서 제외하였다. 예를 들면, ‘개인캠으로 인한 자신의 얼굴 노출 부담감 최소화’ 같은 경우, Zoom에서 베타 서비스로 눈썹, 수염, 입술색 등을 조절할 수 있는 혼합 가상현실(MR) 인터페이스 기능이 최근 생성되었기 때문에 제외하였다. 따라서 이 연구는 ‘교수자의 퍼실레이터 역할’, ‘수강 참여자 간 상호작용 증진’의 유저 니즈를 반영하여, ‘수강생의 발화 순서 관리’와 ‘전체적 분위기 파악’을 중점으로 개선된 인터페이스 프로토타입을 제작하였다.

첫 번째로 ‘발화 순서 관리’는 질의 및 토론 상황에서 발화가 겹치는 것을 방지하고, 온라인 교육 플랫폼이 퍼실리테이터의 역할을 보조할 수 있도록 인터페이스 개선안을 설계하였다. 예를 들면, 손을 든 학생들을 교수자가 갤러리 뷰에서 확인해야 하는 기존 방식과 대비하여, 질문하기 버튼을 메인 화면에 노출시켜 마우스를 이용하여 버튼을 누르거나 손을 든 학생들의 모션을 인공지능이 인식하여 질문자의 순서를 자동으로 정렬시킬 수 있도록 하였다.

두 번째로 ‘전체적 분위기 파악’은 교수자와 학습자 간의 피드백을 증진시키기 위해 이해도와 흥미도를 파악하여 종합된 결과를 보여주는 것으로 설계하였다. 대면 상황에서는 표정과 같은 비언어적 요소들을 파악하여 수업의 전체적인 분위기를  직관적으로 파악하기 쉽지만, 화상 강의 시 전체 학생들의 얼굴 표정을 일별적으로 인식하기 어렵기 때문에 이를 중점으로 개선안을 도출하였다. 도출된 개선안은 <표1>과 같다.

Table 1. 
Improvement scheme of interface design
A
(Default)
B
(Direct
Manipulation)
C
(AI-assisted
Automation)
Experiment 1
(Managing turn-taking)
Voice utterance Question button Motion recognition
Experiment 2
(To grasp the general atmosphere)
See all students Understanding and Interesting button Emotion recognition

3-2 사용성 평가 (Usability Testing)

연구를 위하여 실시간 온라인 강의 수강 경험이 있는 20~30대를 대상으로 선정하였다. 본 실험에 앞서 8명(남성 5명, 여성 3명)을 대상으로 파일럿 테스트를 실시하여, 본 실험에 사용할 설문문항과 영상 처치물에 문제가 없는지 확인하고 문항 표현과 영상의 길이를 수정하였다. 본 실험은 온라인으로 진행하였고, 처치물 영상을 보고 설문에 응답할 수 있도록 구성하였다. 총 6개의 영상 처치물을 하나씩 보고 설문에 답하는 과정으로 진행하였으며, 총 실험 소요 시간은 15분 안팎이었다. 2020년 11월 중 4일간 온라인 커뮤니티를 통해 설문지를 배포하였다. 총 70명이 설문에 참여했으며, 불성실한 답변이 포함된 11개와 연구 조건에 맞지 않는 3개를 제외하고 총 56개 설문응답지를 최종 분석에 사용하였다.

1) 영상 처치물

실험1은 발화 순서 관리에 대한 내용으로 교수자가 질문이 있는지 묻고, 여러 학습자가 거의 동시에 발언 의사를 표시하는 질의 상황의 시나리오이다. A안은 기존과 동일하게 음성 발화로 질의를 하는 것이며(예: “질문 있습니다”), B안은 학습자가 질문하기 버튼을 눌러서 의사를 표시하고, C안은 인공지능이 학습자의 손들기 모션을 인식해 질문 의사를 표시해 주는 것으로 하였다. B안과 C안의 차이는 학습자가 직접 마우스로 버튼을 누르는 직조작(direct manipulation) 인터랙션과 인공지능이 학습자의 모션을 인식하는 자동화 인터랙션이며, 의사표시 후 결과 화면은 B안과 C안 모두 동일하게 제공되었다. 실험1에 대한 영상 처치물은 <그림2>와 같다.


Fig. 2. 
Experimental treatment of managing turn-taking

실험2는 전체적 분위기 파악에 관한 내용으로 교수자가 강의에 대한 설명 후, 강의를 잘 따라오고 있는지 묻는 시나리오이다. A안은 기존과 동일하게 전체 학생 보기(갤러리 뷰)로 하였으며, B안은 이해도-학습도를 묻는 팝업창에 학습자가 직접 마우스로 상태를 표시하고, C안은 인공지능이 학습자의 표정과 제스처를 인식해 상태를 표시해 주는 것으로 하였다. B안과 C안의 차이는 실험1과 마찬가지로 학습자가 직접 버튼을 누르는 직조작 인터랙션과 인공지능이 학습자의 감정을 인식하는 자동화 인터랙션이며, 상태 표시 후 결과 화면은 B안과 C안 모두 동일하게 제공되었다. 실험2에 대한 영상 처치물은 <그림3>와 같다.


Fig. 3. 
Experimental treatment of to grasp general atmosphere

2) 측정 도구

연구참가자는 실험 영상 처치물을 시청한 후, 총 18문항의 설문에 응답하였다. 선행 연구[20],[21],[22],[23]에서 사용한 문항을 이 연구에 맞게 재구성하여 사용성, 사회적 실재감, 커뮤니케이션 효율성, 몰입감, 참여의도의 5가지 항목을 리커트 7점 척도로 측정하였다. 구체적인 설문 문항은 <표 2>와 같다. 또한, 실험의 각 상황에 가장 적합한 영상 처치물이 무엇인지 선택하고, 이유를 서술하게 하였다.

Table 2. 
Measurement variables and survey questions
Research variable Survey questions
Usability • Synchronous Online Learning(SOL) platform menu is easy to understand.
• SOL platform reduces time and cognitive costs.
• SOL platform is recovered from any errors easily.
• SOL platform menu is intuitive.
Social presence • Feel comfortable conversing through SOL.
• Using SOL platform makes easy to participate in the discussion.
• Using SOL platform is convenient to interact with other students.
Communication efficiency • Using SOL platform is possible to communicate quickly.
• Using SOL platform can reduce the time and procedures required for communication.
• Using SOL platform can clearly deliver my intention.
Cognitive absorption • Lose track of time when in SOL.
• I’m not bored when in SOL.
• Attention does not get diverted easily while in SOL.
• Immersed in task being performed while in SOL.
• Able to block out most distraction while in SOL.
Participation intention • I want to participate in discussion while in SOL.
• I want to ask some question while in SOL.
• I want to give feedback on lectures or presentations while in SOL.


Ⅳ. 연구 결과
4-1 샘플 특성과 측정 변인의 신뢰도 분석

실시간 온라인 강의 수강 경험이 있는 20~30대 학생을 대상으로 설문을 실시하였다. 여성이 34명(60.7%)으로 남성 22명(39.3%)보다 많았고, 연구참가자 56명의 평균 연령은 24.3세(SD = 3.83)였다. 평균적으로 7개월(SD = 2.34)간 7과목(SD = 4.51)의 실시간 온라인 강의 수강 경험이 있었으며, 49명(87.5%)이 실시간 온라인 교육 플랫폼으로 Zoom을 사용하였다.

본 실험에서 사용된 설문 문항의 신뢰성을 검증하기 위해 Cronbach’s α 계수를 이용해 신뢰도 분석을 진행하였다. 영상 처치물 실험에 사용한 측정 도구의 신뢰도 계수 값은 사용성(α = .89), 사회적 실재감(α = .93), 커뮤니케이션 효율성(α = .87), 몰입감(α = .92), 참여의도(α = .91)로 나타났다. 모든 항목에 대하여 값이 0.7 이상으로 분석되어 모든 측정 변인의 신뢰성이 검증되었다.

4-2 실험1: 발화 순서 관리

실험1의 영상 처치물에 따른 종속변인의 차이를 살펴보기 위해 반복측정 분산분석(repeated measures ANOVA)을 실시하였다. 이에 앞서 구형성 검정을 위해 Mauchly’s test를 실시하였으며, 사회적 실재감, 커뮤니케이션 효율성, 참여 의도는 구형성 가정을 만족하였고(p > .05), 사용성과 몰입감은 구형성 가정을 만족하지 못하였으므로(p < .05), 엡실런 교정값을 이용한 수정된 자유도와 값을 사용하였다.

1) 사용성(Usability)

영상 처치물이 사용성에 미치는 영향에 대하여 반복측정 분산분석(repeated measures ANOVA)을 실시한 결과, 유의한 차이가 발견되었다[F(1.80, 99.21) = 12.27, p < .001, ηp2 = .18]. 조건 간 차이를 확인하기 위해 대비검정을 실시한 결과 A안과 B안의 유의한 차이가 발견되었고[F(1, 55) = 7.87, p < .01, ηp2 = .13], A안과 C안의 유의한 차이가 발견되었으며[F(1, 55) = 4.39, p < .05, ηp2 = .07], B안과 C안 간의 유의한 차이가 발견되었다[F(1, 55) = 29.51, p < .001, ηp2 = .35].

2) 사회적 실재감(Social presence)

영상 처치물이 사회적 실재감에 미치는 영향에 대하여 반복측정 분산분석(repeated measures ANOVA)을 실시한 결과, 유의한 차이가 발견되었다[F(2, 110) = 12.68, p < .001, ηp2 = .19]. 조건 간 차이를 확인하기 위해 대비검정을 실시한 결과, A안과 B안 간의 유의한 차이가 발견되었고[F(1, 55) = 13.02, p < .01, ηp2 = .19], B안과 C안의 유의한 차이가 발견되었다[F(1, 55) = 32.02, p < .001, ηp2 = .37]. A안과 C안 간의 차이는 유의하지 않았다[F(1, 55) = 1.03, p = .32].

3) 커뮤니케이션 효율성(Communication efficiency)

영상 처치물이 커뮤니케이션 효율성에 미치는 영향에 대하여 반복측정 분산분석(repeated measures ANOVA)을 실시한 결과, 유의한 차이가 발견되었다[F(2, 110) = 20.37, p < .001, ηp2 = .27]. 조건 간 차이를 확인하기 위해 대비검정을 실시한 결과 A안과 B안 간의 유의한 차이가 발견되었고[F(1, 55) = 24.66, p < .001, ηp2 = .31], B안과 C안의 유의한 차이가 발견되었다[F(1, 55) = 39.79, p < .001, ηp2 = .42]. A안과 C안 간의 차이는 유의하지 않았다[F(1, 55) = 2.22, p = .14].

4) 몰입감(Cognitive absorption)

영상 처치물이 몰입감에 미치는 영향에 대하여 반복측정 분산분석(repeated measures ANOVA)을 실시한 결과, 유의한 차이가 발견되었다[F(1.58, 86.93) = 14.96, p < .001, ηp2 = .21]. 조건 간 차이를 확인하기 위해 대비검정을 실시한 결과 A안과 B안 간의 유의한 차이가 발견되었고[F(1, 55) = 21.40, p < .001, ηp2 = .28], A안과 C안 간의 유의한 차이가 발견되었다[F(1, 55) = 18.18, p < .001, ηp2 = .25]. B안과 C안 간의 차이는 유의하지 않았다[F(1, 55) = 2.75, p = .10].

Table 3. 
Means by interface prototypes in experiment 1
A
(Default)
B
(Direct Manipulation)
C
(AI-assisted Automation)
Usability 4.61(.99) 4.90(1.16) 4.32(1.22)
Social presence 4.37(1.28) 5.15(1.46) 4.13(1.52)
Communication efficiency 4.47(1.23) 5.39(1.37) 4.14(1.48)
Cognitive absorption 3.28(1.26) 3.70(1.31) 3.85(1.37)
Participation intention 3.55(1.15) 4.11(1.37) 3.71(1.37)

Table 4. 
Results of repeated measures ANOVA in experiment 1
Type Ⅲ sum of squares F ηp2 contrast
Usability 9.29 12.27*** .18 C<A<B
Social presence 31.75 12.68*** .19 A<B
C<B
Communication efficiency 46.92 20.37*** .27 A<B
C<B
Cognitive absorption 9.76 14.96*** .21 A<B
A<C
Participation intention 9.243 8.70*** .14 A<B
C<B
*** p < .001

5) 참여 의도(Participation intention)

영상 처치물이 참여 의도에 미치는 영향에 대하여 반복측정 분산분석(repeated measures ANOVA)을 실시한 결과, 유의한 차이가 발견되었다[F(2, 110) = 8.70, p < .001, ηp2 = .14]. 조건 간 차이를 확인하기 위해 대비검정을 실시한 결과 A안과 B안의 유의한 차이가 발견되었고[F(1, 55) = 16.49, p < .001, ηp2 = .23], B안과 C안 간의 유의한 차이가 발견되었다[F(1, 55) = 10.23, p < .01, ηp2 = .16]. A안과 C안 간의 차이는 유의하지 않았다[F(1, 55) = 1.21, p = .28].

4-3 실험2: 전체적 분위기 파악

실험2의 영상 처치물에 따른 종속변인의 차이를 살펴보기 위해 반복측정 분산분석(repeated measures ANOVA)을 실시하였다. 이에 앞서 구형성 검정을 위해 Mauchly’s test를 실시하였으며, 사용성, 커뮤니케이션 효율성, 몰입감은 구형성 가정을 만족하였고(p > .05), 사회적 실재감과 참여 의도는 구형성 가정을 만족하지 못하였으므로(p < .05), 엡실런 교정값을 이용한 수정된 자유도와 값을 사용하였다.

1) 사용성(Usability)

영상 처치물이 사용성에 미치는 영향에 대하여 반복측정 분산분석(repeated measures ANOVA)을 실시한 결과, 유의한 차이가 발견되었다[F(2, 110) = 15.69, p < .001, ηp2 = .22]. 조건 간 차이를 확인하기 위해 대비검정을 실시한 결과 A안과 B안의 유의한 차이가 발견되었고[F(1, 55) = 11.73, p < .01, ηp2 = .18], A안과 C안의 유의한 차이가 발견되었으며[F(1, 55) = 4.30, p < .05, ηp2 = .07], B안과 C안간 의 유의한 차이가 발견되었다[F(1, 55) = 33.93, p < .001, ηp2 = .38].

2) 사회적 실재감(Social presence)

영상 처치물이 사회적 실재감에 미치는 영향에 대하여 반복측정 분산분석(repeated measures ANOVA)을 실시한 결과, 유의한 차이가 발견되었다[F(1.74, 95.78) = 6.77, p < .01, ηp2 = .11]. 조건 간 차이를 확인하기 위해 대비검정을 실시한 결과 A안과 B안의 유의한 차이가 발견되었고[F(1, 55) = 8.05, p < .01, ηp2 = .13], B안과 C안의 유의한 차이가 발견되었다[F(1, 55) = 12.25, p < .01, ηp2 = .18]. A안과 C안의 차이는 유의하지 않았다[F(1, 55) = .20, p = .65].

3) 커뮤니케이션 효율성(Communication efficiency)

영상 처치물이 커뮤니케이션 효율성에 미치는 영향에 대하여 반복측정 분산분석(repeated measures ANOVA)을 실시한 결과, 유의한 차이가 발견되었다[F(2, 110) = 28.46, p < .001, ηp2 = .34]. 조건 간 차이를 확인하기 위해 대비검정을 실시한 결과 A안과 B안의 유의한 차이가 발견되었고[F(1, 55) = 34.61, p < .001, ηp2 = .39], B안과 C안의 유의한 차이가 발견되었다[F(1, 55) = 50.40, p < .001, ηp2 = .48]. A안과 C안의 차이는 유의하지 않았다[F(1, 55) = .31, p = .58].

Table 5. 
Means by Interface prototypes in experiment 2
Variable A
(Default)
B
(Direct Manipulation)
C
(AI-assisted Automation)
Usability 4.26(1.17) 4.83(1.18) 3.89(1.32)
Social presence 3.47(1.35) 4.18(1.63) 3.56(1.38)
Communication efficiency 3.66(1.35) 4.95(1.41) 3..55(1.47)
Cognitive absorption 3.24(1.16) 3.91(1.50) 3.71(1.38)
Participation intention 2.97(1.10) 3.62(1.47) 3.26(1.32)

Table 6. 
Results of repeated measures ANOVA in experiment 2
Type Ⅲ sum of squares F ηp2 contrast
Usability 24.97 15.69*** .22 C<A<B
Social presence 16.96 6.77** .11 A<B
C<B
Communication efficiency 68.22 28.46*** .34 A<B
C<B
Cognitive absorption 13.28 12.05*** .18 A<B
A<C
Participation intention 11.83 10.00*** .15 A<B
C<B
*** p < .001, ** p < .01

4) 몰입감(Cognitive absorption)

영상 처치물이 몰입감에 미치는 영향에 대하여 반복측정 분산분석(repeated measures ANOVA)을 실시한 결과, 유의한 차이가 발견되었다[F(2, 110) = 12.05, p < .001, ηp2= .18]. 조건 간 차이를 확인하기 위해 대비검정을 실시한 결과 A안과 B안 간의 유의한 차이가 발견되었고[F(1, 55) = 18.88, p < .001, ηp2 = .26], A안과 C안의 유의한 차이가 발견되었다[F(1, 55) = 12.41, p < .01, ηp2 = .18]. B안과 C안 간의 차이는 유의하지 않았다[F(1, 55) = 2.37, p = .13].

5) 참여 의도(Participation intention)

영상 처치물이 참여 의도에 미치는 영향에 대하여 반복측정 분산분석(repeated measures ANOVA)을 실시한 결과, 유의한 차이가 발견되었다[F(1.83, 100.78) = 10.00, p < .001, ηp2 = .15]. 조건 간 차이를 확인하기 위해 대비검정을 실시한 결과 A안과 B안 간의 유의한 차이가 발견되었고[F(1, 55) = 15.22, p < .001, ηp2 = .22], B안과 C안의 유의한 차이가 발견되었다[F(1, 55) = 8.67, p < .01, ηp2 = .14]. A안과 C안 간의 차이는 유의하지 않았다[F(1, 55) = 4.05, p = .05].


Ⅴ. 결 론

이 연구는 학습자의 실시간 온라인 교육 경험을 기반으로 개선된 두 가지 실시간 온라인 교육 플랫폼 인터페이스 프로토타입을 설계하여 기존 인터페이스에 비해 어느 프로토타입이 더 효과적인지를 검증하였다. 질문을 하는 상황(실험1)과 전체적 분위기를 파악하는 상황(실험2)에서 기존 인터페이스, 직조작 인터페이스, 자동화 인터페이스에 따라 학습자의 사용성, 사회적 실재감, 커뮤니케이션 효율성, 몰입감, 참여 의도에 차이가 있는지를 비교하였다.

실험 결과, 종속변인 중 사용성만이 실험1과 실험2에서 세 가지 독립 변인에 따른 각각의 차이가 유의하게 나타났다. 직조작 인터페이스가 기존 인터페이스보다, 기존 인터페이스가 자동화 인터페이스보다 통계적으로 유의하게 사용성 인식이 높았다. 사회적 실재감, 커뮤니케이션 효율성, 참여 의도는 실험1과 실험2에서 직조작 인터페이스가 기존 인터페이스나 자동화 인터페이스보다 통계적으로 유의하게 높았고, 기존 인터페이스와 자동화 인터페이스 간 유의한 차이는 존재하지 않았다. 마지막으로 몰입감은 실험1과 실험2에서 직조작이 기존 인터페이스보다 통계적으로 유의하게 높았고 자동화 인터페이스가 기존 인터페이스보다 통계적으로 유의하게 높았으나, 직조작과 자동화 간에는 유의한 차이가 존재하지 않았다. 이러한 연구 결과에 대하여 다음과 같이 논의점을 제시하고자 한다.

첫째, 모든 종속변인에서 직조작 인터페이스가 기존 인터페이스보다 통계적으로 유의하게 높게 나타나, 현재 사용되고 있는 온라인 화상 회의 플랫폼의 인터랙션 디자인은 교육 목적으로 사용하기에 한계가 있음을 확인하였다. 이는 선행연구 결과[24]와 같이 학습자가 실시간 온라인 교육에 쉽게 참여할 수 있는 인터랙션 방식과 이에 따른 인터페이스 디자인이 필요하다는 것을 의미한다. 또한, 학습자들이 직조작 방식을 선호하며, 기존 인터페이스보다 직조작에서 더 높은 사회적 실재감과 몰입감, 참여 의도를 느낀 것으로 나타났다. 이는 실시간 온라인 교육 플랫폼에서는 학습자가 스스로 조작할 수 있는 인터페이스 제공이 교육 성과 측면에서 더 효과적이라는 점을 시사한다. 이 연구가 상황에 따라 질문하기 버튼이나 이해도-관심도 버튼을 제공한 것처럼, 실시간 온라인 교육 플랫폼은 직조작 인터페이스로 학습자 참여를 이끌어내고, 교수자-학습자, 학습자-학습자 간 상호작용을 지원하는 방향으로 설계되어야 할 것이다.

둘째, 자동화 인터페이스의 혼재된 효과는 인공지능 기술 도입에 대한 연구참가자 간의 인식 차이로 인한 것으로 분석할 수 있다. 연구참가자들은 “인공지능이 감지할 때 오류가 있을 것 같다”, “인공지능의 신빙성과 정확성에 의심이 간다”, “인공지능에 대한 신뢰가 낮아서 그런지 내 감정을 잘 분석할 것 같지 않다” 라고 부정적인 반응을 보이며 직조작 인터랙션이 더 적합하다고 진술하였다. 반면에 “AI 모션 인식이 원격 수업이지만 실제 수업에 참여하는 듯한 재미를 준다”, “AI가 인식하여 매우 편리하다” 와 같이 긍정적인 반응을 보이며 자동화 인터페이스를 선택한 연구참가자도 있었다. 아직까지 인공지능 기술이 적용된 서비스에 대한 경험이 충분하지 않거나 신뢰가 높지 않아, 인공지능의 유용함을 낮게 인식하는 것으로 해석할 수 있다. 따라서 실시간 온라인 교육 플랫폼에 자동화 인터페이스를 도입한다면, 도입 초기에는 실험2와 같이 개인별 결과 대신 종합된 결과만 제시하여 학습자의 심리적 거부감을 줄이는 방향으로 설계하는 것을 제안한다.

이 연구의 한계점은 다음과 같다. 첫째, COVID-19 상황에 따라 온라인으로 실험을 진행하여 연구자가 실험 진행 통제에 한계가 컸다. 둘째, 시나리오에 따라 연출된 영상 처치물로 연구참가자가 실험에 몰입하기 어려울 수 있었다. 연구참가자가 50분 이상의 수업을 듣고 있는 상황을 가정한 것이었으나, 실험에서 짧은 시간 내에 상황에 몰입하기에는 어려움이 있었을 것이다. 또한, 실시간 온라인 교육 플랫폼 시스템을 직접 개발하여 구현한 것이 아니었기 때문에 후속 연구에서는 이러한 부분을 고려하여 실험 설계할 것을 제안한다.

이러한 한계점에도 이 연구는 다음과 같은 기여점을 제공한다. 첫째, 실시간 온라인 교육 상황에서 학습자의 경험과 인식에 기반하여 인터페이스를 개선하고 실험으로 검증하였다는 점이다. 인터페이스 디자인 개선에 따른 학습자의 사용성, 사회적 실재감, 커뮤니케이션 효율성, 몰입감, 참여 의도의 변화 양상을 확인하였다. 둘째, 실시간 온라인 교육 전용 플랫폼의 개발이 이루어지고 있는 시점에서 이 연구의 결과를 실무적으로 활용할 수 있다는 점이다. 이 연구가 제안한 실시간 온라인 교육 플랫폼에 적절한 인터랙션 설계와 인터페이스 디자인을 반영한다면 학습자에게 최적화된 플랫폼을 제작할 수 있을 것으로 기대한다.


References
1. NVIDIA(2020). NVIDIA MAXINE Cloud-AI Video-Streaming Platform. Available: https://developer.nvidia.com/maxine.
2. SK telecom(2020).  2020 NUGU CONFERENCE. Available: http://nuguconference2020.co.kr.
3. Hrastinski. S, “Asynchronous and synchronouse-learning,” Educause quarterly, Vol 31, No. 4, pp. 51-55, 2008.
4. Newberry. B, “Raisingstudent social presence in online classes,” Paper presented at the WebNet 2001:World Conference on the WWW and Internet, Orlando, FL, 2001.
5. J. S. Choi, M. K. Kwno, and E. L.Choi, “A Study on Learner Perceptions and SatisfactionLevels of Real-Time Online Learning-Focusing on the case of Korean languageprogram at D University,” Journal of the International Network for Korean Language and Culture, Vol 17, No. 2, pp. 247-278, 2020.
6. J. W. Seo and C. Lee, “Action-Items for training and development designers toReinforce the learners' Presence In the online-basedHigher Education environment,” Journal of Learner-Centered Curriculum and Instruction, Vol 20. No.8, pp. 695-718, 2020.
7. Pal. D, and Vanijja. V, “Perceived usability evaluation of Microsoft Teams as an online learning platform during COVID-19 using system usability scale and technology acceptance model in India,” Children and youth services review, Vol 119, 2020. : 105535
8. Pal. D, Vanijja. V, and Patra. S, “Online Learning During COVID-19: Students' Perception of Multimedia Quality,” In Proceedings of the 11th International Conference on Advances inInformation Technology, pp. 1-6, 2020.
9. T. Chen, L. Peng, X. Yin, J. Rong, J. Yang, and G. Cong, “Analysis of user satisfaction with online education platforms in China during the COVID-19 pandemic,” Healthcare, vol. 8, no. 3, 2020.
10. Short. J, Williams. E, and Christie. B, The social psychology of telecommunications, London:Wiley, 1976.
11. Brahmasrene. T and Lee. JW, “Determinants of Intent to Continue Using Online Learning: A Tale of Two Universities,” Interdisciplinary Journal of Information, Knowledge, and Management, Vol 7, No. 1, pp. 1-20, 2012.
12. E. M. Choi and A. N. Han, “The Effect of Social Presence on Learning Flow and Learning Effects In Online Learning Community”, Journal of Korean Association for Educational Information and Media, Vol 16, No. 1, pp. 23-43, 2010.
13. Wei. C. W and Chen. N. S, “A model for social presence in online classrooms,” Educational Technology Research and Development, Vol 60, No. 3, pp. 529-545, 2012.
14. Peter Leong, “Role of social presence and cognitive absorption in online learning environments,” Distance Education, Vol 32, No.1, pp. 5-28, 2011.
15. M. J. Jeong and J. H. Hyeon, “A study on the relation of efficient communication (the center of web design) in the web-based interface design,” Illosology, Vol 12, pp. 102-110, 2003.
16. Nuswantari. A, Wu. Y. T, and Surjono. H. D, “The Synchronous Online Argumentation System User Interface with an Integrated Design Framework: Redesign and Evaluation,” JPI (Jurnal Pendidikan Indonesia), Vol 9, No. 1, pp. 106-118, 2020.
17. Lobe. B, Best Practicesfor Synchronous Online Focus Groups. In: Barbour, R. S & Morgan, D. L. (eds). A New Era in Focus Group Research, Palgrave Macmillan, London, 2017.
18. Varison(2019). FaceReader. Available: https://varison.co.kr/products/facereader/
19. Motion Gestuers(2020). Gesture recognition software. Available: https://www.motiongestures.com/
20. Arbaugh. J. B, Cleveland-Innes. M, Diaz. S. R, Garrison. D. R, Ice. P, Richardson. J. C, and Swan. K. P, “Developing a community of inquiry instrument: Testing a measure of the community of inquiry framework using a multi-institutional sample,” The internet and higher education, Vol 11, pp. 133-136, 2008.
21. Leong. P, “Role of social presence and cognitive absorption in online learning environments,” Distance Education, Vol 32, No. 1, pp. 5-28, 2011.
22. Yuan. Y, Head. M, and Du. M, “The effects of multimedia communication on web-based negotiation,” Group Decision and Negotiation, Vol 12, No. 2, pp. 89-109, 2003.
23. Nathoo. A, Bekaroo. G, Gangabissoon. T, and Santokhee. A, “Using tangible user interfaces for teaching concepts of Internet of Things,” Interactive Technology and Smart Education, Vol 17, No. 2, pp. 133-158, 2020.
24. Wang. Q, Quek. C. L, and Hu. X, “Designing and improving a blended synchronous learning environment: An educational design research,” The International Review of Research in Open and Distributed Learning, Vol 18, No.3 pp. 99-118, 2017.

저자소개

신효림(Hyorim Shin)

2017년 : 인하대학교 (아동학 학사)

2019년 : 인하대학교 대학원 (아동복지학 석사)

2020년~현 재 : 연세대학교 정보대학원 UX 트랙 박사과정

※관심분야:UX 디자인(UX Design), AI(Artificial Intelligence), 능동성(Proactivity) 등

김시완(Siwan Kim)

2020년 : 이화여자대학교 (융합콘텐츠학 학사)

2020년~현 재 : 연세대학교 정보대학원 UX 트랙 석사과정

※관심분야:UX 디자인(UX Design), 자율주행(Autonomous Driving), AI(Artificial Intelligence) 등

최준호(Junho Choi)

1993년 : 연세대학교 (신문방송학과 학사)

1995년 : 연세대학교 (신문방송학과 석사)

1997년 : 일리노이 주립대학교 (커뮤니케이션 석사)

2002년 : 뉴욕주립대학 (커뮤니케이션 박사)

2002년~2006년 : Rensselaer Polytechnic Institute.          Department of Language, Literature, & Communication, HCI 과정 조교수

2006년~2009년 : 광운대학교 미디어영상학부 디지털미디어트랙 부교수

2016년~2017년 : University of Michigan 방문교수

2009년~현 재 : 연세대학교 정보대학원 UX 트랙 교수

※관심분야:AI(Artificial Intelligence), 자율주행(Autonomous Driving), UX 서비스 기획(UX Service Design) 등