실시간 온라인 교육 플랫폼의 인터랙션 디자인 제안 : 학습자 참여와 몰입을 위한 인터페이스 프로토타입 실험 연구

Ⅰ. 서 론

COVID-19로 실시간 온라인 교육이 전면적으로 시행되었다. 상용화된 온라인 화상 회의 플랫폼이 사용되고 있으나, 교육 환경에 최적화되어 설계된 인터페이스가 아니기 때문에 교수자와 학습자가 모두 어려움을 겪고 있는 실정이다. 실시간 온라인 교육에서 발생하는 문제들을 해결하고자, IT 기업들과 연구자들은 다양한 측면에서 해결 방안을 모색하고 있다.

온라인 교육과 원격 근무 플랫폼의 수요가 폭발적으로 증가하면서, IT 기업들은 비대면 상호작용의 만족도와 생산성을 높이기 위해, 인공지능 기반의 다양한 기술들을 개발하고 있다. NVIDIA는 2020년 10월 5일 맥신(Maxine)이라는 클라우드 기반의 인공지능 화상회의 플랫폼 서비스를 새롭게 발표하였는데, 사용자 시선의 정면 처리, 실시간 번역 및 자막 생성, 소음 제거 등의 기술을 지원한다[1]. SK텔레콤은 자사의 실시간 온라인 회의 플랫폼인 MeetUs에 인공지능 기술을 결합하여 참여자 간 상호작용 및 집중도를 개선하여 상용화할 예정이며, 특히 교육용 커스터마이징을 지원하고 2021년 광주 교육청과 함께 가상화 교실 서비스 상용화 평가를 진행한다고 발표하였다[2].

그러나, 학교 교육 맥락에 맞는 온라인 화상 강의 플랫폼의 인터페이스 개선 연구는 아직 미비한 실정이다. 이 연구에서는 학습자에게 초점을 맞추어 학습자의 인식과 실시간 온라인 교육 경험을 탐구하고, 실시간 온라인 교육에 적합한 인터페이스를 제안하고자 한다. 이를 위해 학습자를 대상으로 유저 다이어리와 온라인 포커스 그룹 인터뷰를 실시해 경험 통점(pain point)과 개선점을 발견하고, 이를 기반으로 개선된 실시간 온라인 교육 플랫폼 인터페이스 프로토타입을 설계하여 실험을 통해 개선 효과를 실증적으로 검증하고자 한다.

Ⅱ. 이론적 배경

Ⅲ. 연구설계

이 연구의 목적은 실시간 온라인 교육 플랫폼에 대한 학습자의 통점을 탐색하고, 개선된 실시간 온라인 교육 플랫폼의 인터페이스 설계를 제안하는 것이다.

이 연구는 실시간 온라인 교육에 관한 사용자 경험을 알아보고자 유저 다이어리(User Dairy)와 온라인 포커스 그룹 인터뷰(Online Focus Group Interview)를 실시하였다. 유저 다이어리를 통해 경험 통점(pain point)을 도출하고 온라인 포커스 그룹 인터뷰를 통해 개선된 인터랙션 디자인 방안을 도출하는 것을 목표로 하여 자료를 수집 및 분석하였다. 이후 개선 방안을 실제 강의 상황에 적용하여 프로토타입을 제작해 사용자 평가를 진행하였다. 연구의 과정은 <그림1>과 같다.

Fig. 1.

Schematization of the user research process

3-3 인터랙션 개선안 설계 (Designing for Improved Interaction)

온라인 포커스 그룹 인터뷰를 통해 도출된 경험 개선 방향을 기반으로 온라인 교육 플랫폼의 인터페이스 디자인 프로토타입을 설계하였다. 실시간 회의 플랫폼인 Zoom의 인터페이스 요소를 기반으로 메인 화면에 질문하기 버튼과 같이 교육적 사용에 필요한 기능을 위한 인터페이스 요소를 추가하여 디자인하였다. 또한, NVIDIA, SK텔레콤 등이 실시간 온라인 회의 플랫폼에 인공지능 기술을 적용하고 있고[1],[2], 현재의 인공지능 기술로 500개의 얼굴 특징점을 자동 분석하여 수업 내용에 대한 학생들의 관심과 지루함을 파악할 수 있으며[18], 사람의 움직임을 감지할 수 있는 인공지능 모션 인식 기술[19]이 상용화된 현실을 반영하여 개선안의 한 가지로 인공지능이 학습자의 모션과 감정을 인식하는 가상의 자동화 인터랙션을 인터페이스 디자인을 통해 제시하였다.

인터뷰 결과 중에서 상용 플랫폼에서 이미 개선중인 부분은 설계 대상에서 제외하였다. 예를 들면, ‘개인캠으로 인한 자신의 얼굴 노출 부담감 최소화’ 같은 경우, Zoom에서 베타 서비스로 눈썹, 수염, 입술색 등을 조절할 수 있는 혼합 가상현실(MR) 인터페이스 기능이 최근 생성되었기 때문에 제외하였다. 따라서 이 연구는 ‘교수자의 퍼실레이터 역할’, ‘수강 참여자 간 상호작용 증진’의 유저 니즈를 반영하여, ‘수강생의 발화 순서 관리’와 ‘전체적 분위기 파악’을 중점으로 개선된 인터페이스 프로토타입을 제작하였다.

첫 번째로 ‘발화 순서 관리’는 질의 및 토론 상황에서 발화가 겹치는 것을 방지하고, 온라인 교육 플랫폼이 퍼실리테이터의 역할을 보조할 수 있도록 인터페이스 개선안을 설계하였다. 예를 들면, 손을 든 학생들을 교수자가 갤러리 뷰에서 확인해야 하는 기존 방식과 대비하여, 질문하기 버튼을 메인 화면에 노출시켜 마우스를 이용하여 버튼을 누르거나 손을 든 학생들의 모션을 인공지능이 인식하여 질문자의 순서를 자동으로 정렬시킬 수 있도록 하였다.

두 번째로 ‘전체적 분위기 파악’은 교수자와 학습자 간의 피드백을 증진시키기 위해 이해도와 흥미도를 파악하여 종합된 결과를 보여주는 것으로 설계하였다. 대면 상황에서는 표정과 같은 비언어적 요소들을 파악하여 수업의 전체적인 분위기를  직관적으로 파악하기 쉽지만, 화상 강의 시 전체 학생들의 얼굴 표정을 일별적으로 인식하기 어렵기 때문에 이를 중점으로 개선안을 도출하였다. 도출된 개선안은 <표1>과 같다.

Table 1.

Improvement scheme of interface design

3-2 사용성 평가 (Usability Testing)

연구를 위하여 실시간 온라인 강의 수강 경험이 있는 20~30대를 대상으로 선정하였다. 본 실험에 앞서 8명(남성 5명, 여성 3명)을 대상으로 파일럿 테스트를 실시하여, 본 실험에 사용할 설문문항과 영상 처치물에 문제가 없는지 확인하고 문항 표현과 영상의 길이를 수정하였다. 본 실험은 온라인으로 진행하였고, 처치물 영상을 보고 설문에 응답할 수 있도록 구성하였다. 총 6개의 영상 처치물을 하나씩 보고 설문에 답하는 과정으로 진행하였으며, 총 실험 소요 시간은 15분 안팎이었다. 2020년 11월 중 4일간 온라인 커뮤니티를 통해 설문지를 배포하였다. 총 70명이 설문에 참여했으며, 불성실한 답변이 포함된 11개와 연구 조건에 맞지 않는 3개를 제외하고 총 56개 설문응답지를 최종 분석에 사용하였다.

1) 영상 처치물

실험1은 발화 순서 관리에 대한 내용으로 교수자가 질문이 있는지 묻고, 여러 학습자가 거의 동시에 발언 의사를 표시하는 질의 상황의 시나리오이다. A안은 기존과 동일하게 음성 발화로 질의를 하는 것이며(예: “질문 있습니다”), B안은 학습자가 질문하기 버튼을 눌러서 의사를 표시하고, C안은 인공지능이 학습자의 손들기 모션을 인식해 질문 의사를 표시해 주는 것으로 하였다. B안과 C안의 차이는 학습자가 직접 마우스로 버튼을 누르는 직조작(direct manipulation) 인터랙션과 인공지능이 학습자의 모션을 인식하는 자동화 인터랙션이며, 의사표시 후 결과 화면은 B안과 C안 모두 동일하게 제공되었다. 실험1에 대한 영상 처치물은 <그림2>와 같다.

Fig. 2.

Experimental treatment of managing turn-taking

실험2는 전체적 분위기 파악에 관한 내용으로 교수자가 강의에 대한 설명 후, 강의를 잘 따라오고 있는지 묻는 시나리오이다. A안은 기존과 동일하게 전체 학생 보기(갤러리 뷰)로 하였으며, B안은 이해도-학습도를 묻는 팝업창에 학습자가 직접 마우스로 상태를 표시하고, C안은 인공지능이 학습자의 표정과 제스처를 인식해 상태를 표시해 주는 것으로 하였다. B안과 C안의 차이는 실험1과 마찬가지로 학습자가 직접 버튼을 누르는 직조작 인터랙션과 인공지능이 학습자의 감정을 인식하는 자동화 인터랙션이며, 상태 표시 후 결과 화면은 B안과 C안 모두 동일하게 제공되었다. 실험2에 대한 영상 처치물은 <그림3>와 같다.

Fig. 3.

Experimental treatment of to grasp general atmosphere

2) 측정 도구

연구참가자는 실험 영상 처치물을 시청한 후, 총 18문항의 설문에 응답하였다. 선행 연구[20],[21],[22],[23]에서 사용한 문항을 이 연구에 맞게 재구성하여 사용성, 사회적 실재감, 커뮤니케이션 효율성, 몰입감, 참여의도의 5가지 항목을 리커트 7점 척도로 측정하였다. 구체적인 설문 문항은 <표 2>와 같다. 또한, 실험의 각 상황에 가장 적합한 영상 처치물이 무엇인지 선택하고, 이유를 서술하게 하였다.

Table 2.

Measurement variables and survey questions

Ⅳ. 연구 결과

4-2 실험1: 발화 순서 관리

실험1의 영상 처치물에 따른 종속변인의 차이를 살펴보기 위해 반복측정 분산분석(repeated measures ANOVA)을 실시하였다. 이에 앞서 구형성 검정을 위해 Mauchly’s test를 실시하였으며, 사회적 실재감, 커뮤니케이션 효율성, 참여 의도는 구형성 가정을 만족하였고(p > .05), 사용성과 몰입감은 구형성 가정을 만족하지 못하였으므로(p < .05), 엡실런 교정값을 이용한 수정된 자유도와 값을 사용하였다.

1) 사용성(Usability)

영상 처치물이 사용성에 미치는 영향에 대하여 반복측정 분산분석(repeated measures ANOVA)을 실시한 결과, 유의한 차이가 발견되었다[F(1.80, 99.21) = 12.27, p < .001, η_p² = .18]. 조건 간 차이를 확인하기 위해 대비검정을 실시한 결과 A안과 B안의 유의한 차이가 발견되었고[F(1, 55) = 7.87, p < .01, η_p² = .13], A안과 C안의 유의한 차이가 발견되었으며[F(1, 55) = 4.39, p < .05, η_p² = .07], B안과 C안 간의 유의한 차이가 발견되었다[F(1, 55) = 29.51, p < .001, η_p² = .35].

2) 사회적 실재감(Social presence)

영상 처치물이 사회적 실재감에 미치는 영향에 대하여 반복측정 분산분석(repeated measures ANOVA)을 실시한 결과, 유의한 차이가 발견되었다[F(2, 110) = 12.68, p < .001, η_p² = .19]. 조건 간 차이를 확인하기 위해 대비검정을 실시한 결과, A안과 B안 간의 유의한 차이가 발견되었고[F(1, 55) = 13.02, p < .01, η_p² = .19], B안과 C안의 유의한 차이가 발견되었다[F(1, 55) = 32.02, p < .001, η_p² = .37]. A안과 C안 간의 차이는 유의하지 않았다[F(1, 55) = 1.03, p = .32].

3) 커뮤니케이션 효율성(Communication efficiency)

영상 처치물이 커뮤니케이션 효율성에 미치는 영향에 대하여 반복측정 분산분석(repeated measures ANOVA)을 실시한 결과, 유의한 차이가 발견되었다[F(2, 110) = 20.37, p < .001, η_p² = .27]. 조건 간 차이를 확인하기 위해 대비검정을 실시한 결과 A안과 B안 간의 유의한 차이가 발견되었고[F(1, 55) = 24.66, p < .001, η_p² = .31], B안과 C안의 유의한 차이가 발견되었다[F(1, 55) = 39.79, p < .001, η_p² = .42]. A안과 C안 간의 차이는 유의하지 않았다[F(1, 55) = 2.22, p = .14].

4) 몰입감(Cognitive absorption)

영상 처치물이 몰입감에 미치는 영향에 대하여 반복측정 분산분석(repeated measures ANOVA)을 실시한 결과, 유의한 차이가 발견되었다[F(1.58, 86.93) = 14.96, p < .001, η_p² = .21]. 조건 간 차이를 확인하기 위해 대비검정을 실시한 결과 A안과 B안 간의 유의한 차이가 발견되었고[F(1, 55) = 21.40, p < .001, η_p² = .28], A안과 C안 간의 유의한 차이가 발견되었다[F(1, 55) = 18.18, p < .001, η_p² = .25]. B안과 C안 간의 차이는 유의하지 않았다[F(1, 55) = 2.75, p = .10].

Table 3.

Means by interface prototypes in experiment 1

Table 4.

Results of repeated measures ANOVA in experiment 1

5) 참여 의도(Participation intention)

영상 처치물이 참여 의도에 미치는 영향에 대하여 반복측정 분산분석(repeated measures ANOVA)을 실시한 결과, 유의한 차이가 발견되었다[F(2, 110) = 8.70, p < .001, η_p² = .14]. 조건 간 차이를 확인하기 위해 대비검정을 실시한 결과 A안과 B안의 유의한 차이가 발견되었고[F(1, 55) = 16.49, p < .001, η_p² = .23], B안과 C안 간의 유의한 차이가 발견되었다[F(1, 55) = 10.23, p < .01, η_p² = .16]. A안과 C안 간의 차이는 유의하지 않았다[F(1, 55) = 1.21, p = .28].

4-3 실험2: 전체적 분위기 파악

실험2의 영상 처치물에 따른 종속변인의 차이를 살펴보기 위해 반복측정 분산분석(repeated measures ANOVA)을 실시하였다. 이에 앞서 구형성 검정을 위해 Mauchly’s test를 실시하였으며, 사용성, 커뮤니케이션 효율성, 몰입감은 구형성 가정을 만족하였고(p > .05), 사회적 실재감과 참여 의도는 구형성 가정을 만족하지 못하였으므로(p < .05), 엡실런 교정값을 이용한 수정된 자유도와 값을 사용하였다.

1) 사용성(Usability)

영상 처치물이 사용성에 미치는 영향에 대하여 반복측정 분산분석(repeated measures ANOVA)을 실시한 결과, 유의한 차이가 발견되었다[F(2, 110) = 15.69, p < .001, η_p² = .22]. 조건 간 차이를 확인하기 위해 대비검정을 실시한 결과 A안과 B안의 유의한 차이가 발견되었고[F(1, 55) = 11.73, p < .01, η_p² = .18], A안과 C안의 유의한 차이가 발견되었으며[F(1, 55) = 4.30, p < .05, η_p² = .07], B안과 C안간 의 유의한 차이가 발견되었다[F(1, 55) = 33.93, p < .001, η_p² = .38].

2) 사회적 실재감(Social presence)

영상 처치물이 사회적 실재감에 미치는 영향에 대하여 반복측정 분산분석(repeated measures ANOVA)을 실시한 결과, 유의한 차이가 발견되었다[F(1.74, 95.78) = 6.77, p < .01, η_p² = .11]. 조건 간 차이를 확인하기 위해 대비검정을 실시한 결과 A안과 B안의 유의한 차이가 발견되었고[F(1, 55) = 8.05, p < .01, η_p² = .13], B안과 C안의 유의한 차이가 발견되었다[F(1, 55) = 12.25, p < .01, η_p² = .18]. A안과 C안의 차이는 유의하지 않았다[F(1, 55) = .20, p = .65].

3) 커뮤니케이션 효율성(Communication efficiency)

영상 처치물이 커뮤니케이션 효율성에 미치는 영향에 대하여 반복측정 분산분석(repeated measures ANOVA)을 실시한 결과, 유의한 차이가 발견되었다[F(2, 110) = 28.46, p < .001, η_p² = .34]. 조건 간 차이를 확인하기 위해 대비검정을 실시한 결과 A안과 B안의 유의한 차이가 발견되었고[F(1, 55) = 34.61, p < .001, η_p² = .39], B안과 C안의 유의한 차이가 발견되었다[F(1, 55) = 50.40, p < .001, η_p² = .48]. A안과 C안의 차이는 유의하지 않았다[F(1, 55) = .31, p = .58].

Table 5.

Means by Interface prototypes in experiment 2

Table 6.

Results of repeated measures ANOVA in experiment 2

4) 몰입감(Cognitive absorption)

영상 처치물이 몰입감에 미치는 영향에 대하여 반복측정 분산분석(repeated measures ANOVA)을 실시한 결과, 유의한 차이가 발견되었다[F(2, 110) = 12.05, p < .001, η_p²= .18]. 조건 간 차이를 확인하기 위해 대비검정을 실시한 결과 A안과 B안 간의 유의한 차이가 발견되었고[F(1, 55) = 18.88, p < .001, η_p² = .26], A안과 C안의 유의한 차이가 발견되었다[F(1, 55) = 12.41, p < .01, η_p² = .18]. B안과 C안 간의 차이는 유의하지 않았다[F(1, 55) = 2.37, p = .13].

5) 참여 의도(Participation intention)

영상 처치물이 참여 의도에 미치는 영향에 대하여 반복측정 분산분석(repeated measures ANOVA)을 실시한 결과, 유의한 차이가 발견되었다[F(1.83, 100.78) = 10.00, p < .001, η_p² = .15]. 조건 간 차이를 확인하기 위해 대비검정을 실시한 결과 A안과 B안 간의 유의한 차이가 발견되었고[F(1, 55) = 15.22, p < .001, η_p² = .22], B안과 C안의 유의한 차이가 발견되었다[F(1, 55) = 8.67, p < .01, η_p² = .14]. A안과 C안 간의 차이는 유의하지 않았다[F(1, 55) = 4.05, p = .05].

Ⅴ. 결 론

이 연구는 학습자의 실시간 온라인 교육 경험을 기반으로 개선된 두 가지 실시간 온라인 교육 플랫폼 인터페이스 프로토타입을 설계하여 기존 인터페이스에 비해 어느 프로토타입이 더 효과적인지를 검증하였다. 질문을 하는 상황(실험1)과 전체적 분위기를 파악하는 상황(실험2)에서 기존 인터페이스, 직조작 인터페이스, 자동화 인터페이스에 따라 학습자의 사용성, 사회적 실재감, 커뮤니케이션 효율성, 몰입감, 참여 의도에 차이가 있는지를 비교하였다.

실험 결과, 종속변인 중 사용성만이 실험1과 실험2에서 세 가지 독립 변인에 따른 각각의 차이가 유의하게 나타났다. 직조작 인터페이스가 기존 인터페이스보다, 기존 인터페이스가 자동화 인터페이스보다 통계적으로 유의하게 사용성 인식이 높았다. 사회적 실재감, 커뮤니케이션 효율성, 참여 의도는 실험1과 실험2에서 직조작 인터페이스가 기존 인터페이스나 자동화 인터페이스보다 통계적으로 유의하게 높았고, 기존 인터페이스와 자동화 인터페이스 간 유의한 차이는 존재하지 않았다. 마지막으로 몰입감은 실험1과 실험2에서 직조작이 기존 인터페이스보다 통계적으로 유의하게 높았고 자동화 인터페이스가 기존 인터페이스보다 통계적으로 유의하게 높았으나, 직조작과 자동화 간에는 유의한 차이가 존재하지 않았다. 이러한 연구 결과에 대하여 다음과 같이 논의점을 제시하고자 한다.

첫째, 모든 종속변인에서 직조작 인터페이스가 기존 인터페이스보다 통계적으로 유의하게 높게 나타나, 현재 사용되고 있는 온라인 화상 회의 플랫폼의 인터랙션 디자인은 교육 목적으로 사용하기에 한계가 있음을 확인하였다. 이는 선행연구 결과[24]와 같이 학습자가 실시간 온라인 교육에 쉽게 참여할 수 있는 인터랙션 방식과 이에 따른 인터페이스 디자인이 필요하다는 것을 의미한다. 또한, 학습자들이 직조작 방식을 선호하며, 기존 인터페이스보다 직조작에서 더 높은 사회적 실재감과 몰입감, 참여 의도를 느낀 것으로 나타났다. 이는 실시간 온라인 교육 플랫폼에서는 학습자가 스스로 조작할 수 있는 인터페이스 제공이 교육 성과 측면에서 더 효과적이라는 점을 시사한다. 이 연구가 상황에 따라 질문하기 버튼이나 이해도-관심도 버튼을 제공한 것처럼, 실시간 온라인 교육 플랫폼은 직조작 인터페이스로 학습자 참여를 이끌어내고, 교수자-학습자, 학습자-학습자 간 상호작용을 지원하는 방향으로 설계되어야 할 것이다.

둘째, 자동화 인터페이스의 혼재된 효과는 인공지능 기술 도입에 대한 연구참가자 간의 인식 차이로 인한 것으로 분석할 수 있다. 연구참가자들은 “인공지능이 감지할 때 오류가 있을 것 같다”, “인공지능의 신빙성과 정확성에 의심이 간다”, “인공지능에 대한 신뢰가 낮아서 그런지 내 감정을 잘 분석할 것 같지 않다” 라고 부정적인 반응을 보이며 직조작 인터랙션이 더 적합하다고 진술하였다. 반면에 “AI 모션 인식이 원격 수업이지만 실제 수업에 참여하는 듯한 재미를 준다”, “AI가 인식하여 매우 편리하다” 와 같이 긍정적인 반응을 보이며 자동화 인터페이스를 선택한 연구참가자도 있었다. 아직까지 인공지능 기술이 적용된 서비스에 대한 경험이 충분하지 않거나 신뢰가 높지 않아, 인공지능의 유용함을 낮게 인식하는 것으로 해석할 수 있다. 따라서 실시간 온라인 교육 플랫폼에 자동화 인터페이스를 도입한다면, 도입 초기에는 실험2와 같이 개인별 결과 대신 종합된 결과만 제시하여 학습자의 심리적 거부감을 줄이는 방향으로 설계하는 것을 제안한다.

이 연구의 한계점은 다음과 같다. 첫째, COVID-19 상황에 따라 온라인으로 실험을 진행하여 연구자가 실험 진행 통제에 한계가 컸다. 둘째, 시나리오에 따라 연출된 영상 처치물로 연구참가자가 실험에 몰입하기 어려울 수 있었다. 연구참가자가 50분 이상의 수업을 듣고 있는 상황을 가정한 것이었으나, 실험에서 짧은 시간 내에 상황에 몰입하기에는 어려움이 있었을 것이다. 또한, 실시간 온라인 교육 플랫폼 시스템을 직접 개발하여 구현한 것이 아니었기 때문에 후속 연구에서는 이러한 부분을 고려하여 실험 설계할 것을 제안한다.

이러한 한계점에도 이 연구는 다음과 같은 기여점을 제공한다. 첫째, 실시간 온라인 교육 상황에서 학습자의 경험과 인식에 기반하여 인터페이스를 개선하고 실험으로 검증하였다는 점이다. 인터페이스 디자인 개선에 따른 학습자의 사용성, 사회적 실재감, 커뮤니케이션 효율성, 몰입감, 참여 의도의 변화 양상을 확인하였다. 둘째, 실시간 온라인 교육 전용 플랫폼의 개발이 이루어지고 있는 시점에서 이 연구의 결과를 실무적으로 활용할 수 있다는 점이다. 이 연구가 제안한 실시간 온라인 교육 플랫폼에 적절한 인터랙션 설계와 인터페이스 디자인을 반영한다면 학습자에게 최적화된 플랫폼을 제작할 수 있을 것으로 기대한다.

References

• NVIDIA(2020). NVIDIA MAXINE Cloud-AI Video-Streaming Platform. Available: https://developer.nvidia.com/maxine, .
• SK telecom(2020).  2020 NUGU CONFERENCE. Available: http://nuguconference2020.co.kr, .
• Hrastinski. S, “Asynchronous and synchronouse-learning,” Educause quarterly, Vol 31, No. 4, pp. 51-55, 2008.
• Newberry. B, “Raisingstudent social presence in online classes,” Paper presented at the WebNet 2001:World Conference on the WWW and Internet, Orlando, FL, 2001.
• J. S. Choi, M. K. Kwno, and E. L.Choi, “A Study on Learner Perceptions and SatisfactionLevels of Real-Time Online Learning-Focusing on the case of Korean languageprogram at D University,” Journal of the International Network for Korean Language and Culture, Vol 17, No. 2, pp. 247-278, 2020. [https://doi.org/10.15652/ink.2020.17.2.247]
• J. W. Seo and C. Lee, “Action-Items for training and development designers toReinforce the learners' Presence In the online-basedHigher Education environment,” Journal of Learner-Centered Curriculum and Instruction, Vol 20. No.8, pp. 695-718, 2020. [https://doi.org/10.22251/jlcci.2020.20.8.695]
• Pal. D, and Vanijja. V, “Perceived usability evaluation of Microsoft Teams as an online learning platform during COVID-19 using system usability scale and technology acceptance model in India,” Children and youth services review, Vol 119, 2020. : 105535 [https://doi.org/10.1016/j.childyouth.2020.105535]
• Pal. D, Vanijja. V, and Patra. S, “Online Learning During COVID-19: Students' Perception of Multimedia Quality,” In Proceedings of the 11th International Conference on Advances inInformation Technology, pp. 1-6, 2020. [https://doi.org/10.1145/3406601.3406632]
• T. Chen, L. Peng, X. Yin, J. Rong, J. Yang, and G. Cong, “Analysis of user satisfaction with online education platforms in China during the COVID-19 pandemic,” Healthcare, vol. 8, no. 3, 2020. [https://doi.org/10.3390/healthcare8030200]
• Short. J, Williams. E, and Christie. B, The social psychology of telecommunications, London:Wiley, 1976.
• Brahmasrene. T and Lee. JW, “Determinants of Intent to Continue Using Online Learning: A Tale of Two Universities,” Interdisciplinary Journal of Information, Knowledge, and Management, Vol 7, No. 1, pp. 1-20, 2012. [https://doi.org/10.28945/1548]
• E. M. Choi and A. N. Han, “The Effect of Social Presence on Learning Flow and Learning Effects In Online Learning Community”, Journal of Korean Association for Educational Information and Media, Vol 16, No. 1, pp. 23-43, 2010.
• Wei. C. W and Chen. N. S, “A model for social presence in online classrooms,” Educational Technology Research and Development, Vol 60, No. 3, pp. 529-545, 2012. [https://doi.org/10.1007/s11423-012-9234-9]
• Peter Leong, “Role of social presence and cognitive absorption in online learning environments,” Distance Education, Vol 32, No.1, pp. 5-28, 2011. [https://doi.org/10.1080/01587919.2011.565495]
• M. J. Jeong and J. H. Hyeon, “A study on the relation of efficient communication (the center of web design) in the web-based interface design,” Illosology, Vol 12, pp. 102-110, 2003.
• Nuswantari. A, Wu. Y. T, and Surjono. H. D, “The Synchronous Online Argumentation System User Interface with an Integrated Design Framework: Redesign and Evaluation,” JPI (Jurnal Pendidikan Indonesia), Vol 9, No. 1, pp. 106-118, 2020. [https://doi.org/10.23887/jpi-undiksha.v9i1.23104]
• Lobe. B, Best Practicesfor Synchronous Online Focus Groups. In: Barbour, R. S & Morgan, D. L. (eds). A New Era in Focus Group Research, Palgrave Macmillan, London, 2017. [https://doi.org/10.1057/978-1-137-58614-8_11]
• Varison(2019). FaceReader. Available: https://varison.co.kr/products/facereader/
• Motion Gestuers(2020). Gesture recognition software. Available: https://www.motiongestures.com/
• Arbaugh. J. B, Cleveland-Innes. M, Diaz. S. R, Garrison. D. R, Ice. P, Richardson. J. C, and Swan. K. P, “Developing a community of inquiry instrument: Testing a measure of the community of inquiry framework using a multi-institutional sample,” The internet and higher education, Vol 11, pp. 133-136, 2008. [https://doi.org/10.1016/j.iheduc.2008.06.003]
• Leong. P, “Role of social presence and cognitive absorption in online learning environments,” Distance Education, Vol 32, No. 1, pp. 5-28, 2011. [https://doi.org/10.1080/01587919.2011.565495]
• Yuan. Y, Head. M, and Du. M, “The effects of multimedia communication on web-based negotiation,” Group Decision and Negotiation, Vol 12, No. 2, pp. 89-109, 2003. [https://doi.org/10.1023/A:1023016804379]
• Nathoo. A, Bekaroo. G, Gangabissoon. T, and Santokhee. A, “Using tangible user interfaces for teaching concepts of Internet of Things,” Interactive Technology and Smart Education, Vol 17, No. 2, pp. 133-158, 2020. [https://doi.org/10.1108/ITSE-09-2019-0061]
• Wang. Q, Quek. C. L, and Hu. X, “Designing and improving a blended synchronous learning environment: An educational design research,” The International Review of Research in Open and Distributed Learning, Vol 18, No.3 pp. 99-118, 2017. [https://doi.org/10.19173/irrodl.v18i3.3034]