컴퓨터 기반 협력학습을 위한 퍼실리테이팅 챗봇 개발 및 사용성 평가

Ⅰ. 서 론

COVID-19의 영향으로 컴퓨터 기반의 학습상황은 매우 보편적인 상황이 되었다. 그러나 기존의 이러닝은 주로 학습 콘텐츠를 전달하고 학습자가 수동적으로 학습을 진행하는 방식이 일반적인 경향이 있다. 향후 비대면 상황에서의 학습이 더 보편화될 것이 예상되면서, 학습자 주도형의 학습방식을 지원할 수 있는 방향에 대한 적극적인 탐색이 요구되고 있다. 컴퓨터 기반 협력학습(Computer Supported Collaborative Learning: 이하 CSCL)은 비대면 상황에서도 학습자들의 창의성, 비판적 사고, 문제해결 능력 등 고차적 사고를 촉진할 수 있는 교수 전략으로 큰 가치를 갖는다. 다만 학습자들은 일반 협력학습 상황에서보다 더 큰 협력 부하(Collaboration Load)를 경험할 수 있으므로, 교수자-학습자, 학습자-학습자 간 상호작용이 더 효율적이고 효과적으로 이루어질 수 있도록 지원할 필요성이 강조되었다.

CSCL에서의 효과적 지원 방법의 하나로 챗봇을 고려할 수 있다. 챗봇은 모바일, SNS의 확산에 따라 인스턴트 메시징 방식에 사용자들이 익숙해지면서, 마케팅, 고객 서비스, 기술 지원 등 광범위한 영역에 걸쳐 사용됐다. 애플의 시리, 아마존의 알렉사, 마이크로소프트의 코르타나 또는 구글의 어시스턴트 같은 진화된 챗봇은, 전통적인 비서들의 일상적인 업무를 대체함으로써 사용자의 업무 효율을 높인다. 점차 사용자들은 디지털 실체와 상호작용하는 것에 익숙해지고 있으며, 단순한 정보를 제공하거나 질문에 답하는 단계에서 벗어나, 특정 주제와 관련하여 이야기를 나누거나, 과업을 함께 수행하는 디지털 도우미(Helper)로서 챗봇은 진화하고 있다.

교수학습의 맥락에서도 그 활용 가치에 대한 탐색이 오랫동안 이루어졌는데, 1970년대 초 지능형 과외 시스템[1]은 인공지능 기술을 기반으로 자동화·개인화된 교육을 지원하였다. 연구자들은 챗봇이 정서, 인지, 사회적 측면에서 교육적인 가치를 갖고 있다는 점[2], 대화 인터페이스를 통해 학습자와 쉽게 상호작용하며 즉각적이고 자연스러운 교육 지원이 가능하다는 점에 주목하였다[3]. 최근에는 머신러닝, 자연어처리, 인공지능 기술의 급속한 발전에 따라 챗봇은 잠재적 팀원, 리더, 혹은 협력전문가로서 협력학습 상황에서 활용될 가능성에 관한 기대와 관심이 점차 커지고 있다.

교육의 맥락에서 챗봇 관련 연구는 최근 적극적으로 이루어지고 있으나, 그 토대는 대화형 에이전트 연구에서 찾아볼 수 있다. 대화형 에이전트에 관한 연구는 컴퓨터 기반 학습 분야에서 광범위하게 이루어졌으며, 설계 전략에 관한 연구도 이루어졌다. 예를 들어 Graesser et al.(2005)는 ‘설명하기’ 전략을 통해 STEM 학습을 진행하는 대화형 에이전트를 개발하였다[4]. 타인의 협력 과정을 관찰함으로써 협력하는 방법을 내재화하는 것과 같이[5], 대화형 에이전트를 통해 질문하는 법을 배울 수 있도록[6] 설계하는 등의 연구도 이루어졌다. 그러나 대부분의 연구는 학습자-시스템 상호작용에 초점을 맞추고 있으며, 학습자-학습자 협력학습을 위한 에이전트 활용 관련 연구는 부족한 편이다[7]. 또한 챗봇 도입의 성과에 대한 회의적인 시각도 나타나고 있다[8]. 이를테면, 챗봇의 질의에 대한 학생들의 불만, 챗봇의 단순화된 응답에 대한 실망감, 효율적·효과적인 협력이 이루어지지 않는 문제 등이 발견되어, 협력학습의 맥락에서 챗봇 설계 전략에 관한 폭넓은 연구가 이루어질 필요가 있음이 제기되고 있다. 본 연구에서는 CSCL에서 나타나는 문제를 개선하고, 협력학습의 성과를 높이기 위한 목적으로 퍼실리테이팅 챗봇을 개발하고자 하며, 이를 위하여 협력학습의 취지와 맥락을 고려한 챗봇을 개발하고 그 사용성을 평가하는 것에 목적을 둔다. 구체적인 연구 문제는 다음과 같다.

연구문제 1. CSCL에서 퍼실리테이팅 챗봇의 역할은 무엇인가?

연구문제 2. 퍼실리테이팅 챗봇은 어떻게 개발할 수 있는가?

연구문제 3. 퍼실리테이팅 챗봇에 대한 학습자들의 반응과 개선이 필요한 부분은 무엇인가?

Ⅱ. 연구1: 퍼실리테이팅 챗봇의 역할 정의

2장에서는 CSCL에서 퍼실리테이팅 챗봇의 역할은 무엇인가에 대하여 살펴본다. CSCL은 콘텐츠 혹은 타인과의 상호작용을 전제로 한다. 두 유형의 상호작용 모두 학습의 과정 및 성과 측면에서 중요한 요소지만, 이는 높은 수준의 인지적 부담을 초래할 수 있다. 두 가지 측면의 상호작용이 유의미하게 이루어지기 위해서는 협력부하의 조정이 요구된다. 협력학습 과정에서 초보 학습자들은 협력 활동이 어렵게 느껴질 수 있다. 학습자가 자기 생각을 정교화하고 외현화하는 과정이 각 개인의 인지부하[9]를 증가시킨다고 가정할 때, 협력학습 과정은 개인학습 상황과 비교해 더 큰 인지적 부담을 느끼게 할 수 있다. 더욱이 협력의 과정에서 학습의 과정을 효율적으로 관리하고 유의미한 성과를 끌어내는 것은 더욱 큰 어려움으로 나타날 수 있다.

이에 CSCL 관련 연구에서는 협력학습을 지원하기 위한 대화형 에이전트의 도입을 고려한 바 있으며, 효과적인 설계를 위하여 몇 가지 설계 전략을 제안하였다. 예를 들어, Mayer, Richard, Scott(2012)는 메시지와 청각적 요소를 활용함으로써 학습자가 에이전트에 집중할 수 있도록 할 것을 제안하였으며[10], Kumar, Rohit, Jack, Carolyn(2011)는 질문 전략을 통하여 학습 과정을 촉진하는 방안을 제안하였다[11]. Saito, Miki, et al(2019)는 멀티 에이전트를 활용하여 학습의 과정을 촉진하는 연구를 수행하였는데, 이상의 연구들은 챗봇이 협력학습의 과정에서의 외적인 특성 혹은 기능적 측면에 초점을 두고 있다는 한계를 갖는다[12].

본 연구에서는 CSCL에서 챗봇은 디지털 존재로써 학습자와 상호작용하기 위하여 어떠한 역할을 부여할 것인가에 초점을 두고자 한다. CSCL에서 퍼실리테이터의 가장 중요한 역할은 효율적인 중재를 통해 효과적인 협력 활동이 이루어질 수 있도록 지원하는 것이다. 협력의 과정을 분석하고 협력 활동이 유의미하고 조화롭게 이루어질 수 있도록 지원하기 위하여 일련의 정보와 안내를 제공할 필요가 있다[13].

일반적으로 CSCL에서 퍼실리테이터의 역할은 교육적, 사회적, 관리적, 기술적 지원 측면으로 구분해볼 수 있다[14].

교육적 역할은 협력의 과정에서 질문을 던지거나 중요한 원칙 등을 알려줌으로써 교육목적 달성에 기여하는 것이다. 사회적 역할은 협력이 원활하게 이루어질 수 있도록 친근하고 편안한 분위기를 조성하는 것이다. 관계를 증진시키고 그룹 내 구성원들이 상호 응집할 수 있도록 지원하는 것이다. 관리적 역할은 협력의 목표, 진행계획 및 규칙 등 일종의 그라운드 룰(Ground rule)을 지키며 협력에 참여할 수 있도록 촉진하는 것이다. 기술적 지원은 CSCL의 기반이 되는 시스템 및 소프트웨어에 익숙해질 수 있도록 지원하는 것이다. 기술적 차원의 어려움을 해소해줌으로써 학습자가 학업에 집중할 수 있도록 지원하는 것은 CSCL에서 필수적인 요소가 될 수 있다. 이상의 내용을 토대로 CSCL에서 퍼실리테이팅 챗봇의 역할을 정의하면 표 1에 기술한 바와 같다.

Table 1.

The role of Facilitating-chatbot

Ⅲ. 연구2: 퍼실리테이팅 챗봇 개발

3장에서는 개발한 퍼실리테이팅 챗봇의 전체적 구조와 세부 기능들의 구현에 관해 기술한다. 그림 1은 제안하는 시스템의 전체적인 흐름을 나타낸다. 본 챗봇은 개인에 1대 1로 응대하는 것이 아니라 그룹 채팅 공간에서 하나의 챗봇이 다수의 사용자와 상호작용하며, 챗봇을 제외한 그룹 채팅 내의 다른 사용자들끼리도 상호작용이 이루어진다. 또한 사용자가 목표를 가지고 챗봇에 접근하는 것이 아니라 챗봇이 사용자들에게 목표를 제시하고 안내하는 등 일반적 질의응답 시스템을 기반으로 하고 있는 챗봇들과는 몇 가지 차이점이 존재한다. 이러한 특성에 따라 본 챗봇의 프로그램에는 사용자들에게 제공할, 미리 작성된 특정 목표에 대한 가이드라인이 포함된다. 그룹의 사용자들로부터 준비가 되었다는 신호를 받으면 챗봇은 자신의 기능을 소개하며 그것을 이용한 간단한 튜토리얼을 진행한다. 튜토리얼이 끝나면 실제 그룹이 처리해야 할 목표를 제시하며, 그에 따른 세부 과제들과 팀 활동에 도움이 되는 도구들을 제공한다. 도구에는 ‘현재 해야 할 일’, ‘현재 진행 중인 과제에 대한 참고자료’, ‘전체 진행도’, ‘지금까지 진행한 팀 활동 내용과 그 요약본’ 등이 포함되며, 챗봇이 튜토리얼에서 안내한 ‘특정 키워드’들을 통해 사용할 수 있다. 다만 도구에서 제공하는 이러한 정보들 또한 텍스트 형태이기 때문에 가시성 증대를 위해 플랫폼이 제공하는 기능을 이용해 일반적 채팅과 분리한다.

Fig. 1.

System workflow

챗봇과 학습 그룹의 주요 대화 흐름은 세부 과제들을 제시하고, 그 과제에 대한 답변을 받는 것이다. 이러한 도구, 가이드 등의 인지적 요소를 지원하는 기능들에 더해, 특정 과제를 끝마치거나 일정 시간이 되면 격려와 참여도 공지 등의 이벤트를 발생시켜 동기적 요소를 지원한다. 가이드라인을 따라 데이터베이스에 모든 과제가 입력되면 사용자 그룹에 모든 활동이 끝났음을 알려주며 프로그램을 종료한다.

그림 2는 시스템의 구조를 나타낸다. 봇 챗봇은 크로스 디바이스 및 그룹 채팅을 지원하는 메신저 플랫폼 환경(카카오톡, 디스코드, 슬랙 등)에서 메신저 계정의 형태로 작동한다. 모든 사용자들은 메신저의 계정을 보유해야 하며, 챗봇을 포함한 하나의 그룹 채팅 내에 속해있어야 한다.

Fig. 2.

System architecture

사용자들끼리 대화를 시작해도 챗봇은 특정 키워드를 입력받거나 이벤트가 발생하기 전에는 응답하지 않으며 이는 메신저 플랫폼의 API 모듈을 통해 별도로 구축한 서버의 Chatbot handler에서 제어한다. 서버는 데이터베이스와 연동되어 그룹에 참가한 순간부터 프로그램이 종료될 때까지 그룹 채팅 내에서 일어나는 사용자들끼리의 대화 등의 로우 데이터를 수집하고 미리 작성된 가이드라인을 제공하며 그룹 활동의 결과들을 받아 정리한다. 정리된 그룹 활동의 결과는 그룹 내부의 사용자들이 자유롭게 접근하여 확인, 수정할 수 있다.

3-1 세부 사항

메신저 플랫폼은 그룹 채팅에서의 봇 기능이 잘 활성화 되어있는 ‘디스코드(discord)’를 선택했다. 본 챗봇은 3.6 버전의 Python 언어에서 표준 라이브러리 asyncio module을 이용한 비동기 방식으로 제작되었으며, Python에서 지원하는 discord bot API인 ‘discord.py’ module의 1.3.3 버전을 사용했다. Python openpyxl module 3.0.5 버전을 사용해 마이크로소프트 엑셀 프로그램을 시스템의 데이터베이스로 사용하였고, 하나의 채팅 그룹 당 하나의 엑셀 시트를 할당하는 방식을 취했다. 다음 표는 하나의 채팅 그룹에서 수집하는 데이터들의 종류이다.

Table 2.

Facilitating group chat data attributes

표에서 [Guide]에 해당하는 속성들은 과제 진행도 확인과 가이드 제공의 척도가 되며 이것들의 instance는 하나의 채팅 그룹당 한 개만 존재할 수 있다. 또한 [Guide]의 task result들은 진행하는 활동에 따라 그 개수와 종류가 바뀔 수 있다. 그 외의 밑의 두 범주에 해당하는 속성들의 instance는 각각 그룹 채팅 참여자 수와 채팅의 개수만큼 생성된다.

챗봇이 사용자에게 제공하는 진행 정리 데이터와 도구들은 그림 3처럼 플랫폼에서 제공하는 ‘임베드 챗(embed chat)’의 형태로 구현하여 일반 채팅과 분리해 가시성을 증가시켰다. 또한 Start sign을 포함하는 모든 명령어를 보여주는 명령어를 상태메세지에 삽입하여 항상 명령어를 확인할 수 있게 하였다. 그림 4는 이를 나타낸다.

Fig. 3.

Normal chat and embed chat

Fig. 4.

Status message

챗봇 이벤트는 특정 조건을 만족할 때 챗봇이 사용자에게 대화를 거는 상황을 의미한다. 본 챗봇에서 이벤트를 발생시키는 조건은 ‘세부 과제의 달성’과 ‘일정 시간의 경과’이다.

첫 번째 조건은 그룹 활동을 진행하여 데이터베이스의 team step 값을 갱신하거나 task result 값을 추가할 때 만족되며 두 번째 조건은 Python asyncio 라이브러리에 포함된 비동기 타이머를 이용해 구현되어 일정 시간마다 자동으로 발생한다. 이벤트 발생 시 챗봇은 일반적인 대화 채팅을 통한 칭찬, 임베드 채팅을 이용한 정보 제공, 그리고 GIF 이모티콘을 이용한 격려 등의 행동을 취한다. 격려 GIF 이모티콘은 디스코드에서 제공하는 GIF파일 검색엔진 ‘tenor’를 이용해 임의의 것을 사용하였다.

Ⅳ. 연구3: 퍼실리테이팅 챗봇의 사용성 평가

4장에서는 퍼실리테이팅 챗봇의 사용자를 대상으로 한 적용 과정 및 사용성 평가 결과에 대하여 분석 및 토의한다.

4-2 교과목 특징 및 운영 과정

『진로설계와 자기계발』교과목의 목표는 학부 저학년부터 자신과 일의 세계에 대한 이해를 증진시키고, 합리적인 진로 탐색과 생애설계 능력을 촉진함으로써, 급변하는 미래사회에 효과적으로 대응하기 위해 전문인에게 요구되는 자기 주도적 진로개발 역량을 배양하는 것이다. 15주 수업 과정 중 ‘역량으로 무장하기’ 주차에 퍼실리테이팅 챗봇을 접목하였으며, 해당 주차는 ‘역량의 개념을 이해하고 진로 개척 과정에서 요구되는 역량을 탐색하고 구체적으로 준비’할 수 있도록 돕는데 목적을 둔다. 주요 내용은 다음 표 8에 제시한 바와 같다.

본 수업에서는 팀 학습을 지원하기 위하여 다음의 요소를 설계·개발하여 운영하였다. 수업 주제와 연관된 팀 활동이 더 생산적으로 이루어지도록 지원하기 위하여 과제에 대한 안내와 더불어 팀원들의 역할 및 활동에 대한 안내를 제공(교수적 지원)하였다. 또한 팀원별 참여도 정보를 주기적으로 안내하여 참여를 촉진하는 한편(관리적 지원), 팀원간의 능동적인 활동을 지원하기 위하여 아이스브레이킹 활동을 설계하여 보다 원활한 소통이 이루어지도록 지원하였고, 응원 메시지와 gif 형태의 이미지를 전달하여 정서적인 지지를 제공하였다(사회적 지원). ‘~help’ 명령어를 입력할 경우, 기술적인 문제·어려움에 대한 안내·도움을 얻을 수 있도록 지원하였다(기술적 지원). 퍼실리테이팅 챗봇의 세부적인 역할은 다음과 같다.

Table 3.

Context of the class

Table 4.

The role of the Facilitating-chatbot(details)

4-3 자료 수집 및 분석 방법

사용성 평가를 위하여 웹 설문의 형태로 개발한 성찰일지를 수집하였다. 먼저 퍼실리테이팅 챗봇의 사용성을 평가하기 위하여 수업만족도, 협력만족도, 봇 유용성 인식, 봇 효과성, 봇 사용편의성, 봇 매력성에 대한 6개 문항(Likert 5점 척도)에 대하여 응답하도록 하였다. 문항의 내용은 다음 <표 2>에 제시한 바와 같다. 또한 봇 활용 경험에 대하여 자유롭게 기술하도록 안내하는 개방형 문항을 포함하여 설문을 구성하였다. 개방형 설문 응답 결과는 일정 기준과 의미의 공통성에 따라 분류하는 귀납적 내용 분석(Inductive Content Analysis) 방법을 통해 범주화하였다. 공통적 상위개념을 묶어 ‘1차 소영역’으로 통합하고, 1차 소영역과 논리적으로 맥락을 같이 하거나 상통하는 주제로 묶어 ‘2차 중영역’으로 묶은 후 ‘3차 대영역’으로 범주화하였다. 주요 키워드별로 내용을 분류한 후, 분류된 키워드에 대한 빈도를 산출하였다. 신뢰도 확보를 위하여 평정자간 일치도 값을 산출한 결과 ICC(Intraclass Correlation Coefficient) 값은 .977로 신뢰로운 수준이었고, 이는 통계적으로 유의하였다(p=.000).

Table 5.

Questionnaire for usability evaluation

Table 6.

Facilitating-chatbot usability evaluation results

4-5 퍼실리테이팅 챗봇 사용경험에 대한 질적 분석 결과

퍼실리테이팅 챗봇을 활용한 협력학습 과정에서 어떠한 경험을 했는지, 부정적 요소와 긍정적 요소는 무엇인가를 파악하기 위하여 개방형 질문에 대한 응답 결과를 분석하였다. 응답 결과를 분석한 결과는 표 7, 8에 정리한 바와 같다. 질문에 대한 응답 중 부정적 인식/긍정적 인식과 관련된 내용을 나누어 분석하였고, 퍼실리테이팅 챗봇의 사용성 평가에 초점을 두고자 수업내용이나 협력학습 활동 자체에 대한 서술은 분석 대상에서 제외하였다.

먼저 퍼실리테이팅 챗봇에 대한 긍정적 인식과 관련된 개방형 질문은 “퍼실리테이팅 챗봇에 대해 만족스럽거나 흡족하게 느낀 점을 자유롭게 작성하시오”라고 제시하였다. 전체 연구 참여자 중 ‘무응답’ 및 ‘없다’라고 응답한 문항을 제외한 25명의 자료를 분석하였다. 긍정적 인식에 대한 분류 항목은 6개로 ‘학습환경에 대한 친숙함·매력도’, ‘협력·토론 과정 촉진 효과’, ‘자동적인 참여율 체크 기능’ 및 ‘이모티콘을 활용한 정서적 지원’에 대한 만족감, ‘효율적인 진행’ 및 ‘협력과정 정리’에 유용했다는 의견 등이다. 분류 항목별 나타난 응답 빈도(비율)는 표 7에 제시하였다.

Table 7.

Positive perceptions of Facilitating-chatbot

‘학습환경에 대한 친숙함·매력도’에 대한 의견은 다음과 같다. 게임 유저들에게 친숙한 디스코드라는 환경 자체가 주는 매력도도 높았으나, 단계별로 주어진 과제를 해결·제출하고 다음 단계로 진행하는 과정에서 게임에서 느끼는 몰입감을 경험한 것으로 나타났다.

“평소 디스코드를 자주 사용하는 편인데 익숙해서 그런지, 디스코드 환경에서 팀 활동을 하면서 수업을 들으니 즐거웠다.”(서*영, 음악·예술대학, 남, 2학년)

“주어진 과제를 해결하고 다음 단계로 이동하는 과정에서 마치 게임을 진행하는 느낌이 들어 좋았습니다.”(정*진, 음악·예술대학, 여, 2학년)

“상호작용이 빨라서 너무 좋았습니다! 맨 처음에는 어려울 줄 알았지만 한 번 알게 되면 순서가 쭉쭉 나갈 정도로 빨리 진행돼 너무 좋았습니다.”(임*빈, 음악·예술대학, 여, 2학년)

학습 과정에서 느끼는 즐거움·몰입감과 더불어, 학습 과정에서 좀 더 심도 있는 학습이 이루어질 수 있었다는 의견도 나타났다. ‘협력·토론 과정 촉진 효과’에 대한 의견은 다음과 같다.

“자연스럽게 A라는 목적에 도달하게끔 유도한다는 학습도구로서 의미가 있다고 생각합니다. 그런 일련의 과정에서 구성원들과의 상호작용도 이전보다 더 증진되고 서로의 해석을 공유하면서 협동심과 창의성을 기를 수 있었던 것 같습니다.”(김*은, 법과대학, 남, 4학년)

“챗봇을 통해 좀 더 자유롭게 자신의 의견을 표출할 수 있었던 것 같습니다.”(윤*리, 사범대학, 여, 2학년)

특히 ‘자동적인 참여율 체크 기능’의 경우 학생들의 참여도를 확인할 기회를 제공함으로써, 팀원들의 균형 있는 참여를 독려할 수 있음을 확인할 수 있었다.

“참여율을 중간마다 알려주어 저와 팀원들이 얼마나 참여하고 있나 확인할 수 있어서 좋았습니다.”(백*성, 음악·예술대학, 여, 2학년)

‘이모티콘을 활용한 정서적 지원’은 학습 과정에서 단조롭고 딱딱한 대화가 이루어지지 않고, 정서적으로 편안한 관계를 형성할 수 있도록 도운 것으로 나타났다.

“자꾸 귀여운 이모티콘을 보내주어서 지루하지 않았습니다.”(류*수, 음악·예술대학, 여, 2학년)

“활동에 대한 적극성을 높여주고 편안하게 답변할 수 있도록 잘 끌어내는 것에 도움이 되는 것 같습니다.”(이*현, 음악·예술대학, 남, 2학년)

퍼실리테이팅 챗봇의 가장 큰 기여점으로 나타난 부분은 ‘효율적인 진행’에 대한 것이었다. 퍼실리테이팅 챗봇이 단계별 활동 안내를 제공함으로써 원활하고 효율적인 상호작용이 이루어지도록 도왔다는 의견이었다.

“자세하게 다 설명해주고 교수님의 개입 없이도 수업이 잘 진행되어서 좋았다.”(장*현, 교육학과, 남, 4학년)

“챗봇이 안내해주며 한 단계가 끝나면 다음 단계에서 무엇을 준비하고 고민해야 하는지 알려주어서 좋았습니다.”(권*영, 음악·예술대학, 여, 2학년)

“활동이 끝나면 자동으로 다음 활동을 알려주는 봇이 신기했고 알아서 할 일을 정해줘서 좋았습니다.”(유*홍, 음악·예술대학, 여, 2학년)

“‘이제 어떤 활동을 해야하지?’ 눈치게임하는 것보다 더 원활하게 진행되는 것 같습니다.”(이*진, 음악·예술대학, 여, 2학년)

‘진행도’ 명령어를 누르면 진행한 내용을 정리해줌으로써 ‘협력과정 정리’가 이루어진다는 점에 대한 만족도도 높았다.

“지금까지의 활동들을 정리한 진행도를 볼 수 있는 기능이 가장 좋았던 것 같아요!”(장*경, 음악·예술대학, 여, 2학년)

“챗봇이 있기 전에는 팀 활동한 내용을 직접 기록하고, 일일이 보며 활동을 진행했어야 했는데, 챗봇이 그 작업을 대신 해주어서 훨씬 수월한 활동이 되었습니다.”(백*성, 음악·예술대학, 여, 2학년)

퍼실리테이팅 챗봇에 대한 부정적 인식과 관련된 개방형 질문은 “퍼실리테이팅 챗봇에 대해 불만스럽거나 미흡하게 느낀 점을 자유롭게 작성하시오”라고 제시하였다. 전체 연구 참여자 중 ‘무응답’ 및 ‘없다’라고 응답한 문항을 제외한 17명의 자료를 분석하였다. 부정적 인식에 대한 분류 항목은 3개로 ‘텍스트 기반 채팅 방식에 대한 불편함’, ‘명령어 입력의 불편함’, ‘참여도 안내에 대한 우려’이다. 분류 항목별 나타난 응답 빈도(비율)는 표 8에 제시하였다.

Table 8.

Negative perceptions of Facilitating-chatbot

분류한 범주별 응답 내용을 구체적으로 살펴보면 ‘텍스트 기반 채팅 방식에 대한 불편함’에 대한 의견은 다음과 같다. 짧은 단위의 대화 방식에 익숙하다 보니, 다소 긴 문장으로 진술된 챗봇의 안내문의 경우에는 불편하게 느꼈다는 의견이었다.

“챗봇의 설명이 간단하였다면 좋았을 것 같습니다. SNS를 이용하다 보면 긴 글은 거부감이 생겨 꼼꼼히 읽기가 힘든데 이 부분이 보완된다면 좋을 것 같습니다.”(권*영, 음악·예술대학, 여, 2학년)

또한 ‘명령어 입력의 불편함’에 대한 의견이 다소 높게 나타났는데, 활동 결과를 제출하고 이후 활동 단계로 이동하는 과정에서 ‘명령어(예: ~가이드, ~스텝, ~help 등)’를 입력하도록 안내하는데 명령어 입력이 익숙하지 않은 경우, 적응하기까지 불편함을 느낀 것으로 나타났다.

“어떻게 명령어를 이용해야 하는지 안내가 이루어졌지만, 익숙해지는 데 시간이 좀 걸렸다.”(정*원, 음악·예술대학, 여, 2학년)

“다음 스텝으로 넘어가는 과정에서 조금 더 쉬운 방법(간단한 버튼 등)이 있었으면 좋았을 것 같습니다.”(권*영, 음악·예술대학, 여, 2학년)

다음으로 참여자들의 대화 참여 빈도를 안내하는 ‘참여도 안내’에 대한 불편함을 느낀 것으로 나타났다. 5분에 한 번씩 주기적으로 참여 정도를 안내하였는데, 안내를 불필요하게 느끼거나 학습을 방해한다고 느끼기도 한 것으로 나타났다.

“5분마다 활동량을 알려주는 알람이 떴는데 왜 띄워주는지도 잘 모르겠고, 채팅창의 비중을 크게 차지해서 불편했습니다. 끄고 켜는 게 있었으면 좋을 것 같습니다.”(양*진, 음악·예술대학, 여, 2학년)

“중간에 참여도를 알려주었는데, 생각보다 빈도수가 높아서 조금 방해되었다.”(남*연, 음악·예술대학, 여, 2학년)

Ⅳ. 결론 및 제언

본 연구에서는 CSCL에서 학습자들이 경험할 수 있는 협력부하를 최적화하기 위한 퍼실리테이팅 챗봇을 개발하고 그 사용성을 평가하고자 하였다. CSCL에서 학습자들의 협력을 지원하기 위한 다양한 전략이 있지만, 챗봇은 팀의 일원으로서 혹은 교수자의 역할을 대신하여 협력을 지원한다는 측면에서 새로운 교수전략에 대한 검토가 요구된다. 이에 본 연구에서는 퍼실리테이터의 역할에 기반을 두고 퍼실리테이팅 챗봇을 개발하고 실제 수업에 적용함으로써, 사용성에 대한 평가 및 학습자들의 경험을 분석하였다. 본 연구의 주요 결과를 종합한 결과는 다음과 같다.

첫째, CSCL을 위한 퍼실리테이팅 챗봇은 교육목적 달성에 기여하는 교수적 지원, 협력이 원활하게 이루어질 수 있도록 친근하고 편안한 분위기 조성·상호협력을 지원하는 사회적 지원, 협력의 목표, 진행계획 및 규칙 등을 지키며 협력에 참여하도록 돕는 관리적 지원, 시스템 및 소프트웨어에 익숙해질 수 있도록 지원하는 기술적 지원 등을 제공할 수 있다. 사용성 평가 결과, 수업만족도는 4.69, 협력만족도는 4.64, 봇 유용성 인식은 4.49, 봇 효과성 인식은 4.40, 봇 매력성은 4.40로 전반적으로 평균 4.00 이상으로 나타나, 퍼실리테이팅 챗봇이 유의미하게 협력활동을 지원하였음을 확인하였다. 특히 학습자들은 협력 과정에서 단계별로 수행해야 할 부분에 대해 안내에 따라 진행한 부분, 수행한 내용에 대한 데이터를 저장해두었다가 제공하는 부분 등에 대한 만족감을 드러냈으며, 이는 효율적이면서도 효과적인 협력을 유도하는 데 기여했다는 의견이었다. 이 과정에서 학습자들은 높은 수준의 몰입감을 경험하였으며, 이는 학습자들의 참여를 독려하고 학습동기를 높이는 긍정적 효과로 이어질 가능성을 보였다.

둘째, 퍼실리테이팅 챗봇에 대한 사용편의성은 3.87로 다른 영역에 비하여 다소 낮은 수치를 나타내었는데, 이는 명령어 입력 과정, 참여도 안내에 대한 불편함에서 초래된 것으로 나타나 개선해야 할 문제점으로 파악되었다. 명령어 입력이 다소 어색하게 느껴지고 불편하게 느껴진다는 의견도 많았으나, 협력활동을 진행하면서 점차 익숙해졌다고 응답하여 학습과정에서 큰 걸림돌이 되었다고 판단하기는 어렵다. 다만, 버튼을 누르는 등의 방식으로 대체하는 등 대안적 방식에 대한 검토가 필요하다.

이상의 연구 결과를 토대로 본 연구의 의의를 제시하면 다음과 같다. 첫째, 본 연구를 통하여 CSCL에서의 퍼실리테이팅 챗봇의 주요 역할 및 구현을 위한 설계 전략을 확인하였다. 이는 추후 더욱 진화된 형태의 챗봇을 개발하기 위한 기초자료로서 활용될 수 있을 것이다. 둘째, 챗봇에 대한 학습자들의 사용성 평가 및 경험 분석 결과는 퍼실리테이팅 챗봇이 CSCL에서의 긍정적인 경험을 이끌어낼 수 있는 가능성을 보여주었으며, 기능적 개선을 통하여 학습 성과에 기여할 수 있을 것임을 기대할 수 있게 한다.

한편, 본 연구의 한계 및 추후 연구를 위한 제언을 제시하면 다음과 같다. 첫째, 본 연구에서 개발한 퍼실리테이팅 챗봇은 룰 기반 챗봇으로 새로운 형태의 명령에 대처하는 데에는 한계를 갖는다. 향후에는 기계학습을 통한 하이브리드형 챗봇 개발을 통하여 진화된 방식의 퍼실리테이팅 챗봇을 개발할 필요가 있다. 또한 자연어처리가 가능한 기계학습 알고리즘을 추가함으로써 지능적인 협력학습을 촉진하는 방안을 모색할 필요가 있다. 둘째, 본 연구에서는 사용성 평가를 통하여 연구 참여자의 사용경험을 확인하는 데 그쳤다는 한계가 있다. 추후 퍼실리테이팅 챗봇의 효과성을 실증적으로 검증하기 위한 실험설계 및 객관적인 관찰·평가를 통한 적용성과 분석을 시도할 필요가 있다.

Acknowledgments

이 논문은 2021년 정부(교육과학기술부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(KRF-2019-S1A5A8-036708)

References

• Laurillard, Diana. Rethinking university teaching: A conversational framework for the effective use of learning technologies. Routledge, 2013.
• Gulz, Agneta, et al. "Building a social conversational pedagogical agent: Design challenges and methodological approaches." Conversational agents and natural language interaction: Techniques and effective practices. IGI Global, 2011. 128-155. [https://doi.org/10.4018/978-1-60960-617-6.ch006]
• Srdanovic, B. (2017). Chatbots in education: applications of chatbot technologies. eLearning Industry.
• Graesser, Arthur C., et al. "AutoTutor: An intelligent tutoring system with mixed-initiative dialogue." IEEE Transactions on Education 48.4 (2005): 612-618. [https://doi.org/10.1109/TE.2005.856149]
• Rummel, Nikol, and Hans Spada. "Learning to collaborate: An instructional approach to promoting collaborative problem solving in computer-mediated settings." The journal of the Learning Sciences 14.2 (2005): 201-241. [https://doi.org/10.1207/s15327809jls1402_2]
• Graesser, Arthur C., et al. "The relationship between affective states and dialog patterns during interactions with AutoTutor." Journal of Interactive Learning Research 19.2 (2008): 293-312.
• Ayedoun, Emmanuel, Yuki Hayashi, and Kazuhisa Seta. "Adding communicative and affective strategies to an embodied conversational agent to enhance second language learners’ willingness to communicate." International Journal of Artificial Intelligence in Education 29.1 (2019): 29-57. [https://doi.org/10.1007/s40593-018-0171-6]
• Michos, Konstantinos, et al. "Design of conversational agents for CSCL: comparing two types of agent intervention strategies in a university classroom." European Conference on Technology Enhanced Learning. Springer, Cham, 2020. [https://doi.org/10.1007/978-3-030-57717-9_16]
• Sweller, John, et al. "Cognitive load as a factor in the structuring of technical material." Journal of experimental psychology: general 119.2 (1990): 176. [https://doi.org/10.1037/0096-3445.119.2.176]
• Mayer, Richard E., and C. Scott DaPra. "An embodiment effect in computer-based learning with animated pedagogical agents." Journal of Experimental Psychology: Applied 18.3 (2012): 239. [https://doi.org/10.1037/a0028616]
• Kumar, Rohit, Jack Beuth, and Carolyn Rose. "Conversational strategies that support idea generation productivity in groups." (2011).
• Saito, Miki, et al. "Evaluating P2P human resource allocation strategies through multi-agent simulation." 2019 8th International Congress on Advanced Applied Informatics (IIAI-AAI). IEEE, 2019. [https://doi.org/10.1109/IIAI-AAI.2019.00109]
• Haavind, Sarah, and Robert Tinker. "FACll.. lTATlNG ONLINE LEARNING.. EFFECTIVE STRATEGIES FOR MODERATORS." Quarterly Review of Distance Education 2.4 (2001): 397-401.
• Berge, Zane L. "Facilitating computer conferencing: Recommendations from the field." Educational technology 35.1 (1995): 22-30.