토론 수업 채점을 위한 클라우드 기반 평가 시스템 설계 및 구현

Ⅰ. 서 론

기존의 대학 강의는 설명 위주의 강의식으로 진행되어 단조롭고 획일적인 방법으로 학생들을 수업에 수동적으로 참여 시키는 문제점이 있었다. 20세기 이후 교수자 중심 교육에서 학습자가 능동적이고 적극적인 참여 중심의 교육 환경을 제공하려는 변화의 요구와 시도가 계속되고 있다. 학습자 중심 교육에 대한 인식은 90년대부터 본격적으로 캐나다 McMaster 의과대학에서 처음으로 시도된 이래 기존의 강의식 교육 방법의 한계를 극복하고자 토론 중심 문제 중심 학습(Problem Based Learning)을 제시되었다. 유아 교육에서도 문제 중심 학습과정인 토론 협력을 통해 의미 있는 학습 경험 제공하려 하였다[1]. 이렇게 문제 중심 학습은 유아교육에서도 학습자들의 참여 정도, 협동 능력 등에 효과적임을 확인하는 연구들이 진행되었다[2]. 뿐만 아니라 최근에는 토론의 중요성을 인식하여 토론 진행 방법과 토론학습을 위한 상호작용, 학습 지원 등에 대한 연구를 진행하였다[3]. 이처럼 문제 중심 학습에서 토론의 중요성이 인식되고 있으며 토론 진행 및 평가 방법에 대한 적절한 도구가 필요하다.

뿐만 아니라 교육 방법 도구 다양화되면서 웹 기반 학습의 도입이 많이 이루어지고 있다. 이러한 웹 기반 학습을 통해서 교육의 질이 향상시키고 효과적인 교수-학습이 이루어지도록 하기 위하여 웹 기반 평가를 도입하고 있다. 웹 기반 학습 및 평가 시스템은 교사나 학습자 모두 활용하기 쉽고 누구나 사용 가능한 시스템을 제공함으로써 학습자들이 자신이 편리한 시간에 웹상에 제시되어 있는 다양한 학습 자료들을 탐색하며 학습자가 스스로 학습 해나가는 데 도움을 주도록 하여 교육의 질을 향상시키고 있다. 그리고 다양한 과목에 활용되고 있으며 문법 및 수학 학습 사이트와 평가 시스템을 통해서 자기주도적 학습활동과 다양한 문제를 접할 수 있게 하고 있다[4]. 그리고 웹 기반 협동 학습 시스템을 통해서 학습자 간 토론 과정을 거쳐 문제해결 방법을 터득하게 하는 프로그래밍 언어 협동학습 툴 개발이 개발되었다[5]. 최근에는 서술형 문제 유형을 정의하고 용어 중심의 채점 시스템 각 유형에 맞는 처리를 하는 채점 시스템을 개발하였다[6].

클라우드 서비스는 가상공간에 구름처럼 떠 있는 모든 데이터를 필요에 따라 이용할 수 있다는 의미에서 효율적인 서버 자원(CPU, 메모리 등)의 활용과 비용 편익, 에너지 절감 효과 등 다양한 장점을 제공하기 때문에 많은 산업체 및 공공기관 등에서 클라우드 서비스 도입과 활용이 점차 늘어가고 있다. 서버 대신 클라우드에 응용 프로그램과 데이터를 저장해 두고 필요할 때마다 접속해서 사용하는 서비스를 말한다. 대학에서도 클라우드 학습 시스템 도입하여 교수와 학생 간 자유로운 의견 교환 및 정보 공유를 통해 학생의 학습 성취도 및 만족도 향상시키고 시간 및 운영비용 등의 절감을 통해 효율성이 향상되었음을 확인할 수 있었다[7]. 클라우드 서비스로 협동학습을 설계하고 클라우드 컴퓨팅의 투명성, 평등성은 학습자의 긍정적 상호작용을 도울 수 있다[8]. 협력 학습과정과 결과 과제 중심 집단, 협력적 문제 해결에 대한 그룹 조절을 촉진하기 위해 클라우드 컴퓨팅을 활용할 때 구체적인 방안 제시하였다[9].

본 논문에서는 토론 앱을 제작하고 수집된 데이터를 G사 클라우드에 저장한다[10]. G사 클라우드인 파이어 베이스는 웹과 모바일 개발에 필요한 기능을 제공하는 BaaS(Backend as a Service)이다[11]. 이렇게 수집된 데이터를 JSON 파일 형식으로 R Studio Cloud에 저장 및 분석하여 토론의 참여도 및 정답 유사도를 제공하고자 하였다[12].

논문의 구성은 2장에서는 토론 수업 채점을 위한 클라우드 기반 평가 시스템에 대한 설명과 구현한 앱에 대해 기술하고, R Studio Cloud에서 토론 데이터 취득 방법 및 유사도 분석 방법을 제시한다. 3장에서는 결과물에 대한 설명을, 마지막 장에서 결론을 맺는다.

Ⅱ. 토론 수업 채점을 위한 클라우드 기반 평가 시스템

2-1 클라우드 기반 평가 시스템 구조

토론 수업 채점을 위한 클라우드 기반 평가를 위해 본 논문에서 제안하는 시스템은 그림 1.과 같다. 문제 중심 학습을 진행하기 위해서 교수 자는 먼저 학습을 위한 토론방에 관련 주제를 제시한다. 수업 시간에 이미 제시된 주제에 대해 학생들은 선행 학습 후 본 e-ECL 앱에 접속하여 토론한다. 학생들이 참여한 토론의 메시지는 모두 클라우드에 저장한 후 R Studio Cloud를 통해서 분석된다. 먼저 e-ECL 앱은 오픈 소스를 활용하여 제작하였다. e-ECL 앱을 통해서 학생관리, 대화창 관리가 가능하다. 교수가 토론방을 생성하고 학생들이 들어와 토론을 진행하면 된다. 각 토론방의 모든 토론 내용을 G사의 클라우드 백엔드에 JSON 포맷으로 저장된다. 이때 현재 진행 중인 토론, 사용자, 검색, 공개 토론창, 현재 접속 중인 사용자 등에 대한 정보가 저장된다. 이렇게 저장된 정보는 R Studio Cloud에서 대화 내용을 JSON 파일 형식으로 가져와 분석하여 학생 별 참여도 및 워드 클라우드를 제공하게 된다. 이렇게 제공된 데이터를 바탕으로 교수 자는 참여도 및 정답 유사도를 바탕으로 평가를 정량적으로 진행하게 된다.

Fig. 1.

Cloud-based Discussion Assessment System

2-2 토론 앱에서의 학생 및 교수자 관리

1) 토론 참여자 관리

전체 시스템 구성에서 문제 중심 학습의 토론을 진행하기 위해서 오픈소스를 활용하여 토론 앱을 개발하였다. 토론 앱은 ‘전자 확장협업학습(electronic-Enhanced Cooperative Learning, e-ECL)’으로 명명하였고 안드로이드 기반으로 개발하였다. 토론 앱은 로그인, 토론 중, 토론방 검색, 연락처 검색, 개인 정보 등의 화면으로 구성되어 있다. 학생과 교수자가 가입 및 인증 절차를 통해서 클라우드에 사용자 정보를 저장한다. 등록 및 로그인을 하기 위한 대화창은 그림 2.(a) 과 같으며 e-mail 주소와 암호를 입력하여 로그인한다. ID가 만들어지지 않았다면 Register를 통해서 가입한다. 클라우드 서버와 사용자 간의 인증 방식을 토큰 기반의 인증 방식을 사용하고 있다. 로그인 시 클라우드에서 생성된 가입자 토큰을 사용하여 인증한다. 사용자가 클라우드로 인증을 요청하면 클라우드가 사용자의 고유 ID를 기반으로 인증 토큰을 생성한다. 이 토큰을 로그인 시 사용하게 된다.

Fig. 2.

Login and Initial Display

주소, 연락처 등 사용자 정보는 사용자가 정의 가능하도록 설계되었다. 모든 사용자 속성은 키-값 쌍으로 저장된다. 정보의 속성에 따라 getter 및 setter도 제공한다. 사용자 정보를 푸시 하면 이 값은 클라우드 서버와 자동으로 동기화되고 다른 모든 장치들은 사용자 정보를 업데이트한다. 사용자의 세부 정보가 클라우드 서버에서 변경되면 앱이 자동으로 로컬 데이터베이스를 업데이트한다. 기본적으로 앱은 사용자의 연락처, 어떤 토론 창의 구성원인지를 모니터링한다. 그림 2.(b)는 현재 학생들이 토론에 참여 중인 토론창을 보여준다.

2) 토론창

교수자가 토론 수업을 하기 위해 토론창을 만들고 학생들의 참여를 기다린다. 그림 3.(a)에서처럼 토론창을 만들 수 있다. e-ECL 앱에서 그림 3.(b)와 같이 여러 학생과 교수자 간의 토론 내용을 보여준다. 이렇게 만들어진 토론방은 클라우드에 Thread 하위에 저장된다. Thread는 private, public, group 등의 유형을 가질 수 있으며 Thread를 만들려면 추가 할 사용자 목록이 필요하며 이는 클라우드로부터 받아서 장치에 저장된 값이다. 공개 Thread는 앱에 로그인 한 모든 사용자에게 표시된다. 특정 유형에 대한 전체 스레드 목록을 얻을 수 있도록 하였다.

Fig. 3.

Discussion Display Design

e-ECL 앱은 Core, CoreData, UI, NetworkAdapter의 블록을 포함한다. Core 블록은 인터페이스 정의 및 공통 서비스를 포함하고 CoreData 블록은 모든 사용자, Thread 및 Thread 데이터를 저장하는 ORM (Object Relational Maping)이 포함된다. UI는 모든 앱의 사용자 인터페이스를 포함하고 NetworkAdapter는 네트워크 인터페이스와의 통신을 처리한다.

2-3 클라우드 백엔드

1) 클라우드 벡엔드

e-ECL 앱의 사용자 인터페이스는 백엔드와 완전히 분리되어 있다. 즉, 사용자 지정 네트워크 어댑터를 만들어 e-ECL 앱을 메시징 클라우드 서버에 연결할 수 있다. 본 e-ECL 앱은 G사 Backend 네트워크 어댑터를 추가했다. 그림. 4는 e-ECL 앱에서 발생한 G사의 클라우드 Backend를 보여주고 있다. 다른 사용자 지정 네트워크 어댑터를 추가하여 e-ECL 앱 사용자 인터페이스를 클라우드 메시징 서버에 연결할 수 있다. 그뿐만 아니라 e-ECL 앱에서 추가하는 다른 Backend를 전환할 수 있다. 예를 들어 Chatbase의 Firebase 버전으로 시작한 후 XMPP 서버로 사용 전환이 가능하다.

Fig. 4.

Cloud Backend

클라우드에 업데이트된 메시지를 다른 토론자에게 전달하기 위해 푸시 알람을 사용한다. 푸시 알림을 처리하기 위해 G사 클라우드 Backend Cloud Functions를 사용하였다. 이 서비스를 사용하면 스크립트를 Firebase 호스팅에 업로드 할 수 있다. 이 스크립트는 실시간 데이터베이스를 모니터링하고 새로운 메시지가 감지될 때마다 수신자에게 푸시 알림을 보낸다. G사 클라우드 Backend는 자체 서버를 호스팅 하지 않으려는 실시간 데이터베이스이다.

2) R을 이용한 토론 내용 분석

e-ECL 앱으로 수집된 토론 내용을 분석하여 평가하기 위해 토론 내용을 클라우드로부터 읽어서 각 토론자의 참여도, 토론 내용을 분석하는 기능을 수행하기 위해 R Studio Cloud를 사용하였다. R 언어는 빅데이터 분석 툴로 널리 사용되고 있는 툴이다. R 언어 사용자는 처음에는 R Console를 사용 하다가 R Studio로 하고 그 후 R Studio Server을 통해 사용하고 있다. R Studio Server을 사용하기 위해서는 리눅스로 설치를 하여 서버에 연결을 해주어야 하는데 이는 별도의 서버를 설치하기 위한 노력이 필요하다. 최근 클라우드가 개발 플랫폼으로 역할을 함에 따라 R Studio Cloud가 새로 서비스를 시작하였다. 이는 개별 리눅스 설치 없이 온라인에서 R Studio를 실행하게 해주는 것이다. 이런 R Studio Cloud를 활용하여 분석하기 위해 크게 2가지 단계를 거치게 된다. 먼저 G사의 클라우드 Backend의 데이터를 JSON 파일 형식을 읽어 들인다. 데이터를 읽어 오기 위해서 G사 Backend 데이터베이스 읽어 들이는 라이브러리인 fireData를 활용하였다. 이렇게 G사의 클라우드 데이터베이스를 JSON 포맷으로 읽어 들이면 토론창 Thread의 토론자별 대화 내용을 추출한다. 추출이 완료되면 KoNLP(한글 자연어 처리 패키지), wordcloud(주어진 데이터를 WordCloud 형태로 그리는 패키지), rvest(웹페이지를 크롤링하는 패키징)를 사용하여 워드 클라우드 그린다. 그림 5는 워드 클라우드를 그리는 과정을 나타낸다. 이때 토론자의 토론 참여 횟수, 키워드 등을 정리한다.

Fig. 5.

R Could Studio Word Cloud

토론자의 토론 주제에 대한 내용을 정확히 파악하고 있는지 확인하기 위해 토론자의 토론 내용과 교수자가 생각하는 토론 내용이 일치하는지 평가하기 위한 절차를 진행한다. 그림 6은 유사도 평가를 위한 절차를 슈도(Pseudo) 코드로 나타낸다. 토론자의 키워드와 빈도를 기준으로 교수자의 키워드와 빈도의 유사도를 평가한다. 먼저 키워드에 대해서 Normalization 과정을 진행한다. Normalization은 키워드 빈도를 합계로 나눈 값을 말한다. 이렇게 하면 학생들이 중요하다고 생각하는 키워드를 반복해서 말하도록 유도하는 질의 과정이 중요하다. 학생과 교수자의 값이 백분율로 구하면 이들 값들이 얼마나 떨어져 있는지 확인한다. 그래서 교수자의 키워드와 학생의 키워드의 차이로 거리를 구하고 이들 값을 합하면 차이에 대한 값을 구한다. 유사도는 100%에서 뺀 나머지 값이다. 이와 같이 유사도를 구한다. 유사도를 통해서 학생들이 토론 주제에 대해서 얼마나 이해하고 있는지를 평가하고자 한다.

Fig. 6.

Similarity Rate

Ⅲ. 클라우드 기반 평가 시스템을 활용한 PBL 토론 사례 분석

제안하는 시스템을 이용하여 토론 평가 사례를 분석하기 위해 학생 5명이 토론방에 들어와 교수자가 미리 제시한 “J.J. Rousseau 'Emile'의 교육적 의의”를 주제로 토론 수업을 진행하였다. 선행학습이 이루어진 내용을 바탕으로 학생들은 그룹을 이루어 30분가량 토론이 진행되었다. 이렇게 e-ECL 앱에서 진행된 토론을 바탕으로 그 내용을 평가 분석하였다. 분석 한 결과를 R 클라우드 서버를 통해서 확인할 수 있었다.

그림 7은 학생이 토론 앱을 통해서 해당 주제 “J.J. Rousseau 'Emile'의 교육적 의의”에 대해서 학생들이 토론에 참여한 전체 내용을 바탕으로 워드 클라우드를 그린 것이다. 위의 내용은 학생이 학습하고 이해한 내용과 주제에 대한 생각을 나타낸다고 볼 수 있다. 학생이 토론 중 작성한 내용을 정답 여부를 확인하기 위해 교수자가 미리 작성해 놓은 주제 키워드를 워드 클라우드 형태로 제작하여 그림 8과 같이 나타내었다. 이는 교수자가 제시한 키워드와 학생의 답과 비교하기 위한 워드 클라우드이다.

Fig. 7.

Example of Word Cloud of Student

Fig. 8.

Example of Word Cloud of Lecturer

Reassou는 소설 ‘Emile’에서 그의 사상을 담고 있는 완벽한 인간을 Emile이라는 가상의 인물을 통해 자연합일의 교육의 중요성을 제시하고 있다. 특히 그의 사상을 집약시킨 제1부 영유아기(0-5세)는 루소의 자연 주의적 사상과 자연 합일의 사상을 제시하며 양육자로서의 어머니의 역할을 강조하고 자연의 법칙을 따르는 것, 자연의 규칙에서 인간 사회의 규칙을 배워야 함을 논하고 있다. 또한 양육자이자 교육자의 역할을 강조하며 관찰자로서 아동 중심을 교육을 실현할 것을 논하고 있다. 이에 학생들에게 Emile의 제1부를 선행적으로 읽고 정리한 내용을 바탕으로 그룹토의를 진행하였다. 토론 평가를 진행하기 위해 앞에서 말한 참여도와 유사도를 구하였다. 그림 9는 학생별 참여도와 키워드 유사도를 나타낸다. 참여도는 전체 대화 중 학생들이 대화에 참여한 비율을 나타낸다. 이때 5명 학생의 값을 모두 합하면 1이 나온다. 그리고 유사도는 교수자가 제시한 키워드와의 차이로부터 나타난다. e-ECL 앱은 토론의 참여도와 키워드 유사도를 정량적인 결과를 바탕으로 학생에 대한 평가를 진행하게 되고 여기에 정성적인 결과를 반영하는 것은 교수자의 역할이다. 본 앱이 제안하는 시스템을 통해서 참여도 및 키워드 유사도의 정량적 결과를 바탕으로 최종 평가에 반영 시 객관적인 근거가 될 것으로 생각된다.

Fig. 9.

Participation Rate and Similarity

Ⅴ. 결 론

본 논문은 기존의 강의식 교육이 갖는 단조로움과 지루함을 없애고 학생들의 흥미와 능동적 참여를 유도하고자 SNS에 익숙한 학생들에게 적합한 수업 토론 방법 및 평가 방법을 제시하고자 하였다. 학생들의 동의를 얻어 소그룹의 선행연구를 실행하였다. 이를 위해 학생들에게 Roussea의 생애에 대한 간략한 학습을 실시하였고 ‘Emile’의 제1부 유아기(0-5세) 부분을 읽고 A4용지 한 장 분량으로 요약 정리하도록 하였다. 공정한 평가를 위해 상용 SNS가 아닌 토론 앱을 개발하여 사용할 것을 설명하고 평시 면대 면 토론을 진행할 때처럼 30-40분가량 토론이 진행될 것임을 설명했다. 본 토론은 개발 토론 앱 ‘e-ECL’에서 진행되며 토론이 진행되는 동안 토론 앱 ‘e-ECL’을 클라우드로 연결하여 토론 내용을 클라우드 서버로 저장하도록 하였다. 클라우드 서버에 저장된 토론 내용을 분석하기 위해 PaaS 기능인 R Cloud Studio를 이용하여 분석하는 툴을 제시하였다. 제안하는 시스템을 통해서 학생들이 토론에 적극적으로 참여하고 있는지 그리고 학생들이 생각하는 키워드가 교수자가 생각하고 있는 키워드가 동일한지를 점검하는 기능을 추가하였다. 그리고 임의의 토론 수업을 통해서 기능을 검증하였다. 실험을 통해서 제안하는 시스템이 학생 토론 참여도 및 정답 유사성을 검증할 수 있었다. 추후에 제안한 시스템을 클라우드 기반 학점 평가에 연동할 수 있는 방안을 진행할 예정이다.

Acknowledgments

이 논문은 2017년도 정부 (교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임 (NRF-2017R1D1A1B03031055).

References

• E. S. Cho, “Debate model for internet-based learning: analysis of CEDA(Cross Examination Debate Association) model application inuniversity setting”, in Korean Association for Educational Information and Broadcasting, 9(4), p5-32, December), (20003.
• J. H. Noh, “Experience of Pre-Service Teachers Appeared In Science Education Based On Problem-Based Learning”, in Asian journal of education, 12(1), p93-117, March), (2011.
• B. S. Choi, “The effects of the PBL for early childhood pre-teacher on self-regulated learning strategy”, in Research Institute of Educational Development, 23(1), p93-117, June), (2007.
• N. H. Kim, H. Y. Seo, and K. H. Park, “Design and Implementation of Mathematics Learning Evaluation System based on the Web”, in Journal of the Contents Association, 7(6), p161-168, June), (2007.
• K. S. Choi, S. R. Hann, D. S. Lee, S. H. Lee, and H. G. Jeon, “A Development of Web-based Cooperative Learning Tool for C Programming Language”, in The Journal of Korean Institute of Information Technology, 12(3), p111-119, June), (2014. [https://doi.org/10.14801/kiitr.2014.12.3.111]
• W. S. Kang, “Automatic Grading System for Subjective Questions Through Analyzing Question Type”, in Journal of the Contents Association, 13(3), p13-21, June), (2013.
• S. C. Lee, and J. Y. Park, “The Study on Design and Implementation of Cloud-based Education System: Introducing Hang-Out Education System”, in Journal of Digital Convergence, 12(3), p111-119, March), (2014.
• K. B. Park, “The Principle and Structure Design of Cloud Computing based Cooperative Learning in Social Studies”, in Social Studies Education, 54(1), p47-62, March), (2015.
• Y. H. Cho, B. Y. Seol, H. K. Lee, D. H. Kang, and A. R. Cho, “Exploring Self-regulation and Group-regulation in Collaborative Problem Solving with Cloud Computing Technology”, in Journal of Korean Association for Educational Information and Media, 23(3), p345-371, September), (2017. [https://doi.org/10.15833/kafeiam.23.3.345]
• Chat SDK, [Internet] Available: https://chatsdk.co/.
• Firebase, [Internet] Available: https://firebase.google.com/.
• R Studio Cloud, [Internet] Available: https://rstudio.cloud.