스마트 글래스를 이용한 원격협업 팀 기반 학습 시스템 개발

Ⅰ. 서 론

현장 중심의 지식전달과 학생들의 실무적 경험을 향상하기 위해 학생들 중심으로 운영되는 팀 기반의 학습이 중요하다. 이론강의에서는 교수자의 일방적인 지식전달이 중심이지만, 실험이나 실습 강의에서는 교수자가 시범을 보이고, 학습자는 교수자의 시범을 따라 하는 활동을 진행한다. 도구와 공간이 충분하면 모든 학생이 개별 실습을 진행하지만, 여러 학생이 적은 수의 실험 도구를 공유하며 함께 실습을 진행하기도 한다. 또한, 학생들의 협력학습을 위해서 공동으로 협력하여 실습하게 하기도 한다. 하지만, 이러한 상황에서 교수자는 개별 학습자의 수행에 대한 즉각적인 피드백을 제시하기 어렵고, 동시에 학습자의 수행 정도를 반영하여 교수학습의 내용이나 속도를 조절하는 데 활용하기도 어렵다.

따라서, 다수가 참여하는 실습에서 학생들의 소극적인 참여, 제한된 의사소통 기회, 그리고 학습자들의 관심사를 교육내용에 반영하기 어려운 점 등이 지적되었으며, 이에 대한 대안으로 팀 기반 학습을 고려할 수 있다[1],[2]. 일방적인 교수자 위주의 전달식 수업보다 팀 기반 학습을 통해 학습자의 인지적 관여 및 긍정적인 학습 태도 형성을 포함하여 다양한 교육 목표 달성에 효과적임을 드러내는 논의가 제시되었다.

팀 기반 학습 활동은 교수자의 시범을 따라 하는 것보다 현장감 있게 학습자가 직접 조작하면서 실습을 진행할 수 있다는 이점이 있지만, 여전히 교수자의 즉각적인 피드백을 받기 어려우며, 팀의 구성에 따라서 발생할 수 있는 ‘독재자’ 및 ‘무임승차자’ 발생의 문제를 배제하기 어렵다. 또한 팀 활동에서 주된 활동이 이뤄지는 공간은 좁고 시야가 가려지는데 이에 따라 모든 팀 구성원이 주도적인 역할로 참여하기보다는 상황에 따라서 도와주는 역할이나 관찰 혹은 방관자의 역할로 참여하게 된다[3]. 팀을 구성하는 개별 학습자에게 적극적이고 주도적인 실습의 기회를 증대시키며 동시에 다른 팀 구성원 및 교수자와의 상호작용과 피드백을 증진할 수 있다면, 팀 기반 학습의 장점을 최대한으로 구현할 수 있다.

최근 5G 네트워크, 그래픽하드웨어, 다양한 디스플레이 장치, 모바일 프로세스 등의 발전으로 가상증강현실 기술이 상용화되고 있다. 특히, 세계적 유행 전염병 현상으로 다양한 가상증강현실을 이용한 교육 시스템이 도입되고 있다. 교육 분야에서는 학습자의 수준과 요구에 부합할 수 있는 교육 경험 즉, 학습자 개별 맞춤형 교육을 제공할 수 있는 수단의 하나로 에듀테크에 관한 관심이 점점 증대하고 있다.

가상훈련이나 교육 시스템에서는 일반적으로 증강현실 착용형 디스플레이(Augmented Reality Head Mounted Display)를 이용한다. 많은 훈련과정에서 실습생은 도구를 사용하거나 손으로 장비를 조작하는 기술을 학습한다. 이러한 훈련과정은 두 손을 자유롭게 사용하는 것이 중요하다. 데스크톱 컴퓨터나 스마트폰을 이용한 교육은 실습하는 데 방해가 되어 많은 가상훈련 시스템은 착용형 디스플레이를 사용한다[4].

본 논문에서는 팀 기반 학습을 목표로 하는 스마트 글래스(Smart Glass)를 이용한 원격협업시스템을 제안한다. 제안된 시스템은 실습생과 서포터의 두 그룹 간의 협업을 지원한다. 실습생은 구글글래스와 블루투스 이어폰, 서포터는 데스크톱과 헤드셋을 사용하며, 네트워크 서버가 영상과 음성, 사진을 전송하는 역할을 한다. 그림 1처럼, 스마트 글래스에는 문자와 이미지는 전송받는 수신부와 WebRTC 클라이언트가 설치되고, 서포터용 데스크톱에는 문자와 이미지를 전송하는 전송부와 WebRTC 클라이언트가 설치되며, 이 둘은 WebRTC 서버로 연결된다.

Fig. 1.

The proposed system framework

제안된 시스템을 이용하면 서포터는 실습생의 시점에서 실습 과정을 살펴볼 수 있다. 실습생과 서포터는 대화를 통해 실습과정을 평가하고 서포터의 피드백을 실시간으로 반영할 수 있다. 마지막으로 서포터는 실습생이 필요한 자료를 이미지와 문자 메시지로 전달할 수 있다. 제안된 시스템은 가상융합 분야에서 사용되는 원격협업 기술을 팀 기반 학습에 적용할 수 있다는 가능성을 보여준다.

Ⅱ. 관련연구

Ⅲ. 요구사항 분석 및 시스템 설계

3-2 시스템 설계

제안된 시스템은 실습생과 서포터가 한 팀으로 활동하게 지원한다.

실습생은 실습실에서 실습을 진행하고 서포터는 관찰실에서 실습 과정을 관찰하면서 조언과 필요한 정보를 실습생에게 제공할 수 있다. 서포터는 실습생의 관점에서 상황을 지켜봄으로써 실습생의 처지에서 필요한 조언과 정보를 제공해줄 수 있어야 한다. 실습생 일인칭 시점의 영상을 촬영하기 위해서 카메라가 장착된 스마트 글래스(Smart glass)가 적합하다. 스마트 글래스는 대표적인 착용형 디스플레이로서 개인용 디스플레이, 카메라와 마이크, 저전력 프로세서, 다양한 네트워크 인터페이스를 갖춘 장치이다. 스마트 글래스는 착용자가 양손을 자유롭게 사용하면서, 1인칭 영상을 촬영하여 전송할 수 있다는 장점이 있다.

실습생과 서포터는 혼잡한 실습환경에서 방해받지 않고 1대1로 영상과 음성으로 통신할 수 있어야 한다. 이를 위해 실습생은 스마트 글래스와 블루투스 이어폰을 착용하고 서포터는 데스크톱 앞에 앉아 헤드셋을 착용한다. 서포터는 실습생의 작업 상황을 실시간으로 파악하면서 실습생의 시야를 방해하지 않고 음성과 영상뿐 아니라 이미지와 문자 정보를 제공할 수 있어야 한다. 실습생의 시스템에서 전송된 영상을 보면서 음성통신을 하고, 필요한 정보를 이미지와 문자로 전송하는 기능이 필요하다.

제안된 교육 시스템에는 실습실과 관찰실 두 개의 방이 있고, 실습실은 실습에 참여하는 학생, 관찰실에는 실습 과정을 보고 필요한 조언과 자료를 제공하는 서포터가 있다. 실습생은 구글글래스와 블루투스 이어폰을 착용하고, 관찰실의 서포터는 데스크톱 앞에 앉아 실습생의 시점에서의 영상을 보면서 영상통신을 할 수 있으며, 이미지와 문자를 실습생의 구글글래스로 전송할 수 있다. 그림 2는 실습실과 관찰실에서 실습생과 서포터가 팀 기반 학습을 수행하기 위한 원격협업 시스템을 보여준다.

Fig. 2.

Diagram of the proposed systems in the two rooms

Ⅳ. 구현

제안된 시스템은 지원생이 사용하는 데스크톱 시스템, 실습생이 사용하는 착용형 시스템, 그리고 네트워크 서버로 구성되었다. 데스크톱 시스템은 일반적인 데스크톱 컴퓨터, 헤드셋(오디오 입력/출력), 그리고 소프트웨어로 구성되었다. 소프트웨어 도구는 WebRTC를 기반으로 한 원격 화상 회의 응용 프로그램으로, 실습생을 모니터링하고 실습생이 착용한 웨어러블 시스템에 이미지 및 문자 메시지를 전송한다.

실습생이 착용한 단말 시스템은 구글글래스 엔터프라이즈 에디션2 (Google Glass Enterprise Edition2), 블루투스 이어폰으로 구성되었으며, WebRTC에 접속하기 위한 안드로이드 앱이 설치된다. 구글글래스에 내장된 스피커를 사용하면 다른 사람의 글래스에서 나오는 소리가 실습생을 혼동시킬 수 있기에, 블루투스 이어폰을 사용하였다. WebRTC 기반의 영상 및 음성통신과 이미지 및 문자 메시지 수신을 위한 소프트웨어가 구현되었다.

실습생의 웨어러블 시스템은 카메라와 마이크에서 캡처한 실시간 영상과 오디오를 전송하고 서포터 시스템에서 전송한 오디오 및 이미지 파일을 수신한다. 그림3은 실습생이 착용한 구글글래스에 표시되는 화면이다. 그림3의 오른쪽 위에는 데스크톱에서 촬영된 서포터이며, 오른쪽 아래는 실습생의 구글글래스에서 촬영한 영상, 가운데 이미지는 서포터가 실습을 위해 전송한 핵심 수기술관련 이미지를 나타낸다. 실험에 사용된 구글글래스의 펌웨어 버전은 OPM1.200625.001이며, 안드로이드 Oreo8.1(API 27)이다. 구글글래스 설치용 앱 개발을 위해 안드로이드 스튜디오와 SDK8.1(API 27)을 활용하였다. 구글은 안드로이드 샘플 소스 코드와 함께 App-RTC(https://appr.tc/) 서버를 무료로 제공한다[14]. App-RTC는 구글의 크롬 브라우저를 사용하는 안드로이드 앱에서 화상 통화를 지원한다. 이 서버는 1대1 접속을 지원하며 같은 방 번호(room number)를 입력하면 연결된다.

Fig. 3.

A snapshot from Google Glass app.

그림 3의 서포터가 실습생에게 도움이 된다고 판단할 때, 전송할 수 있는 이미지는 교과목에서 실습하는 내용에 대해 담당 교수가 미리 제작해 둔 이미지이다. 실습 과정을 설명할 수 있는 33장의 이미지를 미리 jpg 파일로 제작하였으며, 서포터가 쉽게 선택할 수 있게 그림 4와 같이 나열되어 있다. 서포터는 나열되어 있는 이미지를 보고 실습생에게 도움이 될 이미지를 선택하여 보낼 수 있다.

Fig. 4.

A desktop program for supporters.

서포터 시스템에서 실습생 시스템으로 이미지와 문자 메시지를 전달하는 네트워크 기반 데이터 송수신 모듈을 개발했다. 데스크톱 측에서 시각화를 위한 프로그램을 개발하기 위해 Unity3D를 이용하여 개발했으며, 다자 간 빠른 데이터 송수신을 위해 UDP(User Datagram Protocol) 소켓을 활용했다. 그림 4의 모니터 화면 왼쪽에는 WebRTC 기반 영상통신, 오른쪽 프로그램에는 이미지 배열이 표시되고 있다. 이 오른쪽 프로그램에서 서포터가 실습생에게 필요하다고 생각되는 이미지를 클릭하면, 그 이미지는 실습생의 구글글래스로 전달된다. 또한 이 프로그램에는 실습생에게 메시지를 보낼 수 있는 텍스트 상자가 있어, 텍스트를 작성하면 실습생의 구글글래스에 문자 메시지가 바로 표시되었다가 수초 후에 사라진다.

Ⅴ. 실험 및 분석

본 팀 기반 학습 시스템의 유용성을 파악하기 위해 전남 소재 대학의 간호학과 학생들을 대상으로 사용성 평가를 수행하였다. 사용성 평가에 참여한 학생은 32명이며, 평균나이는 23.94세였다. 팀 기반 학습을 위해 4명으로 구성되는 팀을 구성하였는데, 두 명의 학생은 실습생 역할을 위해 구글글래스를 착용하고 나머지 두 명의 학생은 데스크톱 앞에 앉아 서포터 임무를 수행하도록 하였다. 팀 기반 학습을 진행하기 위해 학생들에게 간호학에서 가장 중요한 학습내용 중 하나인 심전도 이상 환자에 대한 학습이 이루어졌다. 학습 내용은 순서대로 1) 환자의 주호소 파악, 2) 환자의 신체상태 확인, 3) 심전도 측정 4) 심전도 분석 5) 약물투여 6) 약물 반응 확인으로 이루어진다. 실험은 그림5와 같은 실습실과 관찰실에서 이루어졌다.

Fig. 5.

Training room and observation room for the proposed system

실험이 종료된 후 참가자들에게 다음의 질문을 하여 제안된 시스템의 성능을 평가하였다. 첫째로 제안된 시스템을 사용한 교육 시스템의 전반적인 의견을 물어보아 표1과 같은 결과를 얻었고, 어려운 점이나 불편한 점을 제시하라는 서술형 질문에 표 2와 같은 결과를 얻었다.

Table 1.

Overall Assessment of TBL Education Using Smart Glasses

Table 2.

Opinions of participants in the experiment on the inconvenience of the proposed system

실험에 참여한 참가자의 40%(13명)는 제안된 시스템이 흥미롭고 재미있었다고 평가하였다. 또한, 스마트 글래스는 처음 활용했지만 쉽게 사용할 수 있었으며, 제공된 정보를 통해 실수를 줄였다는 긍적적인 응답도 다수 있었다. 하지만, 이에 반해 15%의 참가자는 불편함을 호소하였으며, 표 2와 같이 서술형으로 불편한 점을 제시하도록 하였다. 참여자들은 안경 착용자의 사용 어려움, 카메라를 통해 보는 영상의 좁은 시야각으로 인한 상황 파악의 어려움, 스마트 글래스 기기 사용의 어려움 등을 토로하였다.

특히, 서포터는 구글글래스의 카메라가 촬영한 영상으로 실습상황을 판단해야 하는데, 시야가 좁아 어려웠다는 의견이 많았다. 또한, 두 사람이 의사소통할 때, 상호 간 규칙이 필요하다는 의견이 있었다. 두 사람이 서로 동시에 말을 한다거나 작업 중에 아무 때나 메시지나 음성신호가 전달되면 방해가 될 수 있어서 호출부호 등의 규칙이 필요하다. 실습생이 서포터에게 정보를 요청하는 방법과 서포터가 실습생에게 정보를 제공하는 방법에 대한 규칙이 필요하다는 것을 발견하였다.

향후 개선사항에 대해 ‘원활한 네트워크 연결’, ‘시야 확보 및 높은 해상도’, ‘착용감 개선’ 등 많은 의견이 제출되었다. 이는 실험에 사용된 서버가 구글에서 테스트용으로 제공하는 서버라 전송 속도가 느렸으며 지원되는 영상 해상도도 낮았기 때문이다. 또한 다른 스마트 글래스에 비해 구글글래스가 가벼운 편이었지만, 아직도 일반 사용자들이 느끼기에는 무거우며 한쪽으로 무게중심이 치우쳐져 불편함을 초래했기 때문으로 판단된다.

스마트 글래스를 처음 보기 때문에 그 사용법이 익숙하지 않았다는 의견이 있었다. 스마트 글래스는 스마트폰이나 스마트 워치와 같이 대중적으로 상용화된 장비가 아니기 때문에 사용법이 쉽지 않다. 구글글래스의 경우 안경다리에 있는 눈에 보이지 않는 터치패드를 이용해야 해서 어려웠다. 사용법이 익숙하지 않은 문제는 스마트 글래스가 널리 배포되면서 자연스럽게 해결될 것으로 예상된다.

제안된 시스템은 학생이 실습하는 학생의 시선에서 과정을 보고 서로 도우며 학습할 수 있었으며, 실험에 참가한 학생들에게 긍정적인 평가를 받아 그 가능성을 볼 수 있었다. 또한 많은 학생이 함께 실습하는 실습실에서 개인간의 무선통신을 지원하는 블루투스 이어폰을 사용하여 원활한 의사소통도 가능함을 확인하였다. 또한 실습 도중 필요한 정보를 이미지, 문자, 음성으로 전달 할 수 있어 학습 이해에 도움이 되었다.

하지만 각각에 대해 시스템의 문제점을 파악할 수 있었다. 스마트 글래스의 카메라가 해상도가 낮고 전면을 바라보기 때문에 서포터가 보고 싶은 방향의 영상을 보기 어려웠다. 이 문제는 교육용으로 특별히 광각카메라가 부착된 스마트 글래스를 제작할 필요가 있다. 또한 실습생과 서포터의 통신방법에 대한 고민이 필요하다. 실습생이 작업하는 도중에 서포터의 지시사항이나 의견이 전달될 때 작업에 방해가 될 수도 있기 때문이다. 실습생이 정보를 요청할 때만 서포터가 정보를 제공할 수 있게 하거나, 긴급한 상황에서 실습생이 잠시 작업을 중단하고 서포터의 의견을 수용하도록 하는 지원 방안이 연구되어야 한다.

Ⅵ. 결론

최근 가상현실, 증강현실 기술을 이용하여 메타버스를 구현한 교육플랫폼이 연구되고 있다. 본 논문에서는 팀 기반 학습을 효율적으로 지원하기 위해 스마트 글래스를 이용하는 시스템을 제안하였다. 제안된 시스템은 실습생과 서포터를 네트워크로 연결하며, 구글글래스를 착용한 실습생의 실습과정을 데스크톱을 이용하는 서포터가 관찰하면서 실시간으로 지도할 수 있는 시스템이다. 제안된 시스템은 학생들의 실습 흥미도를 높이고 협업을 통해 교육효과를 높일 것으로 기대된다. 하지만, 제안된 시스템의 사용성 평가 결과를 통해 착용감을 개선하고 시야 확보가 가능하게 개선되어야 하며, 실습생과 서포터 사이의 의사소통을 새롭게 정의해야 하는 문제점이 발견되었다.

추후 연구로는 제안된 팀 기반 원격협업 시스템을 이용하여 실습에 참여한 학생들의 교육 측면에서의 장단점을 분석할 계획이다. 제안된 시스템을 사용하였을 경우 실습생과 서포터의 지식과 기능습득이 얼마나 효율적이며 학생들에게 도움이 될지 연구가 필요하다. 또한, 1대1 연결이 아닌 1대 다 혹은 다 대 1의 연결을 통해 팀학습을 지원하도록 시스템을 개선할 계획이다.

Acknowledgments

본 과제는 행정안전부 지역맞춤형 재난안전 연구개발 사업의 지원(20012234)과 2018년 정부(교육부)의 재원으로 한국연구재단의 지원(NRF-2018R1D1A1B07043983)을 받음

References

• Kim, Eun-Jung, “The experiences of the pre-service early childhood teachers in TBL-based cooperative classes,” Journal of Learner-Centered Curriculum and Instruction Vol. 21, No. 7, 2021, pp. 847-866 [https://doi.org/10.22251/jlcci.2021.21.7.847]
• Michaelsen, Larry K., and Michael Sweet. "The essential elements of team‐based learning." New directions for teaching and learning 2008.116 (2008): 7-27. [https://doi.org/10.1002/tl.330]
• Park, J. · Choi, C. & Lee, S., (2020). Case Analysis of Decentralized Collaboration and Shard Leadership in Instruments Operation in Scientific Inquiry. Journal of Research in Curriculum Instruction, 24(2), 189–200.
• Gonzalez-Franco, Mar, et al. "Immersive mixed reality for manufacturing training." Frontiers in Robotics and AI 4 (2017): 3. [https://doi.org/10.3389/frobt.2017.00003]
• Kim, Duck Hee, et al. "Effects of a simulation-based integrated clinical practice program (SICPP) on the problem solving process, clinical competence and critical thinking in a nursing student." The Journal of Korean Academic Society of Nursing Education 18.3 (2012): 499-509. [https://doi.org/10.5977/jkasne.2012.18.3.499]
• Kim, Hae-Ran, Eun-Young Choi, and Hee-Young Kang. "Simulation module development and team competency evaluation." Journal of Korean Academy of Fundamentals of Nursing 18.3 (2011): 392-400.
• Hrynchak, Patricia, and Helen Batty. "The educational theory basis of team-based learning." Medical teacher 34.10 (2012): 796-801. [https://doi.org/10.3109/0142159X.2012.687120]
• Billings, Diane M. Team-based learning for health professions education: A guide to using small groups for improving learning. Stylus Publishing, LLC, 2020.
• Koles, Paul G., et al. "The impact of team-based learning on medical students' academic performance." Academic Medicine 85.11 (2010): 1739-1745. [https://doi.org/10.1097/ACM.0b013e3181f52bed]
• Matsuda, Akira, et al. "A Surgical Scene Replay System for Learning Gastroenterological Endoscopic Surgery Skill by Multiple Synchronized-Video and Gaze Representation." Proceedings of the ACM on Human-Computer Interaction 5.EICS (2021): 1-22. [https://doi.org/10.1145/3461726]
• Nohyoung Park, Yeram Kwon, Sungwon Lee, Woontack Woo, Jihoon Jeong, “Projected AR-Based Interactive CPR Simulator,” Springer - Virtual, Augmented and Mixed Reality (Systems and Applications), HCII 2013, LNCS, Vol.8022, pp.83-89, Jul. 2013 [https://doi.org/10.1007/978-3-642-39420-1_10]
• Lee, Youngho, Sun Kyung Kim, and Mi-Ran Eom. "Usability of mental illness simulation involving scenarios with patients with schizophrenia via immersive virtual reality: A mixed methods study." PloS one 15.9 (2020): e0238437. [https://doi.org/10.1371/journal.pone.0238437]
• Kim, Sun Kyung, et al. "Brief Paper: Design and Implementation of a Smart Glass Application for XR Assisted Training of Core Nursing Skills." Journal of Multimedia Information System 7.4 (2020): 277-280. [https://doi.org/10.33851/JMIS.2020.7.4.277]
• 구글 글래스 샘플 코드 https://developers.google.com/glass-enterprise/samples/code-samples