Current Issue

체험형 교육을 지원하기 위한 노력으로 교육용 메타버스 플랫폼의 등장, 지속되는 기술혁신에 대한 투자의 증가로 교육에도 새로운 변화가 감지되고 있다. 교육의 변화는 공간×인간×시간에 대해 기존에 가지고 있던 일반적 상식과 관행을 넘어선 새로운 서비스 전략의 구상이 요구되고 있다. 다양한 영역에 공간×인간×시간을 결합한 새로운 메타버스 경험을 설계하여 미래 경쟁력을 확보를 위하여 ICT융복합 기반의 메타버스 시대에는 현실의 자신, 가상의 자신, 제3의 인물 등 새로운 인간의 모습을 구현할 수 있고, 시간과 공간을 초월한 경험 설계가 가능해지며, 현재의 메타버스는 게임 기술의 적용, SNS 등 소통 분야에서 비교적 많이 활용되고 있으나 확산은 아직은 시작 단계라 볼 수 있다. 언어학자들은 현실 공간에서 가상 사물을 투시해주는 메타버스 기술을 어학 교육콘텐츠 개발에 적용하는 것을 학습효과를 높이는데 필연적으로 추진해야 할 과제로 권고하고 있다. 이러한 연구는 어학교육 시장의 폭발력과 VR/AR 기술이 지니는 상호작용성, 실감성, 지능성과 같은 속성으로 인하여 어학교육에 적용되는 경우, 언어학습의 효율성 배가가 가능하다. 최근 국내외에서는 메타버스 기술을 접목한 언어학습과 VR/AR 기술을 융합한 콘텐츠들이 나오고 있지만, VR/AR 기술의 언어교육용 콘텐츠 개발에의 본격 적용은 아직 초기 단계에 머물러 있다고 볼 수 있다[3].표1은 XR 기반의 콘텐츠 개발사례를 보여주고 있다.

현재 가장 일반적인 로블록스 사이트에서는 미국의 16세 미만 청소년 55%가 가입하고 월 이용자가 1억5천만 명, 하루 접속자가 4000만 명에 이른다고 한다. 800만 명의 사용자가 자체 제작한 5천만 개의 게임이 유통되고 있는 거대한 메타버스 플랫폼이 됐다. 로블록스 제작사는 2021년 초 상장돼 460억 달러의 가치를 갖는다. 구글 트렌드에서 검색 빈도를 비교하면 로블록스와 비트코인 비슷한 수준을 보인다. 2017년에 출시된 에픽 게임스의 포트나이트 파티로열은 사용자들의 소셜 공간에 해당하며 가입자가 3억5천만 명을 넘는다. 사용자들이 가상공간에 모여 영화나 콘서트를 즐긴다. 2020년 4월 힙합 가수 트래비스 스콧의 콘서트에 동시 접속자가 1230만 명이었고 5일간 참여자는 2천700만 명, 그리고 2천만 달러의 수익을 올렸다고 한다[4].

최근 중국에서는‘차세대 인공지능 발전계획’(新一代人工智能发展规划)을 발표하면서 인공지능 개발을 주요 전략으로 설정하였고, 고등 교육기관의 인공지능을 위한 혁신적인 실행계획(高等学校人工智能创新行动计划)에서는 초·중등 교육기관에서부터 고등교육기관까지의 교육의 연계성을 강조하고 있다. 이에 따라 중국은 초·중등 교육기관 내에 인공지능을 학습할 수 있는 환경을 조성하고 중·장기적으로 인공지능 분야의 인재 양성을 목적으로 하는 ‘초·중등 인공지능 교육프로젝트’를 추진하고 있다[5].

국내의 언어교육을 위한 VR/AR 콘텐츠는 KT의 슈퍼 VR 청담인게이지(2020), SKT의 점프 VR/AR(2020)가 있으며, KT는 영어교육 기관인 청담러닝과 제휴를 통한 VR 어학연수 프로그램 인게이지(ENGAGE)로서 KT의 개인형 VR 서비스 슈퍼 VR에서 제공하는 소셜 플랫폼에서 진행되며, 참여한 학생들은 20명 단위로 가상교실에 입장하여 원어민 영어 강사와 아바타 형태로 매일 1시간씩 회화 수업하도록 지원하고 있으며, 독자적으로 개발된 VR 콘텐츠는 아니라는 한계를 안고 있다. 그림1은 국내 XR기반 서비스 사례를 나타내며, 스피킷(SPEAKIT) VR은 SKT가 2020년 5G 서비스를 출시할 때 독점 계약을 통해 공개한 AI 영어교육용 콘텐츠로 360도 가상현실 실사, 3D, 합성 영상을 기반으로 제작된 실감형 콘텐츠를 활용하며 콘텐츠 수는 112편으로 KT와 마찬가지로 독자적으로 개발된 VR 콘텐츠는 아니라는 한계가 있다.

Fig. 1. 
Domestic XR-based service cases

메타버스의 시장 규모는 2035년까지 315조 원으로 예측될 정도로 미래의 거대한 산업으로 성장을 예고하고 있다. 국내의 정부 기관에서는 메타버스 서비스와 블록체인 기술을 결합해 현실과 부합하는 가상의 세계를 구현하는 계획을 세웠다. 또한, 2020년 과기정통부를 중심으로 가상융합기술(XR) 수요·공급기업과 방송사, 이동통신사 등 관련 산업 의 기업들과 공공기관이 참여하는 '메타버스 얼라이언스' 출범했다[6]. 세계적인 에듀테크의 성장세에도 불구하고 국내 에듀테크 시장의 성장세는 세계시장 대비 낮은데다 중대형 사업자들에게 매출이 집중되는 양극화 우려되고 있으며, 콘텐츠 산업의 특성상 다양한 콘텐츠와 기술을 개발할 수 있는 중소기업 활성화를 통한 건강하고 지속 가능한 분야로 사업화 접근이 충분하다고 사료 된다. 선행연구를 통하여 도출한 결과를 보면, 한국인이 원어민 수준 정도의 유창한 영어 구술력에 도달하려면 약 4,000시간 이상의 영어학습 훈련이 필요하며, 우리나라의 어학교육 과정은 영어교육 위주로 10년 거치 1,000시간을 상회하는 수준이며, 이 시간으로는 유창한 구술 능력에 이르기에는 상당히 부족하다. 이러한 문제의 보완을 위하여 메타버스 기반의 상시학습 지원을 통한 언어학습용 콘텐츠의 보급이 요구된다[7]. 최근 외국인 노동자와 유학생의 수요가 요구되고 있으나 코로나 영향으로 어려움을 겪고 있으며 한국어의 습득 정도가 낮아서 산업의 생산성에도 문제가 되어, 기존의 단기 어학교육으로는 해결하기 어려운 실정이다. 이러한 외국인들이 단기간에 한국어 습득을 위한 메타버스 기반의 어학교육 서비스 지원이 필요하다.

AR/VR 콘텐츠 제작을 위한 저작도구는 엔진과 시뮬레이터 구성에 필요한 가상 모델링을 디자인하는 기술 및 가상의 인터랙션에 대한 사용자의 평가기술 등을 적용하여 구현하였으며, 가상현실 환경구성을 위한 배경의 구성은 부분적 구매를 통하여 적용하였으며, 메타버스 공간의 아바타 의 구성 및 악서세리 부품은 3D 그래픽을 통한 제작을 진행하여 완성하였다. 응용프로그램을 저작하는 도구는 유니티를 활용하여 프로그램을 작성하였으며, 모듈화를 통하여 관리자 기능에서 환경설정이 완성되도록 하였다. Photon 서버를 활용하여 다자간 게임 및 멀티의 아바타가 활동하도록 지원하고, 로컬 서버기반의 주요 데이터의 관리가 가능하도록 하나의 유기적인 VR을 구성하였다. 시스템 저작 기술 및 실제 구동환경과 유사한 환경을 저작도구 상에 시뮬레이션하여 증강현실 콘텐츠 저작을 효율적으로 제공하는 기술을 포함한다. 게임엔진으로 개발된 Unity3D 및 Unreal 엔진이 고성능 품질을 제공하는 가상현실 저작도구로 확대 적용하였으며, 추가적인 증강현실 대상 인식 및 객체 추적기술 활용하였다. 실제 환경에 매칭이 되는 가상의 정보를 합성하기 위해서 합성할 대상의 영상정보를 추출하는 기술을 통하여 영상정보(RGB, Depth)에서 객체를 추출한 후 실시간으로 추적하는 기술을 활용하였다. 그림5는 서비스 플랫폼 기술 구조를 표현하였다.

Fig. 5. 
Service platform technical structure

메타버스 지원을 위한 플랫폼의 구성은 공통영역, 학습관리 영역, 학습콘텐츠 관리영역으로 구성되며, 온라인/오프라인 동기화 지원을 위한 부가 지원 서비스로 이루어진다. 서비스 관점에서는 로컬서버 영역과 클라우드 서비스 영역으로 구분하여 서비스를 구성하여 통합이 이루어지는데, 본 연구에서는 메타버스 서비스의 근간이 되는 학습관리(LMS)시스템과 학습콘텐츠 관리(LCMS)시스템 영역에 대한 고려가 이루어져야 한다. LMS(Learning management system)은 메타버스 공간에서는 온라인강의, 실시간 강의, 강의자료, 평가관리, 출석 관리, 학습진단 기능을 구성하여 적용하도록 한다. 온라인/오프라인 출결 관리의 지원을 위하여 카메라 및 스마트폰을 이용한 영상정보와 위치정보를 조합하여 오프라인 사용자를 자동으로 식별하여 메타버스 공간에 아바타 입장이 가능하도록 지원하며, 온라인 사용자는 헤드셋을 통한 메타버스 공간의 아바타 입장이 가능하도록 구성하여 출석에 대한 체크는 물론, 개인 아바타의 참여가 가능하도록 지원한다. LCMS(Learning Contents management system)은 메타버스 공간에서 활용될 아바타 및 배경씬 등의 3D자료 콘텐츠에 대한 관리를 멀티미디어 콘텐츠 메터데이터의 관리가 가능하도록 구현한다.

본 연구에서는 어학교육 지원을 위한 메타버스 플랫폼 프로토타입 개발을 위하여 프로토타입 개발환경을 구성하였다. 주요 기능 구성은 LAMP(linux, apache, mysql, php)서버를 기반으로 회원 관리 및 콘텐츠 관리를 위한 로컬서버 환경을 구성하고, 메타버스 공간에서 멀티세션 처리를 위하여 Photon서버 기반의 클라우드 기반으로 서비스 구현하여 플랫폼의 개발환경을 구성하여 서버 영역의 플랫폼을 구성하였다. 클라이언트 환경은 헤드셋 및 모바일을 통한 서비스가 가능하도록 개발환경을 구성하여, 어학교육 서비스가 이루어질 수 있도록 하였다. 그림6의 강의장 서비스 구성은 블랜디드 학습을 지원하기 위한 오프라인상의 학습 모니터링 방법으로 스마트기기와 연동하여 화면 미러링 기능을 제공하였고, 콘텐츠의 공유를 통한 판서 기능을 활용한 n스크린 서비스가 가능하도록 교실 환경의 강의장에서 메타버스 공간의 온라인 접근을 지원하고, 오프라인 환경에서의 메타버스 공간의 모니터링이 가능하도록 구성하였다.

Fig. 6. 
Classroom service configuration

메타버스 기반의 어학교육 서비스 시스템은 실감형 학습지원 장치(게이트웨이)를 통한 교실 단위로 제품의 보급이 가능하도록 제품화를 고려하고 있으며, 클라우드 기반의 서비스가 가능하도록 확장성을 부여하였다. 어학교육 지원을 위한 오프라인 스마트교실 서비스 환경을 실측하여 메타버스 공간을 구성하여 동기화를 지원하도록 고려하였으며, face_recognition 알고리즘을 활용하여 오프라인 사용자의 메타버스 공간에 입장을 지원하였고, 학습관리 및 콘텐츠관리 모듈과 연동되도록 인터페이스 모듈을 설계하여 적용하였다.

한국어 강좌의 구성은 초급, 중급, 고급으로 구성되어 있으며, 한국어 초급강좌는 한국어를 전혀 모르는 외국인이나 재외동포를 대상으로 동영상 강좌 및 교재가 구성되어 있다. 먼저 한국어의 모음과 자음, 받침 발음, 그리고 글자의 짜임이 소개되어 있고, 본문은 모두 25과로 되어 있으며, 과마다 4개의 기본 대화로 이루어져 있다. 문법은 학생들이 쉽게 이해하고, 활용할 수 있도록 의미와 사용 방법, 사용상의 제약 등이 설명되어 있고, 이해를 돕기 위해 보기 문장도 수록하여 교재를 구성하였다. 유형 연습은 중요 문법을 연습하기 위해 문장 만들기와 응답 연습으로 구성되어 있고, 앞에는 보충 단어도 소개하였으며, 5과마다 읽기, 쓰기, 듣기 연습을 넣어 배운 어휘와 유형을 다양하게 연습할 수 있도록 PDF 교재를 구성하여 온라인/오프라인 공유가 가능하도록 준비하였다. 그림7은 한국어 강의 콘텐츠 구성을 도식화하였다.

Fig. 7. 
Korean content lecture composition

메타버스 기반의 게임형 한국어 강좌의 구성은 초급/중급/고급 강좌로 구성하여 온라인/오프라인 공유가 가능하도록 준비하였으며, 단원별로 새로 나온 단어를 소개하여 게임 준비를 지원하고, 단원별 멀티게임 기반의 학습이 가능하도록 구성하여 학습자의 흥미를 부여하도록 구성하였다. 메타_클래스의 입장은 커브드 스크린 기반의 어휘 및 문법에 대한 설명이 가능하도록 구성하며, 아바타 기반의 학습 참여가 가능하도록 구성하여 체험형 학습지원이 가능하도록 한국어교육 콘텐츠를 구성하였으며, 온라인 사용자는 아이디/패스워드를 통한 입장이 가능하도록 구성하고, 오프라인 사용자의 메타버스 입장에 대한 지원은 카메라를 통한 촬영 영상을 통한 아바타의 생성 및 메타버스 공간의 이동을 지원하고, 스마트폰을 통한 개인정보 식별을 통한 메타버스 공간의 자동 입장을 지원한다. 단어학습을 통한 점수 및 학습활동을 통한 학습평가 정보는 문제은행과 연계하여 점수를 계량화하도록 하여 저장하고, 점수의 누적은 아바타의 성장 및 보상지원이 가능하도록 서비스를 구현하였다.

단원별 새로운 단어를 소개하도록 구성하고, 단원별로 다국어 지원 단어학습 지원 데이터베이스를 활용하여 멀티 게임 학습이 가능하도록 구성하여 학습자의 흥미를 부여하도록 서비스를 구성하며, 게임씬 배경을 다양하게 제작하여 학습자의 지루함을 제거한다. 단원별 취득 점수에 따라 보상의 지원이 가능하도록 게임에서 획득된 점수는 서버에서 수집하여 평균을 구하여 점수화하도록 구성하며, 단원별 평가 점수와 합산하여 아바타의 성장을 지원하여, 레벨에 따라서 아바타가 진화하도록 구성하여 역량 강화기반의 학습모델을 완성한다.

게임을 활용한 단어학습 구성은 가상현실(VR) 기술을 활용하여 헤드셋을 활용한 몰입형 학습지원이 가능하게 개발하며, 복수의 사용자가 참여하여 경쟁적 학습이 가능하도록 구성한다. 단어학습 게임 모듈은 유니티 및 3D MAX를 통한 개발을 진행하여 프로토타입을 완성하여 메타버스 플랫폼에 적용하여 학습자의 흥미를 부가하였다. 그림8은 게임 기반 단어학습 서비스 화면이다.

Fig. 8. 
Game-based word learning

어학교육의 실감형 학습지원을 위하여 Photon 클라우드 서버를 활용한 본인의 아바타가 참여하는 학습공간을 구성하여 단원별로 아바타 기반의 대화 연습 및 실전 회화가 가능하도록 구성하고, 교수자 아바타가 메타버스 공간에 참여하여 몰입감을 높일 수 있도록 구성하였다. 온라인 참여자는 헤드셋을 통한 접속이 가능하도록 지원하고, 오프라인 학습 참여자를 위하여 영상정보를 인식하여 개인정보 ID를 자동생성하여 메타버스 공간에 오프라인 사용자의 접속을 지원하였으며, 회원관리 DB를 통하여 온라인/오프라인 사용자의 메타버스 공간의 공유가 가능하게 하였다. 이러한 서비스 모델은 코로나19로 인하여 비대면 수업이 강조되고 있는 시점에서 교실 단위로 이루어지는 오프라인 환경과 메타버스의 온라인 공간의 동시 활용성을 지원하는 새로운 대안이라 판단되며, 사무환경 및 교회의 예배시스템과의 활용이 가능하리라 사료 된다. 그림9는 아바타 기반 참여 학습에 대한 서비스 화면이다.

Fig. 9. 
Avatar-based participatory learning

아바타 기반의 참여 학습지원 모듈에서도 Photon 서버를 활용하여 구현하였으며, LAMP 서버를 통한 학습자 관리 및 역량 관리가 가능하도록 로컬 DB의 구현을 진행하였다. 클라이언트에서는 HMD를 통한 서비스가 가능하도록 유니티 기반으로 프로그램을 개발하였으며, 3D MAX를 활용한 그래픽 화면을 구성하여 아바타 및 배경씬을 개발하여 적용하였다.

단원별 커브드 스크린 기반의 동영상 학습이 가능하도록 구성하여 문법 및 어휘에 대한 설명을 전문 강사가 동영상 녹화를 통한 서비스를 지원하며, 교재 및 부가 학습 내용에 대한 다양한 서비스를 구성하여 온라인/오프라인 사용자의 편리한 학습이 가능하도록 구성하였으며, 원어민 강사를 활용한 360도 동영상 강좌를 촬영하여 실감형 학습이 가능하도록 구성한다. 어학교육 일반적인 교재의 구성은 회화연습, 단어 및 어휘학습, 문법에 대한 설명, 단원별 문제 풀이 등 4개 내외의 영역으로 구분되어 진다. 그림10은 부가 학습지원을 위한 서비스 화면이다.

Fig. 10. 
Additional learning support module configuration

메타버스 공간에서는 실감형 학습 및 체험형 학습이 가능하도록 다양한 기능을 제공하도록 고려하며, 온라인/오프라인의 경계를 허물 수 있는 다양한 미디어에 대한 UI/UX의 적용이 요구된다. 궁극적으로 학습자의 학습효과를 극대화하는데 메타버스 기술의 적용은 교육 분야의 새로운 패러다임을 제시할 수 있다고 판단된다.

단원별 학습이 완료되면 문제은행을 통한 학습 내용에 대한 평가가 가능하도록 구성하며, 문제 풀이 화면을 구성하여 자동채점이 가능하도록 지원하고, 최종 획득점수는 서버 DB에 축적되어 개인별 역량관리가 가능하도록 지원한다. 단어학습게임 점수와 단원별 문제 풀이 점수를 합산한 성적을 산출하며, 메타버스 공간에서의 활동 점수를 부가하여 아바타의 성장을 지원한다. 출석에 대한 점수산출은 메타버스 공간에 참여한 점수를 기본으로 하며, 오프라인 사용자의 출석 체크를 위하여, CCTV를 활용한 영상정보 분석을 통하여 메타버스 공간의 입장을 지원하고 자동출석이 가능하도록 개발한다. 여기에서는 Face_recognize 알고리즘을 적용한 인식 기법을 활용하였다. 단원별 학습에 대한 문제은행을 구성하여 문제 풀이가 가능하도록 구성하였으며, 평가 결과를 서버에 저장하여 자동 채점이 가능하게 구성하였다. 이러한 평가기능은 역량 강화지원을 위한 아바타의 보상알고리즘을 통하여 아바타의 성장을 지원하여 학습자의 참여도를 극대화하도록 지원한다. 그림11은 메타버스 공간에서 학습활동을 종료한 후 학습에 대한 평가에 대한 서비스 화면이다.

Fig. 11. 
Problem solving and evaluation