교육용 메타버스 월드 구축을 위한 도구 개발: 마인크래프트 에듀케이션을 중심으로

메타버스(Metaverse)는 세계를 뜻하는 유니버스(universe)와 상위, 초월을 뜻하는 메타(meta)를 합친 말로 현실을 초월한 세계, 현실과 가상이 혼재된 세계라는 의미이다. 2007년 미국 미래학협회(ASF)는 메타버스를 가상적으로 확장된 물리적 현실과 물리적으로 영구적인 가상공간의 융합으로 정의하고 증강현실(Augmented Reality), 라이프로깅(Lifelogging), 거울 세계(Mirror World), 가상세계(Virtual World), 네 가지 유형으로 나누었다. 충청북도 소속의 학생과 교사들을 대상으로 메타버스 활용 교육에 대한 인식을 조사한 결과, 마인크래프트는 수업 중 활용하는 메타버스 플랫폼으로 28.3%를 차지했으며 또한 학생들이 수업 외 즐기는 메타버스 플랫폼으로 33.3%를 차지했다[4].

마인크래프트(Minecraft)는 모장(Mojang)에서 개발한 샌드박스 형식의 게임으로 2011년 출시 이후 지금까지 꾸준한 인기를 끌고 있다. 마인크래프트는 그 교육적 활용 가능성을 인정받아 2016년에는 마인크래프트 에듀케이션(교육용 에디션)이 출시되었다. 마인크래프트 에듀케이션은 교육용 아이템, 수업 보조 도구인 클래스룸 모드, 코딩 학습을 위한 코드작성기(code builder)와 같은 수업에 최적화된 기능을 제공한다. 마인크래프트에는 사용자가 월드를 설계할 수 있는 다양한 도구를 제공하기 때문에 자신만의 새로운 게임을 만들어 내는 것도 가능하다. 이러한 특성으로 인해 다른 교육용 메타버스 플랫폼과 비교하여 마인크래프트 에듀케이션은 콘텐츠(제작도구 지원, 자유도, 교육적 목적성), 디바이스(접근성, 호환성), 교육(교육월드, 활용성) 영역에 걸쳐 차별성을 제공하며[6], 교수자가 다양한 학습 상황에 맞게 모든 주제의 수업을 설계할 수 있는 자유도를 제공한다[7]. 전 세계의 많은 교육자들이 다양한 영역과 교과에서 수업 사례를 개발하고 있으며 검증된 자료는 마인크래프트 공식 자료로써 제공되고 있다.

마인크래프트를 활용한 교육 프로그램의 실태를 조사하기 위해 마인크래프트 활용 교육에 대한 연구나 수업 경험이 있는 교육자 및 예비 교육자를 조사 대상으로 표 1의 문항을 사용하여 사전 설문을 수행하였다. 실태 조사는 2023년 7월 1일부터 2023년 7월 31일까지 웹 기반으로 진행하였으며 표 2와 같이 총 46명의 응답이 수집되었다.

Table 1.

Survey questions

Table 2.

Demographics of the research subject(N=46)

실태 조사 결과에서 도출한 시사점은 2가지로, 건축물 제작을 위한 반복 작업의 개선이 필요하다는 것과 NPC 제작을 위한 새로운 도구가 필요하다는 것이다.

마인크래프트 활용 교육을 실행하는 교육자들은 기존의 월드를 사용(36.7%)하는 것보다, 자신의 수업에 맞는 월드로 수정하거나 직접 구축하는 경우가 많았다(63.6%). 하지만 실제 수업을 준비하고 월드 구축하는 데는 많은 어려움을 겪고 있었다(65.2%). 이 결과는 스스로 월드를 구축하는데 시간과 노력을 단축할 수 있는 새로운 도구 개발이나 기능 개선의 필요성을 말하고 있다.

건축물은 마인크래프트 월드의 필수적인 구성물로써 수업에서는 활동 공간이 될 수 있고 활동을 위한 준비물 또는 중간 결과물이 될 수 있다. 따라서 마인크래프트 활용 수업에서는 어떠한 형태로든 건축물을 제작하는 과정은 필수적이다. 하지만 건축물을 제작하는 것은 블록을 놓고 부수는 반복 작업이고 마인크래프트 게임에 대한 숙련도도 요구하기 때문에 여러모로 교육자들이 번거롭고 어렵게 느끼는 부분이다. 그래서 교육자들은 코드작성기, 월드 에딧과 같은 도구를 활용하여 건축물을 제작하고 있지만 월드 구축 도구에 대한 자료가 부족하다고 느끼며 기능 개선이 필요하다고 답하고 있다.

건축물이 마인크래프트 월드의 활동 공간이라면 NPC는 월드의 이야기라고 할 수 있다. NPC는 마인크래프트 월드에 명시적인 스토리텔링을 적용할 수 있는 요소로, 학생들에게 월드의 교육적인 목적과 의도를 전달하고 교사가 일일이 전달할 수 없는 세부적인 활동 안내까지 가능하다. 월드를 구축하거나 수정, 보완했을 때 교육자들이 가장 많이 실행한 작업이 NPC를 구성하는 것(33.3%)이었다. 기존의 월드를 활용할 때 수정, 보완하는 작업을 최소한으로 하더라도 NPC 수정과 보완 작업은 필수적인데, 수업의 형태는 매우 다양하므로 똑같은 NPC 대사 그대로 활용하는 경우는 드물기 때문이다.

NPC는 마인크래프트 수업을 위해 필수적인 구성 요소로 활용되고 있지만 교육자들은 게임 내에서 직접 제작할 뿐 도구는 활용하지 않는 것으로 보인다. 왜냐하면 교육자들이 자주 활용하는 도구로 응답한 코드작성기(67.5%)[8]와 월드에딧(20%)[9]은 건축물 제작에는 효과적인 기능을 가지고 있지만 NPC와 관련된 기능은 없기 때문이다. 기존 도구를 활용해 NPC를 제작하려면 비쥬얼 스튜디오(7.5%)[10]나 브릿지(2%)[11]를 사용해야 한다. 이 도구들은 월드 제작을 위한 다양하고 강력한 기능을 제공하지만 복잡한 프로그래밍 언어와 도구 사용 방법을 익혀야 한다는 부담이 있다. 어려운 도구 사용 방법 때문에 교육자들은 시간과 노력이 들더라도 NPC를 직접 제작할 수밖에 없다. 따라서 불편하고 어려운 기존 도구를 대체할 수 있는 쉽고 편리한 방식의 NPC 제작 도구가 필요하다.

그림 1은 마인크래프트 월드의 NPC와 건축물을 보여준다. NPC는 Non-Player Character의 약자로 사용자가 플레이하지 않는 캐릭터를 의미한다. 게임에서 NPC는 학습자와 상호작용하는 캐릭터로서 과제 진행, 정보 제공, 보상 부여 기능을 한다. 수업 설계를 위해 사용하는 NPC는 교사를 대신해 수업 활동을 안내하는 역할을 하고 수업에 이야기를 입히는 중요한 도구로서 마인크래프트 월드에서 필수적으로 활용된다.

Fig. 1.

NPC and building in Minecraft worlds

건축물은 마인크래프트에서 블록으로 이루어진 모든 무생물 개체로 학습자가 활동할 수 있는 가상의 물리적 공간을 의미한다. 건축물은 산, 초원, 강처럼 지형일 수도 있고 내부와 외부공간이 존재하는 건물과 같은 형태일 수도 있다. 또는 외부는 생략되고 내부만 표현된 공간으로 사용되기도 한다.

NPC는 일종의 캐릭터이기 때문에 외형, 이름을 가지고 있으며 말풍선으로 대사를 전달할 수 있다. 대사는 가장 기본적인 NPC의 정보 전달 기능으로, 이를 통해 스토리텔링을 하거나 수업 안내를 할 수 있다. 또한 URL 정보를 버튼에 저장하여 학습자가 버튼을 누르면 인터넷 브라우저가 실행되면서 수업과 관련된 추가 정보를 확인할 수도 있다. NPC 설정창에서 명령어를 입력하여 다양한 기능을 구현할 수 있다. NPC의 대사가 보여주는 버튼 중에서 한 가지를 선택해서 다음 활동을 진행하거나 종료할 수 있다. 버튼은 NPC의 대표적인 활동 진행 기능으로, 다음 과제를 이어가거나 선택할 때 자주 사용한다.

마인크래프트 수업에서 보상은 월드 내에서 주어지는 것이 학습자의 수업 몰입 측면에서 볼 때 더욱 적합한 방식이다. NPC를 활용하면 월드에서 가장 쉽게 보상을 줄 수 있다. 학습자가 NPC의 질문에 대답하여 보상받거나, 그 대답이 이후 활동에 영향을 주는 방식으로 NPC를 활용할 수 있다. NPC의 보상 매개 기능은 문제 풀이와 같이 보상이 즉각적으로 주어져야 하는 활동에서 자주 사용한다.

교육용 월드를 분석한 결과, 건축물은 전체적인 형태와 지붕 모양을 기준으로 두 가지로 나누어 분류할 수 있었다. 건축물의 전체적인 형태는 ㅁ자, ㄱ자, ㄷ자, ㅇ자 네 가지로 분류하고, 지붕은 평면, 삼각형, 사각뿔, 반구 네 가지로 분류할 수 있었다.

NPC 대화를 구성하는 기본적인 방법은 월드 내에서 NPC를 소환하고 NPC 설정창을 통해 직접 편집하는 것이다. 이 경우, NPC가 여러 장면을 보여주기 위해서는 장면의 수만큼 NPC를 소환한 뒤 각각의 장면을 편집해야 한다. 이 방법은 작업하는 것도 번거로울뿐더러 대화 정보가 게임 내 NPC에 저장되기 때문에 대화 내용을 관리하고 수정하기가 어렵다. 따라서 여러 개의 대화 장면을 구현하고 싶은 경우, 행동팩에 NPC의 장면 정보를 저장하고 월드를 로드하는 시점에 NPC에게 적용하는 방법을 채택하였다.

행동팩(behavior packs)은 사용자 정의 콘텐츠를 추가하기 위해 제작하는 것으로, 게임 내 다양한 규칙을 설정할 수 있다[12]. 개체의 행동 유도, 전리품 획득, 아이템의 특징과 제작법 등 다양한 정보를 행동팩에 포함시킬 수 있다. 예를 들어, 마인크래프트의 몹 중 하나인 소(cow)는 플레이어에게 공격성이 없지만 소의 공격성을 설정하는 행동팩을 제작하고 특정 월드에 적용하면 그 월드에 존재하는 소들은 공격성을 가지게 된다. NPC의 경우, 대사, 특정 기능을 수행하기 위한 명령어, 해당 NPC를 소환하기 위한 명령어 등을 행동팩에 저장할 수 있다.

행동팩을 사용하기 위해서는 폴더와 파일을 지정된 구조로 만들어야 하고 행동팩의 내용을 편집하기 위해서 json 파일의 포맷을 준수해야 한다. 행동팩을 제작하기 위해 비쥬얼스튜디오와 같은 코드 작성 도구를 사용할 수 있지만, 프로그래밍 지식이 부족한 초보 사용자들에게 어려우며 능숙하게 사용하려면 많은 훈련 시간이 필요하다. 반면에 본 연구에서 개발한 NPC 제작 도구는 NPC와 관련된 행동팩을 생성하고 편집할 수 있는 기능을 간단한 인터페이스로 제공하기 때문에초보 사용자도 편리하게 활용할 수 있다.

마인크래프트 활용 교육 실태 조사 결과에서 확인할 수 있듯이 교육자들은 도구를 사용해서 NPC를 제작하는 경우는 없어 보인다. 왜냐하면 교육자들이 주로 사용한 도구는 코드작성기(67.5%)와 월드 에딧(20%)이었는데 이 두 도구는 NPC 제작 기능을 제공하고 있지 않기 때문이다. 만약 도구를 활용해서 NPC를 제작하려면 코딩이 필요한 브릿지, 비쥬얼스튜디오와 같은 도구를 사용해야 하는데 이 도구는 교육자들이 배우기 어렵다. 또한 교육자들은 도구를 활용하여 NPC를 제작한 경험도 부족하다. 따라서 새로운 NPC 제작 도구는 기존 도구와 달리 NPC 제작과 관련된 단순한 기능만 제공하고 복잡한 코딩 과정 없이 쉽게 사용할 수 있도록 편의성을 높인 사용자 인터페이스를 구축하는 것을 주목적으로 설정하였다.

NPC 제작 도구의 아키텍처는 그림 3과 같다. ‘사용자 인터페이스’ 모듈은 사용자의 입력을 받고 그에 따른 출력값을 보여준다. 또한 각 모듈에서 사용자가 수행하는 작업에 따라 사용 방법을 안내한다. ‘환경 설정’ 모듈은 사용자가 행동팩을 적용하고자 하는 마인크래프트 버전의 종류(예. 교육용 에디션, 베드락 에디션, 자바에디션)를 결정한다. 또한 사용자 PC에 설치된 마인크래프트 폴더의 경로를 확인하고, 저장되어 있는 기존 행동팩을 확인한다. 이 단계에서 사용자는 기존의 행동팩을 선택하여 수정, 보완하거나 또는 새로운 행동팩을 생성할 수 있다. 행동팩이 결정되었으면 생성할 NPC를 설정한다. ‘NPC 설정’ 모듈은 NPC의 이름과 NPC를 소환하는 명령어를 저장한다.

Fig. 3.

An architecture of NPC production tool

‘파일 생성/변경’ 모듈은 mcfunction 파일과 다이얼로그 파일을 생성한다. mcfunction 파일은 NPC를 소환하는 명령어와 다이얼로그 파일에 있는 장면 정보를 불러오는 명령어를 저장한다. 다이얼로그 파일에는 NPC가 보여주는 장면 정보가 저장된다. 다이얼로그 파일은 행동팩에 저장되어 있는 기존 파일을 불러올 수도 있고 또는 새롭게 생성하는 것도 가능하다. ‘장면 설정’ 모듈은 NPC의 장면을 편집하는 기능을 담당한다. 장면의 이름을 정하고, 각 장면에서 보여주는 NPC의 대사를 저장한다. 그리고 NPC 명령어의 실행 방식을 결정하고 작성된 명령어를 저장한다.

NPC 제작 도구는 파이썬으로 개발하였으며 사용자 인터페이스 구현을 위해 PyQt5를 활용하였다. PyQt5는 파이썬을 위한 GUI(Graphic User Interface) 라이브러리로, 편리하게 프로그램 UI를 제작할 수 있도록 도와준다[13]. 개발된 NPC 제작 도구는 사용자가 쉽게 공유하고 사용할 수 있도록 하나의 실행파일로 바로 구동할 수 있도록 하였다. Pyinstaller는 파이썬으로 작성된 소스 파일을 실행 가능한 파일로 만들어 줄 수 있는 파이썬 라이브러리이다[14]. Pyinstaller는 소스 파일에서 사용한 여러 첨부파일도 함께 하나의 파일로 만들 수 있기 때문에 별도 의존관계 없이 도구를 배포하기에 좋다. 따라서 NPC 제작 도구는 별도의 설치나 압축해제와 같은 절차 없이 exe 파일만 실행해서 사용할 수 있다.

NPC 제작 도구의 화면은 행동팩을 설정하는 화면과 장면을 구성하는 화면의 두 가지로 나눈다. 그림 4는 사용자가 입력한 값에 따라 행동팩을 구성하는 폴더와 파일을 생성하는 화면이다. 사용자가 수행할 작업은 세분화하여 간단명료한 메시지로 전달하고, 화면 상단에는 수행하는 작업에 따라 안내 메시지가 나오도록 구성하였다. 모든 작업을 마치면 하단의 ‘대화 편집창 열기’ 버튼이 활성화되고, 이를 누르면 다음 화면으로 전환된다.

Fig. 4.

NPC Production tool behavior pack settings UI*Since we only support Korean users now, this program only provide the interface in Korean.

그림 5는 NPC 장면을 구성하는 화면을 보인다. 화면 상단에 안내 메시지를 배치하고 장면별로 탭을 생성해 쉽게 장면을 편집할 수 있도록 하였다. 실행 조건은 콤보박스 형태로 ‘입장시’, ‘퇴장시’, ‘버튼’ 세 가지 값 중에서 선택할 수 있고 ‘버튼’을 선택하면 버튼 이름을 적을 수 있는 글 상자가 활성화된다. 실행 방식은 ‘장면 연결’, ‘명령어’, ‘URL’ 중에서 선택할 수 있다. ‘장면 연결’을 선택하는 경우, 다음 글 상자에 연결할 장면 이름을 입력하면 된다. ‘명령어’의 경우에는 실행할 명령어를 입력하고 ‘URL’의 경우 브라우저가 열게 될 웹페이지 주소를 입력한다.

Fig. 5.

Configuring the NPC production tool dialogue UI*Since we only support Korean users now, this program only provide the interface in Korean.

장면 대사, 명령어, 버튼 이름과 같이 사용자가 입력하는 텍스트 정보는 변경될 때마다 실시간으로 반영되어 각 정보의 종류와 형태에 맞게 생성된 행동팩이 임시로 저장된다. 그림 6은 명령어 실행 방식에 따라 다른 형태로 정보를 저장하는 함수의 코드이다.

Fig. 6.

Function for storing commands according to command execution method*Since we only support Korean users now, this program only provide the interface in Korean.

사용자가 입력한 값이 따라 임시로 생성된 행동팩은 그림 7과 같이 json 파일 포맷에 맞게 다이얼로그 파일에 저장한다. 그림 7은 NPC 제작 도구로 작성된 다이얼로그 파일의 한 가지 예시이다. ‘scene_tag’ 키의 값인 ‘army1’을 통해 해당 장면의 이름이 ‘army1’이라는 것을 확인할 수 있다. ‘text’ 키에 대응되는 값은 텍스트 포맷의 NPC 대사이다. ‘buttons’키는 버튼을 누르면 특정 명령이 실행된다는 것을 의미하며 ‘name’ 키의 값인 ‘같이 가요!’, ‘여기서 뭐하세요?’라는 두 버튼의 이름을 확인할 수 있다. “commands” 키에서는 dialogue open 명령어가 작성되어, 버튼을 누르면 다음 장면으로 연결되도록 하였다.

Fig. 7.

Example of NPC's dialog json file*Since we only support Korean users now, this program only provide the interface in Korean.

행동팩의 다이얼로그 파일의 내용은 마인크래프트 구동 중에 실제 NPC의 대화로 구현되어 그림 8과 같이 출력된다.

Fig. 8.

NPC's conversation scene*Since we only support Korean users now, this program only provide the interface in Korean.

코드 작성기는 마인크래프트 에듀케이션이 제공하는 코딩 학습 지원 도구로 그림 9처럼 마인크래프트 게임 내에서 실행된다. 코드작성기에서 작성한 코드들은 마인크래프트 게임에서 구현된다는 점에서 기존 교육용 프로그래밍 언어와 차별점을 보인다. 코드작성기에서 사용 가능한 언어는 블록 형태의 언어인 메이크코드(makecode)[15], 텍스트 형태의 언어인 자바스크립트, 파이썬 세 가지이기 때문에 다양한 수준으로 마인크래프트 코딩을 경험할 수 있는 것도 장점이다.

Fig. 9.

Screen of code builder*Because this is the Korean version of Minecraft Education, the user interface is displayed in Korean.

코드작성기는 사용자에게 편리한 인터페이스와 함께 강력한 월드 제어 기능도 제공하고 있기 때문에 건축물 구축을 위한 도구로 활용하는 것도 충분히 가능하다. 코드작성기의 빌더(Builder) 카테고리에는 건축과 관련된 21종의 명령 블록이 있으며, 그 중에는 원과 구와 같이 블록으로 만들기 어려운 모양을 쉽게 만들 수 있는 명령 블록도 준비되어 있다. 코드작성기의 명령블록을 활용하면 마인크래프트 월드에서 건축물을 충분히 제작할 수 있으며, 건축 특성상 결과물을 직접 특정 위치에 배치하고 빈번한 수정을 해야 하기 때문에 코드작성기를 활용하는 것이 적절하다고 판단하였다.

마인크래프트 활용 교육 실태 조사에 따르면, 교육자들이 사용해 본 월드 구축 도구로 코드작성기(67.5%)가 가장 많은 비중을 차지했다. 코드작성기는 마인크래프트 내에서 실행되고 코딩 학습을 위해 자주 활용되므로 교육자들에게 친숙한 도구이다. 실태 조사에서 교육자들이 응답한 월드 구축 도구에 필요한 기능으로 ‘건축 템플릿 제공’이 있었는데, 이는 건축물의 기본적인 형태를 사용자에게 맞게 변형해서 활용할 수 있는 템플릿을 제공한다는 의미다. 이러한 요구에 맞춰 본 연구에서 개발하는 건축물 제작 도구는 교육자들에게 친숙한 코드작성기를 기반으로 제작하고, 사용자가 원하는 형태와 크기의 건축물을 변형할 수 있도록 코드 템플릿 형태로 실행되도록 하였다. 그리고 코드작성기 사용 경험만 있다면 별도 매뉴얼의 도움 없이 주석 내용만을 보고 실행할 수 있도록 단순하게 설계하였다. 건축물 제작 도구는 2-2절의 월드 구성 요소 분석에서 검토한 모든 건축물 유형의 기본 구조(형태는 ㅁ/ㄱ/ㄷ/ㅇ, 지붕은 평면/삼각형/사각뿔/반구)를 제작할 수 있도록 하였다.

건축물 제작 도구의 아키텍처는 그림 10과 같다. 사용자가 제작하고자 하는 건축물 모양에 맞는 명령어를 입력하면 네 개의 모듈(변수 설정, 기초 형태 생성, 지붕 생성, 창문 생성)이 순차적으로 실행된다. 먼저 ‘변수 설정’ 모듈에서 사용자가 미리 입력한 변숫값을 나머지 모듈로 전달한다. 예를 들어 건물 크기를 결정하는 가로, 세로, 높이 변숫값은 기초 형태 생성 모듈에서 건축물의 크기를 결정하는 동시에 창문 생성 모듈에서도 외벽 크기에 맞는 창문을 만드는 데 영향을 미친다. ‘기초 형태 생성’ 모듈은 외벽과 바닥과 같은 건축물 기초 형태를 제작하고, ‘창문 생성’ 모듈은 건축물의 속성에 따라 창문 크기와 간격과 블록 종류에 맞게 외벽에 창문을 제작한다. 마지막으로 ‘지붕 생성’ 모듈은 기초 형태로 생성된 건축물의 지붕을 제작한다.

Fig. 10.

An architecture of building production tool

건축물 제작 도구는 마인크래프트 내의 코드작성기와 월드에서 순차적으로 작업을 수행한다. 건축물 제작 도구의 구동을 위해, 사용자는 먼저 코드작성기를 열고 건축물 제작 코드를 불러온다. 사용자는 만들고자 하는 건축물의 속성을 설정하는데, 입력하는 변숫값은 가로, 세로, 높이와 같은 건축물의 크기부터 창문의 길이와 간격까지 총 17가지가 있다. 건축물의 속성 값을 설정한 뒤에, 사용자는 게임 화면으로 돌아가 건축하고 싶은 곳으로 이동한 뒤 명령어를 입력하여 건축물을 생성한다. 건축물은 기본적인 형태만 만들어지므로, 건축물의 세부적인 형태를 완성하기 위해서는 추가로 수작업이 필요할 수 있다.

건축물 제작 도구는 건축물 분석 결과로 나온 모든 건축물의 기본 형태를 제작할 수 있고 여러 종류의 변수를 통해 구체적인 형태를 결정한다. 변수에 자신이 만들고 싶은 건축물 모양에 맞는 값을 입력하면 된다. 건축물에 적용할 수 없는 변숫값도 있다. 예를 들어 건축물 전체 형태는 ㅁ자, 지붕 형태는 평면인 건축물의 경우, ‘반지름’, ‘세부 지붕 형태’ 속성은 건축물의 모양을 결정할 수 있는 변수가 아니다.

만들 수 있는 예시 건축물의 모습은 그림 11과 같다. 이 예시의 경우 건축물 형태는 ‘ㄱ자’, 지붕 형태는 ‘삼각형’, 입력한 변수는 가로, 세로, 높이, 층고, 바닥 외부 블록, 바닥 내부 블록, 기둥 블록, 벽 블록, 지붕 블록, 창문 블록, 창문 길이, 창문 간격이다.

Fig. 11.

Example of a building created by our Building Production Tool

개발된 월드 구축 도구(이하 ‘도구’)의 효과성을 검증하기 위해 교육용 마인크래프트의 월드를 구축하는 실험을 표 4와 같이 설계하였다. 그리고 ‘도구를 사용하면 비전문가들도 전문가와 동일한 수준으로 교육용 마인크래프트 월드를 구축할 수 있을 것이다’를 실험 가설로 수립하고 검증하고자 한다. 이를 위해, 마인크래프트 활용 교육 경험이 있는 10명의 교육자 및 예비 교육자를 모집하고 마인크래프트 교육 경력과 숙련도에 따라 전문가 집단 5명과 비전문가 집단 5명으로 나누었다. 도구를 사용하지 않고 기존 방법대로 월드를 제작하는 실험과 도구를 사용하여 월드를 제작하는 실험을 순차적으로 수행하였다. 실험 과제는 두 가지로, 하나는 특정 기능을 수행하는 NPC를 제작하는 것이고 다른 하나는 특정 형태의 건축물을 제작하는 것이다. 각 참여자별로 실험 과제를 완수하는 데 걸리는 시간과 완성도를 측정하고 도구의 사용성 검사를 실시하였다.

Table 4.

Experimental design

NPC 생성 과제의 경우, 두 가지 형태의 NPC 대화를 제작하는 과제를 수행했다. 앞서 수행한 2-2절의 월드 구성 요소 분석 결과를 반영하여, NPC가 정보 전달, 활동 진행, 보상 매개 세 가지 기능을 선택적으로 수행하여 난이도를 다르게 설정하였다.

건축물 제작 과제의 경우, 월드를 구성하는 건축물은 크기나 형태가 매우 다양하기 때문에 대표적인 건축물을 과제로 선정하고자 했다. 2-2절의 월드 구성 요소 분석 결과에 따르면, 건축물의 모습은 ㅁ자 형태에 평면 지붕 또는 삼각형 지붕 조합이 가장 많았다. 따라서 본 실험에서 수행할 과제는 활용 빈도가 가장 높은 삼각형 지붕 주택 형태의 건축물(A유형)과 직육면체 빌딩 형태의 건축물(B유형)로 선정하였다.

실험은 줌(zoom)을 통해 연구자와 참여자가 1:1 비대면으로 실시하였으며 참여자의 과제 수행 화면을 실시간으로 관찰하고 녹화하여 분석하였다. 도구의 효과성을 검증하기 위해 각 과제의 수행 시간과 과제 목표의 달성도 두 가지 측면을 측정하였다. 수행 달성도는 과제 목표를 세분화 한 체크리스트의 부분별 성공과 실패 여부를 확인하여 평가하였다. 만약 참여자가 특정 단계에서 더 이상 스스로 진행하지 못하고 연구자의 도움을 요청한 경우, 해당 과제는 실패로 기록하였다.

과제 수행 시간은 측정 오차를 감안하여 5초 단위로 작성하고 도구 사용 유무에 따른 시간 차이를 알 수 있도록 변화된 시간을 함께 정리하였다. 또한 전문가와 비전문가의 차이를 확인할 수 있도록 별도로 분류하였다. 표 5는 NPC 과제의 수행 결과를 보인다. 도구를 사용하지 않았을 때보다 도구를 사용했을 때 평균 수행 속도와 실패 횟수가 줄어, 도구가 작업 수행에 효과적으로 작용했음을 알 수 있었다. 이는 전문가 집단보다 비전문가 집단에서 더 두드러지게 나타났다.

Table 5.

Performance results of NPC task

구체적으로, NPC 과제의 수행 시간은 전체 평균 15.7%가 단축되었다. 비전문가 집단은 22% 감소하고 전문가 집단은 4.9% 감소하여, 비전문가 집단에서 시간 단축이 더 크게 나타난 것을 확인할 수 있다. 실패 횟수의 경우, 도구를 사용했을 때 감소한 것을 볼 수 있다. 실패 횟수는 평균 0.7회에서 0.3회로 57.1% 감소하였으며, 전문가 집단은 실패 횟수에 변화가 없었던 것에 비해 비전문가 집단은 1.2회에서 0.4회로 66.7% 감소하였다.

전문가 10번의 경우 도구 미사용 시 소요 시간이 5분 55초로 짧은 기록이 나왔기 때문에 도구를 사용했을 때 오히려 시간이 증가한 것을 볼 수 있다. 전문가 6번의 경우도 도구 사용 시 소요 시간이 오히려 2분 40초 늘어난 결과를 확인할 수 있는데 이는 도구 사용 중에 실수가 발생해 다시 작업한 것이 소요 시간에 영향을 미쳤다.

표 6과 표 7은 건축물 과제를 수행한 결과를 보인다. 건축물 제작 도구를 사용했을 때 평균 수행 속도와 실패 횟수가 줄어들었음을 확인할 수 있다. 또한 건축물 제작 도구는 전문가 집단보다 비전문가 집단에서 더 효과적이었다.

Table 6.

Performance results of building (Type A) task

Table 7.

Performance results of building (Type B) task

건축물 A유형 과제 수행 시간은 전체 평균 54.2% 단축되었다. 비전문가 집단은 61.4% 감소하고 전문가 집단은 37.0% 감소하여 비전문가 집단에서 시간 단축이 더 크게 나타났다. 실패 횟수도 전체 평균 44.4% 감소하였으며 비전문가 집단에서 실패 횟수가 57.1% 감소한 것에 비해 전문가 집단에서는 변화가 없었다.

B유형의 과제의 경우, 소요 시간은 전체 평균 74.4% 감소하여 A유형보다 더 큰 비율로 감소하였는데 이것은 B유형 건축물의 형태 때문이다. B유형은 블록의 종류가 적고 형태가 단순하지만 건축물이 크다. 따라서 반복해서 블록을 놓는 작업이 많아 시간이 오래 걸린다. 그러나 건축물 제작 도구를 사용하면 이 작업을 직접 수행할 필요가 없으므로 소요 시간을 많이 단축할 수 있다. 참여자가 직접 블록을 놓는 작업이 줄어들었기 때문에 실패 횟수도 전체 평균 85.7%로 큰 폭으로 감소하였다.

사용성 평가지는 Nielsen의 5가지 사용성 요소를 묻는 Likert 5점 척도를 적용하였다. Nielsen에 따르면, 사용성이란 사용자 인터페이스를 얼마나 쉽게 사용하는지 확인할 수 있는 품질 속성으로 그 요소로는 학습성(Learnability), 효율성(Efficiency), 기억성(Memorability), 오류(Errors), 만족도(Satisfaction) 5가지가 있다[16]. NPC 제작 도구와 건축물 제작 도구에 대한 사용성 평가 결과는 비모수 집단이므로 Mann-Whitney U 검정으로 통계적 분석을 수행했다.

표 8은 NPC 제작 도구에 대한 사용성 분석 결과를 보인다. 결과에 따르면, 효율성 측면에서 통계적으로 유의미한 차이(p<.001)를 보여 도구가 효율적으로 사용되었음을 알 수 있다. 이는 4-1절의 효과성 평가에서 NPC 생성 과제의 소요 시간이 줄어든 것처럼 도구의 효율성을 보여주는 결과이다. 기억도 측면에서도 통계적으로 유의미한 차이(p<.05)를 보였다. NPC 제작 도구에는 사용자가 매 단계에서 작업해야 할 내용들을 도움말로 안내하므로, 행동팩에 대한 이해만 있다면 충분히 사용 방법을 기억할 수 있다. 도구의 만족도 측면에서도 통계적으로 유의미한 차이(p<.01)를 보여 사용자들이 도구를 사용했을 때 더 큰 만족감을 느낀 것으로 보인다.

Table 8.

Results of the usability survey for our NPC production tool

표 9는 건축물 제작 도구에 대한 사용성 분석 결과를 보인다. 결과에 따르면, 건축물 제작 도구의 사용성은 효율성(p<.001) 측면과 만족도(p<.01) 측면에서 통계적으로 유의미한 차이를 나타냈다. 블록을 직접 놓으면서 건축하는 기존 방식보다 코드작성기를 활용한 건축물 제작 도구가 훨씬 효율성이 높다고 평가된 것이다. 효율성 측면에서, 이는 4-2절에서 도구를 사용했을 때 건축물 구축 과제의 소요 시간이 큰 폭으로 줄어든 결과와도 일치한다. 만족도 측면에서도 통계적으로 유의미한 차이(p<.01)를 보여 건축물 제작 도구의 만족도가 큰 것으로 확인되었다.

Table 9.

Results of the usability survey for our building production tool

도구를 사용한 비전문가 집단과 도구를 사용하지 않은 전문가 집단 간의 과제 수행 결과를 비교 분석하였다. NPC 과제의 경우, 비전문가는 평균 11분 26초, 전문가는 평균 8분 29초의 수행 시간을 보였다. 도구를 사용한 비전문가 집단이 전문가 집단보다 3분 정도 더 소요되었다. 실패 횟수는 비전문가 집단이 평균 0.4회로 전문가 집단 평균 0.2회로 실패 횟수가 1회 더 많았다. NPC 제작 도구는 실험 참여자들이 처음으로 경험하는 새로운 도구이기 때문에 사용상 불편함과 미숙한 조작이 있을 수 있다. 앞서 분석한 과제 실패 및 시간 지체 원인 행동에서 확인할 수 있듯이 참여자들은 행동팩을 잘못 선택하거나 장면 작업 누락하는 등 미숙한 도구 조작이 있었다. 이 문제는 사용자가 도구 사용에 익숙해지면 작업 처리량과 정확도가 개선되어 해결할 수 있을 것으로 예상된다.

건축물 과제의 경우에서도 도구를 사용한 비전문가 집단의 작업 수행 수준이 전문가 집단만큼 크게 향상되었다. 건축물 과제 A유형의 경우, 비전문가 집단의 평균 소요 시간은 7분 7초, 전문가 집단은 7분 40초로 나타났다. 실패 횟수에서도 평균 0.6회와 0.4회로 나타나 근소한 차이를 보였다. 건축물 과제 B유형의 경우, 비전문가 집단의 평균 소요 시간은 6분 18초, 전문가 집단은 12분 17초로 비전문가 집단의 소요 시간이 절반 수준으로 크게 단축되었다. 실패 횟수도 평균 0.2회로 동일하게 나타나 비전문가 집단의 작업 수행 수준이 전문가 집단을 넘어서는 결과를 보였다.