[ Article ]

Journal of Digital Contents Society - Vol. 20, No. 4, pp.739-748

ISSN: 1598-2009 (Print) 2287-738X (Online)

Print publication date 30 Apr 2019

Received 14 Mar 2019 Revised 02 Apr 2019 Accepted 26 Apr 2019

DOI: https://doi.org/10.9728/dcs.2019.20.4.739

MOOC 품질관리를 위한 강좌 개발·운영 체크리스트 개발 연구

정효정¹ ; 신윤희¹^{, *} ; 강영민² ; 이은주²

1단국대학교 교양교육대학
2국가평생교육진흥원 미래전략사업본부

Development of Quality Certification Standards for MOOC

Hyojung Jung¹ ; Yoonhee Shin¹^{, *} ; Youngmin Kang² ; Eunju Lee²

1College of General Education, Dankook University, Gyeonggi-do, 16890, Korea
2Division of Future Strategy, National Institute for Lifelong Education, Seoul, 04520, Korea

Correspondence to: ^*Yoonhee Shin Tel: +82-31-8005-3972 E-mail: shinyoonhee06@gmail.com

Copyright ⓒ 2019 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

전 세계적으로 평생교육 및 고등교육에서 MOOC가 확산되어 왔으며, 운영 기관 및 강좌, 학습자 수에 있어 양적 성장을 이루었다. 이러한 시점에서 양질의 MOOC란 무엇인가에 대한 논의가 필요하며, 공통적으로 고려할만한 기준을 마련할 필요가 있다. 본 연구는 MOOC 콘텐츠의 품질관리 기준을 구체화하고, MOOC 개발 및 운영 과정에서 활용할 수 있는 체크리스트를 개발하는 것을 목적으로 한다. 이를 위하여 선행연구와 해외사례 분석을 진행하여 품질관리 기준 및 체크리스트를 개발하였으며, 6명의 전문가와 실무자에 의한 델파이 조사를 통하여 타당성을 확보하였다. 최종적으로 개발한 체크리스트는 설계-개발-검수-운영의 4단계, 12영역, 30준거를 포함한다.

Abstract

MOOC has been spreading throughout lifelong and higher education around the world, and has achieved quantitative growth in the number of operating institutions, courses and learners. At this point, it is necessary to discuss what quality MOOC is and to establish common criteria. The purpose of this study is to formulate quality control standards for MOOC contents and to develop checklists which can be used in MOOC development and operation process. To this end, we developed quality control standards and checklists by conducting preliminary research and overseas case analysis, and secured the validity through delphi survey of 6 experts and practitioners. The final checklist includes the four phases of design-development-validation-operation, 12 areas, and 30 criteria.

Keywords:

MOOC, Quality Assurance, Delphi

키워드:

MOOC, 무크, 품질관리, 델파이

Ⅰ. 서 론

MOOC는 수강 인원의 제한 없이(Massive), 모든 사람이 수강 가능하며(Open), 웹 기반으로(Online) 미리 정의된 학습목표를 위해 구성된 강좌(Course)로 대규모 온라인 공개강좌를 의미한다[1]. ’12년 이후 미국 Coursera(스탠포드대, 예일대 등 총 114개 기관 강좌 운영), edX(하버드대, MIT등 총 64개 대학의 강좌 운영), Udacity(스탠포드대, 조지아공대 등 12개 기관의 컴퓨터공학 분야 강좌 운영) 외 영국 FutureLearn, 프랑스 FUN, 독일Iversity, 중국 XuetangX 등으로 확산되었으며, 한국형 MOOC인 K-MOOC가 등장하면서 한국에서도 본격적으로 MOOC를 위한 플랫폼이 발전하게 되었다. 한국형 온라인 공개강좌(K-MOOC)는 남녀노소 누구에게나 열려있는 고등교육 기반 공개강좌 운영서비스로서 우리 국민의 평생학습 기회 확대를 통해 다양한 학습 요구에 부응하는 것은 물론 고등교육의 혁신에 기여하고자 구축되었다. K-MOOC는 2015년 이후 참여 대학 및 강좌 수의 확대를 통하여 양적인 성장을 이루었으며, 앞으로는 질적인 성숙을 도모해야 할 단계에 있다.

본 연구에서는 K-MOOC를 위한 콘텐츠 개발 및 운영에 참여하는 과정에서 참조할 수 있는 품질관리 표준안을 제시하고자 한다. 이는 ‘한국형’ MOOC 가이드라인을 제공함으로써, 콘텐츠의 효과적인 개발과 운영을 지원하고, 궁극적으로 학습자들에게 양질의 학습 경험을 제공하는 것에 목적이 있다. 세계적으로 MOOC의 질적 성숙을 위한 다양한 커뮤니티와 연구모임이 조성되어 운영되고 있으나, 국가적 차원에서의 MOOC를 위한 품질관리 체계 및 전략은 아직 마련되어 있지 않다[2]. 몇몇 국가에서는 기존의 온라인교육 및 이러닝을 위한 품질관리 관점을 MOOC에 도입하고 있으며, MOOC 플랫폼과 참여 대학들은 각자의 질 관리 가이드라인을 구축하여 제공하고 있다[2], [3]. MOOC의 질 관리는 학습자들에게 가치 있는 학습 경험을 보장하고, MOOC 제공기관이 설정한 목표를 도달하는데 필수적이다[4].

본 연구에서는 K-MOOC 강좌 개발 및 운영에 참여하는 과정에서 고려해야 할 다양한 요소에 대한 탐색을 시도하고, 관련 내용을 구체화·타당화하여 관련 기관 및 개발·운영 참여자들에게 제공할 체크리스트를 개발하는 것을 목표로 한다. 본 연구의 범위 및 내용은 다음과 같다.

첫째, 양질의 MOOC 강좌 설계·개발·운영을 위한 체크리스트의 범주 및 진단문항 개발
둘째, 체크리스트의 범주 및 진단문항에 대한 타당화

Ⅱ. 이론적 배경

2-1 MOOC의 정의 및 유형

MOOC는 Massive Open Online Course의 약자로, 웹을 통해 대규모의 학습자들이 쉽게 접근할 수 있는 온라인 기반의 강의를 의미한다. 비디오나 읽기 자료와 같은 전통적인 강의자료와 더불어 온라인 대화식 포럼도 제공한다[5]. MOOC의 가장 큰 특징은 접근 용이성으로, 참여자들은 언제 어디서든 무료로 강의를 들을 수 있으며 별도의 등록절차를 거치지 않아도 된다는 점이다. 또한 대규모의 참여자들을 상대로 한 수업 설계 및 평가가 이루어진다는 점에서 기존의 OCW와는 다르다. MOOC는 cMOOC와 xMOOC라는 개념으로 구분하여 소개되고 있는데[6], 단순히 강의자료 및 다양한 학습 자원을 제공하는 것에 그치는 것이 아니라 협력학습 및 토론, 동료평가 등의 요소를 추가함으로써 학습자들의 능동적인 상호작용을 유도하는 것을 더욱 강화하고 있는 상황이다. 짧게 분절된 강의를 학습한 후, 질의･응답, 퀴즈, 토론 등의 학습관리와 학습 커뮤니티, 스터디그룹 운영 등 교수자-학습자간, 학습자-학습자간 양방향 학습이 가능하다는 점이 기존의 이러닝과 차별된 측면으로 이야기되고 있다.

2-2 MOOC와 질 관리

'질(Quality)'의 개념에 대한 두 가지 관점이 있다. 하나는 '이용(자)에의 적합함(fitness for use): MOOC 이용자의 다양한 요구와 기대 고려', 또 하나는 '요구사항에 대한 일치(conformance to requirements): MOOC 제공 기관 및 학습자의 요구사항'이다[7]. 학습자의 요구와 기대는 MOOC 강좌의 특성을 결정할 때 고려할 수 있는 주요 정보가 된다. 따라서 MOOC 강좌 이용에 대한 피드백은 MOOC 강좌가 요구사항에 어느 정도로 일치하고 있는지를 결정하는데 도움이 된다.

MOOC는 보다 넓은 개념인 온라인 교육의 하나의 형태이므로, MOOC 강좌의 질을 측정하는 기준은 다음과 같이 여러 개의 범주로 구분될 수 있다[2]. 첫째, 학습에 관한 일반적 기준이다. 즉, 온라인이든 오프라인이든 MOOC이든 관계 없이 적용되는 기준을 말한다. 예를 들어 ‘각 강좌는 지식 및 기능에 있어서의 학습 결과에 대한 명확한 진술을 포함하고 있어야 한다’는 기준은 일반적 기준에 해당한다. 둘째, 온라인 학습의 특성상 고려해야 하는 기준이다. 예를 들어 ‘학습 자료는 학습자들이 그들의 지식, 이해도, 기능 등을 정기적으로 확인해볼 수 있는 기회를 마련해주므로 충분한 상호작용 수준을 갖추고 있어야 한다’는 기준은 온라인 학습의 특성을 고려한 기준이 될 수 있다. 셋째, MOOC의 특성에 따른 기준은 MOOC의 규모, 참여자의 학습동기 등 MOOC이기 때문에 고려되어야 할 기준이라고 할 수 있다. 따라서 본 연구에서는 상위에서 진술한 세 가지 기준을 기반으로 품질관리 기준의 사례를 확인하고 시사점을 얻고자 한다.

2-3 질 관리 기준 사례

먼저 온라인 교육 콘텐츠의 특성을 고려하여 기존의 질 관리 기준 사례를 살펴보았다. 한국교육학술정보원은 이러닝 품질인증을 위한 기준을 개발하여 실제 품질인증사업을 지속적으로 추진해왔는데[8], 요구분석, 교수설계, 학습내용, 교수학습전략, 상호작용, 지원체계, 평가, 윤리성, 저작권 등 9개 영역으로 구성되어 있는데 교수설계 분야와 학습내용 분야, 교수학습 분야 및 평가 분야의 세부 지표들을 강조하고 있다. 그밖에도 요구분석이나 상호작용, 지원체계, 윤리성, 저작권 분야가 부가적으로 제시되어 있는데, 콘텐츠에 대한 평가기준이라는 특징을 갖고 있긴 하지만 화면 인터페이스 분야에 대한 고려가 없다는 점, 기술적 측면에서 질적 수준을 위해 어떤 점을 고려해야 할 필요가 있는지가 드러나 있지 않다는 점 등이 문제점으로 지적될 수 있다.

정보통신산업진흥원에서는 기반 분야, 교수설계/컨설팅 분야, 교수설계 및 학습내용 공통 평가분야, 학습내용 분야 등 네 가지 영역으로 구분하여 이러닝 콘텐츠 품질인증을 위한 기준을 설정하고 있으며[9], 구체적으로는 조직체계 및 인력, 품질전략, 저작권, 자원관리, 기술 신뢰성, 요구분석, 교수설계, 상호작용, 평가, 윤리성, 학습내용 등 11가지 영역을 구분하여 각 영역별로 세부 항목들을 설정하여 이러닝 콘텐츠의 품질인증을 위한 평가사업을 실시하였다.

한국직업능력개발원과 한국산업인력공단에서 수행해 오던 원격훈련 콘텐츠 심사를 2011년부터 맡아오고 있는 한국기술교육대학교에서는 원격훈련 콘텐츠, 즉 이러닝 콘텐츠를 1차와 2차에 걸쳐 심사를 실시하는데 1차에서는 콘텐츠의 직무수행 관련성, 원격훈련과정 적합여부, 훈련시장 공급정도가 주 평가준거이다[10]. 이 심사과정을 통과한 콘텐츠들은 2차 심사를 거치게 되는데, 2차 심사에서는 훈련분량 적절성, 훈련내용/방법 적절성, 평가적정성, 교수학습지원 적정성, 내용전문가 적정성 등 다섯 가지 영역을 평가한다.

MOOC에 특화된 질 관리 기준을 마련한 사례로는 UNED, OpenupED 등이 있으며, EADTU의 질 관리 가이드라인도 유의한 시사점을 제공하고 있다. UNED(Universidad Nacional de Educación a Distancia)에서는 MOOCs 강좌 제작 시 고려해야 할 다양한 요소를 제안한 바 있다[11]. 구체적인 내용을 살펴보면, 1) 강의 실라버스를 모듈로 분할할 것, 2) 각 모듈에 짧은 소개 영상을 포함할 것, 3) 학습자가 자신의 진도에 맞춰 학습할 수 있는 방법을 사용할 것, 4) 학습자, 교수, 학습 조교가 커뮤니티를 형성할 수 있도록 상호작용이 가능한 포럼을 만들 것, 5) 동료 평가와 협력을 적용할 것, 6) 퀴즈나 시험과 같은 온라인 평가에 대한 자동 피드백을 제공할 것 등이다. 이와 더불어 MOOCs의 구조적·기능적 일관성을 위한 기준을 제시하고 있는데, 1) 적절한 수준의 구체적인 토픽을 선정할 것, 2) MOOC의 특성을 고려한 포맷을 선택할 것(예: 비디오는 약 5분의 길이, 자기 평가 활동이나 포럼을 기반으로 한 협력 또는 상호작용을 포함 등), 3) 전체 25시간에서 125시간 수준의 강의시간을 준수할 것, 4) 학습 시간 및 목표에 따라서 4개에서 8개의 모듈로 구성하되, 각 모듈은 비디오와 다른 활동을 토대로 상호작용을 촉진할 수 있도록 할 것 등을 포함하고 있다.

OpenupEd에서는 MOOCs 질 관리를 위하여 강좌 개발 기준과 더불어 기관 수준에서 고려해야 할 요소들을 다음과 같이 제안하였다[12]. 먼저 기관 수준(the E-xcellence framework에서와 같은 영역으로 구분)에서 전략적 관리, 커리큘럼 디자인, 강좌 디자인, 강좌 전달, 관리자 지원, 학습자 지원과 관련된 기준을 마련하고 있으며, 개별 강좌 차원에서 학습목표 진술, 교수설계, 상호작용, 학습내용의 최신성, 개발 인력 확보, 저작권 및 강좌 개발 표준 마련, 평가 및 피드백 제공, 평가 신뢰성 확보, 질관리 기준 마련 등이다.

EADTU(European Association of Distance Teaching)에서는 The E-xcellence framework을 개발하였는데, 프로그램, 개발자, 기관 세 단계에서 온라인 공개 교육의 질을 벤치마킹할 수 있는 도구이다[13]. The E-xellence framework는 다음과 같은 영역으로 구성된다. 1) 전략적 관리(Strategic management); 예) '널리 이해되고, 기관의 개발과 질향상에 대한 전반적인 전략들로 통합될 수 있는, 이러닝 전략을 갖도록 한다.', 2) 커리큘럼 디자인(Curriculum design); 예) '이러닝 요소들을 포함하고 있는 커리큘럼은 학습 결과의 성취를 보장하는 동시에 학습자들을 위한 개별화 및 유연한 학습 방향을 제공하도록 한다.', 3) 강좌 디자인(Course design); 예) '각 강좌는 지식과 기능의 측면 모두에서, 학습 결과에 대한 명확한 진술을 포함하도록 한다. 학습 결과와 이러닝 이용 전략, 학습 자료의 범위, 사용된 평가 방법 등 사이에는 합당한 일관성이 있도록 한다.' 4) 강좌 전달(Course delivery); 예) '이러닝 체계는 적용된 교육 모델과 학습자 및 교수자의 요구사항에 적절한, 온라인 툴(에 대한 선택)을 제공하도록 한다.‘, 5) 관리자 지원(Staff support); 예) 튜터 및 멘토 등을 포함한 강좌 관리자들이 이용가능한 적절한 지원과 자원(기술 지원 센터, 행정적 지원 등)', 6) 학습자 지원(Learner Support); 예) '학습자가 학습 및 평가 방법 등에 대해, 명확하고 최신의 강좌 정보를 제공받도록 한다.’

이상의 선행연구, 국내외 질 관리 사례 분석을 통해 다음과 같은 시사점을 얻을 수 있다. 첫째, 질 관리 체제 및 기준은 거시적인 차원과 미시적인 차원을 고려하여 다층적으로 고안될 필요가 있다는 점이다. 이에 본 연구에서는 기관 차원, 강좌 개발 차원, 콘텐츠 및 시스템 차원을 고려하여 통합적인 질 관리 체제를 마련하고자 한다. 둘째, MOOC는 점차 그 유형이 다양해질 뿐만 아니라, 특정한 내용 영역 및 특정 교육 대상에 맞춤형으로 진화하고 있다. 이러한 맥락에서 질 관리를 바라본다면, 질적으로 우수한 교육 경험을 제공하는 것뿐만 아니라, 대상의 상황과 맥락에 맞는, 교육 관계자의 요구에 부응할 수 있도록 하는 것을 질 관리의 또 다른 측면으로 바라볼 수 있다.

Ⅲ. 연구 방법

본 연구는 MOOC 강좌 개발·운영 가이드라인 개발을 목적으로 관련 사례·문헌 분석을 통하여 시사점을 도출하고, 1) 강좌 개발·운영 질관리를 위한 체크리스트와 구체적인 가이드라인을 마련한 후, 2) 이에 대한 전문가 검토를 거쳐 최종 성과물을 제안하는 것으로 진행한다. 이러한 절차를 위하여 문헌 연구 및 전문가 델파이 방법을 적용한다.

문헌 및 국내외 사례 분석에서는 다음과 같은 연구가 수행되었다. 국내외 MOOC 관련 웹 자료, 연구보고서, 논문자료 등을 수집·분석하였다. 또한 국내외 주요 MOOC 플랫폼에서 적용되고 있는 질관리 체계, 프레임워크에 대한 분석을 진행하였으며, 이를 위하여 관련 웹 자료, 학회 및 세미나 자료, 보고서, 논문자료 등을 수집·분석하였다. 타당화를 위한 전문가 자문의 대상은 국내 MOOC 강좌를 지속적으로 검토·평가해 온 전문가 6명 위원으로 선정하였다. 타당화에 참여한 전문가의 세부적인 정보는 다음 <표 1>에 정리한 바와 같다.

Table 1.

Delphi Participant Information

델파이 조사를 기반으로 본 연구에서 개발한 체크리스트의 타당도를 확보하기 위하여 평균, 표준편차, 타당하다고 응답한 전문가 수(Ne), 내용타당도 수치(CVR)와 더불어 기타 의견을 검토하였다. CVR은 Lawshe(1975)가 제시한 내용타당도 비율(Content Validity Ratio)을 바탕으로 분석한 것이며, 본 연구에서 CVR값은 패널수가 6명일 경우의 최소값인 .59 이상이 되었을 때 내용 타당도를 확보한 것으로 판단하였다[14].

$C V R = N e - N 2 N 2$

N: Total number of respondents
Ne: Number of respondents indicating 'valid' or 'very valid'

Ⅳ. 연구 결과

4.1 선행연구를 통한 초안 도출

선행연구 및 사례 조사를 통하여 도출한 질 관리 기준 및 체크리스트의 내용은 다음 <표 2>에 제시한 바와 같다.

Table 2.

MOOC quality assurance standards and checklist (draft)

4.2 전문가 검토

도출된 내용에 대한 전문가 검토를 통하여 타당성 검토를 진행하였다. 1차 타당성 검토 결과는 <표 3>에 제시한 바와 같다.

Table 3.

1st Feasibility study results for MOOC assurance standards and checklist (draft)

전문가들이 제안한 추가적으로 고려해야 할 기타 의견으로 제시한 내용은 다음 <표 4>에 제시한 바와 같다.

Table 4.

Expert opinion on MOOC assurance standards and checklist(draft)

제안한 내용을 토대로 기준을 보완하였으며, 전문가들의 2차 검토를 진행하였다. 검토 결과는 <표 5>의 내용과 같다.

Table 5.

2nd Feasibility study results for MOOC assurance standards and checklist (draft)

2차 타당성 검토 결과 사전테스트 3 문항을 제외하고는 타당도 평균 4.5 이상, CVR값 .59 이상을 확보하여 전반적으로 타당성을 확보하였음을 확인할 수 있었다. 타당성 검증 결과를 기반으로 MOOC 질 관리를 위한 최종 기준과 체크리스트의 내용을 확정하였다. 상세한 내용은 다음에 제시된 <표 6 >과 같다.

Table 6.

Finalized MOOC assurance standards and checklist

Ⅴ. 결론 및 제언

본 연구에서 개발한 MOOC 질 관리 기준 및 체크리스트는 MOOC 개발 및 운영 기관에서 고려해야 할 전반적인 사항을 확인할 수 있도록 구성하였다. 본 체크리스트를 통하여 MOOC 개발 기관에서는 1) 콘텐츠 개발·운영에 대한 필수 요건을 확인함으로써 MOOC 콘텐츠가 갖추어야 할 최소 기준을 확인할 수 있으며, 2) 개발 과정에서 발생하는 오류를 최소화하고, 품질관리 능력을 향상시킬 수 있을 것이다. 향후 MOOC의 질을 높이기 위하여 다음과 같은 측면을 더욱 고민해야 할 것이다.

첫째, MOOC 강좌 설계 시 차별화된 교수 전략을 고민하지 않는다면 실제적인 교육 혁신을 이끌어내는 데 실패하게 될 것이다. 우리는 MOOC를 통한 양질의 학습 경험을 제공하기 위하여 다양한 교수 모형 및 교수 전략을 고안하는 한편, 학습자들의 자발성, 다양성, 개방성, 상호작용성 등을 고려하여 진화된 교육 모델을 구현해야 할 것이다.

둘째, 대부분의 MOOC 강좌는 낮은 이수율을 보이고 있다. 물론 이수율을 MOOC 강좌의 질을 판단하는 척도로 삼을 필요는 없을 것이다. 모든 학습자가 MOOC 강좌를 완료할 의도를 가진 것은 아니기 때문이다. 다만, 이수율을 높이기 위하여 학습자의 학습 의도와 동기에 대한 관심을 가질 필요가 있으며, 학습 편의를 높이기 위한 노력을 기울어야 할 것이다.

셋째, MOOC 강좌가 모든 사람이 이용할 수 있는 것은 맞지만, 모든 사람들에게 개방적인가에 대해서는 늘 질문을 던져야 할 것이다. 특히 국가적 차원에서 개발되는 콘텐츠인 만큼 장애인뿐만 아니라 일반인의 경우에도 어떠한 학습 여건에서도 어려움 없이 학습할 수 있도록 돕는 웹 접근성, 보편적 학습 설계에 대한 지속적인 관심이 필요하다.

Acknowledgments

본 연구는 2016년도 국가평생교육진흥원 『K-MOOC강좌 개발 · 운영 가이드라인 개발』사업(PM2016-56)에 의하여 이루어진 연구로서, 관계부처에 감사드립니다.

References

G. Christensen, A. Steinmetz, B. Alcorn, A. Bennett, D. Woods, & E. Emanuel, “The MOOC phenomenon: who takes massive open online courses and why?”, Available at SSRN 2350964 November), (2013. [https://doi.org/10.2139/ssrn.2350964]
N. Spyropoulou, C. Pierrakeas, & A. Kameas, “Creating MOOC Guidelines based on best practices”, Edulearn14 Proceedings, p6981-6990, (2014).
D. Jansen, J. Rosewell, & K. Kear, “Quality frameworks for MOOCs”, In Open Education: from OERs to MOOCs, Springer, Berlin, Heidelberg, p261-281, (2017).
G. Conole, “MOOCs as disruptive technologies: strategies for enhancing the learner experience and quality of MOOCs”, RED: Revista de Educacion a Distancia, 50(2), p1-18, July), (2016.
S. Kocdar, & C. H. Aydin, “Quality assurance and accreditation of MOOCs: current issues and future trends”, Proceedings of Open Education Global, (2015).
Á. Fidalgo-Blanco, M. L. Sein-Echaluce, & F. J. García-Peñalvo, “From massive access to cooperation: lessons learned and proven results of a hybrid xMOOC/cMOOC pedagogical approach to MOOCs”, International Journal of Educational Technology in Higher Education, 13(1), 24, June), (2016. [https://doi.org/10.1186/s41239-016-0024-z]
U. D. Ehlers, “Quality in e-learning from a learner's perspective”, European Journal of Open, Distance and E-learning, 7(1), (2004).
M. Ahn, J. Son, and Y. Kim, “Development of Quality Assurance Guidelines for e-Learning Contents”, Journal of Educational Technology, 22(4), p171-193, (2006). [https://doi.org/10.17232/kset.22.4.171]
Y. Kim, “Analysis of e-Learning Contents in Distance Teacher Training for Quality Improvement”, The Journal of the Korea Contents Association, 13(9), p476-484, (2013). [https://doi.org/10.5392/jkca.2013.13.09.476]
J. Leem, B. Lim, E. Sung, “Developmental Study on the Quality Certification Standards of Smart Education Contents”, Journal of Educational Information and Media Studies, 20(3), p327-353, (2014).
C. Rodrigo, T. Read, M. Santamaria, and A. Sánchez-Elvira, “OpenupEdLabel for MOOC quality assurance: UNED COMA initial self-evaluation”, In Actas del V Congreso Internacional sobre Calidad y Accesibilidad en la Formación Virtual (CAFVIR 2014), p551-555, (2014).
J. Rosewell, and D. Jansen, “The OpenupEd quality label: benchmarks for MOOCs”, INNOQUAL: The International Journal for Innovation and Quality in Learning, 2(3), p88-100, (2014).
D. Jansen, and R. Schuwer, “Institutional MOOC strategies in Europe”, Status Report Based on a Mapping Survey Conducted in October-December 2014 (2015).
C. H. Lawshe, “A quantitative approach to content validity 1”, Personnel psychology, 28(4), p563-575, (1975). [https://doi.org/10.1111/j.1744-6570.1975.tb01393.x]

정효정(Hyojung Jung)

2006년 : 한양대학교 대학원 (교육학 석사)

2010년 : 한양대학교 대학원 (일반대학원 교육학 박사- 교수설계 및 이러닝)

2013년～현 재: 단국대학교 교양교육대학 조교수

※관심분야：E-learning, MOOC(Massive Open Online Course), 성인교육(Adult Learning)

신윤희(Yoonhee Shin)

2015년 : 한양대학교 대학원 (교육학 석사)

2018년 : 한양대학교 대학원 (일반대학원 교육학 박사- 교수설계 및 이러닝)

2019년～현 재: 단국대학교 교양교육대학 초빙교수

※관심분야：교수설계, 이러닝(E-Learning), 고등교육(Higher Education)

강영민(Youngmin Kang)