Korea Digital Contents Society

Current Issue

Journal of Digital Contents Society - Vol. 25 , No. 2

[ Article ]
Journal of Digital Contents Society - Vol. 23, No. 5, pp. 803-813
Abbreviation: J. DCS
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 31 May 2022
Received 08 Apr 2022 Revised 16 May 2022 Accepted 16 May 2022
DOI: https://doi.org/10.9728/dcs.2022.23.5.803

교육용 콘텐츠 사업 및 성과관리 체계 개발 :CIPP를 중심으로
나지영1
1이화여자대학교 디지털융합콘텐츠학과 박사

Develop the educational content project and performance management system :Focusing on CIPP
Ji-Young Na1
1Doctor’s Degree, Department of Digital Convergence Contents, Ewha Womans University, Seoul 03760, Korea
Correspondence to : *Jiyoung Na E-mail: dream_edua18@naver.com


Copyright ⓒ 2022 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

교육부는 양질의 콘텐츠를 통해 교육 현장의 효율성을 높이고자 2018년부터 약 200억의 예산을 투입하였으나, 콘텐츠 관리 기준이 없어 개선이 필요한 시점이다. 이에 본 연구는 교육용 콘텐츠 사업 및 성과관리 체계를 구축하여 체계적인 콘텐츠 관리 기준을 마련하고 한다. CIPP 평가 모형을 중심으로 성과관리 프레임워크를 개발하였으며, AHP 분석을 통해 가중치를 부여하여 평가 지표를 완성하고, 정의서를 개발했다. AHP 연구 결과 주요인에서는 ‘성과 및 환류 단계’, 세부 요인에서는 ‘개발 단계별 예산계획은 적절했는가?’ 요인이 가장 중요한 것으로 나타났다. 개발한 평가 지표는 상황, 투입, 과정, 산출 등 4개 평가 영역에 17개의 성과관리 평가 지표를 포함한다. 이를 통해 교육 콘텐츠 관련 사업 및 성과 관리를 강화하여 교육 현장에 양질의 콘텐츠를 보급하는 데 기여하고자 한다.

Abstract

Despite the Ministry of Education’s investment of about 20 billion won since 2018 for increase in efficiency of the educational field, improvement in the performance is demanded as there is no content management standards. Accordingly, this study is intended to establish systematic content management standards by constructing an educational content business and performance management system. Performance management framework was developed with CIPP evaluation model as the center, and evaluation index was completed by weighting through AHP analysis and the definition was developed. According to the AHP findings, the most important factors were “Outcome and reflux stage” in the case of the main factors and “Was the budget plan by development stage appropriate?” in the case of the detailed factors. The developed evaluation indicators include 17 performance management evaluation indicators in four evaluation areas: situation, input, process, and output. Based on this, hopefully it will contribute to the distribution of high-quality content to the educational field by strengthening educational content-related businesses and performance management.


Keywords: Educational content, Performance management, Evaluation model, Framework, Evaluation indicator
키워드: 교육용 콘텐츠, 성과관리, 평가모델, 프레임워크, 평가지표

Ⅰ. 서 론
1-1 연구의 배경 및 목적

2020년, 교육계는 코로나19라는 사상 초유의 사태에 대응해 온라인 개학을 시작으로 모든 정규 교육기관이 개학을 맞았다. 초등학교 1, 2학년은 EBS TV를, 3학년 이상은 ‘e학습터’, 중·고등학생은 EBS의 ‘온라인클래스’, 대학생은 대학 자체에서 개설한 녹화강의나 Zoom, Webex, 구글 미트를 활용한 화상 강의를 병행하는 등 온·오프라인을 융합한 수업이 일반화되었다. 그러나 이러한 대전환이 급하게 이뤄지다보니 정규교육과정을 소화하기 위한 교육용 콘텐츠가 부족했으며, 동시간대 통신량이 증가해 혼선을 빚기도 했다. 앞으로 과거 일대 다수의 일방적인 교육 방식에서 벗어나 포스트 코로나 시대에는 맞춤형 학습을 위한 교육용 콘텐츠의 중요성이 커질 것으로 예상된다[1].

교육부는 2018년부터 양질의 교육용 콘텐츠를 통해 교육 현장의 효율성을 높이고자 ‘교육용 콘텐츠 개발, 육성 사업’을 추진해오고 있다. 해당 사업 규모는 2018년 5개 사업(총 120종, 35억 27 백만 원)으로 시작하여 2019년에는 11개 사업(총 1,491종, 82억 56 백만 원)을, 2020년에는 11개 사업(총 4,385종, 83억 60 백만 원)이 추진되었으며, 2020년 기준 사업비는 237%, 사업 수는 220%, 사업 종류는 3,654%만큼 증가하였다. 또한, 2018년부터 2020년까지 한국교육학술정보원(KERIS), 한국교육개발원(KEDI), 한국교육과정평가원(KICE), 한국교육방송공사(EBS), 한국과학창의재단(KOFAC), 국가평생교육진흥원(NILE) 총 6개 기관 14개 사업이 교육용 콘텐츠 진흥 및 육성을 목적으로 추진되었으며, 약 200억의 예산을 투입하였다[2].

한편, 2021년 기준 정부 부처 및 공공기관의 교육용 콘텐츠 보유 현황을 살펴보면 23개 정부 소관 부처 중 7개 부처만 콘텐츠 관리기준을 100% 보유하고 있으며, 교육용 콘텐츠의 품질 관리 기준이 없는 부처도 33.2%나 되는 것으로 나타났다[3]. 따라서 현재 교육계는 보다 효율적인 교육용 콘텐츠 개발 및 품질 관리 체계와 저작권 등 사후 관리, 사업 성과관리가 필요한 시점이다. 따라서 본 연구는 다음과 같은 과정을 통해 해결 방안을 제시하고자 한다.

첫째, 선행 연구를 통해 성과관리 및 평가지표의 이론적 배경을 고찰하여 개발 방법을 모색한다. 둘째, CIPP 평가모형을 활용하여 교육용콘텐츠 사업 성과관리의 프레임워크를 작성한다. 셋째, 성과관리 지표에 AHP 분석을 적용하여 상대적 중요도 분석 및 가중치를 부여한다. 넷째, 단계별로 성과관리 지표를 확정하고, 정의서를 개발했다. 본 연구는 이러한 과정을 통해 교육부가 주관하는 유‧초‧중등 분야 교육용 콘텐츠 사업의 체계를 효과적으로 정비하고, 사업 및 성과관리를 강화하여 교육 현장에 양질의 콘텐츠 보급을 위한 기초를 마련하고자 한다. 또한, 교육용 콘텐츠를 통합·연계함으로써 증거 기반의 교육용 콘텐츠 관련 정책 수립에 기초를 마련하고자 한다.

1-2 연구의 범위

본 연구에서 주로 다룰 개념은 ‘교육용 콘텐츠’, ‘교육용 콘텐츠 사업 관리’, ‘교육용 콘텐츠 성과관리’이며, 정의는 다음과 같다.

‘교육용 콘텐츠’는 교육용 멀티미디어 자료나 이러닝 코스웨어 등 교수학습 자료를 의미한다. 본 연구에서는 정부의 교육통합플랫폼(잇다, K-에듀통합플랫폼 등)에서 서비스되는 유·초·중등 대상의 교육용 콘텐츠로 범위를 한정한다.

‘교육용 콘텐츠 사업 관리’는 교육부 예산을 투입하여 추진 중인 콘텐츠 사업에 대한 관리를 의미한다. 본 연구에서는 교육용 콘텐츠 사업의 기획에서부터 분석 및 준비, 사업 및 예산 교부, 단위사업별 추진, 사업 마무리 및 환류 단계까지 범위를 한정한다.

‘교육용 콘텐츠 성과관리’는 교육부 예산을 투입하여 개발한 교육용 콘텐츠에 대한 구체적인 성과를 의미한다. 본 연구에서는 구체적인 성과관리 범위를 콘텐츠 개발을 위한 상황 분석부터 개발 기획, 개발, 성과 및 환류 단계까지 한정한다.


Ⅱ. 이론적 배경 및 선행연구
2-1 성과관리

정부업무평가 기본법 제2조 6항에 따르면 ‘성과관리’는 정부 업무 추진 과정에서 기관 임무, 중장기 목표, 연도별 목표, 그리고 성과지표를 수립하여 집행 상황 및 결과를 경제성, 효과성 등의 관점에서 관리하는 일련의 활동이다[4]. 즉, 성과관리는 대상을 계량화하여 평가하는 작업의 상위개념으로 해석된다. 성과관리에 대한 정의는 학자마다 다양하다. Lockett(1992)는 유능한 조직 구성원들이 조직의 공통 목표를 달성하기 위해 행하는 일련의 작업이라고 정의한다[5]. Amstrong(2006)은 조직 성과 개선을 위해 개인과 조직의 성과를 진전시키는 체계적인 과정이라고 정의한다[6]. 이윤식 외(2005)는 조직의 장기적 비전 또는 전략을 효과적, 효율적으로 달성하기 위해 개인과 조직의 성과를 일련의 지표를 통해 체계적으로 관리, 집계, 환류하는 과정으로 정의한다[7]. 이들의 정의를 종합해보면 성과관리란, 조직 구성원들 개인의 성과 목표 달성을 통해 조직의 성과 목표도 달성하도록 조직이 운용할 수 있는 자원들을 효과적이고 체계적으로 관리하는 과정이라고 할 수 있다. 이러한 관점에서 성과관리는 단순히 성과를 평가하는 개념이 아닌, 보다 총괄적인 개념으로 이해할 수 있다.

따라서 본 연구에서 다루는 성과관리는 조직의 업무를 수치로 평가하는 개념이 아니라 조직의 성과 향상을 위해 어떤 강점을 강화하고 필요한 역량을 개발할지 선택하는 개념에 가깝다고 할 수 있다.

2-2 CIPP 평가모형

CIPP 평가 모형이란 1960년대 미국 「초·중등 교육법(ESEA: Elementary and Secondary Education Act)」의 시행 과정에서 초·중등 교육을 개선할 목적으로 만들어진 의사결정 지원 평가 모형으로, 오하이오 주립대 평가센터(OSUEC: Ohio State University Evaluation Center)에서 개발하였다[8]. Stufflebeam(1971)은 학생의 목표 달성 여부에만 초점을 둔 기존의 평가모형을 반박하며, ‘평가는 프로그램 개선의 목적으로 활용되어야 한다’라는 철학으로 올바른 의사결정을 위한 정보를 제공하고, 그 결정의 장단점을 파악하기 위해 해당 모형을 제안하였다. CIPP 모형은 상황평가(Context evaluation), 투입평가(Input evaluation), 과정평가(Process evaluation), 산출평가(Product evaluation)의 4가지 평가 개념의 첫 글자를 조합하여 만들었다. 먼저 상황평가(Context evaluation: C)는 프로그램 수요자가 목표를 정할 수 있도록 근거를 제공해주는 가장 기본적인 평가 단계이다. 운영자는 수요의 요구와 문제점 및 장애 요인 등을 파악하고 평가 준거를 설정하기 위해 체계 분석, 면담, 조사, 문헌 분석 등의 과정을 거친다. 다음으로 투입평가(Input evaluation: I)는 프로그램의 목표 달성을 위해 투입 또는 사용할 자료와 전략을 평가하는 단계이다. 이 단계에서는 수요자의 요구 분석 과정에서 적합한 전략을 세웠는지 검토하고, 예산과 계획의 타당성을 평가한다. 투입평가 단계에서는 문헌 분석을 주로 활용하며, 투입 요소에 대한 구체적인 분석 및 전략 수립에 도움이 될 수 있다. 다음으로 과정평가(process evaluation: P)는 프로그램의 진행 시점이나 실천 방법, 자원 활용 등을 결정하는 단계이다. 이 단계에서는 프로그램 실행 과정에서 운영 방법을 수정·보완·개선하는 데 필요한 정보를 도출한다. 구체적으로는 프로그램이 본래의 계획대로 진행되고 있는지, 문제점은 없는지, 문제가 발생했다면 해결 방안은 무엇인지 등을 조사한다. 평가는 주로 면담이나 관찰 등을 통해 프로그램 개선 사항을 파악하는 형식으로 진행된다. 마지막으로 산출평가(Product evaluation: P)는 프로그램 진행 도중과 종료 과정에서 산출 및 결과를 측정하는 단계로, 해석이 주목적이다. 산출된 결과는 프로그램의 효과성 여부를 최종적으로 판단하는 데 필요한 정보를 제공한다. 이때, 산출된 결과를 사전에 설정한 기준이나 준거와 비교하여 상황, 투입, 과정을 통해 도출한 정보와 연관성을 가지는지 파악한다[9].

2-3 AHP

AHP(Analysis Hierarchy Process)는 제한된 범위에서 합리적 의사결정을 수행하는 방법론으로 우선순위를 도출하는 데 사용하는 중요한 분석 방법이다. 1970년 미국 펜실베니아 대학의 교수가 개발한 것으로 주어진 문제에 대해 최상위 수준에서 점차 하위 수준으로 계층적 구조를 만들어, 그 계층구조 내에서 각 요소에 대한 상대적 중요도의 판단이 가능한 쌍대비교행렬을 구하여 정량과 정성적 요소를 모두 알 수 있다 [10].

AHP는 의사결정의 계층구조를 구성하고, 요소 간의 쌍대비교를 이용하여 평가자의 지식, 경험, 직관을 포착하고자 하는 의사결정 방법론이다. AHP는 이론의 단순성, 명확성, 적용의 간편성, 범용성 등의 특징으로 여러 의사결정 분야에서 널리 사용되고 있다. 또한, 다수의 속성을 계층적으로 분류하고, 각 속성의 중요도를 파악함으로써 최적의 대안을 선정하여 의사결정 요소들의 속성과 그 측정척도가 다양한 의사결정 문제에 효과적으로 적용되고 여러 가지 대안들이 체계적인 순위로 시각화되어 그 가중치를 바율척도로 도출하는 방법을 제시하기도 한다 [11].

AHP는 정량적 분석이 곤란한 의사결정 분야에 전문가들의 정성적인 지식을 이용하여 경쟁이 되는 요소들의 가중치 또는 중요도를 구하는 데 유용하게 응용될 수 있으며, 문제의 구조화 및 체계화, 포괄적인 의사결정의 틀 제공, 논리적 일관성 제공, 정보 및 상황의 변화에 따른 민감도 분석 등의 특징과 편리하고 쉬운 의사결정 과정 때문에 다수의 사람이 이 기법을 선호하고 있다. AHP의 가장 큰 특징은 복잡한 문제를 계층화하여 주요 요인과 세부 요인으로 나누고, 쌍대비교를 통해 각 의사결정 기준의 중요도를 도출할 수 있다는 점이다 [12].

2-4 선행연구

본 연구의 핵심 목표는 CIPP 평가모형을 이용한 평가지표 개발이다. 따라서 교육용 콘텐츠 사업과 교수학습 콘텐츠 사업의 성과관리, 교수학습 콘텐츠(디지털 자료)의 효과성 평가, 관련 유사 기관의 성과 평가의 선행 연구를 살펴보면 다음과 같다.

김광석 외(2011; 2013)는 대구시의 민간위탁사무 성과평가지표를 개발하였다. 해당 연구에서는 CIPP 평가모형과 AHP 분석법을 사용해 평가지표를 구성하고, 각각의 지표에 대해 지표 정의서를 개발했다. CIPP 평가모형의 각 단계에서는 효율성과 효과성으로 성과지표를 구분했다. 효율성 지표의 인력 활용 측면에서는 구성원의 역량 제고와 근무 여건 개선을, 시설관리는 시설관리의 적정성을, 예산 활용은 예산 활용의 적정성을 평가지표에 포함하였으며, 운영 관리 측면에서는 외부 의견 수렴 활동, 사업 홍보의 적정성, 이용자 안전 제고를 세부 지표에 투입했다. 효과성 지표의 시설 운영 측면에서는 시설 이용 실적과 시설 운영의 적정성, 프로그램 운영은 프로그램의 충실성을 고려하였다. 재정 성과 측면에서는 사업 수지 개선과 재정자립도 개선을, 고객 만족은 이용자 만족도를 평가지표에 포함하였다[13], [14].

강신천 외(2020)는 CIPP 모형에 기초하여 서울창의예술교육센터의 사업 및 운영 프로그램에 대한 성과관리 방안을 연구하였다. 해당 연구는 서울창의예술교육센터의 향후 사업 및 프로그램에 대한 성과관리 체계 구축이 주목적이며, CIPP 평가모형의 각 단계별로 사업 및 프로그램의 성과를 평가하기 위해 평가지표를 도출하고 이를 활용해 성과 평가를 진행하는 실천적인 전략을 제시하였다[15].

행정안전부(2011)는 CIPP 평가모형을 사용하여 산하 기관의 평가지표를 공통지표, 경영효율지표, 사업지표로 구분하고 있다. 공통지표에는 리더십과 전략을, 사업지표에는 사업 활동과 사업 성과를 주요 평가지표로 포함하였다. 경영효율 지표는 조직 및 인사 관리, 보수 관리, 재무 예산 관리, 노사 관리, 사회적 기여, 고객 만족 등으로 세분화되어 있다[16].

2-5 교육관련 성과관리 사례

교육 부문의 성과관리에 대한 사례는 교육부의 관리과제별 성과관리, 한국교육개발원에서 실시한 특별교부금 국가시책사업 평가을 살펴보았으며, 주요 내용은 다음과 같다.

2021년에 실시한 교육부의 관리과제별 성과관리를 살펴보면, 관리과제별로 성과목표를 차별화하고 있으며 과제별로 성과지표 1개에서 5개 내외로 제시하고 있어서 종합적이고 포괄적인 수준의 성과관리가 되고 있음이 예측된다. 관리과제별 성과지표 단위 사업별 성과 확인 지표, 만족도나 사업 개선에 대한 지표를 포함하고 있는 것이 특징적이다 [2].

특별교부금 국가시책사업 평가는 초·중등 분야 주요 정책 사업을 포괄하고 있는 국가시책사업에 대한 사업성과 점검 및 환류 체계를 구축하기 위한 것이다. 2018년 특별 교부금 국가시책사업의 평가항목은 사업계획, 사업 집행, 사업성과, 평가환류로 구성된다. 평가항목별 세부 평가지표를 살펴보면 첫째, 사업꼐획 평가항목은 사업목적의 타당성, 사업내용의 적절성, 사업비 규모의 적절성, 성과지표의 타당성 등이 세부지표로 포함되어 있다. 둘째, 사업진행 평가 항목은 사업비 교부 시기의 적절성, 정기적 점검 체계의 운영, 문제 대응의 적절성이 세부 평가지표로 포함되어 있다. 셋째, 사업성과 평가항목은 성과목표치 달성도, 사업 효과성, 사업 현장 만족도가 세부 평가지표로 포함되어 있다. 넷째, 평가환류 평가항목에는 평가 결과를 환류하는 세부 평가지표가 있다 [17].


Ⅲ. 교육용 콘텐츠 사업 및 성과관리 프레임워크

교육용 콘텐츠 사업 및 성과관리 모델은 교육부 관점에서 사업 관리를 위한 주요 과업 위주의 총체적인 질 관리 모델이다. 성과관리 프레임워크는 교육용 콘텐츠의 실질적인 성과관리를 위한 평가 과정과 절차를 담고 있다. CIPP 모형에 근거하여 상황분석 단계, 계획 단계, 개발 단계, 성과 및 환류 단계 및 사전단계로 구성되어 있다. 정부 부처와 공공기관의 사업과 성과관리 사례 및 교육부 예산이 투입된 교육용 콘텐츠 사업에 대한 기초조사에 대한 분석을 통해 프레임워크를 도출했다[2], [13]-[17].

사전 단계 평가는 사업계획 수립 전에 교육용 콘텐츠 사업의 중복성 여부를 검토하며, 주관기관은 사업관리시스템(PMS)을 이용한다.

상황분석단계는 사업 시행 후 2주를 전후하여 교육 현장의 요구를 반영한 맞춤형 사업의 시작 여부를 평가한다. 주관기관은 상황분석 단계의 평가지표를 이용하여 교육용 콘텐츠의 사업계획서를 평가한다. 환류는 상황분석 단계 평가 이후 교육 현장의 요구 수렴, 교육용 콘텐츠의 사업 목표와 내용을 수정·보완한다.

계획단계는 상황분석 단계 평가 후 2주를 전후하여 사업의 효율성 평가를 통한 효율적인 사업추진 여부를 평가한다. 주관기관이 위촉한 외부의 평가 전문가에 의해 계획 단계의 평가지표를 이용하여 교육용 콘텐츠의 사업계획서를 평가한다. 환류는 계획 단계 평가 이후 교육용 콘텐츠의 사업계획을 수정·보완한다.

개발 단계는 콘텐츠의 종류에 따라 프로토타입 개발 후 1주 전후, 사업 기간의 1/2경과 전후, 사업 종료 4주를 전후하여 교육용 콘텐츠의 개발 과정에서 나온 산출물의 품질 평가를 통해 사용자의 요구에 맞는 산출물이 개발되었는지 평가한다. 주관기관이 위촉한 외부의 평가 전문가에 의해 개발 단계의 평가지표를 이용하여 개발 중인 교육용 콘텐츠의 산출물을 평가한다. 환류는 개발 단계 평가 이후 개발 중인 교육용 콘텐츠의 산출물을 개선한다.

성과 및 환류 단계는 사업 종료 후 당해 연도 11월 혹은 당해 연도 11월이 사업 종료 후 6개월 이내라면 다음 연도 11월에 교육용 콘텐츠의 사업 효과성 평가를 통해 사용자의 만족도 개선 여부를 평가한다. 환류는 성과 및 환류 단계의 평가 이후 개발 완료된 교육용 콘텐츠의 활용성 보완, 만족도 개선, 차후 사업의 개선안을 권고한다. 자세한 내용은 (그림 1)에 제시하였다.


Fig. 1. 
Educational content business performance management framework


Ⅳ. 성과관리를 위한 평가지표 및 정의서 개발
4-1 AHP 연구 모형 및 분석 방법
1) 연구 모형

본 연구는 교육용 콘텐츠 성과관리 개선을 위해 AHP 분석으로 평가지표의 상대적 중요도를 측정하고, 점수를 배정하였다. 이를 통해 교육용 콘텐츠 사업 및 성과의 체계적인 관리를 제안하고자 한다. 연구 표형은 선행 연구 분석, 전문가 협의, 델파이 조사 등의 조사 과정을 거쳐 도출한 평가지표를 사용했다[18]. CIPP 평가모형에 따라 ‘상황분석 단계’. ‘계획 단계’, ‘개발 단계’, ‘성과 및 환류 단계’ 총 4개의 주요인(Main Factor)과 17개의 세부 요인이 조사 대상이다. AHP 분석을 통해 상대적 중요도와 우선순위를 파악했다. 연구 모형은 (표 1)과 같다.

Table 1. 
Research Model
main factors sub factors
Situation analysis stage Did you accurately identify the needs of the unit project?
Have you clearly established the goals of the unit project?
Have you created an environment suitable for carrying out the unit project?
Planning stage Were the development plans adequate?
Was the input plan appropriate?
Were the budget plans for each development stage appropriate?
Development stage Were the budget plans for each development stage appropriate?
Have you followed the content metadata guidelines?
Have you followed the content creation guidelines?
Have you followed the content quality management guidelines?
Have you followed the content copyright guidelines?
Are the evaluation results of the developed content appropriate?
Performance and
feedback stage
Is the content being managed in a stable manner?
Are the effects of the content learning appropriate?
Are the content satisfaction and utilization level appropriate?
Are the results of on-site evaluation of the content and degree of improvement appropriate?
Can it be linked with other programs or systems?

2) 표본 선정 및 자료 수집

설문은 대학교수, 교사, 교육용 콘텐츠 운영기관에서 근무하고 있는 23명의 전문가를 대상으로 2021년 12월 27일부터 2022년 1월 9일까지 온라인을 통해 진행하였다. 일관성 비율(CR)에 부합하지 않은 11부를 제외한 12부를 연구 자료로 활용했다. 설문에 응답한 응답자들의 기본 현황은 (표2)와 같다.

Table 2. 
Information of AHP participants
Category number ratio
University professor 6 0.24
Elementary/middle school teacher 3 0.12
Researcher of the ministry of education-concerned institution 1 0.04
Person in charge of the ministry of education-concerned educational content project 13 0.52
Total 23 1

3) 분석 방법

본 연구는 다음과 같은 분석 과정을 거친다[19]. 첫째, 계층 분류는 평가항목에 해당하는 4개 주요인(1 layer)과 이에 종속되는 평가기준 17개 세부요인(2 layer)으로 구성했다.

둘째, 각 주요인과 세부요인을 1:1로 짝(pair)을 지어 쌍대비교를 통한 상대적 중요도를 평가했다.

또한, 비교할 요인의 수가 n이면 n(n-1)/2번의 쌍대비교를 실시했다. 여기서 작성된 쌍대비교는 다음과 같은 행렬의 대각을 중심으로 역수 형태를 취하게 된다. 본 연구에서는 주요인의 경우 총 6회의 쌍대비교를 통해 요인별 상대적 중요도를 평가했고, 세부요인의 경우 ‘상환분석 단계’ 3회, ‘계획 단계’ 3회, ‘개발 단계’ 15회, ‘성과 및 환류 단계’ 10회의 쌍대비교를 실시한다.

셋째, 계산을 통해 구체적인 가중치를 추정했으며 방식은 다음과 같다. 쌍대비교 결과를 행렬로 표시하면, 그 고유치의 최댓값에 해당하는 고유벡터가 중요도가 된다. 수식에 대한 계산은 엑셀과 파이썬 3.8을 활용하였다. 먼저 행렬 A1의 평균을 통하여 정규화된 행렬 A2를 계산했다. 행렬을 활용하여 가중치 w와 고유벡터를 구한다.

넷째, 설문 응답의 일관성을 판단했다. 선행연구에 따르면 일관성 비율이 10% 이내라면 어느 정도 일관성이 확보되었다고 판단할 수 있으므로, 이를 참고해 일관성 비율 임계치를 10%로 설정했다. 일관성 지수와 비율은 고유벡터를 통해 다음과 같은 수식을 사용하여 구했다.


Fig. 2. 
pairwise comparison


Fig. 3. 
Normalized Matrix Calculation


Fig. 4. 
Weight matrix


Fig. 5. 
Eigenvectors


Fig. 6. 
Consistency Index and Consistency Ratio

일관성 비율의 수식에 있는 RI는 난수지수(Random index)를 의미하며, 이는 수치를 임의로 설정하여 작성한 역수 행렬에서 평균 일관성 지수를 산출한 값으로 일관성의 허용 한도를 나타낸다. 수치가 3에서 8까지 변화할 때 난수 지수는 (표 3)와 같다 [10].

Table 3. 
Random Index
Segment 3 4 5 6 7 8
R.I 0.58 0.90 1.12 1.24 1.32 1.41

다섯째, 계층별 가중치를 활용해 계층구조의 종합을 파악하는 단계이다. 종합 중요도는 평가 기준별 주요인과 세부 요인의 가중치를 곱한 값이다. 마지막으로 일관성 비율을 확인하여 일관성이 떨어지지 않도록 관리했다 [20], [21].

4-2 AHP 연구 결과
1) 일관성(CR) 측정 결과

본 연구에서 진행된 교육용 콘텐츠 사업 및 성과관리 요인 간 일관성 비율은(CR: Consistency Ratio)은 0.003으로 측정 되었으며, 세부 항목별 일관성 비율은 상황분석 단계 0.017 계획 단계 0.009, 개발 단계 0.016, 성과 및 환류 단계 0.001로 나타나 신뢰도에는 문제가 없는 것으로 파악되었다.

2) 상대적 중요도 결과

가중치 분석은 주 요인(상황분석 단계, 계획 단계, 개발 단계, 성과 및 환류 단계)에 대한 상대적 중요도를 산출하고, 각 상위 요인(4개) 별 하위요인(17개)에 대한 상대적 중요도를 산출하는 과정을 통해 진행했다. 그리고 하위요인의 상대적 중요도와 주요인의 가중치를 계산하여 전체 하위(17개)의 우선순위를 도출하였다. 전체 응답자의 쌍대비교 결과를 AHP를 활용하여 상대적 중요도, 가중치, 전체 순위를 산출한 내용은 (표 4)에 제시하였다.

Table 4. 
Relative importance and priority
main factors priority sub factors priority of each
items
compound
weight
overall
priority
Situation analysis stage 0.241 Did you accurately identify the needs of the unit project? 0.349 0.084 5
Have you clearly established the goals of the unit project? 0.212 0.051 7
Have you created an environment suitable for carrying out the unit project? 0.439 0.106 3
Planning stage 0.275 Were the development plans adequate? 0.166 0.046 10
Was the input plan appropriate? 0.371 0.102 4
Were the budget plans for each development stage appropriate? 0.463 0.127 1
Development stage 0.182 Were the budget plans for each development stage appropriate? 0.083 0.015 17
Have you followed the content metadata guidelines? 0.276 0.050 8
Have you followed the content creation guidelines? 0.208 0.038 11
Have you followed the content quality management guidelines? 0.162 0.029 14
Have you followed the content copyright guidelines? 0.111 0.020 16
Are the evaluation results of the developed content appropriate? 0.161 0.029 15
Performance and
feedback stage
0.302 Is the content being managed in a stable manner? 0.204 0.062 6
Are the effects of the content learning appropriate? 0.118 0.036 13
Are the content satisfaction and utilization level appropriate? 0.124 0.037 12
Are the results of on-site evaluation of the content and degree of improvement appropriate? 0.163 0.049 9
Can it be linked with other programs or systems? 0.390 0.118 2

AHP 분석을 통해 도출된 교육용 콘텐츠 사업 및 성과관리를 위한 평가지표 개발 요소의 항목별 중요도를 살펴보면 ‘성과 및 환류 단계(0.302)’이며, ‘계획 단계(0.275)’, ‘상환분석 단계(0.241)’, ‘개발 단계(0.182)’의 순으로 높게 나타났다.

주요인(상황분석 단계, 계획 단계, 개발 단계, 성과 및 환류 단계)별 하위 요인을 살펴보면, 상황분석 단계의 하위 요인에서 가장 중요도가 높게 나타난 요인은 ‘단위 사업 추진을 위한 적절한 환경을 조성했는가?(0.439)’이며, 다음으로는 ‘단위사업에 대한 요구 파악을 정확히 했는가?(0.349)’, ‘단위사업의 목표를 명확히 수립했는가?(0.212)’ 순으로 중요도가 높게 나타났다.

계획 단계의 하위 요인에서 가장 중요도가 높게 나타난 요인은 ‘계획 단계별 예산계획은 적절했는가?(0.463)’이며, 다음으로는 ‘투입 계획은 적절했는가?(0.371)’, ‘개발계획은 적절했는가?(0.166)’ 순으로 중요도가 높게 나타났다.

개발 단계의 하위 요인에서 가장 중요도가 높게 나타난 요인은 ‘콘텐츠 메타데이터 가이드라인을 준수 했는가?(0.276)’이며, 다음으로 ‘콘텐츠 제작 가이드라인을 준수했는가?(0.208)’, ‘콘텐츠 품질관리 가이드라인을 준수했는가?(0.162)’, ‘개발된 콘텐츠의 평가 결과는 적절한가?(0.161)’, ‘콘텐츠 저작권 가이드라인을 준수했는가?(0.111)’, ‘세부 단위 콘텐츠의 개발 목표를 파악하고 준수했는가?(0.083)’의 순으로 중요도가 높게 나타났다.

성과 및 환류 단계의 하위 요인에서 가장 중요도가 높게 나타난 요인은 ‘다른 프로그램 또는 시스템과의 연동이 가능한가?(0.390)’이며, 다음으로는 ‘콘텐츠가 안정적으로 유지 및 관리되고 있는가?(0.204)’, ‘콘텐츠의 현장 평가 결과 및 개선 정도는 적절한가?(0.163)’, ‘콘텐츠의 학습 효과는 적절한가?(0.118)’, ‘콘텐츠의 만족도 및 활용 정도는 적절한가?(0.124)’의 순으로 중요도가 높게 나타났다.

3) 성과관리 모델 평가 지표

AHP 분석 결과를 성과관리 프레임워크에 적용해 교육용 콘텐츠 성과관리 평가지표를 확정했다. 평가지표 항목은 구체적으로 4개 성과 영역에 17개 성과 지표이며, 교육부, 특별교부금 국가시책사업 평가 등의 사례를 참고하여 각 성과지표에 1~3개의 평가 근거 및 기준을 마련하였다[2, 17]. 평가 척도는 과학기술정보통신부(2021)의 국가 연구개발 과제평가 표준지침에 따라 미흡, 보통, 우수의 3단계로 나누어 평가한다 [22]. 그리고 성과영역 4개의 점수는 주 영역의 AHP 분석을 통한 상대적 중요도에 의해 배점하였고, 평가지표의 점수는 각 성과영역의 세부 영역 AHP 분석을 통해 상대적 중요도에 따라 배점하였다. 평가 기준은 상황분석 단계, 계획 단계, 개발 단계, 성과 및 환류 단계의 평가지표에서 성과가 얼마나 나타났는지 판단하기 위한 기준 역할을 한다. 성과관리 평가지표 내용은 (표 5)에 제시하였다.

Table 5. 
Performance Management Evaluation Index
main factors sub factors Evaluation standards performance
good normal bad
Situation analysis stage
(24)
Did you accurately identify the needs of the unit project? Needs of educational institution5 4 2 0
Needs of the Ministry of Education 4 2 0
Have you clearly established the goals of the unit project? Purpose (goal) of the project 5 3 1
Have you created an environment suitable for carrying out the unit project? Education enviornment was analyzed 6 4 2
Environment to carry out tasks 5 3 1
Planning stage
(27)
Were the development plans adequate? Relevance of content level and scope 2 1 0
Setting development schedule 1 0.5 0
Adequacy of content organization 2 1 0
Was the input plan appropriate? Project management plan 4 2 0
Expert participation 3 2 1
Development personnel selection 3 2 1
Were the budget plans for each development stage appropriate? Appropriateness of the budgeting 6 4 2
Efficiency of budget execution 6 4 2
Development stage
(18)
Were the budget plans for each development stage appropriate? Sub-unit goals are specified 1 0.5 0
Have you followed the content metadata guidelines? Content metadata guidelines 5 3 1
Have you followed the content creation guidelines? Content creation guidelines 4 2 0
Have you followed the content quality management guidelines? Content quality management guidelines 3 2 1
Have you followed the content copyright guidelines? Content copyright guidelines 2 1 0
Are the evaluation results of the developed content appropriate? Self-assessment 1 0.5 0
External expert evaluation 2 1 0
Performance and
feedback stage
(31)
Is the content being managed in a stable manner? Adequacy of the management 6 4 2
Are the effects of the content learning appropriate? Learning effects of the content 4 2 0
Are the content satisfaction and utilization level appropriate? Satisfaction 2 1 0
Number of downloads 1 0.5 0
Utilization 1 0.5 0
Are the results of on-site evaluation of the content and degree of improvement appropriate? Responses of teachers on-site 2 1 0
Content based on the evaluation 3 2 1
Can it be linked with other programs or systems? Integrated platform linkage and utilization 12 8 4
Total score 100 59.5 19

4-3 성과관리 정의서 개발

성과관리 평가지표 정의서는 성과관리의 핵심으로 평가자가 교육용 콘텐츠 성과관리 영역의 각 성과지표에 대하여 평가목적은 무엇인지, 어떤 평가 방법으로 평가 기준을 적용할 것인지를 정의해 놓았다. 평가지표를 통해 평가자와 피평가자는 교육용 콘텐츠의 성과관리 각 영역에서 정확하게 무엇을 확인하고, 평가하려고 하는지 인식의 합의를 볼 필요가 있다. 그리고 이를 통해 성과의 수준 또는 목표에 부합되었는지에 대한 성과평가의 실제성과 효율성을 높일 수 있다. 본 연구에서 개발된 성과관리 평가지표 정의서는 평가목적, 평가방법, 평가척도, 평가기준으로 구성된다. 평가목적은 교육용 콘텐츠의 성과관리 평가지표에서 무엇을 확인할 것인지 그 내용을 기술한다.


Fig. 7. 
Part of the index definition

평가방법은 외부 전문가에 의한 평가와 시스템에 기록된 값을 이용해 평가한다. 모든 평가지표는 외부 전문가에 의해 평가받는다. 그리고 성과 및 환류 단계에서 콘텐츠의 학습 효과는 적절한가?(1개), 콘텐츠의 만족도 및 활용 정도는 적절한가?(3개), 콘텐츠의 현장 평가 결과 및 개선 정도는 적절한가?(2개), 다른 프로그램 또는 시스템과의 연동이 가능한가?(1개)는 시스템에 저장된 값으로 평가받는다.


Ⅴ. 결론 및 제언

본 연구는 교육부가 주관하는 교육용 콘텐츠 사업 및 관리 체계를 효과적으로 정비하여 교육 현장에 양질의 콘텐츠를 보급하고자 체제를 개발하는 것을 목적으로 추진되었다. 따라서 본 연구에서는 목적 달성을 위해 다음과 같은 연구 과정을 거쳤다. 첫째, 문헌 및 선행연구를 고찰하고 사례를 분석하여 교육용 콘텐츠 사업 및 성과관리 시스템 모델(프레임워크)을 구안하였다. 해당 과정은 CIPP 모형에 따라 상황분석 단계, 계획 단계, 개발 단계, 성과 및 환류 단계 등으로 구성하였다. 이를 통해 개별 사업 및 교육용 콘텐츠의 성과 관리뿐만 아니라 실제로 서비스되고 있는 교육용 콘텐츠의 효과성 평가에도 도움이 될 것으로 보인다.

둘째, 성과관리 모델을 기반으로 도출된 평가지표에 AHP 쌍대비교를 실시하여 4개 영역, 17개 성과관리 평가지표 간의 가중치를 재설정하고 최종 지표를 확정하였다. 연구 결과, 주요인에서는 ‘성과 및 환류 단계(0.302)’가 가장 높게 나타났으며, 세부 요인 중 상황 분석 단계에서는 ‘단위사업 추진을 위한 적합한 환경을 조성했는가?(0.439)’, 계획 단계에서는 ‘개발 단계별 예산계획은 적절했는가?(0.463)’. 개발 단계에서는 ‘콘텐츠 메타데이터 가이드라인을 준수했는가?(0.276)’, 성과 및 환류 단계에서는 ‘다른 프로그램 또는 시스템과의 연동이 가능한가?(0.390)’가 가장 높은 중요도를 보였다. 주요인과 세부 요인을 모두 고려하여 최종적으로 종합 중요도를 도출한 결과, 가장 중요한 요인은 ‘개발 단계별 예산계획은 적절했는가?(0.127)’로 나타났다.

확정된 지표에 대해서는 지표 정의서를 개발하였다. 구체적인 정의서의 구성은 평가목적, 평가방법, 평가 척도, 평가기준이며, 이를 통해 사업의 성과과 수준이나 목표에 부합되었는지를 판단하고 성과평가의 실제성과 효율성을 높일 수 있다. 이러한 연구 결과는 교육용 콘텐츠의 활성화를 촉진하고 증거 기반의 교육용 콘텐츠 관련 정책 수립에 기초자료로 활용될 수 있다는 점에서 그 의의가 있다.

교육부는 지난 2018년부터 교육 현장의 효율성을 높이고자 ‘교육용 콘텐츠 개발·육성 사업’을 추진 중이다. 특히 코로나19 사태로 인해 온·오프라인 융합 수업이 일반화되는 등 전환을 맞이하면서 교육용 콘텐츠의 중요성이 더욱 부각되고 있으며, 이러한 시기에 본 연구가 시사하는 점은 다음과 같다.

첫째, 현재 교육부에서 주관하는 교육용 콘텐츠 사업의 개발 프로세스, 저작권 등 사후처리, 사업 성과 등을 관리하는 체계를 개발했다는 점이다. 본 연구에서는 교육용 콘텐츠 사업 및 성과관리 프레임워크, 평가지표, 정의서를 개발하였으며, 이를 통해 교육부가 주관하는 유·초·중등 교육용 콘텐츠 개발 사업을 체계적으로 정비하고, 사업 및 성과관리를 강화하여 교육 현장에 양질의 콘텐츠를 보급하기 위한 기초를 마련하고자 한다.

둘째, CIPP 모형을 활용하여 성과관리 프로세스를 도입했다는 점이다. 본 연구에서 구안한 성과관리 모델은 조직 전체의 전사적 성과관리보다는 CIPP의 체계적인 성과관리에 초점을 맞추는 것이 바람직하다고 판단했다. 향후 성과관리 개발 관련 연구의 기초자료로 활용될 수도 있어 의의가 크다.

본 연구의 한계점은 본 체제를 실질적으로 활용하기 위한 예산이나 시스템 개발 등의 쟁점 사항에 대해 구체적인 전략을 세우지 못했다는 점이 있다. 하지만 4차 산업혁명과 코로나19로 학생 맞춤형 학습의 수요가 늘고 교육용 콘텐츠의 중요성이 더욱 커지는 시기인 만큼 교육용 콘텐츠 사업의 체계적인 성과 관리를 위한 체제를 개발했다는 점에서 의의가 크다. 끝으로 본 연구의 몇몇 한계점을 보완하는 후속 연구를 기대한다.


References
1. Ministry of Education, Preparation of operating standards for systematic remote classes, Sejong, Government press release, March 2020.
2. Ministry of Education, Ministry of education performance management implementation plan, Sejong, government press release, May 2021.
3. Korea Education and Resarch Information Service, 1st survey of educational contents, Daegu, In press.
4. Korea, Government business evaluation elementary basic act. Presidential Decree 2-6, 2017.
5. J. Lockett, Effective performance management: A strategic guide to getting the best from people, Kogan Page, 1992.
6. M. Amstrong, A Handbook of human resource management practice, 10th Edition, Kogan Page, 2006.
7. Y. S. Lee, G. D. Jae, J. H. Kim, H. R. Kim, and G. H. Sim, Focusing on the cases of major advanced countries in government performance management and evaluation system, Dae Young, August 2006.
8. United States, Elementary and secondary education act, Public law 89-10, 1965.
9. D. L. Stufflebeam, Educational evaluation and decision making, 1st ed, PDK, January 1971.
10. R. W. Saaty, "The analytic hierarchy process—what it is and how it is used," Mathematical Modelling, Vol. 9, No. 3-5, pp. 161-176.
11. M. G. Choi, An empirical study on policy enhancement of international competitiveness of the korean livestock industries, Doctoral dissertation, Chung-ang University, Seoul, Febuary 2014.
12. G. S. Kim, and B. G. Kang, "A study on the identification of main role players in enhancing port competitiveness by AHP method," Ocean Policy Research, Vol. 23, No. 1, pp. 199-219, June 2018.
13. G. S. Kim, Development of performance evaluation index for privately entrusted work in daegu city, Daegu: DGI, Research 2011-36, December 2011.
14. G. S. Kim, Developing performance appraisal indicators for each type of contracted-out public services of daegu metropolitan government, Daegu, DGI, Research 2013-61, July 2013.
15. S. C. Kang, H. Y. Jeong, Y. J. Ahn, J. S. In, J. W. Yoo, and T. Y. Kwon, A study on the establishment of a performance evaluation management system at the seoul creative arts education center, Seoul: SMOE, 2020 Education Policy Research Project Completion Report, November 2020.
16. Ministry of the Interior and Safety, Performance management implementation plan, Sejong, April 2011.
17. Korea Education and Research Information Service, Guidelines for development of educational content, ,Daegu, CP 2018-16, September 2018.
18. S. C. Kang, H. Y. Jung, "Developing a performance measurement indicators of educational content through delphi technique," Journal of Knowledge Information Technology and System, Vol. 17, No. 1, pp. 79-89, Febuary 2022.
19. Y. S. Park. Decision making by AHP: Theory and practice, Kyowoo Media, August 2009.
20. C. K. Lee, N. H. Kim, and S. K. Go, "Analysis of strategic factors and priority for equestrian tourism using AHP," Journal of Tourism and Leisure Research, Vol. 27, No. 6, pp. 317-339, June 2015.
21. S. Karapetrovic, and E. S. Rosenbloom, "A quality control approach to consistency paradoxes in AHP," European Journal of Operational Research, Vol. 119, No. 3, pp. 704-718, December 1999.
22. Ministry of Science and ICT, Amendment to the standard guidelines for national R&D project evaluation, Sejong, December 2021.

저자소개

나지영(Jiyoung Na)

2015년 : 광운대학교 (게임학 전공, 석사)

2019년 : 이화여자대학교 (융합콘텐츠 전공, 박사)

2019년~2019년: 한국산업관계연구원 과장

2019년~2021년: IT 컨설팅 회사 차장

2021년~현 재: 광운대학교 기능성 게임 박사후 연구원

※관심분야 : 뉴미디어콘텐츠(New media content), 미디어 기술혁신(Media technology innovation), 게임(Game) 등