교육용 콘텐츠 사업 및 성과관리 체계 개발 :CIPP를 중심으로

1-1 연구의 배경 및 목적

2020년, 교육계는 코로나19라는 사상 초유의 사태에 대응해 온라인 개학을 시작으로 모든 정규 교육기관이 개학을 맞았다. 초등학교 1, 2학년은 EBS TV를, 3학년 이상은 ‘e학습터’, 중·고등학생은 EBS의 ‘온라인클래스’, 대학생은 대학 자체에서 개설한 녹화강의나 Zoom, Webex, 구글 미트를 활용한 화상 강의를 병행하는 등 온·오프라인을 융합한 수업이 일반화되었다. 그러나 이러한 대전환이 급하게 이뤄지다보니 정규교육과정을 소화하기 위한 교육용 콘텐츠가 부족했으며, 동시간대 통신량이 증가해 혼선을 빚기도 했다. 앞으로 과거 일대 다수의 일방적인 교육 방식에서 벗어나 포스트 코로나 시대에는 맞춤형 학습을 위한 교육용 콘텐츠의 중요성이 커질 것으로 예상된다[1].

교육부는 2018년부터 양질의 교육용 콘텐츠를 통해 교육 현장의 효율성을 높이고자 ‘교육용 콘텐츠 개발, 육성 사업’을 추진해오고 있다. 해당 사업 규모는 2018년 5개 사업(총 120종, 35억 27 백만 원)으로 시작하여 2019년에는 11개 사업(총 1,491종, 82억 56 백만 원)을, 2020년에는 11개 사업(총 4,385종, 83억 60 백만 원)이 추진되었으며, 2020년 기준 사업비는 237%, 사업 수는 220%, 사업 종류는 3,654%만큼 증가하였다. 또한, 2018년부터 2020년까지 한국교육학술정보원(KERIS), 한국교육개발원(KEDI), 한국교육과정평가원(KICE), 한국교육방송공사(EBS), 한국과학창의재단(KOFAC), 국가평생교육진흥원(NILE) 총 6개 기관 14개 사업이 교육용 콘텐츠 진흥 및 육성을 목적으로 추진되었으며, 약 200억의 예산을 투입하였다[2].

한편, 2021년 기준 정부 부처 및 공공기관의 교육용 콘텐츠 보유 현황을 살펴보면 23개 정부 소관 부처 중 7개 부처만 콘텐츠 관리기준을 100% 보유하고 있으며, 교육용 콘텐츠의 품질 관리 기준이 없는 부처도 33.2%나 되는 것으로 나타났다[3]. 따라서 현재 교육계는 보다 효율적인 교육용 콘텐츠 개발 및 품질 관리 체계와 저작권 등 사후 관리, 사업 성과관리가 필요한 시점이다. 따라서 본 연구는 다음과 같은 과정을 통해 해결 방안을 제시하고자 한다.

첫째, 선행 연구를 통해 성과관리 및 평가지표의 이론적 배경을 고찰하여 개발 방법을 모색한다. 둘째, CIPP 평가모형을 활용하여 교육용콘텐츠 사업 성과관리의 프레임워크를 작성한다. 셋째, 성과관리 지표에 AHP 분석을 적용하여 상대적 중요도 분석 및 가중치를 부여한다. 넷째, 단계별로 성과관리 지표를 확정하고, 정의서를 개발했다. 본 연구는 이러한 과정을 통해 교육부가 주관하는 유‧초‧중등 분야 교육용 콘텐츠 사업의 체계를 효과적으로 정비하고, 사업 및 성과관리를 강화하여 교육 현장에 양질의 콘텐츠 보급을 위한 기초를 마련하고자 한다. 또한, 교육용 콘텐츠를 통합·연계함으로써 증거 기반의 교육용 콘텐츠 관련 정책 수립에 기초를 마련하고자 한다.

1-2 연구의 범위

본 연구에서 주로 다룰 개념은 ‘교육용 콘텐츠’, ‘교육용 콘텐츠 사업 관리’, ‘교육용 콘텐츠 성과관리’이며, 정의는 다음과 같다.

‘교육용 콘텐츠’는 교육용 멀티미디어 자료나 이러닝 코스웨어 등 교수학습 자료를 의미한다. 본 연구에서는 정부의 교육통합플랫폼(잇다, K-에듀통합플랫폼 등)에서 서비스되는 유·초·중등 대상의 교육용 콘텐츠로 범위를 한정한다.

‘교육용 콘텐츠 사업 관리’는 교육부 예산을 투입하여 추진 중인 콘텐츠 사업에 대한 관리를 의미한다. 본 연구에서는 교육용 콘텐츠 사업의 기획에서부터 분석 및 준비, 사업 및 예산 교부, 단위사업별 추진, 사업 마무리 및 환류 단계까지 범위를 한정한다.

‘교육용 콘텐츠 성과관리’는 교육부 예산을 투입하여 개발한 교육용 콘텐츠에 대한 구체적인 성과를 의미한다. 본 연구에서는 구체적인 성과관리 범위를 콘텐츠 개발을 위한 상황 분석부터 개발 기획, 개발, 성과 및 환류 단계까지 한정한다.

2-1 성과관리

정부업무평가 기본법 제2조 6항에 따르면 ‘성과관리’는 정부 업무 추진 과정에서 기관 임무, 중장기 목표, 연도별 목표, 그리고 성과지표를 수립하여 집행 상황 및 결과를 경제성, 효과성 등의 관점에서 관리하는 일련의 활동이다[4]. 즉, 성과관리는 대상을 계량화하여 평가하는 작업의 상위개념으로 해석된다. 성과관리에 대한 정의는 학자마다 다양하다. Lockett(1992)는 유능한 조직 구성원들이 조직의 공통 목표를 달성하기 위해 행하는 일련의 작업이라고 정의한다[5]. Amstrong(2006)은 조직 성과 개선을 위해 개인과 조직의 성과를 진전시키는 체계적인 과정이라고 정의한다[6]. 이윤식 외(2005)는 조직의 장기적 비전 또는 전략을 효과적, 효율적으로 달성하기 위해 개인과 조직의 성과를 일련의 지표를 통해 체계적으로 관리, 집계, 환류하는 과정으로 정의한다[7]. 이들의 정의를 종합해보면 성과관리란, 조직 구성원들 개인의 성과 목표 달성을 통해 조직의 성과 목표도 달성하도록 조직이 운용할 수 있는 자원들을 효과적이고 체계적으로 관리하는 과정이라고 할 수 있다. 이러한 관점에서 성과관리는 단순히 성과를 평가하는 개념이 아닌, 보다 총괄적인 개념으로 이해할 수 있다.

따라서 본 연구에서 다루는 성과관리는 조직의 업무를 수치로 평가하는 개념이 아니라 조직의 성과 향상을 위해 어떤 강점을 강화하고 필요한 역량을 개발할지 선택하는 개념에 가깝다고 할 수 있다.

2-2 CIPP 평가모형

CIPP 평가 모형이란 1960년대 미국 「초·중등 교육법(ESEA: Elementary and Secondary Education Act)」의 시행 과정에서 초·중등 교육을 개선할 목적으로 만들어진 의사결정 지원 평가 모형으로, 오하이오 주립대 평가센터(OSUEC: Ohio State University Evaluation Center)에서 개발하였다[8]. Stufflebeam(1971)은 학생의 목표 달성 여부에만 초점을 둔 기존의 평가모형을 반박하며, ‘평가는 프로그램 개선의 목적으로 활용되어야 한다’라는 철학으로 올바른 의사결정을 위한 정보를 제공하고, 그 결정의 장단점을 파악하기 위해 해당 모형을 제안하였다. CIPP 모형은 상황평가(Context evaluation), 투입평가(Input evaluation), 과정평가(Process evaluation), 산출평가(Product evaluation)의 4가지 평가 개념의 첫 글자를 조합하여 만들었다. 먼저 상황평가(Context evaluation: C)는 프로그램 수요자가 목표를 정할 수 있도록 근거를 제공해주는 가장 기본적인 평가 단계이다. 운영자는 수요의 요구와 문제점 및 장애 요인 등을 파악하고 평가 준거를 설정하기 위해 체계 분석, 면담, 조사, 문헌 분석 등의 과정을 거친다. 다음으로 투입평가(Input evaluation: I)는 프로그램의 목표 달성을 위해 투입 또는 사용할 자료와 전략을 평가하는 단계이다. 이 단계에서는 수요자의 요구 분석 과정에서 적합한 전략을 세웠는지 검토하고, 예산과 계획의 타당성을 평가한다. 투입평가 단계에서는 문헌 분석을 주로 활용하며, 투입 요소에 대한 구체적인 분석 및 전략 수립에 도움이 될 수 있다. 다음으로 과정평가(process evaluation: P)는 프로그램의 진행 시점이나 실천 방법, 자원 활용 등을 결정하는 단계이다. 이 단계에서는 프로그램 실행 과정에서 운영 방법을 수정·보완·개선하는 데 필요한 정보를 도출한다. 구체적으로는 프로그램이 본래의 계획대로 진행되고 있는지, 문제점은 없는지, 문제가 발생했다면 해결 방안은 무엇인지 등을 조사한다. 평가는 주로 면담이나 관찰 등을 통해 프로그램 개선 사항을 파악하는 형식으로 진행된다. 마지막으로 산출평가(Product evaluation: P)는 프로그램 진행 도중과 종료 과정에서 산출 및 결과를 측정하는 단계로, 해석이 주목적이다. 산출된 결과는 프로그램의 효과성 여부를 최종적으로 판단하는 데 필요한 정보를 제공한다. 이때, 산출된 결과를 사전에 설정한 기준이나 준거와 비교하여 상황, 투입, 과정을 통해 도출한 정보와 연관성을 가지는지 파악한다[9].

2-3 AHP

AHP(Analysis Hierarchy Process)는 제한된 범위에서 합리적 의사결정을 수행하는 방법론으로 우선순위를 도출하는 데 사용하는 중요한 분석 방법이다. 1970년 미국 펜실베니아 대학의 교수가 개발한 것으로 주어진 문제에 대해 최상위 수준에서 점차 하위 수준으로 계층적 구조를 만들어, 그 계층구조 내에서 각 요소에 대한 상대적 중요도의 판단이 가능한 쌍대비교행렬을 구하여 정량과 정성적 요소를 모두 알 수 있다 [10].

AHP는 의사결정의 계층구조를 구성하고, 요소 간의 쌍대비교를 이용하여 평가자의 지식, 경험, 직관을 포착하고자 하는 의사결정 방법론이다. AHP는 이론의 단순성, 명확성, 적용의 간편성, 범용성 등의 특징으로 여러 의사결정 분야에서 널리 사용되고 있다. 또한, 다수의 속성을 계층적으로 분류하고, 각 속성의 중요도를 파악함으로써 최적의 대안을 선정하여 의사결정 요소들의 속성과 그 측정척도가 다양한 의사결정 문제에 효과적으로 적용되고 여러 가지 대안들이 체계적인 순위로 시각화되어 그 가중치를 바율척도로 도출하는 방법을 제시하기도 한다 [11].

AHP는 정량적 분석이 곤란한 의사결정 분야에 전문가들의 정성적인 지식을 이용하여 경쟁이 되는 요소들의 가중치 또는 중요도를 구하는 데 유용하게 응용될 수 있으며, 문제의 구조화 및 체계화, 포괄적인 의사결정의 틀 제공, 논리적 일관성 제공, 정보 및 상황의 변화에 따른 민감도 분석 등의 특징과 편리하고 쉬운 의사결정 과정 때문에 다수의 사람이 이 기법을 선호하고 있다. AHP의 가장 큰 특징은 복잡한 문제를 계층화하여 주요 요인과 세부 요인으로 나누고, 쌍대비교를 통해 각 의사결정 기준의 중요도를 도출할 수 있다는 점이다 [12].

2-4 선행연구

본 연구의 핵심 목표는 CIPP 평가모형을 이용한 평가지표 개발이다. 따라서 교육용 콘텐츠 사업과 교수학습 콘텐츠 사업의 성과관리, 교수학습 콘텐츠(디지털 자료)의 효과성 평가, 관련 유사 기관의 성과 평가의 선행 연구를 살펴보면 다음과 같다.

김광석 외(2011; 2013)는 대구시의 민간위탁사무 성과평가지표를 개발하였다. 해당 연구에서는 CIPP 평가모형과 AHP 분석법을 사용해 평가지표를 구성하고, 각각의 지표에 대해 지표 정의서를 개발했다. CIPP 평가모형의 각 단계에서는 효율성과 효과성으로 성과지표를 구분했다. 효율성 지표의 인력 활용 측면에서는 구성원의 역량 제고와 근무 여건 개선을, 시설관리는 시설관리의 적정성을, 예산 활용은 예산 활용의 적정성을 평가지표에 포함하였으며, 운영 관리 측면에서는 외부 의견 수렴 활동, 사업 홍보의 적정성, 이용자 안전 제고를 세부 지표에 투입했다. 효과성 지표의 시설 운영 측면에서는 시설 이용 실적과 시설 운영의 적정성, 프로그램 운영은 프로그램의 충실성을 고려하였다. 재정 성과 측면에서는 사업 수지 개선과 재정자립도 개선을, 고객 만족은 이용자 만족도를 평가지표에 포함하였다[13], [14].

강신천 외(2020)는 CIPP 모형에 기초하여 서울창의예술교육센터의 사업 및 운영 프로그램에 대한 성과관리 방안을 연구하였다. 해당 연구는 서울창의예술교육센터의 향후 사업 및 프로그램에 대한 성과관리 체계 구축이 주목적이며, CIPP 평가모형의 각 단계별로 사업 및 프로그램의 성과를 평가하기 위해 평가지표를 도출하고 이를 활용해 성과 평가를 진행하는 실천적인 전략을 제시하였다[15].

행정안전부(2011)는 CIPP 평가모형을 사용하여 산하 기관의 평가지표를 공통지표, 경영효율지표, 사업지표로 구분하고 있다. 공통지표에는 리더십과 전략을, 사업지표에는 사업 활동과 사업 성과를 주요 평가지표로 포함하였다. 경영효율 지표는 조직 및 인사 관리, 보수 관리, 재무 예산 관리, 노사 관리, 사회적 기여, 고객 만족 등으로 세분화되어 있다[16].

2-5 교육관련 성과관리 사례

교육 부문의 성과관리에 대한 사례는 교육부의 관리과제별 성과관리, 한국교육개발원에서 실시한 특별교부금 국가시책사업 평가을 살펴보았으며, 주요 내용은 다음과 같다.

2021년에 실시한 교육부의 관리과제별 성과관리를 살펴보면, 관리과제별로 성과목표를 차별화하고 있으며 과제별로 성과지표 1개에서 5개 내외로 제시하고 있어서 종합적이고 포괄적인 수준의 성과관리가 되고 있음이 예측된다. 관리과제별 성과지표 단위 사업별 성과 확인 지표, 만족도나 사업 개선에 대한 지표를 포함하고 있는 것이 특징적이다 [2].

특별교부금 국가시책사업 평가는 초·중등 분야 주요 정책 사업을 포괄하고 있는 국가시책사업에 대한 사업성과 점검 및 환류 체계를 구축하기 위한 것이다. 2018년 특별 교부금 국가시책사업의 평가항목은 사업계획, 사업 집행, 사업성과, 평가환류로 구성된다. 평가항목별 세부 평가지표를 살펴보면 첫째, 사업꼐획 평가항목은 사업목적의 타당성, 사업내용의 적절성, 사업비 규모의 적절성, 성과지표의 타당성 등이 세부지표로 포함되어 있다. 둘째, 사업진행 평가 항목은 사업비 교부 시기의 적절성, 정기적 점검 체계의 운영, 문제 대응의 적절성이 세부 평가지표로 포함되어 있다. 셋째, 사업성과 평가항목은 성과목표치 달성도, 사업 효과성, 사업 현장 만족도가 세부 평가지표로 포함되어 있다. 넷째, 평가환류 평가항목에는 평가 결과를 환류하는 세부 평가지표가 있다 [17].

4-1 AHP 연구 모형 및 분석 방법

1) 연구 모형

본 연구는 교육용 콘텐츠 성과관리 개선을 위해 AHP 분석으로 평가지표의 상대적 중요도를 측정하고, 점수를 배정하였다. 이를 통해 교육용 콘텐츠 사업 및 성과의 체계적인 관리를 제안하고자 한다. 연구 표형은 선행 연구 분석, 전문가 협의, 델파이 조사 등의 조사 과정을 거쳐 도출한 평가지표를 사용했다[18]. CIPP 평가모형에 따라 ‘상황분석 단계’. ‘계획 단계’, ‘개발 단계’, ‘성과 및 환류 단계’ 총 4개의 주요인(Main Factor)과 17개의 세부 요인이 조사 대상이다. AHP 분석을 통해 상대적 중요도와 우선순위를 파악했다. 연구 모형은 (표 1)과 같다.

Table 1.

Research Model

2) 표본 선정 및 자료 수집

설문은 대학교수, 교사, 교육용 콘텐츠 운영기관에서 근무하고 있는 23명의 전문가를 대상으로 2021년 12월 27일부터 2022년 1월 9일까지 온라인을 통해 진행하였다. 일관성 비율(CR)에 부합하지 않은 11부를 제외한 12부를 연구 자료로 활용했다. 설문에 응답한 응답자들의 기본 현황은 (표2)와 같다.

Table 2.

Information of AHP participants

3) 분석 방법

본 연구는 다음과 같은 분석 과정을 거친다[19]. 첫째, 계층 분류는 평가항목에 해당하는 4개 주요인(1 layer)과 이에 종속되는 평가기준 17개 세부요인(2 layer)으로 구성했다.

둘째, 각 주요인과 세부요인을 1:1로 짝(pair)을 지어 쌍대비교를 통한 상대적 중요도를 평가했다.

또한, 비교할 요인의 수가 n이면 n(n-1)/2번의 쌍대비교를 실시했다. 여기서 작성된 쌍대비교는 다음과 같은 행렬의 대각을 중심으로 역수 형태를 취하게 된다. 본 연구에서는 주요인의 경우 총 6회의 쌍대비교를 통해 요인별 상대적 중요도를 평가했고, 세부요인의 경우 ‘상환분석 단계’ 3회, ‘계획 단계’ 3회, ‘개발 단계’ 15회, ‘성과 및 환류 단계’ 10회의 쌍대비교를 실시한다.

셋째, 계산을 통해 구체적인 가중치를 추정했으며 방식은 다음과 같다. 쌍대비교 결과를 행렬로 표시하면, 그 고유치의 최댓값에 해당하는 고유벡터가 중요도가 된다. 수식에 대한 계산은 엑셀과 파이썬 3.8을 활용하였다. 먼저 행렬 A1의 평균을 통하여 정규화된 행렬 A2를 계산했다. 행렬을 활용하여 가중치 w와 고유벡터를 구한다.

넷째, 설문 응답의 일관성을 판단했다. 선행연구에 따르면 일관성 비율이 10% 이내라면 어느 정도 일관성이 확보되었다고 판단할 수 있으므로, 이를 참고해 일관성 비율 임계치를 10%로 설정했다. 일관성 지수와 비율은 고유벡터를 통해 다음과 같은 수식을 사용하여 구했다.

Fig. 2.

pairwise comparison

Fig. 3.

Normalized Matrix Calculation

Fig. 4.

Weight matrix

Fig. 5.

Eigenvectors

Fig. 6.

Consistency Index and Consistency Ratio

일관성 비율의 수식에 있는 RI는 난수지수(Random index)를 의미하며, 이는 수치를 임의로 설정하여 작성한 역수 행렬에서 평균 일관성 지수를 산출한 값으로 일관성의 허용 한도를 나타낸다. 수치가 3에서 8까지 변화할 때 난수 지수는 (표 3)와 같다 [10].

Table 3.

Random Index

다섯째, 계층별 가중치를 활용해 계층구조의 종합을 파악하는 단계이다. 종합 중요도는 평가 기준별 주요인과 세부 요인의 가중치를 곱한 값이다. 마지막으로 일관성 비율을 확인하여 일관성이 떨어지지 않도록 관리했다 [20], [21].

4-2 AHP 연구 결과

2) 상대적 중요도 결과

가중치 분석은 주 요인(상황분석 단계, 계획 단계, 개발 단계, 성과 및 환류 단계)에 대한 상대적 중요도를 산출하고, 각 상위 요인(4개) 별 하위요인(17개)에 대한 상대적 중요도를 산출하는 과정을 통해 진행했다. 그리고 하위요인의 상대적 중요도와 주요인의 가중치를 계산하여 전체 하위(17개)의 우선순위를 도출하였다. 전체 응답자의 쌍대비교 결과를 AHP를 활용하여 상대적 중요도, 가중치, 전체 순위를 산출한 내용은 (표 4)에 제시하였다.

Table 4.

Relative importance and priority

AHP 분석을 통해 도출된 교육용 콘텐츠 사업 및 성과관리를 위한 평가지표 개발 요소의 항목별 중요도를 살펴보면 ‘성과 및 환류 단계(0.302)’이며, ‘계획 단계(0.275)’, ‘상환분석 단계(0.241)’, ‘개발 단계(0.182)’의 순으로 높게 나타났다.

주요인(상황분석 단계, 계획 단계, 개발 단계, 성과 및 환류 단계)별 하위 요인을 살펴보면, 상황분석 단계의 하위 요인에서 가장 중요도가 높게 나타난 요인은 ‘단위 사업 추진을 위한 적절한 환경을 조성했는가?(0.439)’이며, 다음으로는 ‘단위사업에 대한 요구 파악을 정확히 했는가?(0.349)’, ‘단위사업의 목표를 명확히 수립했는가?(0.212)’ 순으로 중요도가 높게 나타났다.

계획 단계의 하위 요인에서 가장 중요도가 높게 나타난 요인은 ‘계획 단계별 예산계획은 적절했는가?(0.463)’이며, 다음으로는 ‘투입 계획은 적절했는가?(0.371)’, ‘개발계획은 적절했는가?(0.166)’ 순으로 중요도가 높게 나타났다.

개발 단계의 하위 요인에서 가장 중요도가 높게 나타난 요인은 ‘콘텐츠 메타데이터 가이드라인을 준수 했는가?(0.276)’이며, 다음으로 ‘콘텐츠 제작 가이드라인을 준수했는가?(0.208)’, ‘콘텐츠 품질관리 가이드라인을 준수했는가?(0.162)’, ‘개발된 콘텐츠의 평가 결과는 적절한가?(0.161)’, ‘콘텐츠 저작권 가이드라인을 준수했는가?(0.111)’, ‘세부 단위 콘텐츠의 개발 목표를 파악하고 준수했는가?(0.083)’의 순으로 중요도가 높게 나타났다.

성과 및 환류 단계의 하위 요인에서 가장 중요도가 높게 나타난 요인은 ‘다른 프로그램 또는 시스템과의 연동이 가능한가?(0.390)’이며, 다음으로는 ‘콘텐츠가 안정적으로 유지 및 관리되고 있는가?(0.204)’, ‘콘텐츠의 현장 평가 결과 및 개선 정도는 적절한가?(0.163)’, ‘콘텐츠의 학습 효과는 적절한가?(0.118)’, ‘콘텐츠의 만족도 및 활용 정도는 적절한가?(0.124)’의 순으로 중요도가 높게 나타났다.

3) 성과관리 모델 평가 지표

AHP 분석 결과를 성과관리 프레임워크에 적용해 교육용 콘텐츠 성과관리 평가지표를 확정했다. 평가지표 항목은 구체적으로 4개 성과 영역에 17개 성과 지표이며, 교육부, 특별교부금 국가시책사업 평가 등의 사례를 참고하여 각 성과지표에 1~3개의 평가 근거 및 기준을 마련하였다[2, 17]. 평가 척도는 과학기술정보통신부(2021)의 국가 연구개발 과제평가 표준지침에 따라 미흡, 보통, 우수의 3단계로 나누어 평가한다 [22]. 그리고 성과영역 4개의 점수는 주 영역의 AHP 분석을 통한 상대적 중요도에 의해 배점하였고, 평가지표의 점수는 각 성과영역의 세부 영역 AHP 분석을 통해 상대적 중요도에 따라 배점하였다. 평가 기준은 상황분석 단계, 계획 단계, 개발 단계, 성과 및 환류 단계의 평가지표에서 성과가 얼마나 나타났는지 판단하기 위한 기준 역할을 한다. 성과관리 평가지표 내용은 (표 5)에 제시하였다.

Table 5.

Performance Management Evaluation Index

4-3 성과관리 정의서 개발

성과관리 평가지표 정의서는 성과관리의 핵심으로 평가자가 교육용 콘텐츠 성과관리 영역의 각 성과지표에 대하여 평가목적은 무엇인지, 어떤 평가 방법으로 평가 기준을 적용할 것인지를 정의해 놓았다. 평가지표를 통해 평가자와 피평가자는 교육용 콘텐츠의 성과관리 각 영역에서 정확하게 무엇을 확인하고, 평가하려고 하는지 인식의 합의를 볼 필요가 있다. 그리고 이를 통해 성과의 수준 또는 목표에 부합되었는지에 대한 성과평가의 실제성과 효율성을 높일 수 있다. 본 연구에서 개발된 성과관리 평가지표 정의서는 평가목적, 평가방법, 평가척도, 평가기준으로 구성된다. 평가목적은 교육용 콘텐츠의 성과관리 평가지표에서 무엇을 확인할 것인지 그 내용을 기술한다.

Fig. 7.

Part of the index definition

평가방법은 외부 전문가에 의한 평가와 시스템에 기록된 값을 이용해 평가한다. 모든 평가지표는 외부 전문가에 의해 평가받는다. 그리고 성과 및 환류 단계에서 콘텐츠의 학습 효과는 적절한가?(1개), 콘텐츠의 만족도 및 활용 정도는 적절한가?(3개), 콘텐츠의 현장 평가 결과 및 개선 정도는 적절한가?(2개), 다른 프로그램 또는 시스템과의 연동이 가능한가?(1개)는 시스템에 저장된 값으로 평가받는다.