Journal Archive

백워드 설계 모형(backward design model)은 ADDIE 모형에서 평가를 좀 더 강화한 것이다. 이 모형은 학습자의 이해를 증진시키기 위해 학습자가 도달하기 원하는 학습 목표를 설정한 후 주요 학습 내용의 평가 계획을 먼저 세우고 이를 토대로 수업 활동 계획을 구성하는 방식이다[6]. 백워드 설계 모형의 개발 원리는 3단계로 구성한다. 1단계는 ‘바라는 결과 확인하기(desire results)’로 목표를 설정한다. 2단계는 ‘수용 가능한 증거 결정하기(assessment evidence)’로 평가를 자세하게 계획한다. 3단계는 ‘학습 경험 계획하기(learning plan)’로 1, 2 단계에서 설계한 내용을 토대로 학습 경험과 수업을 계획한다[7].

플립러닝(flip learning)은 학습자가 교실 밖에서 학습한 후 수업에서 과제를 수행하는 방식으로, 수업 전 , 수업 중 그리고 수업 후로 세 개의 과정으로 구성한다. 플립러닝 기반 평가는 세 개의 과정에 걸쳐 모두 평가를 수행하는 것이다. 수업 전 평가는 동영상 학습으로 자기 주도적 학습을 한 후 자기 평가이다. 수업 중 평가는 수준별 학습을 통해 상위 수준의 적용, 분석, 탐구 활동을 하면서 평가한다. 수업 후 평가는 이전에 수행한 평가와 함께 질의 응답을 포함한 종합적 평가이다.

영상을 이용한 영상 평가는 기존의 지필 평가에서 찾아 볼 수 없었던 여러 가지 의미를 가지고 있다. 글을 읽고 평가하는 방식이 아니라 영상을 보고 판단하기 때문에 기존에 측정할 수 없었던 인지적, 심동적 및 정의적 영역에 대한 평가가 내포되어 있다. 또한 다양하고 고차원적인 사고 능력을 평가할 수 있고, 학습자의 잠재된 다양한 능력을 평가할 수 있다. 그러나 평가 도구를 만드는데 어려움이 있고 채점 기준 및 점수 기준 부여에 신뢰성과 객관성이 떨어질 수 있다[8, 9].

영상학습의 평가 방안은 플립러닝과 백워드 설계 평가를 함께 적용한 영상학습의 교수학습 절차를 그림 2와 같이 제시한다. 교수학습 절차는 플립러닝 기반의 수업 전, 수업 중 그리고 수업 후의 활동으로 나누고, 다시 수업 전 활동은 학습목표설정, 평가계획 그리고 수업활동계획으로 나누어 구성한다.

Fig. 2. 
The teaching and learning process for the learning achievement evaluation of a video learning

영상 학습은 영상 자료를 선택하는 것으로부터 출발하는 것으로, 한다. 영상 선택은 교수자가 학습 목표와 관련된 영상을 선택하는 ‘순방향 선택’과, 학습 후 학업성취도나 요구수준에 따라 학습자 수준을 고려해 영상을 다시 선택하는 ‘역방향’ 선택이 있다. 선택한 영상이 수업 시간보다 긴 경우 일부 편집하여 활용하게 된다. 영화의 일부만 활용하면 앞뒤 맥락 단절로 인해 학습 효과가 떨어질 수 있다. 맥락 단절로 인한 낮은 학습효과를 향상시키고 시간적 제약을 극복하는 하나의 방안으로 플립러닝을 도입한다.

1) 수업 전

수업 전 활동은 평가 계획을 수립하고 사전 학습이 이루어지는 과정으로 다음과 같다.

평가계획

영상 선택이 끝나면 선택 영상(selecting video)을 그림 3과 같이 교수 영상(instructional video)과 평가 영상(evaluation video)을 지정한다.

Fig. 3. 
The instructional video and evaluation video of a selecting video

교수자가 선택한 영상을 ‘선택영상’이라고 하면, 선택 영상 중 일부를 편집해 교육에 사용하는 데 이 영상을 ‘교수 영상’이라고 한다.

선택 영상은 수업 전에 활용하는 영상이고, 교수 영상은 수업 중에 활용하는 영상이다. 평가 영상은 영상학습의 학업성취도를 측정하기 위해 사용되는 영상이다. 평가 영상은 프레임(frame), 쇼트(shot), 장면(scene) 등으로 구성할 수 있으며 그림 3과 같이 선택 영상 중 한 개 이상으로 구성할 수 있다.

가중치 설정

평가 영상이 여러 개 있다면 각 평가 영상은 중요도나 난이도가 다를 수 있다. 평가 영상에 따라 이해하기 쉬운 것도 있고 어려운 것도 있을 수 있다. 이해하기 쉬운 영상과 어려운 영상을 같은 비중으로 평가하면 평가 오류가 생길 수 있다. 이러한 평가 오류를 최소화 하기 위해 각 평가 영상에 가중치를 설정한다.

평가 장면이 n개가 있다고 가정하고, 각 평가 장면의 가중치를 m이라고 하면 그림 4와 같이 나타낼 수 있다.

Fig. 4. 
The weight of each evaluation video

평가 영상의 가중치는 3점 척도, 5점 척도 또는 그 이상의 척도로 설정할 수 있다. 만일 평가 영상이 10개 이고, 중요도나 난이도에 따라 상중하로 분류한다면 각 평가 영상에 1 ~ 3의 가중치를 설정한다.

평가지 개발

평가 영상의 평가지는 양적 평가 문항과 질적 평가 문항으로 이원적으로 구성한다. 양적 평가 문항은 선택형으로 행동적 목표를 측정하기 위해 수량화 가능한 형태로 구성하고, 질적 평가 문항은 서술형으로 문제해결목표나 표현적 결과를 측정하기 위해 양적 평가 문항의 응답의 구체적 이유를 기술하도록 한다. 양적 평가와 질적 평가를 동시에 수행하는 이원적 평가는 양적 평가와 질적 평가를 상호 보완해 평가의 신뢰성과 타당성을 확보할 수 있다.

예를 들어, 감정 읽기 수업에 굿윌헌팅(2시간)을 활용한다고 가정하자. 감정의 다양한 측정을 위해 그림 5와 같이 2개 장면의 영상 평가지가 있다.

Fig. 5. 
The example of a video evaluation paper(using Google Forms)

각 평가지는 양적 평가 문항과 질적 평가 문항으로 구성하였다. 영상 평가지는 문항의 지시문이나 보기를 영상으로 제시한 것이다. 양적 평가 문항은 9점 선택형이고, 질적 평가 문항은 그 이유를 기술하는 서술형이다.

수업 활동 계획

수업 활동 계획은 선택 영상을 학습자에게 소개하고 학습 활동이 일어나도록 표 2와 같이 학습적 관람 지침을 제시하고 사전 평가지를 작성한다.

Table 2. 
The watch guideline of an educational view

view	recreational	educational
item
focus	plot	event, person
purpose	interest	analysis, insight
interests	results	process, relation
identification	actor	self
learning	incidental	intentional

학습적 관람 지침은 영상을 어떤 관점으로 감상해야 하는지에 대한 안내이다. 학습적 관람은 줄거리보다는 사건이나 인물에 초점을 두고, 흥미보다는 사건을 분석하거나 통찰하게 한다. 특히, 학습목표로 제시된 학습 요소를 분석하거나 통찰하게 한다. 관심사는 사건의 과정이나 인물 간의 관계에 집중하고 배우보다는 자신에게 집중하여 자신을 성찰하게 한다. 학습목표에 의식적으로 주의를 집중해 의도적 학습이 일어나도록 하고, 감상 경험을 언어적으로 표현하도록 하여 의사소통 능력을 키운다.

학습적 관람을 촉진하는 역할을 하는 것은 사전 평가지이다. 사전평가지는 영상을 관람하는 이유, 영상에서 탐색할 주제 또는 영상에서 발견해야 하는 메시지 등을 제시한다. 사전 평가지의 역할은 오락적 관람을 최소화하고 학습적 관람이 활발히 일어나도록 유도하는데 있다. 사전 평가지 작성을 통해 감성 경험을 언어로 기록하게 함으로써 경험을 구체화, 조직화하게 된다. 또한 사전 평가지는 수업 중 발표 및 토론의 자료로 활용한다.

2) 수업 중

수업 중 활동은 교수영상을 활용한 학습 활동과 평가 영상을 활용한 평가 활동이 이루어진다. 교수자는 교수 영상과 관련된 학습 요소를 전개하고 수업 중 평가를 수행한다.

평가의 신속한 결과를 얻기 위해 서면 평가보다는 온라인 평가가 여러 가지 장점이 있다. 양적 평가는 학습자 응답과 동시에 실시간으로 통계처리 되기 때문에 그 결과에 따라 학습자의 학습 상황을 파악할 수 있고 수준별 학습을 하는데 활용한다. 질적 평가는 측정하는데 시간이 소요되므로 수업 후에 진행한다.

Fig. 6. 
The realtime statistics of an online evaluation (Google Forms response)

3) 수업 후

수업 후의 활동은 학습자가 수업 후 평가지를 작성하고 교수자는 종합 평가를 실시한다. 수업 후 평가지 구성은 수업 중에 궁금했던 사항을 질문하는 문항과 수업 후기 또는 영상 감상 후기를 기술하는 문항으로 구성한다. 교수자는 수업 전 평가지, 수업 중 평가지 그리고 수업 후 평가지를 종합해 평가한다. 종합 평가는 평가 계획에 따라 개발된 평가지의 양적 평가 문항과 질적 평가 문항 그리고 각 평가 영상의 가중치 등을 고려한 평가이다.

평가 영상이 n개가 있고, 각 평가 영상의 가중치가 m이라고 하면, 임의의 평가 영상의 양적 평가값 P와 질적평가값 Q는 다음과 같다.

P=∑i=1nwi⋅pi/∑i=1nwi

Q=∑i=1nwi⋅qi/∑i=1nwi

where w(i) : i의 가중치
           p(i) : i의 양적 평가값
           q(i) : i의 질적 평가값

가중치를 고려해 양적 평가와 질적 평가의 값을 산출한 후 두 값을 동시에 적용하기 위해 그림 7과 같은 방식으로 학업성취도를 산출한다.

Fig. 7. 
An achievement product based on the two-way evaluation

따라서, 학업성취도 L은 다음과 같다.

L=P+Q-1

예를 들어, 평가 영상의 수가 3개이고 평가 결과가 표 3과 같이 학업성취도가 나왔다고 가정하자.

Table 3. 
The example of the evaluation results for a learning achievement

scene	1	2	3	weight
item(degree)				none	have
weight(3)	1	3	2
quantitative(5)	5	3	3	3.666	3.333
qualitative(5)	5	2	4	3.666	3.166
achievement(9)	9	4	6	6.333	5.5

각 평가 영상의 가중치 1~3이다. 평가 영상 1은 중요도가 낮아 가중치 1를, 평가 영상 2는 중요도가 높아 가중치 3을, 평가 영상 3은 중요도가 보통으로 가중치 2를 설정한 것이다. 양적 평가와 질적 평가는 5등급으로 측정한 결과이다. 학업성취도는 그림7에 따라 9등급으로 산출된다. 즉 학업성취도는 9단계로 산출된다.

평가 측정 결과는 평가 영상 1은 양적 평가, 질적 평가가 각각 5로 학업성취도는 9단계이다. 평가 영상 2는 양적 평가는 3, 질적 평가는 2로 학업성취도는 4단계이고, 평가 영상 3은 양적 평가는 3, 질적 평가 4로 학업성취도는 6단계이다.

3개의 평가 영상 결과는 가중치 유무에 따라 달라진다. 가중치를 적용하지 않을 경우 학업성취도는 6.3단계로 높게 나타나고, 가중치를 적용하면 학업성취도는 5.5단계로 낮게 나타난다.

학업성취도 6단계를 학습 목표 달성 기준으로 한다면 가중치 적용 여부에 따라 큰 차이를 나타낸다. 즉, 가중치를 적용하지 않으면 학업성취도가 일정 정도 달성되었다고 판단하게 되고 추후 학습 계획을 수립할 필요가 없게 된다. 그러나 가중치를 적용하면 학업성취도가 달성되지 않았다고 판단하게 되어 추후 학습 계획을 세우게 된다.

가중치를 적용하지 않으면 매우 중요한 장면의 학업성취도가 낮음에도 학습 효과가 높다고 판단하는 오류를 범할 수 있다. 따라서, 가중치 설정은 평가의 신뢰성을 높여 실질적인 학업성취도 측정을 의미한다.

일반적으로 수업에 활용하는 영상은 시간적인 제약 때문에 일부를 편집하여 사용한다. 이러한 경우 선택영상과 교수영상은 같다. 따라서 시간적인 제약이 없기 때문에 플립러닝의 수업 전의 활동인 사전 학습은 적용되지 않는다. 짧은 영상은 대부분 평가 영상도 짧거나 적다. 이와 같은 조건의 영상 평가를 적용하기 위해 ‘EBS 특집 동기 1부, 실패를 이기는 힘, 2005’ 다큐멘터리 중 수영 실험하는 5분 장면을 편집해 적용하였다. 이 영상은 실패한 경우 원인을 어디에 두느냐에 따라 결과가 어떻게 달라지는지를 탐색하는 실험 영상으로 다음과 같이 적용하였다.

- 학습목표 : 귀인 성향에 따라 결과를 탐색하고 자신에게 적용할 수 있다.
- 교수 영상 : 수영 실험 5분
- 평가 영상 : 기록 저조 및 향상 2 장면, 가중치 동일
- 평가 방식
 . 양적 평가 : 기록 저조 및 향상 원인 여부 선택형(5등급)
 . 질적 평가 : 자신에게 적용해 귀인 성향의 서술형(5등급)
- 평가 대상 및 시기 : 대학생 35명, 2017. 3.

귀인 원인이 무엇인지 묻는 선택형의 양적 평가는 5등급중 4.595, 자신의 사례에 적용해 기술하는 질적 평가는 3.370이 나왔다. 이 결과는 학업성취도의 도달 여부를 6단계로 정하였을 때 학업성취도는 6.965로 영상 학습 효과가 높다고 판단할 수 있다.

평가 영상이 많은 경우를 실험하기 위해 ‘갈등’에 관련된 영화 <우리들 2015>를 선정하였다. <우리들> 영화는 주인공을 중심으로 자기 자신 뿐만 아니라 친구 간의 갈등이 다수 포함된 영화이다. 갈등 상황을 종합적으로 평가하기 위해 10개의 장면을 평가 영상으로 하였다.

- 학습목표 : 갈등 이해, 적용, 해결을 자신에 적용할 수 있다.
- 교수 영상 : 친구와 갈등장면, 3분
- 평가 영상 : 10개의 영상
- 평가 방식
 . 양적 평가 : 갈등 인지 여부를 평가(5등급)
 . 질적 평가 : 갈등 평가기준에 따라 평가(5등급)
- 평가 대상 및 시기 : 대학생 90명, 2017. 4.

친구 간의 갈등은 갈등 상황에서 적응을 촉진하는 자극으로 절충 및 협력, 회피, 양보, 지배 전략을 하위 요인으로 구분하고 있다. 갈등을 측정하기 위해 하지원(2005)의 갈등해결전략 척도[14]와 이은해와 고윤주(1999)의 친구관계의 질 척도[15]를 사용하여 표 5와 같이 평가 기준을 적용하였다.

갈등해결전략 척도는 상대방과 자신의 욕구 충족에 어느 정도 관심을 갖는가에 따라 ‘절충 및 협력 전략’, ‘양보전략’, ‘회피전략’, ‘지배전략’의 하위 요인으로 구성한다. 친구 관계의 질 척도는 하위 요인으로 친구가 사회 정서적 지원을 해준다고 지각하는 정도를 적용하였다.

양적 평가는 10개의 장면 중 갈등 장면의 수를 정량적으로 나타내도록 하는 선택형으로 5등급화 하고, 질적 평가는 양적 평가에서 찾은 갈등 장면에 대한 서술형으로 표5와 같은 평가 기준에 따라 5등급으로 평가하였다. 하나의 사건이 갈등 지각 여부, 갈등 적용, 더 나아가 갈등 해결 유형을 단계적으로 측정해 갈등을 어떤 방식으로 해결하는지를 평가하였다.

평가 결과는 학업성취도는 9단계 중 4.60로 보통 수준으로 측정되었다. 양적 평가가 질적 평가보다 다소 높게 나왔으나 전체적으로 영화를 활용한 수업이 효과가 낮게 나왔다.

학업성취도 4.6은 학습 목표 달성 여부를 6단계로 설정할 경우 학습 효과가 기대한 것보다 낮다. 학습 효과가 낮게 나오는 원인은 다음과 같다.

- 교수자의 학습 목표가 너무 높을 때
- 영상이 학습 내용과 연관성이 낮을 때
- 수업 중 학습 내용이 불충분할 때

교수자의 학습 목표가 너무 높을 때 학습자 수준을 고려해 낮출 필요가 있다. 중학생에게 고등학생 수준의 학습 목표를 요구할 경우 중학생은 흥미를 잃게 한다. 따라서 학습 대상에 맞게 학습 목표를 조정해야 한다. 영상이 학습 내용과 연관성이 낮으면 학습 자료로써 역할을 충분히 하지 못한다. 영상의 적합성을 고려해 학습 내용과 연관성 높은 영상으로 다시 선택해야 한다. 교수자의 학습 목표도 적절하고 영상도 학습에 적합한 경우, 수업 중 학습 내용이 불충분함을 의미한다. 따라서 관련 학습 내용을 추가적으로 보완하는 방안이 필요하다.

이 실험에서 학업성취도가 낮은 이유는 교수자의 학습목표가 높았기 때문이다. 교수자는 이 영화를 통해 갈등을 이해하는 수준을 넘어 가장 합리적인 갈등 해결까지 목표하였기 때문이다. 이 영화는 갈등과 밀접한 관련성이 있어 영화 선택은 적절하였고, 갈등에 대한 학습 내용도 충분하였다. 다만, 교수자가 기대하는 수준까지 달성되지 않았음을 정량적으로 나타낸 것이다. 물론 학습자는 이 영화를 보고 난 후 많은 것을 얻었다고 하였다. 학습자의 만족 수준과 교수자의 요구 수준이 불일치한다는 것을 발견하는 사례이다. 물론 교수자의 평가 계획에 따라 평가한 것이기 때문에 교수자의 주관적 판단이 들어가 있지만 이 평가는 무형의 학습 목표인 표현적 결과를 적극적으로 도입해 평가한 것이다. 학습자가 작성한 문장을 일일이 보면서 갈등을 창의적이고 종합적으로 해결할 수 있는 잠재적 역량을 측정한 것이다.

본 실험은 장기간에 걸쳐 학업성취도가 어떤 변화를 보이는지 추적하고자 설계된 것이다. 학습 내용은 ‘상담자의 감정 조절’에 대한 것으로 영상심리학 수강생을 대상으로 7주간에 걸쳐 적용하였다. 수업 전 활동으로 영화 <굿윌헌팅, 1997>을 선택 영상으로 하고 수업 전에 영화를 보도록 하였다.

<굿윌헌팅>은 1997년에 개봉된 영화로 20여년이 지났음에도 명작으로 꼽히는 영화이다. 이 영화는 많은 상담기법을 들어가 있어 심리학이나 상담학을 공부하는 학습자들에게 필수로 추천하는 영화이다. 영화 줄거리는 매우 뛰어난 수학천재임에도 불구하고 불우한 환경에서 깊은 마음의 상처를 갖고 살아가다가 상담을 받으면서 마음의 문을 열고 진정한 우정을 알게 되는 휴먼 영화이다. 주인공 윌 헌팅과 상담자 숀 교수 간에 진행되는 상담과정은 여러 가지 상담기법이 포함되어 있다. 첫 번째 상담은 주인공 윌 헌팅이 숀교수에게 모욕적이고 공격적인 태로를 취하여 숀교수를 화나게 만든다. 결국에 윌 헌팅의 목덜미를 잡아채면서 첫 번째 상담은 끝나게 된다. 두 번째 상담은 첫 번째 상담에서 느꼈던 것을 담담하게 윌 헌팅에게 이야기 한다. 세 번째 상담에서는 두 사람은 아무 말없이 상담시간 전부를 졸며 앉아 있다가 끝난다. 마지막 상담에서는 ‘네 잘못이 아니다’라는 말을 반복하며 서로 포옹을 한다. 그러면서 마지막에 영혼의 짝을 찾아 떠나는 것으로 마지막을 장식하게 된다.

상담 1회기를 교수 영상으로, 평가 영상은 교수 영상 중 5개의 장면으로 구성하였고, 5개의 평가 영상의 가중치는 5등급으로 표 7과 같이 설정하였다.

#	scene	weight	contents
1		1	conversation scene in the lab.
2		2	picture evaluation scene
3		3	contempt scene for his wife
4		5	interview’s neck holding scene
5		2	post-consultation scene

양적 평가는 감정의 쾌, 불쾌 정도를 9단계 선택형으로 설계하여 세밀한 감정 변화를 측정하도록 하였고, 질적 평가는 양적 평가의 단계 선택 이유를 서술하도록 하여 2등급으로 측정하였다. 질적 평가를 2등급으로 한 이유는 감정 표현의 적합성 여부만 판단하기 위해 단순하게 하였다.

이 평가의 주요 관심 사항은 감정 변화를 정량적으로 수치화할 수 있는지 확인하고자 하였다. 평가 영상에서 4번째 장면은 상담자가 상담을 하기 위해 찾아온 내담자의 목덜미를 잡는 장면으로 무의식, 방어기제, 성격장애, 상담자 역할 등 많은 학습이 필요한 장면으로 가중치가 가장 높은 5를 설정하였다. 다른 장면의 감정보다 이 장면의 감정 변화가 매우 중요하다고 판단하였기 때문이다.

평가 대상은 심리학 수강 대학생 90명으로 2017. 9 ~10까지 7주간에 걸쳐 수행하였다. 최종 결과값의 의미는 1은 ‘매우 흥분’, 3은 ‘흥분’, 5는 ‘보통’, 7은 ‘차분’, 9는 ‘매우 차분’을 나타낸다. 평가 결과는 그림 8과 같이 나타났다.

Fig. 8. 
The change trend of an emotion

1차시는 아무런 감상 관점을 제시하지 않고 수업 초기에 측정한 것이다. 1차시 결과는 1.97으로 측정되어 대부분의 학습자들이 매우 흥분으로 해석하였다. 2차시는 감상 관점을 학습적 관람이 되도록 안내하였다. 그러나 결과는 2.27로 크게 변화하지 않았다. 학습적 관람 관점 제시만으로 감정 변화가 없음을 알 수 있었다. 3~5차시까지 계속 관련 학습을 진행하면서 매주 측정하였다. 측정 결과는 관련 학습이 진행되어도 미미한 변화만 측정되었다. 6차시부터 감정 읽기에 중요한 변화를 보였다. 매주 관련 학습이 이루어지면서 상담자의 내면 감정을 읽을 수 있는 역량이 축적된 시점이었다. 그 이후 7차시에 감정변화가 급격한 변화를 보여 지금까지 관련 학습들이 감정 변화에 영향을 미치고 있음을 확인할 수 있었다.

평가 결과 활용은 6차시 이전까지는 일정 정도 도달하지 않았기 때문에 계속 피드백 하여 추가 학습 계획을 수립하는 근거로 활용하였고, 6단계 이상 도달한 후에는 이와 관련된 학습을 종료하는 판단 기준으로 활용하였다.