발달장애인 대상 가상현실 프로그램 활용 방안 제안: 임파워먼트 평가의 적용

Ⅰ. 서 론

장애인복지관은 대표적인 장애인 지역사회재활시설 중 하나로, 최근 주요 변화 중 하나는 서비스의 디지털화이다. 디지털화는 지난 3년간 코로나19와 팬데믹으로 인한 사회적 거리두기에 따른 대안으로 도입·확산 되었다[1]. 이후 디지털에 대한 관심은 가상현실(Virtual reality, VR) 등으로 확장되었으며, 이에 따라 일부 기관에서는 VR을 활용한 프로그램을 운영·제공하고 있다. 그러나 비교적 짧은 활용 기간으로 인해 발달장애인을 대상으로 가상현실이 가지는 유용성에도 불구하고, ‘사회복지 프로그램’의 맥락에서 가상현실 활용 방안에 대한 구체적인 논의는 부족한 상황이다.

기술적 관점에서 가상현실은 다양한 감각을 통해 실제 있는 장소가 아닌 다른 장소에 있다고 느낄 수 있도록 환상을 만드는 기술로, 현실 세계(real-world)를 대체할 수 있는 가능성을 지닌다[2]. 특히, VR은 장애특성으로 인해 그동안 유의미한 활동 참여가 제한되어온 발달장애인에게 다양한 경험의 기회를 부여할 수 있다. 발달장애인은 사회성 측면에서 능숙한 행동·대화 능력의 습득이 제한되며[3], 자폐성장애인 등 일부 발달장애인의 경우에는 감각처리장애(sensory processing disorder)로 인해 감각적 자극에 대해 과민하게 반응하거나 반대로 과도하게 무감각한 반응을 보이기도 한다[4]. 이러한 상황에서 가상현실이 발달장애인 서비스에 도입·적용되었을 때 다양한 강점을 지닌다.

우선 Cromby 등은 가상현실이 발달장애인에게 실수할 수 있는 기회를 제공하고, 현실에서는 불가능한 상황에 대한 조작이 가능하며, 언어를 사용하지 않고도 추상적인 개념과 규칙을 전달할 수 있음을 주장하였다[5]. Standen과 Brown의 연구에서 가상현실은 발달장애인의 자립기술 습득·인지 능력 향상·사회기술 연습 등에 가능성을 가지는 기술로 언급되고 있다[6]. 또한 Yalon-Chamovitz와 Weiss는 장애로 인해 삶에서 경험할 수 없던 활동에 참여할 수 있도록 돕는 기술로 가상현실을 소개하였다[7].

이러한 논의에 따라 선행연구에서 가상현실은 발달장애인의 여가, 재활, 교육, 기술 습득 등 다양한 목적으로 활용되어왔다[7]-[15]. 이외에도 취업 면접 훈련[3],[16], 채혈공포증[17], 알코올 중독문제[18] 등에서도 효과적인 수단으로 활용되어왔다. 국내에서도 가상현실이 발달장애인을 대상으로 활용되고 있는데, 주로 직업훈련[19],[20], 체육활동[21],[22], 교육·훈련[23],[24]등을 목적으로 활용되고 있다. 이러한 선행연구들에서 가상현실은 긍정적인 성과를 보이고 있다. 가상현실을 통해 배운 기술을 현실에 적용하는 경우도 보고되고 있는데, 예를들어 가상현실 직업 훈련을 통해 실제 취업으로 연결된 사례도 나타나고 있다[25].

그렇다면, 왜 가상현실은 사회복지 프로그램의 맥락에서 활용되어야 하는가? ‘프로그램’이란 특정 목표를 달성하기 위해 이뤄지는 특정 활동들의 집합체로, 이를 이용하는 사람들에게 영향을 미치는 서비스로 정의될 수 있다[26]. 이는 사회복지기관 종사자의 핵심 역할이자 업무로[27], 장애인복지관에서 종사자가 발달장애인을 대상으로 제공하는 서비스는 ‘프로그램’이라는 형태로 제공된다. 즉, 가상현실 프로그램은 발달장애인의 삶의 질 향상이라는 장애인복지의 궁극적인 목표를 달성하기 위해서 ‘가상현실 활용’은 일련의 계획된 활동의 형태를 가져야 하는 것이다. 따라서 이와 관련된 프로그램의 구성과 운영 등을 사회복지 프로그램의 맥락에서 구체적으로 살펴볼 필요가 있는 것이다.

이를 위해, 본 연구에서는 장애인복지관 가상현실 프로그램에 대한 평가연구를 수행하였다. Patton에 따르면 프로그램 평가는 그 목적에 따라 가치지향적 평가, 지식지향적 평가, 개선지향적 평가 등 3가지로 구분할 수 있다[28],[29]. 본 연구는 이 중 프로그램의 개선에 초점을 두고 평가 결과를 활용하는 일종의 개선지향적 평가로, 구체적인 평가방법으로는 Fetterman에서 제시된 ‘임파워먼트 평가(empowerment evaluation)’를 활용하였다[30]. 이를 통해 현재 장애인복지관에서 운영되고 있는 가상현실 프로그램 활용 방안을 프로그램의 이해관계자인 발달장애인, 가족, 서비스 제공자의 의견을 통합하여 제시하였다.

임파워먼트 평가는 프로그램의 효과성에 초점을 두기보다는 프로그램 평가 과정을 통해 평가참여자를 임파워링하고, 프로그램을 개선하는데 초점을 둔 방법이다[30]. 그동안 임파워먼트 평가는 다양한 분야에서 사용되어왔다[31]-[34]. 임파워먼트 평가에서는 권위를 가진 평가자에 의존하기보다는 다양한 이해관계자가 동등한 권력을 가지고 참여하는 것을 강조한다[30],[32],[35]. 이러한 관점에서 볼 때, 임파워먼트 평가는 프로그램 참여자와 서비스 제공자 등 다양한 사람들이 가지고 있는 역량을 활용하여 프로그램을 개선하는데 유용한 방법이라 할 수 있다.

이에 따라 본 연구에서는 발달장애인을 대상으로 하는 가상현실 활용 프로그램의 개선을 위해 임파워먼트 평가를 적용하였다. 본 연구에서 임파워먼트 평가를 적용한 구체적인 이유는 다음과 같다.

첫째, 발달장애인 당사자와 가족의 참여이다. 공동생산 등 최근 논의에서 발달장애인이 서비스 계획에서부터 제공과 평가까지 주체적으로 참여하는 것이 강조되고 있다[36]-[38]. 임파워먼트 평가에서 서비스 이용자인 발달장애인과 그 가족은 단순히 평가의 대상이 아니라, 공동 평가자로서 역할을 수행한다. 이런 점을 고려하면 발달장애인 당사자와 그 가족이 평가에 참여하는 것은 곧 발달장애인의 자기결정과 욕구에 기반한 프로그램 개선안 마련으로 연결될 수 있다.

둘째, 장애인복지관에서 발달장애인을 대상으로 운영되고 있는 가상현실 활용 프로그램 발전이다. 국내 장애인복지현장에서 가상현실은 비교적 단기간에 도입·확장되기 시작한 기술이다. 이로 인해 가상현실 활용은 기술적 경험이 부족한 장애인복지서비스 전문가 또는 관련 기술을 가지고 있으나 발달장애인에 대한 민감성이 부족한 ICT 기업 등에 의존하는 상황이다. 이런 상황에서 가상현실 활용 프로그램의 효과성을 평가하는 것보다는, 임파워먼트 평가를 통해 최근 디지털화되어가고 있는 장애인복지관에서 프로그램 개선을 위한 정보를 생성하고 이에 대한 이해관계자의 역량을 강화하는 것이 더 필요하다. 즉, 프로그램 개선을 위한 정보를 생성하는 ‘개선 지향적 평가’가 필요한 것이다[28],[29].

이에, 본 연구에서는 발달장애인 가상현실 활용 프로그램에 대해 임파워먼트 평가를 수행하고, 이를 통해 프로그램의 주요 구성요소와 이들이 작동하는 메커니즘을 토대로 프로그램 실천 모형을 제시하고자 한다.

Ⅱ. 연구 방법

2-1 평가 대상 프로그램

본 연구에서 평가 대상이 되는 프로그램은 장애인복지관 4개소에서 성인 발달장애인을 대상으로 가상현실을 활용하는 프로그램이다. 각 프로그램에 대한 소개는 다음 표와 같다.

Table 1.

Programs for empowerment evaluation

2-2 평가참여자

임파워먼트 평가는 외부의 평가자 중심으로 진행되는 것이 아니라, 프로그램의 직간접적인 이해관계자가 함께 평가를 진행하는 평가 방법이다[30]. 이에 따라 본 연구에서도 연구자뿐 아니라 발달장애인 당사자, 부모, 그리고 서비스 제공기관의 종사자 등 프로그램 이해관계자들로 평가모임을 구성하였다. 평가참여자는 각 프로그램별로 4~7명씩, 총 22명이었다.

Table 2.

Characteristics of participants

발달장애인의 경우, 각 기관 담당자의 추천을 받았으며, 언어적 의사소통을 통해 자신의 욕구와 의견 등을 밝힐 수 있는 이용자 중 연구 참여 의사가 있는 이용자가 연구에 참여하였다.

Ⅲ. 연구결과

발달장애인을 대상으로 가상현실 활용 프로그램을 운영하고 있는 장애인복지관 4개소에 대한 임파워먼트 평가를 진행하였다. 임파워먼트 평가 결과를 단계별로 요약해서 제시하면 다음과 같다. 먼저 1단계에서는 기존 서비스 제공기관 입장에서 수립된 프로그램의 사명을 평가에 참여한 발달장애인 당사자, 부모, 서비스 제공자의 욕구와 의견을 반영하여 수정하였다. 예를 들어, A기관에서는 발달장애인 참여자가 강조한 “꿈”이라는 표현을 중심으로 사명을 도출하였다. 2단계에서는 전 단계에서 확인된 사명을 중심으로 프로그램의 주요 활동에 대해 합의하고 이에 대한 강점, 중요도 등을 확인하였다. 예를 들어, B기관에서 발달장애인 참여자가 사명에서 강조한 ‘친교’라는 키워드에 해당하는 활동(단체 활동 등)이 주요 활동에 포함됨을 확인하였다. 3단계에서는 주요 활동의 향후 계획을 다루었는데, 주요 활동의 세부 목표, 수행전략, 성과 측정 방안 등에 대해 이해관계자들이 제시한 평가 내용을 중심으로 하였다. 4단계에서는 각 기관별로 평가 결과를 반영하는 프로그램 개선 모형을 제시하였다. 이에 대해 이해관계자들은 만족하였으며, 자신의 의사가 반영된 프로그램 개선 모형이 도출되었다고 인식하였다. 5단계에서는 결과를 종합하여 활동의 주요 요소와 공통적으로 활용할 수 있는 프로그램 개선 모형을 도출하였다.

먼저 각 프로그램별 주요 활동의 구성요소는 다음 표와 같이‘VR활용 준비’, ‘ VR활용’, ‘VR활용 지원’, ‘일반화 및 전이’, ‘평가 및 환류’가 도출되었다.

Table 3.

Key components and activities of VR programs

먼저 ‘VR 활용 준비’는 프로그램 목표에 부합하는 기기 및 소프트웨어 구매, 탐색 등 가상현실을 직접적으로 활용하기 전 단계의 활동들이 포함되었다. 이외에도 가상현실에 익숙지 못한 발달장애인 대상 사전 설명회 등 가상현실을 활용하기 전에 이루어져야 하는 활동들이 포함되었다.

‘VR 활용’은 각 프로그램별로 목적 달성을 위한 직접적인 활동들로, 본 연구에서는 직업·여가·일상생활훈련 등 다양한 목적으로 가상현실을 활용할 수 있음이 나타났다. 이러한 활동은 이용자의 욕구와 가상현실 활용 수준 등에 따라 결정되어야 함이 나타났다.

‘VR활용 지원’은 발달장애인을 대상으로 장애인복지관에서 가상현실을 적절하게 활용하기 위해 필요한 전략과 지원으로 구성되었다. 발달장애인용 쉬운 안내 자료 제작, 가상현실 활용의 효과성 향상을 위한 전략, 직원의 역량 강화 등과 관련된 활동들이 포함되었다. 이러한 활동들은 가상현실 효과성 향상과 함께 당사자의 독립성을 강화하거나, 참여 동기를 강화하여 지속성을 부여하는 의미를 갖는 것으로 확인되었다.

‘일반화 및 전이’는 기관 내에서 직접적으로 연습 기회를 제공하는 방법과 기관 외부 자원을 활용해서 기회를 제공하는 방법으로 구분되었다. 주요 활동을 분석하는 과정에서 일반화 및 전이와 관련된 활동들은 가상현실 활용 활동과 연속적으로 진행되어야 함이 확인되었다.

‘평가 및 환류’ 는 프로그램의 마지막 단계에서 진행되는 활동으로 확인되었다. 콘텐츠 개발 요청은 이전 진행 결과를 토대로 다음 연도에도 프로그램이 지속될 수 있도록 하는 원동력이었으며, 평가는 가상현실 활용 활동을 점검하고, 미래를 제안하는 과정이었다.

범주화된 가상현실 프로그램 주요 구성요소들을 장애인복지관에서 활용할 수 있도록 사회복지 프로그램 모형으로 재구성한 결과, 다음 그림과 같이 도식화되었다.

Fig. 1.

Model for VR program utilization

가상현실 프로그램 활용모형에 따르면, 장애인복지관의 발달장애인 대상 가상현실 활용 프로그램은 3단계로 구분될 수 있다.

먼저 1단계(Initial stage)는 본격적으로 가상현실을 활용하기에 앞서 기반을 구축하는 단계이다. 이 단계에서는 프로그램을 진행하는데 필요한 기기와 콘텐츠를 발굴·설치하고, 필요한 공간 등 환경을 조성한다. 또한 프로그램 이용을 결정한 발달장애인을 대상으로 활용되는 기기 조작법, 가상현실의 개념 및 장점, 현실과의 차이점 등 프로그램 이용에 필요한 사전 정보를 오리엔테이션을 통해 안내한다.

2단계(Action stage)는 프로그램 목적 달성을 위해 가상현실 콘텐츠를 직접적으로 활용하는 단계이다. 이 단계는 구성요소 중 ‘VR활용’과 가상현실로 습득한 기술과 지식을 실생활에서 활용하기 위한 ‘일반화·전이’가 포함되는 단계이다. 만약 프로그램 내에서 일반화를 위한 기회가 주어지기 어려운 경우에는 동일 기관에서 운영하는 대안적인 프로그램 또는 관련 기능을 수행하고 있는 타 기관에 이용자를 연계·의뢰하도록 하여야 함이 나타났다.

3단계(Finish stage)는 후속 프로그램에 대한 환류가 이루어지기 위한 마무리 단계로, 후속 프로그램 개선에 필요한 콘텐츠 발굴과 프로그램 평가가 포함되었다. 콘텐츠 발굴은 프로그램을 진행하면서 확인된 발달장애인의 욕구와 이를 해결하는데 필요한 콘텐츠를 확인하고, 후속 프로그램에 이를 반영하는 과정이다. 이는 기존 콘텐츠 업데이트, 새로운 콘텐츠 발굴 및 탐색뿐 아니라 필요한 경우에는 새로운 콘텐츠 개발을 위해 IT 전문업체 등에 의뢰·요청이 포함되어야 하는 것으로 확인되었다. 프로그램 평가는 목적 달성 여부와 가상현실 활용 수준 등을 점검함으로써 프로그램의 성과를 확인하고 후속 프로그램을 위한 개선 사항에 대한 정보를 생성하는 과정을 포함한다. 이를 통해 프로그램 개선 및 지속에 대한 선순환 구조를 만들어 낼 수 있다.

한편, 가상현실 활용 단계에서 이를 활용하기 위한 지원(Supporting VR utilization) 요소는 3가지로 구성되었다. 첫 번째는 이용자를 위한 VR 활용 전략이다. 임파워먼트 평가를 통해 프로그램 이해관계자들은 가상현실 활용 전략으로 ‘팀 활동’과 ‘단계별 활동’ 두 가지를 제시하였다. 팀 활동은 발달장애인의 참여 동기를 유지하기 위한 전략으로, 이를 통해 프로그램 참여를 유도하고 흥미를 유지하기 위함이었다. 또한 팀 활동을 통해 함께 프로그램을 이용하는 다른 사람들과 긍정적인 관계 형성을 추구하기도 하였다. 단계별 활동은 주로 가상현실의 효과성을 강화하기 위한 전략으로 언급되었다. 발달장애인이 지속적으로 프로그램에 참여하고 이를 통해 능력 향상을 이루기 위해서는 개인별로 적절한 활동 수준을 결정하고, 이에 부합하는 수준으로 과업이 제공되어야 한다. 또한 발달장애인의 역량이 향상되면, 이들에게 제시되는 과업 수준도 점진적으로 높아질 필요가 있다.

두 번째는 직원의 가상현실 활용 역량 강화 전략이다. 이를 위해서 직원교육과 프로그램 매뉴얼 개발 등이 필요함이 나타났다. 발달장애인을 대상으로 가상현실의 장점을 효과적으로 이용하기 위해서는 서비스 제공자가 이에 대한 충분한 지식과 기술을 갖춰야한다. 또한 프로그램 매뉴얼은 담당자 교체 등으로 인해 프로그램 지속성을 담보하기 어려운 상황에서 활용될 수 있는 기초자료의 필요성을 의미한다. 종사자의 이직·퇴직 등으로 인해 가상현실 활용 경험 또는 관련 지식이 부족한 종사자가 해당 프로그램을 담당하게 되는 경우가 발생할 수 있다. 이러한 상황에서 프로그램 매뉴얼은 신규 담당자가 보다 빠르고 프로그램에 대해 이해할 수 있도록 도울 것이다.

세 번째는 쉬운 안내 제작이다. 이는 발달장애인의 자발적·독립적인 가상현실 활용을 돕기 위한 활동이다. 쉬운 안내 자료를 통해 발달장애인은 자신이 가상현실 속에서 무엇을 할 수 있는지, 주어진 기기를 어떻게 사용할 수 있는지를 알게 된다. 이를 통해 발달장애인은 독립적으로 가상현실을 활용할 수 있게 되는 등 가상현실에 대한 접근성을 높일 수 있다. 즉, 종사자의 직접적인 개입 없이도 발달장애인 참여자가 자신에게 주어진 과업을 이해하고, 스스로 할 수 있는 역량을 갖출 수 있게 된다.

Ⅳ. 논의 및 한계점

본 연구는 장애인복지관에서 성인 발달장애인을 대상으로 하는 가상현실 활용 프로그램을 평가하여 이에 대한 개선 모형을 제시하는 것을 목적으로 진행되었다. 이를 위해, 4개 장애인복지관에서 진행하고 있는 프로그램에 대해 이해관계자인 발달장애인 당사자, 부모, 서비스 제공자 등이 함께 임파워먼트 평가를 진행하였다. 평가 결과를 바탕으로, 가상현실 활용 프로그램의 주요 구성요소와 이를 중심으로 하는 프로그램 개선 모형을 제시하였다. 이러한 결과에 대해 논의하면 다음과 같다.

첫째, 발달장애인을 대상으로 가상현실을 활용하기 위해서는 장애인복지관 차원에서 많은 준비가 필요하다는 것이다. 가상현실은 아직 발달장애인과 서비스 제공자 모두에게 낯선 기술이다. 따라서 전통적인 프로그램과 달리 가상현실을 장애인복지관에서 효과적으로 사용하기 위해서는 서비스 제공기관 차원에서 별도의 환경 구축이 필요한 것이다. 이와 더불어 서비스 제공자뿐 아니라 발달장애인과 부모 등을 대상으로도 가상현실이 무엇인지 이해시키고, 이를 통해 무엇을 할 수 있는지 등도 지속적으로 안내하여야 한다. 이에 관련된 발달장애인 당사자, 가족, 서비스제공자의 욕구는 가상현실 프로그램 활용 모형 중 ‘1단계’에 포함되었다. 실제로, 초등학교를 대상으로 가상현실 스포츠실을 구축·운영한 사전 연구에서도 가상현실 활용을 위한 사전 준비 및 동료 교사들의 인식 부족 등은 저조한 가상현실 활용도로 연결되었다[39]. 이와 관련하여 본 연구는 발달장애인을 대상으로 가상현실 활용을 위해서는 철저한 사전 준비의 중요성을 제시하였다.

둘째, 가상현실을 효과적으로 활용하기 위해서 다양한 전략이 수반되어야 함을 확인하였다. 가상현실 활용 프로그램은 문맥 그대로 특정 목적을 달성하기 위한 주요 수단이 ‘가상현실’이 되는 것이다. 그러나 단순히 기존 서비스를 가상현실로 대체하는 것만으로는 프로그램의 목적을 달성할 수 없음에 평가참여자들은 모두 동의하였다. 따라서 사회복지 프로그램의 맥락에서 가상현실을 활용하기 위해서 다양한 간접 활동이 수반되어야 하는데, 본 연구에서는 VR 활용을 위해 직원 및 발달장애인용 가이드 제작, 팀 활동 등을 통한 흥미 부여, 가상현실에 대한 직원 역량 강화 기회 제공 등이 필요함이 확인되었다. 또한 프로그램 이용자인 발달장애인 개개인에 대한 수준별 지원이 이뤄져야 함도 나타났다. 이에 대해 Ericsson에서는 능력 향상을 위해서는 ‘의도적인 연습(deliberated practice)’이 필요하며, 이를 위해 전문성을 갖춘 코치에 의한 적절한 피드백 등 다양한 전략이 고려되어야 함이 제시되었다[40]. 또한 인지부하이론 관점에서 교수방법의 효과성을 향상시키기 위해 부정적 인지부하를 감소시키고 긍정적인 인지부하를 증가시켜야 하며, 이를 위해 프로그램 진행시간 및 학습에 사용되는 자료의 양 조정 등 다양한 전략의 사용이 강조되고 있다[41],[42]. 본 연구결과에 이러한 논의들을 적용하면, 가상현실을 단순히 활용하는 것뿐 아니라 서비스 제공자와 이용자가 함께 다양한 전략을 고려하는 것이 가상현실 활용 효과성 제고에 중요함을 의미한다.

셋째, 프로그램 개선을 위해, ‘가상 세계(virtual-world)’뿐만 아니라 ‘현실 세계(real-world)’에서 활동이 병행되어야 한다는 점이다. 가상현실에서 배운 기술 등을 완전하게 습득하기 위해서는 실제 상황에 적용해 볼 필요가 있는 것으로 이해될 수 있다. 즉, 평가참여자들은 가상현실이 ‘연습’을 위해서 유용한 기술임이 사실이지만, 일상생활에 적용하는 과정이 없으면 프로그램 목적을 달성하기 어렵다고 생각하고 있었다. 가상현실과 관련하여 일반화를 위한 활동의 필요성은 다수의 연구에서 이미 확인된 사실로, 본 연구에서도 지지 되었다. 이와 관련하여 Pan과 Hamilton[43]에서는 가상현실이 다양한 측면에서 유용한 것은 사실이나, 현실에서 일반화 가능성에 대해서는 보다 구체적인 연구가 필요하다고 하였다. 즉, 가상현실에서의 성공이 현실 세계에서의 성공으로 이어지지 않을 수 있으므로 발달장애인을 대상으로 하는 가상현실 프로그램에서는 현실 세계로의 일반화를 위한 지원이 이루어질 필요가 있다.

본 연구의 한계점은 임파워먼트 평가 과정에 후원 기관 등 프로그램의 모든 이해관계자가 참여하지 못하였다는 점이다. 임파워먼트 평가는 가능한 다양한 이해관계자의 참여를 독려하고 있다는 점을 고려하면[35], 후속연구에서는 보다 다양한 이해관계자의 참여를 독려할 필요가 있을 것이다. 또한 가상현실 활용 방안에 대한 일반화를 위해, 장애인복지관 외 발달장애인이 이용하고 있는 다양한 서비스 기관에서 본 연구결과에서 제시하는 모형 적용 가능성에 대해 고찰해 볼 필요가 있다.

Acknowledgments

이 논문은 2022년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임. (NRF-2022S1A5A2A01049453). 이 논문은 손다진의 박사학위논문의 일부 내용을 재구성한 것임.

References

• Y. Kim and G. H. Kim, “The Experiences of Social Workers on Digital-Based Practices during COVID-19,” Journal of Korean Social Welfare Administration, Vol. 24, No. 1, pp. 151-181, February 2022. [https://doi.org/10.22944/kswa.2022.24.1.006]
• A. Anderson, Virtual Reality, Augmented Reality, and Artificial Intelligence in Special Education : A Practical Guide to Supporting Students with Learning Differences, New York, NY: Routledge, 2019
• Z. Walker, E. Vasquez, and W. Wienke, “The Impact of Simulated Interviews for Individuals with Intellectual Disability,” Educational Technology & Society, Vol. 19, No. 1, pp. 76-88, 2016.
• M. O’sullivan and G. Kearey, “Virtual Reality (VR) Technology: Empowering Managers to Reduce and Eliminate Accessibility Barriers for People with Autism Spectrum Disorders,” Studies in Health Technology and Informatics, Vol 256, pp. 253-261, January 2018. [https://doi.org/10.3233/978-1-61499-923-2-253]
• J. J. Cromby, P. J. Standen, and D.J. Brown, “The Potentials of Virtual Environments in the Education and Training of People with Learning Disabilities,” Journal of Intellectual Disability Research, Vol. 40, No. 6, pp. 489-501, December 1996. [https://doi.org/10.1111/j.1365-2788.1996.tb00659.x]
• P. J. Standen and D. J. Brown, “Virtual Reality and Its Role in Removing the Barriers That Turn Cognitive Impairments into Intellectual Disability,” Virtual Reality, Vol. 10, No. 3, pp. 241-252, September 2006. [https://doi.org/10.1007/s10055-006-0042-6]
• S. Yalon-Chamovitz and P. L. T. Weiss, “Virtual Reality as a Leisure Activity for Young Adults with Physical and Intellectual Disabilities,” Research in Developmental Disabilities, Vol. 29, No. 3, pp. 273-287, May-June 2008. [https://doi.org/10.1016/j.ridd.2007.05.004]
• V. Hall, S. Conboy-Hill, and D. Taylor, “Using Virtual Reality to Provide Health Care Information to People with Intellectual Disabilities: Acceptability, Usability, and Potential Utility,” Journal of Medical Internet Research, Vol. 13, No. 4, e91, 2011. [https://doi.org/10.2196/jmir.1917]
• A. Shaker, X. Lin, D. Y. Kim, J.-H. Kim, G. Sharma, and M. A. Devine, “Design of a Virtual Reality Tour System for People with Intellectual and Developmental Disabilities: A Case Study,” Computing in Science & Engineering, Vol. 22, No. 3, pp. 7-17, May-June 2020. [https://doi.org/10.1109/MCSE.2019.2961352]
• S. Ahn, “Combined Effects of Virtual Reality and Computer Game-Based Cognitive Therapy on the Development of Visual-Motor Integration in Children with Intellectual Disabilities: A Pilot Study,” Occupational Therapy International, Vol. 2021, No. 1, 6696779, January 2021. [https://doi.org/10.1155/2021/6696779]
• M. Lotan and P. L. Weiss, “Improving Balance in Adults With Intellectual Developmental Disorder via Virtual Environments,” Perceptual and Motor Skills, Vol. 128, No. 6, pp. 2638-2653. December 2021. [https://doi.org/10.1177/00315125211049733]
• L. Shahmoradi and S. Rezayi, “Cognitive Rehabilitation in People with Autism Spectrum Disorder: A Systematic Review of Emerging Virtual Reality-Based Approaches,” Journal of NeuroEngineering and Rehabilitation, Vol. 19, 91, August 2022. [https://doi.org/10.1186/s12984-022-01069-5]
• L. Nabors, J. Monnin, and S. Jimenez, “A Scoping Review of Studies on Virtual Reality for Individuals with Intellectual Disabilities,” Advances in Neurodevelopmental Disorders, Vol. 4, pp. 344-356, August 2020. [https://doi.org/10.1007/s41252-020-00177-4]
• A. Dechsling, S. Orm, T. Kalandadze, S. Sütterlin, R. A. Øien, F. Shic, and A. Nordahl-Hansen, “Virtual and Augmented Reality in Social Skills Interventions for Individuals with Autism Spectrum Disorder: A Scoping Review,” Journal of autism and developmental disorders, Vol. 52, pp. 4692-4707, November 2021. [https://doi.org/10.1007/s10803-021-05338-5]
• M. M. Montoya-Rodríguez, V. de Souza Franco, C. Tomás Llerena, F. J. Molina Cobos, S. Pizzarossa, A. C. García, and V. Martínez-Valderrey, “Virtual Reality and Augmented Reality as Strategies for Teaching Social Skills to Individuals with Intellectual Disability: A Systematic Review,” Journal of Intellectual Disabilities, Vol. 27, No. 4, pp. 1062-1084, December 2023. [https://doi.org/10.1177/17446295221089147]
• M. J. Smith, E. J. Ginger, K. Wright, M. A. Wright, J. L. Taylor, L. B. Humm, ... and M. F. Fleming, “Virtual Reality Job Interview Training in Adults with Autism Spectrum Disorder,” Journal of autism and developmental disorders, Vol. 44, pp. 2450-2463. May 2014. [https://doi.org/10.1007/s10803-014-2113-y]
• J. N. Meindl, S. Saba, M. Gray, L. Stuebing, and A. Jarvis, “Reducing Blood Draw Phobia in an Adult with Autism Spectrum Disorder Using Low-Cost Virtual Reality Exposure Therapy,” Journal of Applied Research in Intellectual Disabilities, Vol. 32, No. 6, pp. 1446-1452, June 2019. [https://doi.org/10.1111/jar.12637]
• S. Langener, J. Kolkmeier, J. VanDerNagel, R. Klaassen, J. van Manen, and D. Heylen, “Development of an Alcohol Refusal Training in Immersive Virtual Reality for Patients With Mild to Borderline Intellectual Disability and Alcohol Use Disorder: Cocreation with Experts in Addiction Care,” JMIR Formative Research, Vol. 7, e42523, April 2023. [https://doi.org/10.2196/42523]
• M.-J. Park and H.-J. So, “The Effect of Virtual Reality-Based Vocational Education on the Acquisition and Transfer of Barista Job Performance of Students with Developmental Disabilities,” Journal of Korean Association for Educational Information and Media, Vol. 27, No. 3, pp. 1069-1095, September 2021. [https://doi.org/10.15833/KAFEIAM.27.3.1069]
• T. S. Lee, and M. J. Kim, “The Effects of Intervention Using VR-Based Serious Game on Coffee Making Skills and Class Interest of Students with Developmental Disabilities,” Journal of Korea Game Society, Vol. 22, No. 2, pp. 3-14, April 2022. [https://doi.org/10.7583/JKGS.2022.22.2.3]
• K.-H. Lee, J. Kim, and J. Yoo, “The Analysis of the Health Related Physical Fitness and Mental Health in Individuals with Intellectual Disabilities on Virtual Reality Exercise Program by Game Bike – A Pilot Study,” Journal of Korea Entertainment Industry Association, Vol. 14, No. 2, pp. 119-129, February 2020. [https://doi.org/10.21184/jkeia.2020.2.14.2.119]
• H. J. Kwon and H. Yang, “Physical Activity Intervention Using Virtual Reality Technology for Individuals with Developmental Disabilities : A Literature Review,” Korean Journal of Adapted Physical Activity, Vol. 28, No. 4, pp. 129-140, December 2020.
• Y. Baek and J. Kim, “The Effects of Virtual Reality (VR)-based Community Simulation Instruction on Skills for Using Fast-Food Restaurants with Students Demonstrating Intellectual Disabilities,” Korean Journal of Special Education, Vol. 55, No. 2, pp. 109-135, September 2020. [https://doi.org/10.15861/kjse.2020.55.2.109]
• T.-S. Lee, “Effects of VR based Intervention on Daily Living Skills and Class Attitudes of Students with Intellectual Disabilities,” Journal of the Korea Convergence Society, Vol. 12, No. 2, pp. 155-162, February 2021. [https://doi.org/10.15207/JKCS.2021.12.2.155]
• MBN News. People with Developmental Disabilities Who Have Achieved Their Dreams of Becoming Baristas...The Secret Is AR and VR [Internet]. Available: https://www.youtube.com/watch?v=a60gMYSPTFU
• D. D. Royce, B. A. Thyer, and D. Padgett, Program Evaluation : An Introduction to an Evidence-Based Approach, 6th. Boston, MA : Cengage, 2016.
• S. Kwon, “Study of Social Worker’s Perception and Experience on Program Outcome Measurement: Grounded Theoretical Analysis,” The Journal of Welfare and Counselling Education, Vol. 6, No. 2, pp. 1-34, October 2017. [https://doi.org/10.20497/jwce.2017.6.2.1]
• M. Q. Patton, Utilization-focused Evaluation, 4th ed. Thousand Oaks, CA : Sage Publications, 2008.
• M. H. Ko and K. A. Lee, “Medical English Program Evaluation and Improvement at a Local University in Korea,” English Language Teaching, Vol. 35, No. 3, pp. 129-159, October 2023. [https://doi.org/10.17936/pkelt.2023.35.3.007]
• D. M. Fetterman, “Empowerment Evaluation,” Evaluation Practice, Vol. 15, No. 1, pp. 1-15, February 1994. [https://doi.org/10.1016/0886-1633(94)90055-8]
• M. Secret, A. Jordan, and J. Ford, “Empowerment Evaluation as a Social Work Strategy,” Health & Social Work, Vol. 24, No. 2, pp. 120-127, May 1999. [https://doi.org/10.1093/hsw/24.2.120]
• D. M. Fetterman, Foundation of Empowerment Evaluation, Thousand Oaks, CA: Sage Pub., 2001
• P. Conway, J. Cresswell, D. Harmon, C. Pospishil, K. Smith, J. Wages, and L. Weisz, “Using Empowerment Evaluation to Facilitate the Development of Intimate Partner and Sexual Violence Prevention Programs,” Journal of Family Social Work, Vol. 13, No. 4, pp.343-361, July 2010. [https://doi.org/10.1080/10522158.2010.493736]
• F. Francés‐García, D. La Parra‐Casado, M. J. Sanchís‐Ramón, M. F. R. Camacho, and D. Gil‐González, “Empowerment Evaluation: Key Methodology Aspects from Participatory Research and Intervention with Roma Girls,” Children & Society. Vol. 38, No. 2, pp. 470-486, March 2023. [https://doi.org/10.1111/chso.12716]
• D. Fetterman, “Empowerment Evaluation: A Stakeholder Involvement Approach,” Health Promotion Journal of Australia, Vol. 30, No. 2, pp. 137-142, April 2019. [https://doi.org/10.1002/hpja.243]
• K. Ham and B. Davies, “‘Just Look at My Face’: Co-production of a Positive Behavioural Support Plan,” Learning Disability Practice (2014+), Vol. 21, No. 2, pp. 32-36, March 2018. [https://doi.org/10.7748/ldp.2018.e1883]
• S. Flynn, R. P. Hastings, R. McNamara, D. Gillespie, E. Randell, L. Richards, and Z. Taylor, “Who’s Challenging Who?: A Co-produced Approach for Training Staff in Learning Disability Services about Challenging Behaviour,” Tizard Learning Disability Review, Vol. 24, No. 4, pp. 192-199, November 2019. [https://doi.org/10.1108/TLDR-03-2019-0013]
• D. Chinn and C. Pelletier, “Deconstructing the Co-production Ideal: Dilemmas of Knowledge and Representation in a Co-design Project with People with Intellectual Disabilities,” Journal of Intellectual & Developmental Disability, Vol. 45, No, 4, pp. 326-336, September 2020. [https://doi.org/10.3109/13668250.2020.1795820]
• S.-W. Park, “A Critical Study on the Experience of Construction and Operating a Virtual Reality Sports Room,” The Korean Journal of Physical Education, Vol. 61, No. 2, pp. 125-140, March 2022. [https://doi.org/10.23949/kjpe.2022.3.61.2.10]
• K. A. Ericsson, The Influence of Experience and Deliberate Practice on the Development of Superior Expert Performance, in The Cambridge Handbook of Expertise and Expert Performance, Cambridgem, England: Cambridge University Press, ch. 38, pp. 685-705, 2006.
• F. Paas, A. Renkl, and J. Sweller, “Cognitive Load Theory and Instructional Design: Recent Developments,” Educational Psychologist, Vol. 38, No. 1, pp. 1-4, 2003. [https://doi.org/10.1207/S15326985EP3801_1]
• C. McDonald, M. Davis, and C. Benson, “Using Evidence-Based Learning Theories to Guide the Development of Virtual Simulations,” Clinical Social Work Journal, Vol. 49, pp. 197-206, May 2021. [https://doi.org/10.1007/s10615-021-00809-9]
• X. Pan and A. F. de C. Hamilton, “Why and How to Use Virtual Reality to Study Human Social Interaction: The Challenges of Exploring a New Research Landscape,” British Journal of Psychology, Vol. 109, No. 3, pp. 395-417, August 2018. [https://doi.org/10.1111/bjop.12290]