Journal Archive

사회의 한 구성원으로 생활하기 위해서 가장 기본적인 수단은 의사소통이다. 의사소통이란 청자와 화자가 자신의 의견이나 감정을 공유하고 나누는 과정을 의미한다. 최근에는 다양한 의사소통 수단을 통해 소통의 경험과 폭이 넓어지고 있다. 예를 들어, 00사의 이모티콘을 사용하여 감정을 전달하거나 전자 우편으로 자신의 의견을 나누는 등의 일련의 활동들 또한 의사소통의 수단이 확장되는 것을 의미한다. 이와 같이 기존에 구어 중심의 의사소통 수단을 비구어 또는 상징과 같은 이모티콘 등으로 대체하거나 보완하여 활용되는 것을 보완대체의사소통(Augmentative and alternative communication; 이하 AAC)라고 한다. AAC 체계에는 상징, 도구, 전략, 기법의 4가지 구성요소가 포함된다. 최근 공학의 발전과 소통의 중요성을 강조하는 시대적 환경 변화에 따라 국내외에서 그림이나 사진과 같은 다양한 상징을 도구에 탑재하여 사용하는 AAC 도구와 프로그램이 개발되어 출시되었다. 그러나 상징이나 사진을 사용하는 AAC 도구는 지속적으로 개발되고 현장에 보급되는데 반하여, 글자 또는 철자를 사용하여 음성을 출력하는 글자 기반 AAC 도구의 개발 및 보급은 여전히 부족한 상태이다. 이에 본 연구는 철자 사용에 어려움이 있는 중도·중복 장애학생 및 성인의 접근성을 고려한 사용자 맞춤형 AAC 화상키보드를 개발하여 글자 기반 AAC 연구의 확장 및 적용에 대해 살펴보는 것을 목적으로 하였다.

본 연구는 구어를 통해 의사소통하기 어려운 중도·중복장애학생 및 뇌병변 장애인이 글자를 익히고 활용하여 자신을 표현할 수 있도록 세 명의 장애학생 부모의 심층 면담을 통해 사용자 맞춤 AAC 화상키보드 콘셉트를 구상한 후, 프로그램 개발자와 협의하여 장애학생이 다양한 보조기기를 활용하여 접근하기 용이한 윈도우 기반의 화상키보드를 개발하도록 하였다. 본 연구는 ① 선행연구 분석 - ② 부모 및 전문가 면담을 통한 화상키보드 개발 콘셉트 설정 - ③ 전문가 타당도 검증 - ④ 화상키보드 수정 - ⑤ 화상키보드 개발 - ⑥ 장애학생에게 적용을 통한 검증의 단계로 진행하였다.

AAC란 말(speech)이나 글을 통해 의사소통하기 어려운 경우, 다양한 형태의 의사소통 수단을 사용하는 것이다. 예를 들어, AAC에는 말의 발달이 늦거나 또는 조음에 문제가 있는 자의 말을 보완(augment)하여 의사소통을 지원하거나, 또는 조음 기관에 대한 수술 또는 장애 등으로 인해 발음할 수 없는 자에게 다른 대체적인(alternative) 의사소통 수단을 지원하는 것 등이 포함될 수 있다. 일반적으로, AAC은 사용자가 입력하기 원하는 기호(symbol)를 직접적으로 선택하는 방식, 또는 사용자가 입력하기 원하는 기호를 간접적으로 선택하는 방식이 있다. 구체적으로, 기호를 직접적으로 선택하는 방식은 사용자가 자신의 신체 일부분(예를 들어, 손가락, 발가락, 코, 눈, 팔꿈치 등)으로 입력하고자 하는 기호를 지적하거나, 또는 보조 수단을 이용하여 입력하고자 하는 기호를 직접 또는 간접적으로 지적하는 것이다.

여기서, 기호를 직접적으로 지적할 수 있는 보조 수단에는 헤드 스틱(head sticks), 핸드 스플린트(hand splints) 및 마우스 스틱(mouth sticks) 등이 포함될 수 있다. 그리고 기호를 간접적으로 지적할 수 있는 보조 수단에는 터치 패드(touch pad), 광 포인터(light beam pointer), 조이스틱(joy sticks) 및 시선 추적 모니터(ocular eye gaze monitor) 등이 포함될 수 있다. 글자나 그림과 같은 기호를 간접적으로 선택하는 방식을 스캐닝(scanning) 또는 훑기이라고 하는데, 예를 들어 여러 기호들에 대하여 초점이 하나씩 이동하는 과정 중에 사용자가 입력하고자 하는 기호를 스위치와 같은 보조기기를 사용하여 간접 선택하는 것이다. 스캐닝은 자동 스캐닝(automation scanning), 순서적 스캐닝(step scanning), 역 스캐닝(inverse scanning), 그룹 스캐닝(group scanning), 및 행렬 스캐닝(row-column scanning) 등으로 분류될 수 있다.

종래의 AAC 도구는 사용자가 한정된 배열의 키패드를 사용하거나, 입력하고자 하는 기호를 일일이 찾아서 선택해야 하는 어려움이 있었다. 또한 입력하고자 하는 기호를 직접적으로 선택(즉, 사용자가 신체의 일부분 또는 보조수단을 이용하여 지적)하는 과정 또는 입력하고자 하는 기호를 간접적으로 선택하는 과정에서 의도치 않게 다른 기호를 선택할 가능성이 매우 높았다.

최근에 장애학생을 대상으로 한 AAC 선행 연구를 살펴보면 다음과 같다.

먼저 [1]은 스위치를 사용하여 지체 및 중복 장애학생에게 AAC 도구를 사용하여 의사소통 능력의 향상을 보고하였다. 선행연구에서는 스위치의 자동 스캐닝(automation scanning) 방식의 적용을 통해 AAC 도구 사용의 활용도가 증가하였고 이에 의사소통 능력도 향상된 것으로 나타났다. [2]에서는 스위치 조작도 어려운 지체 및 중복 장애학생을 위해 적외선 센서로 눈의 동공을 스캐닝 하여 컴퓨터나 기기를 조작할 수 있도록 하는 돕는 Eye tracker를 적용하여 AAC 도구 사용의 효과를 검증하였다. 지체 및 중복 장애학생 안구의 움직임을 사용하여 Eye tracker를 사용하여 AAC 도구를 직접 선택으로 적용하는 것은 스스로의 도구 사용 적극성을 높이고 이로 인해 타인과의 상호작용에서도 효과적임이 나타났다. [3]에서는 스위치를 활용하여 AAC 중재를 지체 및 중복장애 고등학교 학생의 수업 참여행동(반응하기, 주의집중하기, 수업참여 행동 빈도)에 효과적임을 보고하였다.

종래의 운동장애로 인해 제한을 갖는 지체 및 중복 장애학생을 대상으로 한 연구들은 대부분 첫째, 스위치나 Eye tracker와 같은 보조기기를 AAC 도구에 적용하였다는 것과 둘째, 그림이나 상징 기반의 AAC 도구를 사용하였다는 공통점이 있다. 특히 지체 및 중복 장애학생을 대상으로 한 AAC 연구들은 대부분 그림이나 사진 기반의 AAC 도구 사용하고 있다. 이는 그림이나 사진 기반의 AAC 도구가 운동성 및 인지 능력에서 부담이 덜하여 지체 및 중복 장애학생에게 적합하였고, 초기 의사소통 수단을 증가시키기에 적합하였기 때문으로 간주된다. 그러나 지체 및 중복 장애학생이 AAC 도구를 지속적으로 사용하여 의사소통 능력이 향상되고 어휘가 증가하게 될 경우 또는 보다 더 많은 어휘를 사용하여 다양한 타인과 소통해야 하는 뇌병변 장애 성인의 경우에는 좀 더 보편적인 수단으로 글자 사용의 필요성이 제기된다. 그러나 기존의 대다수의 AAC 연구들이 그림 상징을 기반으로 하였다는 제한성은 글자를 기반으로 한 AAC 연구의 확장이 필요함으로 보여주는 것이다.

본 연구에서는 선행연구로 지체장애 성인 9명과 특수교사 17명을 대상으로 지체장애인을 위한 글자 기반 AAC 프로그램 개발에 대한 요구를 파악한 [4]에서 제안한 요구사항을 먼저 살펴보았다. 첫째, 다양한 음색 제공, 둘째, 현재 널리 보급되어 있는 플랫폼으로 스마트폰이나 태블릿 선호, 셋째, 음성 출력을 단어나 음절 단위의 즉각적인 음성 출력보다는 전체 문장을 입력 후 출력하는 것을 요구하였다. 넷째, 글자를 쓰면 소리로 출력하는 TTS(Text To Speech) 기능을 사용하여 자주 사용하는 문장을 저장하고 필요할 때 바로 재사용 할 수 있는 기능이 필요하다. 다섯째, 글자 입력을 도와주는 기능을 필요로 한다. 단어 예측 방식을 통해 글자 입력을 효과적으로 도와줄 수 있다는 것이다. 여섯째, 긴 문장 말하기 기능으로 발표나 면접, 긴 인사말과 같은 예견된 장소나 행사에서 사용할 수 있는 기능이 필요하다. 일곱째, 사용자 인터페이스 요구사항으로 운동 장애인을 위해 스마트 폰의 작은 크기 때문에 쿼티 키보드 형식은 입력 오류를 발생한다. 이 때문에 사용자 지정 키보드를 선호한다. 손사용의 어려움 때문에 개인별로 적합한 키보드를 제공해 주는 것이 필요하다. 또한 운동 능력에 심각한 장애를 가지고 있어 키보드 입력이 어렵고 스위치 on/off와 같은 단순 터치만 가능한 언어 장애인의 경우, 스캐닝 기능을 이용한 인터페이스가 필요하다. 이상의 요구를 반영하여 개발된 글자를 기반으로 한 AAC 프로그램은 주로 키보드 형태로 구성되어 안드로이드 운영체계에서 사용하는 진소리, 스마트AAC 키보드, 나의 AAC 글자판 등이 있다.

본 연구에서는 중도·중복 장애학생 및 성인을 위한 글자 기반 AAC 프로그램을 개발하기 위하여 중도·중복 장애학생의 학부모 3인, 중도·중복 장애학생을 대상으로 AAC 중재를 제공한 경험이 3년 이상인 AAC 전문가 3인, 중도·중복 장애학생을 가르친 경험이 20년 이상 있는 특수교육 전문가 2인의 면담 및 자문을 통해 다음의 요구 사항을 정리하였다.

첫째, 안드로이드 운영체계의 글자기반 AAC 프로그램은 화면이 작고 키보드 조작이 어려워서 화면이 크고 터치도 가능하면서 스위치와 같은 보조기기 연결이 유용한 윈도우 기반의 글자 기반 AAC 프로그램이 요구된다.

둘째, 기존의 안드로이드 또는 윈도우 운영체제의 글자 키보드는 쿼티 방식을 주로 구현한다. 안드로이드의 경우에는 천지인 방식도 가능하지만 모두 정해진 글쇠를 제공하고 있다. 이로 인해 인지능력에 어려움이 있고 운동에도 제한이 있는 중도·중복 장애학생이나 성인, 발달장애학생이 쿼티 방식의 키보드를 사용하기에는 어려움이 있었다. 아직까지 중도·중복 장애학생 및 성인이나 발달장애학생에게 유용한 키보드의 글쇠에 대한 연구도 전무하고 추천되는 키보드도 없기 때문에 장애학생의 개별 특성을 고려하여 한글, 영어, 숫자, 기능키 등의 모든 글쇠를 자유롭게 위치하여 사용할 수 있는 사용자 맞춤 글자 기반 AAC 개발이 요구된다.

셋째, TTS로 구현되는 AAC 프로그램의 경우, 글쇠를 입력하면 그대로 자모음을 출력하여 개인의 사생활에 침해가 되고 글자를 입력하는 동안 그대로 자모음 출력으로 인해 의사소통 상대방과의 자연스러운 대화 주고받기에 방해를 받는 경우가 종종 있다. 따라서 글자창에 자모음을 완성하여 출력 버튼을 누를 수 있는 기능을 선택 가능하도록 구현하여 사용자 맞춤으로 자모음 동시 출력 또는 완성형 출력이 가능하도록 해야 한다.

넷째, 기존의 키보드는 한글 프로그램이나 인터넷 검색창에서 키보드에서 글쇠를 누르는 순간 바로 글자가 입력되어 수정할 수 없는 제한성이 있었다. 이로 인해 키보드에서 글자를 넣지 못하고 한글 프로그램이나 인터넷 검색창에 글자를 넣어야하고 수정해야 하는 불편함이 있다. 이로 인해해 인지 능력에 제한이 있거나 운동성에 어려움이 있는 경우에는 정확한 문장이나 단어를 완성하는데 오랜 시간이 필요했다. 이를 해결할 수 있도록 키보드 글자판에 글쇠를 입력하여 그 안에서 수정한 후, 이를 전송하면 바로 한글프로그램이나 인터넷 검색창에 붙여 넣어지도록 하여 키보드와 타 프로그램의 활용이 유용할 필요가 있다.

다섯째, 기존의 요구조사에서 나타난 예측 기능, 선택 기능, 스캐닝 기능 등이 구현되어 다양한 접근성이 확보되는 키보드 개발이 요구된다.

상기 설명된 요구들을 반영하여 개발된 사용자 맞춤 AAC 화상키보드 핵심 기능을 정리하면 다음과 같다.

첫째, 사용자의 요구에 맞게 한글 자음, 한글 모음, 영문자 알파벳, 숫자 및 특수 기호 등의 모든 키보드 글쇠의 위치를 자유롭게 변환하여 배치할 수 있다. 이에 본 연구의 화상키보드는 장애인뿐만 아니라 초기에 한글 자모를 익히는 초등학생부터 고급 기능을 구사하는 성인에 이르기까지 개인 맞춤으로 화상키보드를 만들어서 사용할 수 있도록 보편적 접근이 가능하도록 개발하였다.

둘째, 사용자에 의해 선택된 기호를 즉각 출력하지 않고 이를 수정할 수 있는 기회를 제공하므로, 사용자가 의사소통에 어려움을 겪고 있다는 사실을 의사소통 상대방에서 노출시키지 않을 수 있다.

셋째, 상기 선택하는 단계는 상기 보조 입력 장치가 스위치인 경우, 상기 자판 배열에 따라 배치된 글쇠들에 대하여 순차적으로 초점을 이동시키고 상기 보조 입력 장치로부터 선택 신호가 수신된 시점에 초점이 위치하는 글쇠를 선택할 수 있는 스캐닝 방식을 제공하였다.

넷째, 사용자 맞춤으로 배치한 키보드 글쇠를 읽어주는 TTS 기능을 옵션 기능으로 제공하여 AAC 화상키보드로 사용할 뿐만 아니라 한글 자모음 학습에도 효과적으로 개발하였다.

본 연구에서 개발된 사용자 맞춤 AAC 화상키보드는 사용자가 입력하고자 하는 기호를 제한 없이 선택하고, 의도치 않게 선택된 기호를 수정할 수 있는 기회를 제공하는 것을 그 목적으로 한다.

본 연구는 상술한 바와 같은 기술적 과제를 달성하기 위한 다음의 기술을 구현하였다. ① 사용자의 계정에 대응되어 사전에 등록된 자판 배열을 불러오기, ② 불러온 자판 배열에 따라 글쇠들을 구성하여 출력하고 AAC 체계 사용을 위해 연결된 보조 입력 장치로부터 수신된 정보를 기초로 하여 상기 글쇠들 중 어느 하나를 선택하기, ③ 상기 선택된 글쇠에 대응되는 기호를 텍스트 박스에 출력하기, ④ 상기 보조 입력 장치로부터 입력 완료가 수신되기 전까지 상기 텍스트 박스에 출력된 기호의 수정을 허용하고, 상기 입력 완료가 수신되면 상기 텍스트 박스에 출력된 기호를 사전에 지정된 검색창이나 프로그램에 전달하기, ⑤ 글쇠를 선택하는 방법은 직접 선택과 간접 선택의 방식을 모두 허용하기, ⑥ 자판 배열을 구성하는 각 글쇠는 한글 자음, 모음, 또는 한 글자 이상의 단어 및 복수 개의 단어로 구성된 문장 중 어느 하나에 대응하기.

본 연구에서 개발된 사용자 맞춤 AAC 화상키보드는 첫째, 사용자의 계정에 대응되어 사전에 등록된 자판 배열을 불러오는 단계, 둘째, 불러온 자판 배열에 따라 가상의 글쇠들을 구성하여 출력하고, 셋째, AAC을 위해 연결된 보조 입력 장치로부터 수신된 정보를 기초로, 상기 글쇠들 중 어느 하나를 선택하는 단계, 넷째, 선택된 글쇠에 대응되는 기호를 텍스트 박스에 출력하는 단계, 다섯째, 보조 입력 장치로부터 입력 완료가 수신되기 전까지 상기 텍스트 박스에 출력된 기호의 수정을 허용하고, 여섯째, 상기입력 완료가 수신되면 상기 텍스트 박스에 출력된 기호를 사전에 결정된 애플리케이션에 전달하는 단계를 실행시킬 수 있다.

사용자 맞춤 AAC 화상키보드는 사용자가 로컬 환경에서 설치하여 사용할 수 있는 윈도우즈 애플리케이션으로 개발되었다. 인터넷 브라우저와 워드프로세서의 입력기로 활용 가능하고, Man Machine 간의 인터페이스로 스위치 또는 eye tracker 장비를 사용하는 것을 전제로 하였다. 사용자의 특성을 고려하여 추후 다양한 장비를 적용할 수 있도록 Porting Layer를 구현하였다. 사용자 맞춤 AAC 화상키보드를 실행되기 위해서는 다음의 몇 가지 요구 사항이 전제된다.

첫째, 운영체계는 Windows 7, 8, 8.1, 10에서 구현된다. 설치를 위해서는 다음 세 가지를 확인해야 한다. 또한 윈도우 비트를 확인한다.

둘째, 화상키보드에서 자동완성을 위한 access엔진을 설치한다. 윈도우 비트가 64bit인 경우와 32bit인 경우를 구분하며 각각에 대한 설치 프로그램(Access Database Engine, Speech Platform Runtime, MS Speech_TTS_ko-KR_Heami.msi)을 미리 다운 받아 설치해야 사용자 맞춤 AAC 화상 키보드를 실행할 수 있다.

본 연구에서 개발된 화상키보드 흐름도는 다음과 같다.

Fig. 2. 
Flow chart of customized AAC on-screen keyboard

본 연구에서 개발된 사용자 맞춤 AAC 화상키보드는 다음 사례 학생에게 적용하였다.

Fig. 6. 
Example of using customized AAC on-screen keyboard

3) 연구 참여자가 사용하는 화상키보드 화면 구성

본 연구 참여자가 사용하는 화상키보드는 사용자의 특성을 고려하여 자음판, 모음판으로 구성하였다. 자모음을 순서대로 습득하는 것과 익숙한 기능어휘 글자를 스스로 표현할 수 있도록 핵심어휘 글자를 선정하였다. 먼저 선정된 핵심어휘 글자는 개인 이름, 부모님 성함, 학교 이름, 선생님 이름, 좋아하는 프로그램명이었다. 다음은 사용자 맞춤으로 자모음판1, 모음판 2(한글판, 영문판: 기능키로 전환)로 변환한 것과 ‘학교’라는 글자를 익히고 사용할 수 있도록 사용자 맞춤으로 AAC 화상키보드를 설정한 화면의 예이다.

Table 3. 
Example of customized keyboard setting

Image of keyboard	Keyboard setting
	[ㄱ][ㄴ][ㄷ][ㄹ][ㅁ] [ㅂ][ㅅ][ㅇ][ㅈ][ㅊ] [ㅋ][ㅌ][ㅍ][ㅎ]
	<ㅏ><ㅑ><ㅓ><ㅕ><ㅣ> <ㅗ><ㅛ><ㅜ><ㅠ><ㅡ> <ㅐ><ㅔ><ㅒ><ㅖ>
	[][ㅎ][][][][ㄱ][] [][][]<ㅛ>[][][] [][][][][][][] [][][][]<ㅏ>[][]