Journal Archive

Braina는 Brainasoft에서 제공하는 Windows PC용 지능형 개인 비서로, 전 세계 100개 이상의 언어를 지원하는 소프트웨어이다[4]. 특히 받아쓰기 모드에서는 MS Word, Google Docs 등의 소프트웨어에 음성을 텍스트로 변환하여 작성할 수 있다. 악센트를 인식하고 웹 검색을 지원한다는 특징이 있지만, 텍스트 외의 이미지나 도표 등은 삽입할 수 없다. 또한, 보고서 작성을 위해서는 받아쓰기 모드를 활용해야 하는데, 이는 1년에 79달러라는 비용을 지불해야 하므로 사용자 입장에서는 부담을 느낄 수 있다는 단점이 있다.

네이버 클로바 노트는 AI 기술을 활용한 음성 기록 관리 서비스로, 음성 녹음을 업로드하면 자동으로 텍스트로 변환하여 노트를 만들어 준다[5]. 미팅이나 회의 등 중요한 내용을 모두 기록 및 정리하기 어려운 상황에서 많이 사용하며, 생성된 노트는 다시 음성으로 들을 수 있다. 검색을 통해 원하는 내용이 기록된 부분을 찾을 수 있고, 자동으로 내용을 요약해주는 기능까지 제공한다. 하지만 시각장애인을 위해 구현된 서비스가 아니기 때문에, 비시각장애인에 비해 사용하기 어렵다는 단점이 있다.

VTR4VI는 본 논문의 선행 연구인 ‘Implementation of Voice-Based Report Generator Application for Visually Impaired’에서 개발한 음성 보고서 생성 모바일 어플리케이션으로, 상기 2가지 서비스의 한계점을 해결하여 시각장애인이 독립적으로 음성 명령과 내용을 통해 보고서 생성을 할 수 있도록 한다[3]. ‘파일 편집하기’ 기능을 제공하여 작성한 보고서를 단어 단위로 수정하고, 작성한 내용을 확인할 수 있다. 또한, 보조 기기를 사용하여 앱을 작동하여 시각장애인이 보다 효율적으로 앱을 사용할 수 있는 것이 특징이다. 하지만 이미지 삽입이 불가능하다는 단점이 있다.

이미지 삽입을 위한 명령과 내용을 인식하는 단계로, 그림 2(a)의 메인 화면에서 진행한다. 보고서 작성 도중 그림을 추가하고 싶은 시점에 “그림 추가” 명령을 음성으로 입력하고, 원하는 이미지에 대한 설명을 입력하면, 구글 speech API가 그 음성을 텍스트로 변환한다. 본 단계에서는 “그림 추가” 명령이 제대로 인식되었는지 여부를 소리 알림으로 알려준다.

음성으로 입력한 내용을 구글에 검색하여 크롤링하는 단계로, 웹 브라우저를 자동화하는 도구인 Selenium에서 제안하는 브라우저를 구동하고 조작하는 WebDriver 라이브러리를 활용하여 이미지 크롤러를 구현하였다[6]. 구현한 크롤러는 서버로 전송된 내용을 구글에서 검색하고, 검색 결과 이미지 중 상위 10개를 크롤링하여 이미지와 URL을 저장한다.

크롤링한 이미지에 대한 캡션을 생성하는 단계로, Txtai에서 제공하는 Image Caption Pipeline Processing Framework[7]를 사용하여 이미지의 캡션을 생성한다. 그림 4는 Framework를 사용하여 이미지 캡션을 정상적으로 생성하는 것을 보이고 있다. 이렇게 생성된 캡션과 ‘단계 2’에서 저장한 이미지의 URL을 클라이언트로 전송하여 다음 단계인 ‘단계 4’를 진행할 수 있도록 한다.

Fig. 4. 
Image captioning using Txtai

사용자가 캡션을 듣고 원하는 이미지를 선택하는 단계로, 그림 2(c)에 해당한다. 서버에서 받은 캡션을 리스트뷰로 띄운다. 리스트뷰의 아이템이 선택되면 안드로이드에 내장된 TTS(Text-to-Speech) 기능을 사용하여 선택된 아이템의 캡션을 읽어준다. 추가로, 시각장애인의 정의와 판정 기준[8]에 따라 이미지를 어느 정도 식별할 수 있는 사용자 또는 비시각장애인 사용자가 캡션에 해당하는 이미지를 확인하려는 경우도 존재할 수 있다.

이러한 상황을 대비하여 캡션을 선택하고 ‘이미지 확인’ 버튼을 클릭하면 그림 2(d)와 같이 이미지와 캡션이 삽입된 팝업 창이 뜨고, 이를 통해 이미지를 확인할 수 있다. 마지막으로 사용자는 캡션을 듣고 원하는 캡션을 선택할 수 있고, ‘삽입’ 버튼을 보조 기기로 클릭하면 ‘단계 5’로 넘어간다.

선택한 이미지를 보고서에 삽입하는 단계이다. ‘단계 4’에서 선택한 캡션에 해당하는 이미지의 URL을 html 형식의 보고서에 ‘img’ 태그 내 ‘src’ 속성에 삽입한다. 최종적으로 그림 2(e)와 같이 보고서에 삽입된 것을 확인할 수 있다.

표 2는 사용성 평가를 수행한 결과를 평균한 것으로, 이를 이용하여 결과를 분석한다.

• 이미지 삽입 작업에 대한 사용성 평가 결과 분석

본 사용성 평가는 Blind의 여부가 기준이기 때문에, 이미지 삽입 작업에 대한 Blind 수행 시간과 Non-Blind 수행 시간을 비교하였다. 이미지 삽입을 수행하기 위하여 Blind의 경우 평균 117.4초가 소요되었고, Non-Blind의 경우 평균 107.9초가 소요되었다.

두 경우에 대한 T-검정을 수행한 결과, P-Value가 0.11로 알파 값인 0.05를 초과하므로 통계적으로 유의하지 않다는 것을 확인하였다.

• 전체 작업에 대한 사용성 평가 결과 분석

다음으로 파일 생성부터 제목 작성, 문단 작성, 이미지 삽입까지 전체 작업에 대한 Blind 수행 시간과 Non-Blind 수행 시간을 비교하였다. 전체 작업을 수행하기 위하여 Blind의 경우 평균 167.8초가 소요되었고, Non-Blind의 경우 평균 150.3초가 소요되었다. 두 경우에 대한 T-검정을 수행한 결과, P-Value가 0.07로 알파 값인 0.05를 초과하므로 통계적으로 유의하지 않다는 것을 확인하였다.

따라서 VReport를 수행할 때 Blind 여부는 통계적으로 유의미한 차이를 나타내지 않으므로, 시각장애인 또한 본 시스템을 수행하기에 적합하며, 비장애인이 수행할 때와 유사한 성능을 낼 수 있다.

표 3은 사용성 평가 이후 수행한 만족도 설문 결과를 나타낸 것으로, 이를 이용하여 시스템의 적합도와 편의성을 판단한다. 설문은 0 (매우 불만족) ~ 5 (매우 만족)의 척도로 진행하였다.

보고서 작성에 대한 만족도, 이미지 삽입 기능에 대한 만족도, 전반적인 시스템에 대한 만족도 모두 4.5점 이상으로 평균적으로 만족도가 높은 것을 확인할 수 있다. 또한, 사용자들은 본 시스템에 대해 “Want to search for more images”, “Voice recognition is not enough”, “Too bad I couldn’t insert images such as charts and graphs”와 같은 피드백을 제공하였다.