e-mmersive Book: 주제-통합적 독서를 위한 HMD 증강현실 기반 전자책 디자인에 관한 연구
Copyright ⓒ 2019 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
초록
책은 수 천년 간 인류가 정보를 저장하고 검색하고 습득하는 데 사용한 가장 오래된 미디어로서 그 중요성을 가진다. 디지털 기술의 발전으로 책은 컴퓨터에 디지타이즈되어 저장되고 전자스크린을 통해 읽을 수 있으며, 빠른 검색이 가능한 전자책의 형태로 진화하였는데 최근 정보통신기술의 지속적인 발전으로 전자책보다 더욱 향상된 정보 미디어에 대한 가능성이 열려지고 있다. 특히, 증강현실 기술을 다양한 방식으로 활용하여 기존의 종이책 미디어나 전자책을 보완하려는 노력이 엔터테인먼트를 위한 책 읽기에서 주로 시도되었다. 본 논문에서는 문제 해결을 위한 연구나 학습 목적으로 책을 읽을 때 주제-통합적인 독서(Syntopical Reading) 활동을 보다 효과적으로 수행할 수 있도록 도와주는 HMD(Head Mounted Display) 증강현실 기반 새로운 전자책 시스템인 e-mmersive Book을 제안한다. 20대 40명을 대상으로 한 사용성 평가 결과, 제안한 시스템이 기존의 노트북만을 사용하는 방법보다 주제-통합적인 독서에서 더 효과적일 수 있음을 확인하였다. 제안한 시스템은 가까운 미래에 도래하게 될 혼합현실 미디어 시대의 글쓰기 도구나 안경형태의 증강현실 기기에서 독서 경험을 향상시키기 위한 기초연구로서 의의를 지닌다.
Abstract
Books are the oldest media used to store, retrieve and learn information and knowledge for thousands of years. With advances in digital technology, books have evolved into e-books with many benefits. However, the continuous development of digital technology such as AR (Augmented Reality) opens possibilities of new book media beyond e-books. In particular, efforts to supplement existing paper books or e-books by utilizing AR have been attempted in various ways mainly in entertainment reading. In this paper, we propose a HMD (Head Mounted Display) AR based e-book system, e-mmersive Book, that helps readers to perform the syntopical reading more effectively when reading books for research or learning purposes. From a preliminary study on 40 persons in their 20s to find the efficacy of the proposed system, we found that the proposed system can be more effective in the syntopical reading compared to the existing method of using only a notebook computer. The proposed system is intended as a basic research to improve the reading experience using mixed reality or eye glass type augmented reality devices.
Keywords:
Augmented reality, e-book, UX design, Syntopical reading, HoloLens키워드:
증강현실, 전자책, 사용자 경험 디자인, 통합적 독서, 홀로렌즈Ⅰ. 서 론
책은 수 천 년 간 인류가 정보를 저장하고 검색하고 습득하는 데 사용한 가장 오래된 미디어로서 매우 중요한 의미를 지닌다. 수 천 년 간 종이를 기반으로 했던 책 미디어는 디지털 기술의 발전으로 컴퓨터에 디지털 정보로 바뀌어 저장될 수 있게 됨에 따라 전자책(e-Book)의 형태로 진화하여 더욱 강력한 정보 저장, 검색, 습득의 기능을 제공하게 되어 현재 많은 영역에서 종이 책을 대체 또는 보완하고 있다[1]. 전자책은 수백만 권의 책들을 손톱만한 크기의 칩에 저장할 수 있어 저장과 이동이 간편하고, 원하는 책과 문구를 순식간에 검색할 수 있으며, 전자스크린을 통해 글자 크기 등을 바꾸어 편리하게 읽을 수 있는 등의 많은 장점을 지닌다. 하지만, 최근 증강현실(AR; Augmented Reality) 등의 정보통신기술의 지속적인 발전으로 전자책 보다 더욱 향상된 정보 미디어에 대한 가능성이 열려지고 있고 그에 대한 탐구가 필요한 상황이다. 본 연구의 목적은 최근 개발된 HMD(Head Mounted Display) 기반의 증강현실 기기를 활용하여 더 나은 독서 경험을 제공할 수 있는 시스템을 제안하고 그 효과성을 알아보는 데 있다.
독서 행위에는 그 목적이나 대상 등에 따라 여러 측면이 있고 정보통신기술을 활용하여 독서 경험을 증진시키고자 하는 연구들 역시 다양하게 전개되었다. 전자책을 위한 플랫폼도 초기의 일반 컴퓨터나 노트북에서, 테블릿 PC(예, Apple iPad), 전자책 전용 단말기(예, Amazon Kindle)로 발전하였다. 최근에는 증강현실 기술의 발달로 종이 이야기책이나 과학 교과서 등에 스마트폰이나 테블릿 PC 기반으로 3D 가상 물체나 애니메이션 등을 겹쳐 보이게 하여 설명을 도울 뿐 아니라 독자의 흥미유발과 참여를 높이는 방식으로 독서 경험을 증진시키는 연구가 활발히 진행되었다.
하지만, 이러한 연구는 주로 엔터테인먼트용 독서나 단순 학습을 좀 더 몰입감 있게 만드는 것에 초점을 맞추고 있으며, 전문적인 문제 해결을 위한 독서에 관한 연구는 상대적으로 많이 진행되지 않았다. 또한 증강현실 기반 독서 연구는 스마트폰이나 테블릿 등 손으로 휴대하는(handheld) 기기 기반의 연구가 대부분이고 머리에 착용하는 형태인 HMD 기반의 증강현실을 활용한 연구는 상대적으로 많지 않다.
본 연구에서는 문제를 해결하기 위한 연구나 학습의 상황에서 주제-통합적인 독서(Syntopical Reading)에 도움을 줄 수 있는 HMD 기반의 증강현실 시스템 e-mmersive Book을 제안한다. 주제-통합적인 독서란 Adler와 Doren이 제안한 독서의 4가지 단계(초급-점검-분석-주제통합) 중 궁극적 단계에 해당하는 독서법으로 한 가지 주제에 대한 여러 글을 읽고, 비교 및 대조하고, 종합적으로 판단하는 읽기 방식이다.
본 연구는 사전 사용자 경험 조사를 통해 문제 해결을 위한 연구나 학습의 읽기 상황에서 기존의 노트북 컴퓨터 상의 전자책을 기반으로 한 사용자 경험에 대해 조사하고, 그 결과로부터 현재 방식의 문제점들을 도출했다. 도출된 문제들을 해결할 수 있는 HMD 기반 증강현실 시스템의 UX 디자인을 제안하고 Microsoft 사의 HoloLens를 통해 기본 기능을 구현하여 그 효과성을 20대 대학생 40명을 대상으로 알아보았다. 실험 결과, 제안한 시스템이 기존의 노트북상에서의 전자책을 통한 방법보다 주제-통합적인 독서에 더 효과적인 것으로 나타났다. 이 연구는 향후 범용화 될 것으로 예상되는 안경형태의 증강현실에서 독서 경험을 향상시키기 위한 기초연구로서 의의를 지닌다.
Ⅱ. 관련 연구
2-1 독서에 관한 연구
글을 읽는다는 것은 한 개인의 총체적인 스키마(schema)를 바탕으로 문장에서 얻게 되는 새로운 정보와 기존 정보를 끊임없이 재구성하며 새로운 의미를 만들어내는 것이다. 따라서 읽기는 의미의 재구성 과정이라고 이해할 수 있다[2]. 읽기 행위에 대한 연구는 주로 인지 과학 분야와 교육 분야 등에서 활발히 이루어져 왔다. 인지 과학 분야에서는 독해 시 안구의 움직임을 분석하거나 문장 독해 시 걸리는 시간 등을 연구하여 우리의 뇌가 읽기 행위를 하는 동안 어떻게 작용하는지 등에 대해 파악하는 연구를 주로 진행하였으며[3], [4], 교육 분야에서는 독서의 과정과 효율적인 읽기 방법에 대해 연구하는데 초점을 맞췄다[5], [6], [7]. 읽기 과정은 일반적으로 3단계로 이루어진다. 첫 번째 단계는 읽기 전에 이루어지며 독자가 배경 지식을 활성화하여 글을 미리 훑어보고 독서의 목적을 정립하는 단계이다. 두 번째 단계는 글을 읽는 동안 끊임없이 예측을 하고 자신이 예측한 것이 맞는지 확인 또는 수정하면서 읽는 단계이다. 마지막 단계는, 독서 후에 일어나며, 독자는 이야기를 자신의 언어로 요약하고, 토론하거나 다른 텍스트와 비교하게 된다[8].
한편, Adler와 Doren은 독서를 초급 읽기(elementary reading), 점검 읽기(inspectional reading), 분석적 읽기(analytical reading), 주제-통합적 읽기(syntopical reading)의 4단계의 수준으로 나누었는데[9], 이들의 연구는 이후 읽기와 관련된 많은 연구의 바탕이 되었다[10], [11], [12]. Adler와 Doren이 제시한 4단계의 읽기 수준에서 첫 번째 수준인 초급읽기(elementary reading)는 글을 읽고 각 단어와 문장이 가지는 문자 그대로의 의미를 이해하는 단계이다. 이 단계는 외국어로 된 글을 읽을 때나 학습 장애를 겪을 때 개입이 이루어지는 단계로서 글 읽기의 가장 기초가 되는 단계이다. 두 번째 단계인 점검 읽기(inspectional reading)는 책을 제대로 읽기 전에 제한된 시간 안에 책의 핵심 메시지와 구조를 서문과, 목차, 인덱스, 주요 챕터의 요약문 등을 읽어 빠르게 파악하는 행위로 독자들이 흔히 훑어보기(skimming)라는 행동을 통해 수행하는 읽기방식이다. 세 번째 단계인 분석적 읽기(analytical reading)는 시간을 정해 놓지 않고 하나의 책을 깊이 있게 분석하며 읽는 것으로 저자의 의도와 저자가 가진 질문들을 중요 순서대로 파악해 보고, 문맥을 통해 용어의 의미 구체화, 핵심 문장 파악 및 저자의 주요 주장 등을 파악하여 책의 내용을 보다 구체적으로 이해하며, 아울러 책을 이해하는 것에서 더 나아가 더 나아가 저자와 동의하는 점과 동의하지 않는 점 등을 분석하여 자신의 의견을 만드는 읽기 단계이다.
마지막 단계인 주제-통합적 읽기(syntopical reading)는 한 주제에 대한 여러 책을 읽고 비교, 대조, 종합, 판단하는 읽기 방식으로, 한 주제에 대한 관련 참고문헌 목록 만들기, 각 참고문헌에서 관련 글 찾아 비교하기, 각 글에서 사용하는 단어의 의미 비교 및 정리 등을 통해 궁극적으로 한 주제에 대해 다양한 시각들을 모두 이해하는 것을 목적으로 하며 독서에 있어 가장 어렵고 궁극적인 단계에 해당한다(표 1).
Four levels of reading a book by Adler & Doren
2-2 읽기 경험을 증진한 연구 사례
전자책은 1940년대에 처음 개념이 등장한 이후 1971년 Hart가 저작권이 만료된 고전들을 전자책 형태로 배포한 구텐베르그 프로젝트(Project Gutenberg)를 그 시초로 본다[13]. 그 후 1998년 미국 NuvoMedia사는 최초로 손에 쥐고 사용할 수 있는 휴대용 전자책 기기 Rocket eBook를 상용화하였고, 그 후 2007년 미국 Amazon사가 전자책 전용 단말기 Kindle을 내놓음으로써 전자책 대중화 시대가 열렸다 .
이러한 휴대용 전자책 전용 단말기의 개발은 인간과 컴퓨터의 상호작용(HCI; Human-Computer Interaction) 관점에서 읽는 행위에 대해 연구하게 만들었는데, 초기 연구 중 하나는 Adler, Gujar, Harrison, O’Hara와 Sellen(1998)의 연구로서 Adler 등은 읽는 행위에 대한 다이어리(Diary) 연구를 통해서 독서를 위한 디지털 기기 디자인 시 고려해야 할 사항들을 살펴보았다[14]. 그 후 각종 센서 기술과 증강현실 기술 등 정보통신 기술의 발전과 동시에 독서 경험을 증진시키고자 하는 연구가 다양하게 진행되었는데 크게는 독서에서의 몰입감 또는 흥미를 증진시키는 것을 주요 목적으로 하는 연구와[15], [16], [17], [18], [19], 독서의 효율성을 증진시키는 것을 주요 목적으로 하는 연구[20], [21], [22], [23], [24], [25]로 나눌 수 있다. 그밖에 새로운 전자 디스플레이 개발로 휴대성을 향상시키는 것을 주요 목적으로 하는 연구[26] 등도 있다.
독서 활동에서의 흥미 유발과 몰입감을 증진시키기 위한 연구들은 주로 문학 작품이나 아동용 동화책 등 스토리 위주의 책 읽기 경험을 증진시키는데 초점을 맞춘다. 관련 연구들은 주로 추가적인 사운드나, 촉각(haptic), 시각적 증강 등의 다중 감각적(multi-sensory) 자극을 통해 경험을 증진시키는 연구들이 대부분이다. Back, Cohen, Gold, Harrison과 Minneman[15]는 종이 책을 볼 때 각 페이지에 있는 스토리에 맞게 디자인된 사운드와 음악을 들려주어 스토리에 몰입할 수 있게 도와주는 Listen Reader 라는 시스템을 제안하였고, Yannier, Israr, Lehman와 Klatzky [19]는 사운드 효과에 더해서 아이들이 읽는 동화책의 스토리에 맞게 진동을 통한 촉각적인 피드백까지 전달하여 스토리에 더욱 몰입할 수 있게 해주는 FeelSleeve 라는 시스템을 제안하였고, 해당 시스템을 사용했을 때 아이들이 독서 후에 이야기를 더 잘 기억하는 효과가 있는 것으로 보고하였다. Sanchez, Dingler, Gu와 Kunze[17]도 독자가 읽는 스토리에 맞게 촉각적인 피드백까지 전달하여 스토리에 더욱 몰입할 수 있게 해주는 또 다른 연구 사례이다. 사운드나 촉각보다는 좀 더 기술적으로 복잡하고 사용하기 불편하지만, 시각적 증강을 통한 이야기의 몰입감을 높이는 연구도 진행되었다. Grasset, Dünser와 Billinghurs[16]의 연구처럼 휴대용 증강현실 기기를 활용해 종이로 출판된 아동용 동화책 위에 시각적 정보를 증강시켜 흥미와 몰입도를 증진시키는 연구가 대표적이다.
독서 활동의 효율성을 향상시키는 것을 주요 목적으로 하는 연구는 주로 정보 증강 측면에 초점을 두고 있다. 크게 정보를 증강시키는 방법에 따라 프로젝터를 이용하여 물리적인 물체 위에 정보를 증강시켜 보는 방법(Spatial AR)에 기반 한 연구와 디지털 기기의 스크린을 통해 정보를 증강시키는 방법(See-through AR)에 기반 한 연구로 나눌 수 있다. Koike, Sato, Kobayashi, Tobita와 Kobayashi[24]는 과학용 실험책 등을 대상으로 프로젝터로 각 페이지에 관련된 콘텐츠를 책이 놓인 데스크에 투사하여 정보를 보여주고 인터랙션 할 수 있게 해주는 Interactive Textbook 시스템을 제안하였고, Holman, Vertegaal, Altosaar, Troje와 Johns[22]도 프로젝터를 사용하여 데스크 위에 놓인 종이 한 장 한 장을 인터랙션이 가능한 전자책 디스플레이들로 만들어 여러 디지털 문서들을 동시에 읽을 수 있고 정리할 수 있게 도와주는 시스템을 제안하였다. Chircop, Radhakrishnan, Selener와 Chiu[21]도 프로젝터를 활용하여 종이책 위에 메모 혹은 밑줄을 남기는 것을 디지털로 전환함으로써 책 위에 직접 기록을 남겨서는 안 되는 도서관에서의 독서 경험에 집중하여 효율성을 증진시키고자 했다. 한편, 프로젝터가 아닌, 디지털 기기의 스크린을 통해 정보를 증강시키기도 하였는데, Mackay, Pothier, Letondal, Bøegh와 Sørensen[25]는 과학 실험실 노트북위에 PDA 장치를 놓았을 때 “interactive lens”로 작동하도록 하여 추가적인 정보를 보여줄 수 있게 하였고, Bianchi, Ban과 Oakley[20]는 태블릿 PC로 글을 읽을 때의 독서 경험에 주목하고 이를 효율적으로 수행할 수 있도록 직사각형 모양의 작은 투명스크린을 지닌 디지털 보조 도구와 펜을 개발하여 내비게이션, 메모, 스크린 캡처 등을 원활하게 하는 시스템을 제안하였다.
정보 증강 측면 외에도 독서의 효율성을 높여주기 위한 다양한 연구가 있었다, Jo, Kim과 Seo[23]는 스마트 디바이스에서 전자책을 읽을 때의 독서 경험에 주목하였다. 이들은 시선에 기반한 북마크 시스템을 고안하여 중간에 전화가 오거나, 메시지를 보내는 등 다른 활동으로 인해 독서 활동이 끊겼을 때 자동으로 마지막으로 읽은 부분을 표시하여 더 빨리 독서 활동을 재개할 수 있게 도와주었다. 한편, 디지털 기기를 통한 글 읽기라는 익숙하지 않은 경험이 주는 부자연스러움을 극복하기 위해 정보는 스크린을 통해 보지만 인터페이스는 실제 책을 활용함으로써 책이 주는 행동유도성(affordance)을 유지하여 책장을 넘기는 행위를 통해 보다 자연스럽게 정보를 읽게 하는 연구도 있었다[18], [27].
위에서 언급한 대부분의 선행 연구들은 단일 글을 대상으로 한 독서에 대해 초점을 맞췄으며 특정 문제를 해결하기 위해 고도의 작업을 하며 여러 글을 한 번에 보는 통합적 독서에 대한 연구는 많지 않다. 또한 머리에 착용하는 형태인 HMD에 기반하여 독서의 효율성을 높이기 위한 연구도 찾아보기 어렵다. HMD 기반 AR 시스템은 양손을 자유롭게 쓸 수 있는 상태에서 전자책을 읽을 수 있어, 손에 쥐는 모바일 기기 AR 보다 다양한 상황에서 사용될 수 있는 장점을 지닌다[28]. 최근 Google Glass나 Microsoft사의 HoloLens와 같이 고화질의 그래픽을 제공하면서도 비교적 낮은 가격에 경량으로 일상에서도 쓸 수 있는 증강현실 HMD가 등장하였다. 본 연구는 점차 대중화될 것으로 예상되는 이러한 HMD AR 기기를 활용하여 특정 독서 활동의 효율을 높이는 새로운 방법을 찾는 것을 목적으로 한다.
Ⅲ. 주제-통합적인 독서를 보조하는 HMD 기반 증강현실 시스템
3-1 사전 사용자 경험 조사
특정 문제를 해결하기 위해 책을 읽는 경우에 관하여, Adler와 Doren은 문제를 해결하거나 의견을 정할 때에는 여러 서적을 참고하여 읽는 통합적인 독서 방식이 효율적이라고 주장하였다[9]. 주제-통합적인 독서(syntopical reading)는 그가 분류한 4가지 독서 단계 중 마지막 단계로서 한 가지 주제에 대한 여러 글을 읽고, 비교, 대조, 종합, 판단하는 독서다.
본 연구에서는 주제-통합적인 읽기 수행 시 구체적으로 어떠한 행동을 하는지 알아보기 위해 5명의 20대 대학원생이 노트북 컴퓨터를 사용하여 주제-통합적 독서를 수행하는 것을 각각 30분씩 쉐도윙(Shadowing) 방법을 통해 관찰해 보았다. 5명의 실험 참가자의 수행 과제는 대표적인 주제-통합적 독서가 필요한 작업 인 하나의 연구 주제에 관한 선행 연구 조사였다.
실험 결과 가장 두드러진 특징은 1) 연구 참여자들이 읽기와 쓰기를 동시에 진행한다는 점과, 2) 워드 프로세스로 글을 쓰는 작업을 하면서 책상에 여러 가지 글을 쌓아놓거나 스크린에 다수의 문서를 띄워놓은 상태로 통합적인 독서를 수행한다는 점이었다. 이는 실험 참가자 대다수가 읽기 행위 중 75% 이상의 시간을 쓰기와 동시에 진행하고, 한 번에 다수의 글을 배치하기 위해 스크린, 책상 등 다양한 공간을 활용했다는 Adler 등[14]의 연구와 일치한다.
실험 결과 주제-통합적인 독서 수행 시 사용자가 불편함을 겪은 주요 문제점 두 가지가 관찰되었다. 표 2는 실험 과정에서 관찰된 참가자들의 전반적인 행동들을 보여준다.
Observed user behaviors through user shadowing research in a syntopical reading activity
주제-통합적인 독서 수행 시 참가자들은 우선 글을 쓰는 작업 영역과 읽는 열람 영역 간 반복적인 화면 전환을 없애기 위해 다양한 전략을 취하고 있음을 관찰할 수 있었다. 참가자들은 화면을 반씩 사용하거나, 스마트 폰이나 태블릿 PC를 추가로 이용하였다. 또한 열람 영역에서도 다수의 문서를 동시에 보기 위해 여러 가지 방법을 사용하고 있었다. 어떤 사용자는 4개의 페이지를 화면 분할 방식으로 한 번에 보는 방식을 취하였고, 다른 사용자는 멀티 탭을 이용해 주제와 관련한 문서들을 최대한 많이 띄워놓고 관련이 없는 탭을 삭제해 나가는 방식으로 통합적인 글 읽기를 수행하였다. 인터뷰에서 사용자들은 다수의 글을 보면서 반복적인 화면 전환에 대한 피로를 최대한 줄이기 위해서 위와 같은 행동을 하는 것으로 답하였다.
두 번째로, 주제-통합적인 독서에서 사용자들이 공통적으로 보인 행동은 복수의 글을 동시에 읽기 때문에 저자의 이름이나 출판연도 등의 서지 정보를 얻기 위해 다양한 전략을 취하는 것이었다. 실험에 참가한 5명중 한 명만이 서지 정보를 다른 곳에 별도로 기록해 두었고, 나머지 4명은 다시 첫 장으로 가서 서지 정보를 다시 확인하거나, 문서의 길이가 너무 길어 다시 확인하는 데 시간이 너무 오래 걸린다고 판단된 경우 다시 검색하는 방식을 취했으며, 추후 인터뷰에서 이 과정의 불편함을 호소했다. 이는 서지 정보가 보다 가시적이어야 한다는 것을 시사했다.
그밖에도 사용자들은 각 책을 읽으면서 주제와 관련된 글이 나오면 하일라이트나 북마크 등의 툴을 이용하여 표시를 해놓고 추후에 그 부분을 다시 찾아 열람하였다. 따라서 실험 참가자 모두 자신이 재열람 해야 할 페이지나 글이 어디에 있는지를 기억하고자 다양한 전략을 취하고 있었다. 대부분의 참가자는 하일라이트한 곳에 스크롤 위치를 고정해놓거나, 페이지 번호를 별도의 메모장에 적어놓는 등의 행동을 하였다. 그러나 원하는 글을 다시 찾을 때 어려움을 경험하는 경우가 빈번했으며 이러한 경우 각 책 마다 스크롤 기능을 활용하여 일일이 확인하는 작업을 거쳤다.
본 연구에서는 노트북 컴퓨터 상에서 주제-통합적인 독서 수행시 발생하는 위에서 언급한 주요 문제점 두 가지에 대해 HMD 기반 증강 현실 시스템을 이용하여 해결하고자 하였다. HMD 기반 증강 현실 시스템은 기존 노트북이 갖는 물리적인 스크린 크기의 제약을 극복할 수 있어 주제-통합적 독서에서 반복적인 화면 전환으로 인한 피로감 등의 문제점을 해결할 수 있는 가능성이 있으며 또한 음성 인터페이스 및 3차원 인터페이스 기반의 새로운 인터랙션 방법을 활용하여 기존에는 제공하지 못했던 풍부한 독서 경험을 제공할 수 있는 가능성을 내포한다.
본 연구에서는 이러한 장점을 가진 HMD 기반 증강 현실 시스템 중 하나인 Microsoft사의 HoloLens 기기를 기반으로 하여 주제-통합적인 독서에 도움을 주는 증강 현실 책 시스템 디자인을 제안한다.
3-2 UX Design Principles
HMD 기반 증강 현실 책 시스템을 디자인하기 위해 기기와 문제의 특성을 고려하여 UX 디자인 원칙 4가지를 도출했다(표 3).
UX Design principles considering the characteristics of the device and syntopical reading
우선, HMD 증강현실 기기는 증강현실의 특성상 가상의 그래픽 물체와 현실세계의 실제 물체가 한 화면에 공존해야 하기 때문에 주제-통합적 독서 활동 시 글을 쓰기 위한 다른 매체(노트북 등)를 함께 사용할 때 시야를 방해하지 않는 디자인을 필요로 한다. 두 번째로, HMD 증강현실 기기는 현재 가장 흔한 형태인 스마트 폰이나 테블릿 PC 등을 통한 방식에서의 터치 스크린을 활용한 인터랙션도 가능하지 않고 전통적인 마우스나 키보드를 통한 인터랙션도 가능하지 않기 때문에 이를 고려한 인터랙션을 사용하여 기능을 디자인 하여야 하는 제한을 가진다. 세 번째로, 현재 HMD 기반 AR기기는 낮은 가독성과 좁은 시야각이라는 한계점을 가지고 있다. Google Glass(2013)의 경우 640x480 크기의 화면과 14.7도의 시야각으로 실제 인간의 시야보다 굉장히 좁고, 최근의 Microsoft사의 HoloLens 2(2019)의 경우 2K 해상도와 가로 43도 세로 29도로 개선되고 있지만 여전히 인간의 시야각보다 훨씬 좁고 일반 스크린에 비교해서는 명도도 낮기에 가독성이 떨어지는 문제점을 가지고 있다. 앞으로 기술의 발전으로 시야각 및 화질이 좋아질 가능성은 충분히 있으나, 현재로서는 작은 시야각을 보완하고 가독성을 높이기 위한 디자인을 필요로 한다.
3-3 Interface Design
사용자 인터페이스 디자인은 네 가지 UX 디자인 원칙 중 첫 번째 원칙에 따라(표 3. U1), 사용자가 기존에 사용하는 노트북 등의 디바이스 주위에 그리드 인터페이스를 증강하는 방식을 채택하였다(그림 1). 독립된 인터페이스가 아닌 노트북 등의 기존의 기기 사용을 전제로 하여 사용자가 통합적인 독서를 하는 동안 글을 쓰거나 다른 물리적인 자료도 함께 사용하기 편리하도록 하였다. 이것은 또한 세 번째 디자인 원칙(표3. U3)을 고려한 디자인으로 기존의 노트북으로 글을 작성하고 정보를 찾는 방식의 익숙함과 효율성을 같이 가져감으로써 증강현실 기반 독서 시스템의 사용성을 높이려 하였다.
Four-side Grid UI that extends a notebook computer in the center
그리드 시스템은 4면(바닥, 전면, 좌우면)으로 구성된다. 바닥면은 사용자의 노트북이 놓인 테이블과 일치되게, 전면은 노트북 스크린의 경사와 일치되게, 좌/우면은 바닥과 전면 그리드와 직각을 이루도록 배치된다. 사용자는 그리드를 클릭하여 자신의 디바이스에 맞게 각도와 크기를 조절할 수 있다. 그리드의 네 면은 크게 두 가지로 용도를 나누었다. 전면과 바닥면은 글 열람용으로 사용하며, 좌/우면은 책/문서를 비치해 놓는 가상 책장으로 사용하게 하였다. 마지막으로 네 번째 디자인 원칙(표 3. U4)을 고려하여 사용자의 현재 시야각 밖에 콘텐츠가 존재할 경우 아이콘을 표시하여 사용자가 추가 콘텐츠의 존재 유무를 알 수 있도록 하였다.
3-4 Interaction Design
HMD 기반 증강현실 기기는 두 번째 디자인 원칙(표 3. U2)에서 기술한 바와 같이 마우스나 터치스크린 등을 가지고 있지 않기에 기존 컴퓨터나 스마트폰과는 다른 인터랙션 방법을 요구한다. HoloLens 기기에서는 시선 추적 기능, 손가락 제스쳐 인식 기능, 보이스 인식 기능의 세 가지 방법을 사용하여 눈앞의 3차원 공간상에 놓인 가상의 물체와 인터랙션 할 수 있게 지원한다. 손가락 제스쳐 기반 인터랙션은 마우스의 버튼 클릭에 해당하는 Air-tap기능(손가락 하나를 내렸다 올리는 동작)과 마우스의 드래그에 해당하는 Tap-hold-move 기능(손가락 하나를 내렸다 유지한 채 움직이는 동작)을 주요 인터랙션 방법으로 지원한다. 표 4는 e-mmersive Book의 주요 기본 기능을 사용하기 위한 인터랙션 디자인을 보여준다.
Interaction design of primary features
사용자는 가상의 책장에서 책을 고른 후 원하는 위치로 배치한 후, 원하는 만큼의 페이지들을 공간상에서 펼치게 된다. 이 때 책을 고른 후 이동하는 행위와 공간상에서 펼치는 행위는 시선과 손가락 제스쳐를 통해 이루어진다. 사용자는 먼저 책/문서의 이동, 회전, 펼치기 동작 메뉴 중 하나를 Air-tap으로 선택하고 Tap-hold-move 손가락 제스쳐를 통해 책/문서를 이동하거나, 앞/뒤로 회전하거나 (노트북 스크린 회전 방향), 가로 방향으로 페이지 펼치기를 할 수 있다. 이렇게 사용자로 하여금 직관적인 손가락 제스처로 3차원 공간상에서 자신이 원하는 위치에 복수의 책/문서의 페이지들을 배치할 수 있어 동시에 여러 책을 비교하기 수월하게 하였다.
서지 정보 찾기는 시선과 음성 인터랙션으로 이루어진다. 시선으로 문서를 선택한 뒤 ‘연도’나 ‘작가’ 같은 서지 정보와 관련된 단어를 발화하면 각 책/문서의 연도와 작가 등의 서지 정보를 보여주어 독서 활동 과정 중에 서지 정보를 얻기 위해 화면을 스크롤해서 문서의 앞으로 가는 등의 불편함을 해결하려고 했다.
Ⅳ. 사용자 경험 평가
4-1 실험 방법
본 연구에서 제안한 주제-통합적 독서를 도와주는 HMD 기반 증강현실 시스템 e-mmersive Book 초기 버전의 기본 기능을 Unity 소프트웨어와 Microsoft HoloLens 기기를 통해 구현하여 향후 본격적인 개발과 실험에 앞서 연구 방향의 타당성을 알아보는 예비연구를 진행하였다.
A participant using e-mmersive Book with Microsoft HoloLens (Left); Screen captures of e-mmersive Book (Right)
실험 참가자는 20대 대학생 및 대학원생 40명을 인터넷을 통해 모집하였다. 전체 40명의 실험참가자는 제안한 e-mmersive Book을 노트북 컴퓨터와 사용하는 A그룹 20명과 노트북 컴퓨터만을 사용하는 B그룹 20명으로 성별 분포를 고려하여 임의로 배정하였다.
두 그룹에 속한 참가자들은 모두 동일하게 세 가지의 지문을 찾아 읽으며 주어진 문제를 해결하는 과업을 수행하였다. 실험 참가자의 독해력의 차이가 실험결과에 영향을 주지 않게 하기 위해서 글은 대학수학능력시험에서 기출 된 지문 중, 난이도 하에 해당하는 지문을 활용하였다. 표 5는 참가자들이 실시한 과업 리스트를 보여준다. 실험 참가자는 과업 수행 이후 총 7개의 문항으로 된 설문에 응답하였다(표 6). 한편, 설문조사 이후 e-mmersive Book을 사용한 참가자 중 5명을 대상으로 심층인터뷰를 별도로 진행하여 각 문항에 대한 평가 이유에 대해 보다 심층적으로 알아보았다.
A list of tasks that participants conducted.
A questionnaire for usability evaluation
e-mmersive Book이 주제-통합적 글 읽기에 효과적인지에 대해 알아보기 위해 정보 시스템을 평가하기 위해 제안한 Jakob Nielsen[29]의 사용성 평가 요인인 효율성(Efficiency), 기억 용이성(Memorability), 만족도(Satisfaction), 학습 용이성(Learnability), 오류(Error)의 5가지 요인 중에서 주제-통합적 독서 수행을 효율적으로 할 수 있었는지를 묻는 효율성과, 사용법을 쉽게 기억할 수 있었는 지와 관련된 기억 용이성, 그리고 전체적인 경험의 만족도를 7점 척도의 리커트(likert) 스케일로 측정하고 정규성 검정과 등분산 검정을 포함한 독립 표본 t-검정을 통하여 두 그룹 간의 사용성 차이를 알아보았다.
4-2 실험 결과
독립표본 t-검정 결과, 사용성을 평가한 세 가지 요인인 효율성(t(28.71)=6.79), p<.001), 기억용이성(t(38)=3.46), p<.001), 만족도(t(38)=4.51, p<.001) 모두에서 e-mmersive Book 그룹이 노트북 컴퓨터 만을 사용한 그룹보다 통계적으로 유의하게 더 높은 점수를 보고하였다(표 7). 문항으로는 질문서 7가지 문항 중 종이에 있는 문제를 해결하는 것이 용이했는지를 묻는 Q4 문항을 제외한 나머지 6가지 문항에서 e-mmersive Book 그룹이 통계적으로 유의하게 차이를 보였다.
Usability evaluation results from independent t-test (e-mmersive Book group vs notebook computer only group)
추가적인 심층 인터뷰를 통해 효율성 요인에 대해 실험참가자들의 반응을 보다 자세히 알아본 결과, 참가들은 크게 두 가지 측면에서 e-mmersive Book 사용의 긍정적인 경험을 보고하였다. 첫 번째는 글 읽기와 쓰기의 병행 작업의 수월성으로, 노트북만을 단독으로 사용하여 작은 화면으로 읽기와 쓰기를 병행하는 것 보다 e-mmersive Book의 가상 화면을 이용해서 읽기 작업을 수행하고 노트북은 쓰기 작업만으로 사용할 수 있는 것에 대한 긍정적인 반응이 가장 많았다. 이것은 질문 문항 중 노트북과 병행 작업에 대한 용이성을 묻는 Q3 문항에서의 결과에서도 확인된다 (M=5.15 vs M=2.95). 두 번째는 글 탐색의 수월성이다. 각 문서에게 주어지는 큰 스크린 점유량은 한 번에 한 문서의 연속된 여러 페이지를 화면에 띄울 수 있게 한다. 이에 따라 각 문서 내에서 특정 지문을 찾을 때, 노트북에서 문서를 상하 스크롤하면서 찾는 것과 비교하여 더 수월한 것으로 보고하였다. 또한 여러 문서들을 동시에 화면에 띄어 놓고 비교할 수 있기에 글 간 비교하는 작업을 수행시에도 더 수월한 것으로 보고하였다. 이는 각각 Q1 문항 (M=5.65 vs M=2.60)과 Q2 문항 (M=4.95 vs 2.35)에서의 결과에서 확인된다.
반면, 몇몇 사용자들은 머리에 쓰는 형태인 HMD 증강현실 기기를 기반으로 하는 e-mmersive Book을 통해 종이에 있는 문제를 해결하는 작업에서 불편함을 겪은 것으로 나타났다. HoloLens 기기를 착용하고 종이를 볼 때 조명 빛이 기기의 글래스에서 내부적으로 반사되어 가독성에 영향을 미치는 점과 또한 종이를 보려고 고개를 숙이는 행동에서 머리에 쓴 기기의 무게 때문에 불편감을 보고하였다. 이는 해당 Q4 문항의 결과값이 7가지 문항의 결과 값 중 최소값을 나타낸 것으로도 확인된다(그림 3).
Comparison of evaluation results from seven usability questions (e-mmersive Book vs notebook computer only group)
4-3 논의
음성 인식 기반 서지정보를 찾는 과업에서 예상했던 것보다 사용자들이 크게 편리함을 느끼지 못한 것으로 나온 점은 크게 두 가지로 이유로 추측된다. 하나는 보통 글 읽기와 쓰기 행위는 입을 통한 발화 없이 진행되는 작업이기에 독서 활동 중에 발화를 해야 되는 상황이 낯설고 불편했을 것으로 추측해 볼 수 있다. 또 다른 가능한 이유로는 개발된 프로토타입의 음성인식 시스템이 영어를 기반으로 되어 있었기에 비록 쉬운 단어일지라도 영어 사용이 용이한 참가자와 그렇지 않은 참가자 간의 불편함을 느끼는 정도의 차이가 있었을 수 있다. 즉, 시스템이 발음을 제대로 인식 못해서 바로 피드백을 주지 못할 경우 불편감을 느꼈을 것으로 추측된다.
한편, 대부분의 사용자가 HMD 증강현실 기기의 인터페이스 경험이 없었음에도 사용법의 기억용이성이 예상보다 높게 나온 점은 시선과 손가락 제스쳐로 이루어진 인터랙션이 마우스 사용과 비교하였을 때 크게 불편하지 않고 직관적임을 암시한다.
e-mmersive Book 그룹의 평가결과와 상관없이 노트북 컴퓨터 그룹의 사용성 평과 결과는 주목할 만하다. 모든 평가 항목에서 5점 이상을 받은 항목이 없었다는 점은 기존의 노트북 상에서 주제-통합적인 독서활동 수행의 불편함과 문제점을 드러낸다. 특히 주제-통합적 독서의 핵심인 여러 글을 비교하는 부분에서 가장 만족도가 낮은 것에서 그 부분을 확인할 수 있다(그림 3 Q2).
실험에서 밝혀진 문제점 중 데스크위에 놓인 종이에 있는 문제를 해결하는 과업에서 광학렌즈의 특성상 빛 반사 문제는 지속될 것으로 예상되지만, 기기의 무게로 인해 고개를 숙일 때 보고된 불편감은 향후 보다 가벼운 안경형태의 AR기기가 출시될 경우 상당 부분 해결될 것으로 추측된다.
본 연구는 몇 가지 제한점을 지닌다. 첫째, 특정 회사의 제품을 기반으로 하였기 때문에 다른 인터페이스와 특성을 가지는 HMD 증강현실 기기로 결과를 일반화시키기 어렵다. 둘째, 실험 대상을 정보통신기술에 비교적 익숙한 20대 학생으로 한정하였기에 40-50대 등의 다른 연령대로 결과를 일반화 시킬 수 없다. 셋째, 만족도에 있어서 참여자들은 인터뷰 시 ‘흥미롭다’, ‘참신하다’ 등 재미 혹은 흥미 요소에 대한 피드백을 주는 경우가 많았다. 장기적인 사용시에는 이런 요소들은 감퇴될 수 있기 때문에 보다 정확한 만족도와 다른 요소간의 상관관계를 파악하기 위해서는 장기적인 사용 환경에서의 사용자 경험 연구가 필요하다. 마지막으로, 본 연구는 HMD 증강현실 기기 기반의 독서활동에 대한 가능성을 탐색하기 위한 기초연구로서 기본적인 기능만을 구현하여 진행한 예비 연구임으로 e-mmersive Book의 전체적인 디자인과 그에 따른 평가는 후속연구에서 밝혀야 한다. 예를 들어 본 연구에서는 책과 관련된 UI 디자인에 대해서는 다루지 않았다. 그러나 가로보다 세로의 시야각이 더 짧다는 점, 해상도와 명암도가 기존 전자책 보다 낮은 점 등을 고려한 기존 전자책과 다른 새로운 페이지 디자인에 대한 연구는 향후 글자를 기반으로 하는 자료를 증강현실 상으로 볼 때 반드시 필요하다고 여겨진다.
V. 결 론
본 논문에서는 주제-통합적 독서(syntopical reading)에 특화된 HMD 증강현실 기반 전자책 e-mmersive Book을 제안하고 초기 버전의 기본 기능을 Microsoft HoloLens 기기를 통해 구현하여 향후 본격적인 개발과 실험에 앞서 연구 방향의 타당성을 알아보는 예비연구를 진행한 결과를 보고하였다.
e-mmersive Book은 기존의 노트북과 병행하여 사용할 수 있는 디스플레이 인터페이스를 가지고 있어 사용자가 읽기와 쓰기 작업을 동시에 수행하는 연구와 학습을 위한 독서 수행 시 보다 효율적으로 할 수 있고, 직관적인 인터랙션과 넓은 스크린 면적을 통해 여러 문서에서 글을 찾고 비교하는 작업 수행을 보다 효과적으로 지원하는 것을 특징으로 한다. 기본 기능만을 구현하여 실시한 20대 사용자 40명을 대상으로 한 예비 사용자 평가에서 제안하는 새로운 증강현실 기반 전자책이 연구와 학습을 위한 독서 시 기존의 노트북만을 이용한 방법보다 보다 과업의 효율성, 기억 용이성, 만족도에서 모두 높게 평가된 점은 HMD 증강현실 기반의 독서활동의 가능성을 시사한다는 점에서 의미가 있다.
본 연구는 가까운 미래에 도래하게 될 혼합현실 미디어 시대의 글쓰기 도구나 안경형태의 증강현실 기기에서 독서 경험을 향상시키기 위한 기초연구로서 의의를 지니다.
향후 연구방향으로는 HMD 증강현실의 좁은 시야각과 낮은 가독성에 적합한 전자책 UI 디자인과 기존 독서 활동에서 사용하지 않았던 음성 인터랙션을 보다 효과적으로 독서활동에 통합시키는 연구가 필요하다.
Acknowledgments
본 연구의 프로토타입 구현에 도움을 준 박지현 님에게 진심으로 감사를 표합니다.
참고문헌
- S. Heyman, “In Europe, Slower Growth for e-Books”, New York Times, November 12, 2014, [online]. Available: https://www.nytimes.com/2014/11/13/arts/international/in-europe-slower-growth-for-e-books.htm.
- Jung Jin Park, "The Meaning of `Syntopical Reading` and Reading Educational Context", Journal of reading research, 32, p191-212, (2014).
-
F. B. Davis, “Fundamental factors of comprehension in reading”, Psychometrika, 9(3), p185-197, September), (1944.
[https://doi.org/10.1007/bf02288722]
-
M. A. Just, and P. A. Carpenter, “A theory of reading: From eye fixations to comprehension”, Psychological review, 87(4), p329, (1980).
[https://doi.org/10.1037//0033-295x.87.4.329]
- B. Musthafa, “Content Area Reading: Principles and Strategies to Promote Independent Learning”, TEFLIN Journal, I(1), p37-49, Jan.), (1997.
-
N. K. Duke, and P. D. Pearson, “Effective practices for developing reading comprehension”, Journal of education, 189(1–2), p107-122, (2009).
[https://doi.org/10.1177/0022057409189001-208]
-
W. Guo, Y. Li, and J. Gao, “Learning with Video: The Digital Knowledge Representation and Digital Reading”, International Conference on Hybrid Learning and Continuing Education, p118-133, (2015).
[https://doi.org/10.1007/978-3-319-20621-9_10]
- Minjung Kang, A study on Multimodal UX/UI desing reinforcing flow of informational and knowledge reading in a cross-platform environment : focusing on a reading app. ‘Researcher’, Ph.D. dissertation, Seoul National University, (2014).
- M. J. Adler, & C. Van Doren, How to read a book: The classic guide to intelligent reading, Simon and Schuster, (1940).
-
D. E. Egan, J. R. Remde, L. M. Gomez, T. K. Landauer, J. Eberhardt, and C. C. Lochbaum, “Formative design evaluation of superbook”, ACM Transactions on Information Systems (TOIS), 7(1), p30-57, (1989).
[https://doi.org/10.1145/64789.64790]
- A. Dillon, Designing usable electronic text: Ergonomic aspects of human information usage, CRC press, (2004).
- Minji Choi, A Study on Content Area Reading Program Development, M.A. Thesis, Seoul National University of Education, (2015).
-
L. Manley, and R. P. Holley, “History of the ebook: The changing face of books”, Technical Services Quarterly, 29(4), p292-311, (2012).
[https://doi.org/10.1080/07317131.2012.705731]
- A. Adler, A. Gujar, B. L. Harrison, K. O’hara, and A. Sellen, “A diary study of work-related reading: design implications for digital reading devices”, Proceedings of the SIGCHI conference on Human factors in computing systems, p241-248, (1998).
- M. Back, J. Cohen, R. Gold, S. Harrison, and S. Minneman, “Listen reader: an electronically augmented paper-based book”, Proceedings of the SIGCHI conference on Human factors in computing systems, p23-29, (2001).
- R. Grasset, A. Dünser, and M. Billinghurst, “Edutainment with a mixed reality book: a visually augmented illustrative childrens’ book”, Proceedings of the 2008 international conference on advances in computer entertainment technology, p292-295, (2008).
- S. Sanchez, T. Dingler, H. Gu, and K. Kunze, “Embodied Reading: A Multisensory Experience”, Proceedings of the 2016 CHI Conference Extended Abstracts on Human Factors in Computing Systems, p1459-1466, (2016).
- H. Yamada, “SequenceBook: interactive paper book capable of changing the storylines by shuffling pages”, CHI 2010 Extended Abstracts on Human Factors in Computing Systems, p4375-4380, (2010).
- N. Yannier, A. Israr, J. F. Lehman, and R. L. Klatzky, “FeelSleeve: Haptic feedback to enhance early reading”, Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, p1015-1024, (2015).
-
A. Bianchi, S.-R. Ban, and I. Oakley, “Designing a physical aid to support active reading on tablets”, Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, p699-708, (2015).
[https://doi.org/10.1145/2702123.2702303]
- L. Chircop, J. Radhakrishnan, L. Selener, and J. Chiu, “Markitup: crowdsourced collaborative reading”, CHI 2013 Extended Abstracts on Human Factors in Computing Systems, p2567-2572, (2013).
- D. Holman, R. Vertegaal, M. Altosaar, N. Troje, and D. Johns, “Paper windows: interaction techniques for digital paper”, Proceedings of the SIGCHI conference on Human factors in computing systems, p591-599, (2005).
- J. Jo, B. Kim, and J. Seo, “EyeBookmark: Assisting recovery from interruption during reading”, Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, p2963-2966, (2015).
- H. Koike, Y. Sato, Y. Kobayashi, H. Tobita, and M. Kobayashi, “Interactive textbook and interactive Venn diagram: natural and intuitive interfaces on augmented desk system”, Proceedings of the SIGCHI conference on Human Factors in Computing Systems, p121-128, (2000).
- W. E. Mackay, G. Pothier, C. Letondal, K. Bøegh, and H. E. Sørensen, “The missing link: augmenting biology laboratory notebooks”, Proceedings of the 15th annual ACM symposium on User interface software and technology, p41-50, (2002).
- C. Pillias, P. Cubaud, and S.-H. Hsu, “Reading with a digital roll”, CHI 2013, 2, p1377-1382, (2013).
- K. Yoshino, K. Obata, and S. Tokuhisa, “FLIPPIN’: Exploring a Paper-based Book UI Design in a Public Space”, Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, p1508-1517, (2017).
- Yunsung Cho, A Research on the Systematization of the Augmented Reality User Interface Design According to the Expandability of the Visual Perceptions of the HMD, Ph.D. Dissertation, Hanyang University, (2016).
- J. Nielsen, Usability engineering, Elsevier, (1994).
저자소개
2016년: 이화여자대학교 (문학사-정치외교/방송영상학)
2018년: 서강대학교 대학원 (예술공학석사)
2018~현재: Korea Telecom Immersive Media Service Team
※관심분야： 휴먼-컴퓨터 인터랙션, VR/AR
2000년: 연세대학교 (공학사-전자공학)
2002년: 연세대학교 대학원 (공학석사-전자공학)
2008년: 미국 메릴랜드대 대학원 (공학박사-컴퓨터공학)
2008년～2012년: 미국 Rhythm & Hues Studios
2012년～현재: 서강대학교 아트&테크놀로지 학과 교수
※관심분야：크리에이티브 컴퓨팅, 휴먼-컴퓨터 인터랙션, 뉴미디어
