Journal Archive

글을 읽는다는 것은 한 개인의 총체적인 스키마(schema)를 바탕으로 문장에서 얻게 되는 새로운 정보와 기존 정보를 끊임없이 재구성하며 새로운 의미를 만들어내는 것이다. 따라서 읽기는 의미의 재구성 과정이라고 이해할 수 있다[2]. 읽기 행위에 대한 연구는 주로 인지 과학 분야와 교육 분야 등에서 활발히 이루어져 왔다. 인지 과학 분야에서는 독해 시 안구의 움직임을 분석하거나 문장 독해 시 걸리는 시간 등을 연구하여 우리의 뇌가 읽기 행위를 하는 동안 어떻게 작용하는지 등에 대해 파악하는 연구를 주로 진행하였으며[3], [4], 교육 분야에서는 독서의 과정과 효율적인 읽기 방법에 대해 연구하는데 초점을 맞췄다[5], [6], [7]. 읽기 과정은 일반적으로 3단계로 이루어진다. 첫 번째 단계는 읽기 전에 이루어지며 독자가 배경 지식을 활성화하여 글을 미리 훑어보고 독서의 목적을 정립하는 단계이다. 두 번째 단계는 글을 읽는 동안 끊임없이 예측을 하고 자신이 예측한 것이 맞는지 확인 또는 수정하면서 읽는 단계이다. 마지막 단계는, 독서 후에 일어나며, 독자는 이야기를 자신의 언어로 요약하고, 토론하거나 다른 텍스트와 비교하게 된다[8].

한편, Adler와 Doren은 독서를 초급 읽기(elementary reading), 점검 읽기(inspectional reading), 분석적 읽기(analytical reading), 주제-통합적 읽기(syntopical reading)의 4단계의 수준으로 나누었는데[9], 이들의 연구는 이후 읽기와 관련된 많은 연구의 바탕이 되었다[10], [11], [12]. Adler와 Doren이 제시한 4단계의 읽기 수준에서 첫 번째 수준인 초급읽기(elementary reading)는 글을 읽고 각 단어와 문장이 가지는 문자 그대로의 의미를 이해하는 단계이다. 이 단계는 외국어로 된 글을 읽을 때나 학습 장애를 겪을 때 개입이 이루어지는 단계로서 글 읽기의 가장 기초가 되는 단계이다. 두 번째 단계인 점검 읽기(inspectional reading)는 책을 제대로 읽기 전에 제한된 시간 안에 책의 핵심 메시지와 구조를 서문과, 목차, 인덱스, 주요 챕터의 요약문 등을 읽어 빠르게 파악하는 행위로 독자들이 흔히 훑어보기(skimming)라는 행동을 통해 수행하는 읽기방식이다. 세 번째 단계인 분석적 읽기(analytical reading)는 시간을 정해 놓지 않고 하나의 책을 깊이 있게 분석하며 읽는 것으로 저자의 의도와 저자가 가진 질문들을 중요 순서대로 파악해 보고, 문맥을 통해 용어의 의미 구체화, 핵심 문장 파악 및 저자의 주요 주장 등을 파악하여 책의 내용을 보다 구체적으로 이해하며, 아울러 책을 이해하는 것에서 더 나아가 더 나아가 저자와 동의하는 점과 동의하지 않는 점 등을 분석하여 자신의 의견을 만드는 읽기 단계이다.

마지막 단계인 주제-통합적 읽기(syntopical reading)는 한 주제에 대한 여러 책을 읽고 비교, 대조, 종합, 판단하는 읽기 방식으로, 한 주제에 대한 관련 참고문헌 목록 만들기, 각 참고문헌에서 관련 글 찾아 비교하기, 각 글에서 사용하는 단어의 의미 비교 및 정리 등을 통해 궁극적으로 한 주제에 대해 다양한 시각들을 모두 이해하는 것을 목적으로 하며 독서에 있어 가장 어렵고 궁극적인 단계에 해당한다(표 1).

전자책은 1940년대에 처음 개념이 등장한 이후 1971년 Hart가 저작권이 만료된 고전들을 전자책 형태로 배포한 구텐베르그 프로젝트(Project Gutenberg)를 그 시초로 본다[13]. 그 후 1998년 미국 NuvoMedia사는 최초로 손에 쥐고 사용할 수 있는 휴대용 전자책 기기 Rocket eBook를 상용화하였고, 그 후 2007년 미국 Amazon사가 전자책 전용 단말기 Kindle을 내놓음으로써 전자책 대중화 시대가 열렸다 .

이러한 휴대용 전자책 전용 단말기의 개발은 인간과 컴퓨터의 상호작용(HCI; Human-Computer Interaction) 관점에서 읽는 행위에 대해 연구하게 만들었는데, 초기 연구 중 하나는 Adler, Gujar, Harrison, O’Hara와 Sellen(1998)의 연구로서 Adler 등은 읽는 행위에 대한 다이어리(Diary) 연구를 통해서 독서를 위한 디지털 기기 디자인 시 고려해야 할 사항들을 살펴보았다[14]. 그 후 각종 센서 기술과 증강현실 기술 등 정보통신 기술의 발전과 동시에 독서 경험을 증진시키고자 하는 연구가 다양하게 진행되었는데 크게는 독서에서의 몰입감 또는 흥미를 증진시키는 것을 주요 목적으로 하는 연구와[15], [16], [17], [18], [19], 독서의 효율성을 증진시키는 것을 주요 목적으로 하는 연구[20], [21], [22], [23], [24], [25]로 나눌 수 있다. 그밖에 새로운 전자 디스플레이 개발로 휴대성을 향상시키는 것을 주요 목적으로 하는 연구[26] 등도 있다.

독서 활동에서의 흥미 유발과 몰입감을 증진시키기 위한 연구들은 주로 문학 작품이나 아동용 동화책 등 스토리 위주의 책 읽기 경험을 증진시키는데 초점을 맞춘다. 관련 연구들은 주로 추가적인 사운드나, 촉각(haptic), 시각적 증강 등의 다중 감각적(multi-sensory) 자극을 통해 경험을 증진시키는 연구들이 대부분이다. Back, Cohen, Gold, Harrison과 Minneman[15]는 종이 책을 볼 때 각 페이지에 있는 스토리에 맞게 디자인된 사운드와 음악을 들려주어 스토리에 몰입할 수 있게 도와주는 Listen Reader 라는 시스템을 제안하였고, Yannier, Israr, Lehman와 Klatzky [19]는 사운드 효과에 더해서 아이들이 읽는 동화책의 스토리에 맞게 진동을 통한 촉각적인 피드백까지 전달하여 스토리에 더욱 몰입할 수 있게 해주는 FeelSleeve 라는 시스템을 제안하였고, 해당 시스템을 사용했을 때 아이들이 독서 후에 이야기를 더 잘 기억하는 효과가 있는 것으로 보고하였다. Sanchez, Dingler, Gu와 Kunze[17]도 독자가 읽는 스토리에 맞게 촉각적인 피드백까지 전달하여 스토리에 더욱 몰입할 수 있게 해주는 또 다른 연구 사례이다. 사운드나 촉각보다는 좀 더 기술적으로 복잡하고 사용하기 불편하지만, 시각적 증강을 통한 이야기의 몰입감을 높이는 연구도 진행되었다. Grasset, Dünser와 Billinghurs[16]의 연구처럼 휴대용 증강현실 기기를 활용해 종이로 출판된 아동용 동화책 위에 시각적 정보를 증강시켜 흥미와 몰입도를 증진시키는 연구가 대표적이다.

독서 활동의 효율성을 향상시키는 것을 주요 목적으로 하는 연구는 주로 정보 증강 측면에 초점을 두고 있다. 크게 정보를 증강시키는 방법에 따라 프로젝터를 이용하여 물리적인 물체 위에 정보를 증강시켜 보는 방법(Spatial AR)에 기반 한 연구와 디지털 기기의 스크린을 통해 정보를 증강시키는 방법(See-through AR)에 기반 한 연구로 나눌 수 있다. Koike, Sato, Kobayashi, Tobita와 Kobayashi[24]는 과학용 실험책 등을 대상으로 프로젝터로 각 페이지에 관련된 콘텐츠를 책이 놓인 데스크에 투사하여 정보를 보여주고 인터랙션 할 수 있게 해주는 Interactive Textbook 시스템을 제안하였고, Holman, Vertegaal, Altosaar, Troje와 Johns[22]도 프로젝터를 사용하여 데스크 위에 놓인 종이 한 장 한 장을 인터랙션이 가능한 전자책 디스플레이들로 만들어 여러 디지털 문서들을 동시에 읽을 수 있고 정리할 수 있게 도와주는 시스템을 제안하였다. Chircop, Radhakrishnan, Selener와 Chiu[21]도 프로젝터를 활용하여 종이책 위에 메모 혹은 밑줄을 남기는 것을 디지털로 전환함으로써 책 위에 직접 기록을 남겨서는 안 되는 도서관에서의 독서 경험에 집중하여 효율성을 증진시키고자 했다. 한편, 프로젝터가 아닌, 디지털 기기의 스크린을 통해 정보를 증강시키기도 하였는데, Mackay, Pothier, Letondal, Bøegh와 Sørensen[25]는 과학 실험실 노트북위에 PDA 장치를 놓았을 때 “interactive lens”로 작동하도록 하여 추가적인 정보를 보여줄 수 있게 하였고, Bianchi, Ban과 Oakley[20]는 태블릿 PC로 글을 읽을 때의 독서 경험에 주목하고 이를 효율적으로 수행할 수 있도록 직사각형 모양의 작은 투명스크린을 지닌 디지털 보조 도구와 펜을 개발하여 내비게이션, 메모, 스크린 캡처 등을 원활하게 하는 시스템을 제안하였다.

정보 증강 측면 외에도 독서의 효율성을 높여주기 위한 다양한 연구가 있었다,  Jo, Kim과 Seo[23]는 스마트 디바이스에서 전자책을 읽을 때의 독서 경험에 주목하였다. 이들은 시선에 기반한 북마크 시스템을 고안하여 중간에 전화가 오거나, 메시지를 보내는 등 다른 활동으로 인해 독서 활동이 끊겼을 때 자동으로 마지막으로 읽은 부분을 표시하여 더 빨리 독서 활동을 재개할 수 있게 도와주었다. 한편, 디지털 기기를 통한 글 읽기라는 익숙하지 않은 경험이 주는 부자연스러움을 극복하기 위해 정보는 스크린을 통해 보지만 인터페이스는 실제 책을 활용함으로써 책이 주는 행동유도성(affordance)을 유지하여 책장을 넘기는 행위를 통해 보다 자연스럽게 정보를 읽게 하는 연구도 있었다[18], [27].

위에서 언급한 대부분의 선행 연구들은 단일 글을 대상으로 한 독서에 대해 초점을 맞췄으며 특정 문제를 해결하기 위해 고도의 작업을 하며 여러 글을 한 번에 보는 통합적 독서에 대한 연구는 많지 않다. 또한 머리에 착용하는 형태인 HMD에 기반하여 독서의 효율성을 높이기 위한 연구도 찾아보기 어렵다. HMD 기반 AR 시스템은 양손을 자유롭게 쓸 수 있는 상태에서 전자책을 읽을 수 있어, 손에 쥐는 모바일 기기 AR 보다 다양한 상황에서 사용될 수 있는 장점을 지닌다[28]. 최근 Google Glass나 Microsoft사의 HoloLens와 같이 고화질의 그래픽을 제공하면서도 비교적 낮은 가격에 경량으로 일상에서도 쓸 수 있는 증강현실 HMD가 등장하였다. 본 연구는 점차 대중화될 것으로 예상되는 이러한 HMD AR 기기를 활용하여 특정 독서 활동의 효율을 높이는 새로운 방법을 찾는 것을 목적으로 한다.

특정 문제를 해결하기 위해 책을 읽는 경우에 관하여, Adler와 Doren은 문제를 해결하거나 의견을 정할 때에는 여러 서적을 참고하여 읽는 통합적인 독서 방식이 효율적이라고 주장하였다[9].  주제-통합적인 독서(syntopical reading)는 그가 분류한 4가지 독서 단계 중 마지막 단계로서 한 가지 주제에 대한 여러 글을 읽고, 비교, 대조, 종합, 판단하는 독서다.

본 연구에서는 주제-통합적인 읽기 수행 시 구체적으로 어떠한 행동을 하는지 알아보기 위해 5명의 20대 대학원생이 노트북 컴퓨터를 사용하여 주제-통합적 독서를 수행하는 것을 각각 30분씩 쉐도윙(Shadowing) 방법을 통해 관찰해 보았다. 5명의 실험 참가자의 수행 과제는 대표적인 주제-통합적 독서가 필요한 작업 인 하나의 연구 주제에 관한 선행 연구 조사였다.

실험 결과 가장 두드러진 특징은 1) 연구 참여자들이 읽기와 쓰기를 동시에 진행한다는 점과, 2) 워드 프로세스로 글을 쓰는 작업을 하면서 책상에 여러 가지 글을 쌓아놓거나 스크린에 다수의 문서를 띄워놓은 상태로 통합적인 독서를 수행한다는 점이었다. 이는 실험 참가자 대다수가 읽기 행위 중 75% 이상의 시간을 쓰기와 동시에 진행하고, 한 번에 다수의 글을 배치하기 위해 스크린, 책상 등 다양한 공간을 활용했다는 Adler 등[14]의 연구와 일치한다.

실험 결과 주제-통합적인 독서 수행 시 사용자가 불편함을 겪은 주요 문제점 두 가지가 관찰되었다. 표 2는 실험 과정에서 관찰된 참가자들의 전반적인 행동들을 보여준다.

HMD 기반 증강 현실 책 시스템을 디자인하기 위해 기기와 문제의 특성을 고려하여 UX 디자인 원칙 4가지를 도출했다(표 3).

우선, HMD 증강현실 기기는 증강현실의 특성상 가상의 그래픽 물체와 현실세계의 실제 물체가 한 화면에 공존해야 하기 때문에 주제-통합적 독서 활동 시 글을 쓰기 위한 다른 매체(노트북 등)를 함께 사용할 때 시야를 방해하지 않는 디자인을 필요로 한다. 두 번째로, HMD 증강현실 기기는 현재 가장 흔한 형태인 스마트 폰이나 테블릿 PC 등을 통한 방식에서의 터치 스크린을 활용한 인터랙션도 가능하지 않고 전통적인 마우스나 키보드를 통한 인터랙션도 가능하지 않기 때문에 이를 고려한 인터랙션을 사용하여 기능을 디자인 하여야 하는 제한을 가진다. 세 번째로, 현재 HMD 기반 AR기기는 낮은 가독성과 좁은 시야각이라는 한계점을 가지고 있다. Google Glass(2013)의 경우 640x480 크기의 화면과 14.7도의 시야각으로 실제 인간의 시야보다 굉장히 좁고, 최근의 Microsoft사의 HoloLens 2(2019)의 경우 2K 해상도와 가로 43도 세로 29도로 개선되고 있지만 여전히 인간의 시야각보다 훨씬 좁고 일반 스크린에 비교해서는 명도도 낮기에 가독성이 떨어지는 문제점을 가지고 있다. 앞으로 기술의 발전으로 시야각 및 화질이 좋아질 가능성은 충분히 있으나, 현재로서는 작은 시야각을 보완하고 가독성을 높이기 위한 디자인을 필요로 한다.

사용자 인터페이스 디자인은 네 가지 UX 디자인 원칙 중 첫 번째 원칙에 따라(표 3. U1), 사용자가 기존에 사용하는 노트북 등의 디바이스 주위에 그리드 인터페이스를 증강하는 방식을 채택하였다(그림 1). 독립된 인터페이스가 아닌 노트북 등의 기존의 기기 사용을 전제로 하여 사용자가 통합적인 독서를 하는 동안 글을 쓰거나 다른 물리적인 자료도 함께 사용하기 편리하도록 하였다. 이것은 또한 세 번째 디자인 원칙(표3. U3)을 고려한 디자인으로 기존의 노트북으로 글을 작성하고 정보를 찾는 방식의 익숙함과 효율성을 같이 가져감으로써 증강현실 기반 독서 시스템의 사용성을 높이려 하였다.

Fig. 1. 
Four-side Grid UI that extends a notebook computer in the center

그리드 시스템은 4면(바닥, 전면, 좌우면)으로 구성된다. 바닥면은 사용자의 노트북이 놓인 테이블과 일치되게, 전면은 노트북 스크린의 경사와 일치되게, 좌/우면은 바닥과 전면 그리드와 직각을 이루도록 배치된다. 사용자는 그리드를 클릭하여 자신의 디바이스에 맞게 각도와 크기를 조절할 수 있다. 그리드의 네 면은 크게 두 가지로 용도를 나누었다. 전면과 바닥면은 글 열람용으로 사용하며, 좌/우면은 책/문서를 비치해 놓는 가상 책장으로 사용하게 하였다. 마지막으로 네 번째 디자인 원칙(표 3. U4)을 고려하여 사용자의 현재 시야각 밖에 콘텐츠가 존재할 경우 아이콘을 표시하여 사용자가 추가 콘텐츠의 존재 유무를 알 수 있도록 하였다.

HMD 기반 증강현실 기기는 두 번째 디자인 원칙(표 3. U2)에서 기술한 바와 같이 마우스나 터치스크린 등을 가지고 있지 않기에 기존 컴퓨터나 스마트폰과는 다른 인터랙션 방법을 요구한다. HoloLens 기기에서는 시선 추적 기능, 손가락 제스쳐 인식 기능, 보이스 인식 기능의 세 가지 방법을 사용하여 눈앞의 3차원 공간상에 놓인 가상의 물체와 인터랙션 할 수 있게 지원한다. 손가락 제스쳐 기반 인터랙션은 마우스의 버튼 클릭에 해당하는 Air-tap기능(손가락 하나를 내렸다 올리는 동작)과 마우스의 드래그에 해당하는 Tap-hold-move 기능(손가락 하나를 내렸다 유지한 채 움직이는 동작)을 주요 인터랙션 방법으로 지원한다. 표 4는 e-mmersive Book의 주요 기본 기능을 사용하기 위한 인터랙션 디자인을 보여준다.

Task	Interaction Design
Moving or rotating a book/document	① Select move or rotate menu by gaze and air-tap ② Move or rotate a document by horizontal or vertical tap-hold-move gesture
Unfolding a book/document	① Select unfold menu by gaze and air-tap ② Unfold a document by horizontal tap-hold-move gesture
Finding bibliographic information	① Select a document by gaze ② Speak ‘year’, ‘author’, ‘title’, etc. to get bibliographic info.

독립표본 t-검정 결과, 사용성을 평가한 세 가지 요인인 효율성(t(28.71)=6.79), p<.001), 기억용이성(t(38)=3.46), p<.001), 만족도(t(38)=4.51, p<.001) 모두에서 e-mmersive Book 그룹이 노트북 컴퓨터 만을 사용한 그룹보다 통계적으로 유의하게 더 높은 점수를 보고하였다(표 7). 문항으로는 질문서 7가지 문항 중 종이에 있는 문제를 해결하는 것이 용이했는지를 묻는 Q4 문항을 제외한 나머지 6가지 문항에서 e-mmersive Book 그룹이 통계적으로 유의하게 차이를 보였다.

추가적인 심층 인터뷰를 통해 효율성 요인에 대해 실험참가자들의 반응을 보다 자세히 알아본 결과, 참가들은 크게 두 가지 측면에서 e-mmersive Book 사용의 긍정적인 경험을 보고하였다. 첫 번째는 글 읽기와 쓰기의 병행 작업의 수월성으로, 노트북만을 단독으로 사용하여 작은 화면으로 읽기와 쓰기를 병행하는 것 보다 e-mmersive Book의 가상 화면을 이용해서 읽기 작업을 수행하고 노트북은 쓰기 작업만으로 사용할 수 있는 것에 대한 긍정적인 반응이 가장 많았다. 이것은 질문 문항 중 노트북과 병행 작업에 대한 용이성을 묻는 Q3 문항에서의 결과에서도 확인된다 (M=5.15 vs M=2.95). 두 번째는 글 탐색의 수월성이다. 각 문서에게 주어지는 큰 스크린 점유량은 한 번에 한 문서의 연속된 여러 페이지를 화면에 띄울 수 있게 한다. 이에 따라 각 문서 내에서 특정 지문을 찾을 때, 노트북에서 문서를 상하 스크롤하면서 찾는 것과 비교하여 더 수월한 것으로 보고하였다. 또한 여러 문서들을 동시에 화면에 띄어 놓고 비교할 수 있기에 글 간 비교하는 작업을 수행시에도 더 수월한 것으로 보고하였다. 이는 각각 Q1 문항 (M=5.65 vs M=2.60)과 Q2 문항 (M=4.95 vs 2.35)에서의 결과에서 확인된다.

반면, 몇몇 사용자들은 머리에 쓰는 형태인 HMD 증강현실 기기를 기반으로 하는 e-mmersive Book을 통해 종이에 있는 문제를 해결하는 작업에서 불편함을 겪은 것으로 나타났다. HoloLens 기기를 착용하고 종이를 볼 때 조명 빛이 기기의 글래스에서 내부적으로 반사되어 가독성에 영향을 미치는 점과 또한 종이를 보려고 고개를 숙이는 행동에서 머리에 쓴 기기의 무게 때문에 불편감을 보고하였다. 이는 해당 Q4 문항의 결과값이 7가지 문항의 결과 값 중 최소값을 나타낸 것으로도 확인된다(그림 3).

Fig. 3. 
Comparison of evaluation results from seven usability questions (e-mmersive Book vs notebook computer only group)