증강현실 기술을 적용한 동물원 관광 어플리케이션 ‘AniSearch’ 구현

2-1 증강현실

증강현실이란 실제세계와 가상의 세계를 동시에 혼합하여 보여주는 기술을 말한다. 즉, 가상세계가 가상으로 이루어진 공간에 인간이 몰입하도록 하는 것이라면, 증강현실은 실제세계에 가상세계가 동시에 겹쳐지면서 일어나 인간에게 더 높은 몰입감과 현실감을 제공하도록 하는 것이다. 이러한 증강현실은 판촉물, 게임 등 다양한 분야에 적용되고 있으며, 특히 스마트폰을 활용한 증강현실 기술의 활용이 두드러지고 있다. 이러한 증강현실의 활용은 현실감과 몰입도를 높이며, 학습의 면에서 효과를 얻게 될 것이라는 판단에서 여러 교육콘텐츠의 개발에도 다양하게 활용되고 있다[7].

그림 4는 마커인식 방식을 이용한 모바일 증강현실 기술로는 최근 2012년 8월에 국립고궁박물관에서 KIST(한국과학기술연구원)의 기술지원으로 태블릿 PC를 이용해 증강현실로 보는 ‘동궐도 이야기’를 서비스하고 있는데, 태블릿 PC를 동궐도 그림에 표시되어 있는 숫자에 비추면, 동궐도에 담겨 있는 왕실의 엣 역사를 살펴볼 수 있도록 구현된 마커인식방식의 증강현실 서비스다. 인정전에서의 왕위 즉위식, 궁궐에서의 잔치 모습, 후원의 아름다운 사계절 모습, 그리고 궁궐의 과학 이야기 등을 증강현실 기술을 활용하여 고궁박물관을 방문하는 관람객에게 제공하고 있다. [8]

Fig. 4.

The story of Donggwoldo with Augmented Reality Technology of the National Palace Museum of Korea.

2-2 증강현실 기술의 효과

증강현실은 위의 2-1절과 같이 실제로 존재하지 않은 것을 상호작용하며, 현실과 가상을 넘나드는 것이다.

증강현실이 학습과정을 촉진시킬 수 있는 이유는 주로 맥락화된 환경에서 학습객체에 대한 실제적인 조작활동이 수반되기 때문이다. 조작활동은 학습자의 학습경험을 증진시키며 학습장면에 몰입을 유발하게 된다. 또한, 학습장면을 그대로 활용하여 그 위에 학습객체를 부가적으로 보여주는 증강현실의 기술적 특성은 학습맥락에 대한 이해를 촉진시킬 수 있다는 장점을 갖고 있다. 증강현실 매체가 갖는 감각적 몰입의 유발, 직접조작에 의한 경험중심 학습, 맥락인식에 의한 학습 현존감 발생, 협력 학습 환경의 강화를 학습촉진 요인으로 제안한 바 있다[9].

2-3 기존의 증강현실 콘텐츠

증강현실을 이용한 다양한 어플리케이션이 존재하지만, 이러한 어플리케이션들은 대부분 자체적으로 개발한 교구를 사용하거나 혹은 단순히 스마트폰의 위치를 활용할 뿐 이를 활용하여

다음 그림 5는 ‘서커스AR’이라는 이름의 어플리케이션이다.

Fig. 5.

Circus AR[10]

이 어플리케이션은 현실의 사물(이미지, 형상)을 인식, 분석한 후 가상의 콘텐츠를 인식한 사물 위에 겹쳐서 보여준다. 즉, 사람의 눈으로는 볼 수 없는 현실의 숨겨진 정보와 재미를 증강현실을 통해 보다 쉽게 전달하게 할 수 있는 미래유망기술이다.[10]

또한 그림6의 어플리케이션은 웅진 씽크빅에서 개발한 바나나로켓AR이라는 어플리케이션이다.

Fig. 6.

Woogin Thinkbig BananaRocket AR [11]

이 어플리케이션은 종이책에서 보고 들을 수 없는 입체 영상과 음향 효과로 과학에 대한 흥미를 키워 준다. 대상을 다각도에서 관찰하고, 생생한 움직임을 살펴보며 입체적인 사고를 하도록 돕는다. 액티비티를 통해서 아이들이 상호 작용하며 과학을 능동적으로 학습할 수 있다.[11]

이와 같은 다양한 어플리케이션은 구글 PlayStore의 증강현실 어플리케이션 중에서 높은 인기를 이끌고 있다. 그러나 해당 어플리케이션은 어플리케이션을 만든 회사에서 자체적으로 개발한 서적 혹은 이미지를 기반으로 하기에 해당 어플리케이션을 사용하기 위해서는 추가적으로 사이트에 접속하여 이미지를 출력하거나 혹은 관련 서적을 구매를 하여야 한다. 이처럼 현재 기존의 증강현실 어플리케이션을 활용하기 위해서는 추가적인 비용의 소모를 필요로 한다는 단점이 있다.

3-1 기존 관광지 콘텐츠

기존의 관광지에서는 최근 비콘을 활용하여 사용자에게 안내를 하고 있다. 관광지 입구에서 가이드용 기기를 대여한 후, 특정 위치로 이동할 경우 해당 동물에 대한 설명을 들을 수 있으며 이러한 음성안내용 기기는 지속적으로 발전하여 이미지 및 영상을 지원하는 PDA형식의 기기까지 도입되었다. 그러나 해당 서비스를 제공하는 곳은 매우 제한적이며, 비콘을 활용할 경우 각 장소별로 비콘에 대한 인식도 문제로 인하여 사용자가 단순히 지정 장소를 통과할 뿐 설명을 원치 않을 경우에도 사용자의 의사와는 무관하게 재생이 되어 버리는 단점이 있다. 더욱이 다수의 사용자가 특정 장소에 몰릴 경우 비콘의 신호거리 및 중첩 현상으로 인해 원하지 않는 정보에 노출되기도 하며 블루투스를 사용하기에 배터리 또한 빠르게 소모가 되는 단점이 있다.

이러한 문제점을 해결하고자 본 논문에서는 별도의 기기와 비콘 등의 장비를 사용하지 않고 사람들이 대중적으로 들고다니는 스마트폰과 다양한 관광지에 존재하는 안내판 내의 이미지를 기반으로 사용자와 관광지 모두 별도의 비용 없이 접근 가능하고 이로 인한 관광지의 활성화 및 사용자들의 흥미 유발을 기대 할 수 있는 동물원 관광 어플리케이션 ‘AniSearch’를 제안하기로 한다.

3-2 ‘AniSearch’어플리케이션

최근 가상현실과 증강현실의 시장이 급성장하고 다양한 기술이 발전되면서 기존의 기술에 여러 가지 다양한 기술이 더해져 보다 적극적인 방법으로 가상현실과 증강현실을 활용하는 추세이다.

본 논문에서 제안하는 어플리케이션은 증강현실을 기반으로 하여 사용자들로 하여금 책상에서 벗어나 직접 돌아다니면서 동물을 찾게 하고, 텍스트와 소리뿐만 아니라 실제 눈으로 확인하고 상호작용하여 몰입도와 학습 능력을 향상시키는 효과를 기대할 수 있다.

FlowChart 그림 7은 해당 어플리케이션 내에서 GPS와 구글Map을 활용하여 지도 상에서 현재의 위치 및 동물들의 위치를 보여주는 알고리즘이다. 어플리케이션을 실행 시 스마트폰 내의 GPS를 활용하여 위치를 인식한 후에, 현 위치를 기준으로 미리 입력된 각 동물들의 위치를 구글맵 위에 띄워주게 된다. 해당 방식을 이용하여 사용자가 동물의 위치를 파악하고 해당 위치로 이동할 수 있게 된다. 이후에는 그림 8의 Flowchart 방식을 활용하게 된다. 그림 8은 어플리케이션에서 동물을 인식하는 과정을 나타낸 Flowchart이다. 사용자는 지도를 따라 동물을 찾은 후, 스마트폰의 후면 카메라를 활용하여 동물을 인식한다. 동물을 인식할 경우, 해당 이미지를 기반으로 해당 이미지에 대한 Target Detection Point를 탐지한 후, 해당 타켓에 대한 ID를 생성하게 된다. 이후, Database에 저장되어 있는 ID와 비교 한 후, 유사도에 따라 동물을 인지하고 해당 동물에 대한 모델링 이미지 및 상세보기 버튼이 출력된다.

Fig. 7.

Iterlink Google Map using GPS in Anisearch

Fig. 8.

Operation Method when Recognize Animal in App

3-3 ‘AniSearch’어플리케이션 구현

본 논문은 Unity 2017.3.0f3을 이용하여 GUI기반의 방식으로 구현하였으며, Vuforia에서 제공하는 Android SDK를 이용하여 증강현실을 구현하였다.

스마트폰의 다양한 OS중 안드로이드 기반으로 제작을 하였으며, 각각의 이미지는 광주광역시 패밀리랜드 내에 있는 동물들을 기반으로 구현하였다. 또한, 동물을 스캔하였을 때 출력되는 이미지는 Unity의 Asset Store혹은 다른 Free 3D modeling 사이트들을 참조하였다.

‘AniSearch’ 어플리케이션은 그림 7의 방식을 이용하여 GPS를 기반으로 자신의 위치를 동물들의 위치와 비교하면서 지도상으로 확인하고, 동물원을 돌아다니면서 각각의 동물들을 스마트폰의 카메라를 이용하여 그림 8의 방식으로 해당 동물에 대한 Detection Point 및 Target ID를 생성하여 DB와 비교한 후에 해당 동물에 대한 상세보기 버튼 및 3D Modeling 혹은 이미지를 띄워준다.

Fig. 9.

Stored 3D Modeling based on Target ID

1) GPS를 이용한 내위치 검색

어플리케이션을 실행할 경우, 해당 어플리케이션은 스마트폰의 GPS를 이용하여 사용자의 현재 위치를 확인하게 된다.

Fig. 10.

Location of Animals in Uchipark Zoo

이를 활용하여 현재 위치 값과 구글 Maps API를 활용하여 Static으로 구현된 2D상의 지도위에 현재 위치가 마커로 찍히게 된다. 또한 현재 사용자의 위치와 동물원 내의 여러 동물들의 위치를 파악하여 손쉽게 여러 동물들을 찾아갈 수 있다.

Fig. 11.

Real GPS Location Value in Uchipark

그림 12는 사용자의 위치와 동물들의 위치를 구분해야 하기 때문에 사용자의 위치는 빨간색 마커에 Me의 앞 글자를 따서 M으로 표기하였으며 동물들의 위치는 파란색 마커에 Animal의 앞 글자를 따서 A로 표기하였다.

Fig. 12.

Coordinate on 구글Map

사용자의 현 위치를 중심으로 하여 주변에 동물들의 위치를 구글Map상으로 보여주게 된다.

2) 스마트폰의 카메라를 이용한 동물 인식

앞서 언급하였듯이 그림 7의 위치 인식을 기반으로 사용자들이 해당 동물들의 위치를 찾아가게 되면 해당 동물의 우리 앞에는 해당 동물에 대한 안내판이 존재한다.

이러한 안내판에는 해당 동물에 대한 설명과 함께 동물의 사진이 정보가 있다.

어플리케이션을 실행한 후 스마트폰의 후면 카메라를 이용하여 안내판에 있는 그림 9 좌측의 2D형 동물 이미지를 인식할 경우 그림 13과 같이 해당 이미지에 대한 Detection Point를 감지한 후에 해당 point를 기반으로 Target ID가 생성이 된다. 해당 방식을 통해 생성된 Target ID를 스마트폰의 저장된 ID와 비교한 후, 그림 14 좌측 그림과 같이 해당 동물에 대한 3D 모델과 함께 동물에 대한 정보를 볼 수 있는 버튼이 나오게 된다.

Fig. 13.

Detect feature points in the image to be recognized

Fig. 14.

Detail information of Animal through Info Button.

표1은 패밀리랜드에 있는 동물 이미지 특징점을 탐지한 데이터 중 일부이다.

Table 1.

Find animals name based on generated ID using Detection Point

표1과 같이 동물에 대한 탐지를 하게되면, 그림 14에서처럼 이미지를 인식하여 뜬 모델링 하단에 해당 동물에 대한 자세한 정보를 볼 수 있는 Show Tiger, Show Bear 등의 해당 동물에 대한Show 버튼이 출력 된다.

해당 버튼을 클릭하게 되면 그림 14 우측 그림과 같이 동물에 대한 자세한 정보가 화면상으로 나타나게 된다. 또한 이 내용은 사용자가 이미지 인식을 벗어나거나 혹은 다른 장소로 이동하여도 뒤로가기 버튼을 누르지 않을 경우 계속해서 남아있게 되므로 다른 동물들을 찾아 가면서도, 해당 동물에 대한 자세한 설명을 보고 들을 수 있어 비교적 시간을 절약할 수 장점이 있게 된다.

기존의 음성 설명 기능 또한 보고 듣는 교육효과가 있기 때문에 Show 버튼을 눌렀을 경우 해당 설명과 함께 해당 설명을 기반으로 미리 저장해 놓은 mp3파일이 같이 재생이 됨으로써 스마트폰으로 보고, 소리를 듣는 과정을 통해 사용자의 흥미를 더욱 유발하는 효과도 기대할 수 있다.

Fig. 15.

Tiger Voice Guidance message based on TTS Technology

이처럼 ‘AniSearch’ 어플리케이션은 미리 저장된 TTS(Text-To-Speech, 음성합성시스템) 기반의 MP3 파일을 통해 눈으로 보고 귀로 들으며 동물들을 찾아다니는 체험을 할 수 있는 어플리케이션이다.

동물원에는 다양한 동물들이 존재한다. 이에 따라 구현하는 ‘AniSearch’ 어플리케이션에서는 패밀리랜드에 있는 많은 동물들의 대표이미지를 표 2와 같이 모두 Database로 구성하였으며 해당 이미지를 인식할 때마다 각각 다른 모델링들이 출력하도록 구현하였다.

Table 2.

Part of possible to recognizing animal list

구현하는 ‘AniSearch’ 어플리케이션은 패밀리랜드에 있는 모든 동물들의 이미지를 마커로 두고 다양한 모델링을 출력하여 지루하지 않고 사용자로 하여금 다양한 동물들의 이미지를 쉽게 접하면서 단순한 2D 이미지가 아닌 3D 그래픽으로 볼 수 있도록 구현하였으며 증강현실 기술을 통해 실제 현장에 있는 듯한 현실감을 느껴볼 수 있다.

3-4 ‘AniSearch’어플리케이션 사용효과 추이

본 논문에서는 증강현실 분야‘AniSearch’어플리케이션을 구현하였다. 제안된 어플리케이션을 이용한 시너지 효과를 분석하기 위하여 광주광역시 패밀리랜드 동물원 입장객 127명을 대상으로 테스트하여 해당 어플리케이션의 효율성을 실험해 보았다.

당일 패밀리랜드를 방문한 방문객들에게 해당 어플리케이션을 설명하고 ‘AniSearch’어플리케이션을 각자의 스마트폰에 설치하여 사용한 뒤 차후 설문으로 유도하는 과정으로 실험을 진행하였다.

설문의 항목은 총 4개로 이루어졌으며 항목은 각각 흥미성과 학습성, 재사용성과 추천여부에 관한 질문으로 구성되었다. 질문에 대한 대답항목으로는 ‘그렇다’, ‘잘 모르겠다’, ‘아니다’ 세 가지 선택사항 내에서 대답을 유도하였고 조사결과 표3과 같은 결과가 나왔다.

Table 3.

A Questionnaire table

표3과 그림 16의 내용과 같이 제안한 ‘AniSearch’어플리케이션을 활용할 때 약 67.32%의 사람들이 관광지에서 이로운 점이 있다고 대답하였으며, 69.29%의 비율로 차후 해당 어플리케이션을 다시 사용하겠다고 답하였다. 종합해보면 해당 어플리케이션은 다양한 관광지에서 관광을 도와줄 뿐만 아니라 학습이 가능한 어플리케이션의 가능성을 보여주었으며, 이러한 어플리케이션이 사람들에게 흥미를 가져다줌으로써 해당 관광지로 많은 사람들을 유도 할 수 있다는 장점을 확인 할 수 있었다.

Fig. 16.

Graphs from Table3