Journal Archive

최근에는 IT 기술의 발전과 함께 디지털 콘텐츠와 결합하여 어린이들을 위한 다양한 체감형 놀이 콘텐츠가 제작되고 있다[1]-[4]. 대부분의 체감형 놀이 콘텐츠의 시나리오들은 사용자의 행동을 인식하고 인식된 행동에 따라 디지털 콘텐츠를 시각화하는 형태로 구성되기 때문에, 행동 인식을 위한 깊이 카메라, 콘텐츠 시각화를 위한 프로젝터가 포함된 프로젝터-카메라 시스템이 많이 활용된다. 깊이 카메라는 제조사에서 라이브러리를 무료로 제공하기 때문에, 콘텐츠 제작자는 기술개발 없이도 기획한 콘텐츠를 만들 수 있다 [5], [6]. 하지만 제공되는 라이브러리에 제한된 콘텐츠 시나리오만을 기획해야 한다는 한계를 가지고 있다.

체감형 놀이 콘텐츠에는 행동 인식 외에 물체를 매개로 던지기 놀이 형태의 콘텐츠도 제작되었다. 이와 같은 콘텐츠에서 물체와 벽면 간의 충돌 위치를 추정하기 위해서 적외선 카메라를 이용하거나 레이저 센서를 이용한다. 적외선 카메라를 이용할 경우 2D 영상만으로 해석하기 때문에 벽에 던져진 물체의 충돌 여부를 판단하기 어려우며 벽에 부딪히기 전에 좌표가 추정되므로 정확한 좌표가 추정되지 못한다. 레이저 센서의 경우 벽에 충돌된 물체의 위치를 높은 정확도로 추정할 수 있으나, 고가의 장비이며 레이저가 발사된 방향에 두 개 이상 물체가 동시에 존재할 경우 센서 가까이에 있는 물체 하나만 위치 추정이 가능하다.

본 연구에서는 이러한 한계를 해결하고 프로젝터-카메라 시스템에서 던지기 놀이 형태의 콘텐츠 제작이 가능하도록 프로젝터-카메라 시스템 구성 및 물체와 벽면 간 충돌 위치 추정 방법을 제안한다. 제안된 방법은 깊이 버퍼를 벽 앞에 두고 버퍼 안에 들어온 물체만을 인식함으로써 벽에 충돌된 물체의 위치를 정확히 추정한다. 위치 추정을 위해 먼저 인식영역인 관심영역 (ROI: Region of Interest)을 설정하고 벽면으로부터 버퍼의 깊이 값을 설정한다. 그리고 잡음 제거와 윤곽선 찾기 방법을 적용함으로써 물체의 위치를 추정하게 된다. 추가로 제안된 방법을 쉽게 체감형 놀이 콘텐츠에 적용하기 위해 콘텐츠 프로그램에 네트워크 통신을 이용하여 추정된 위치 데이터를 전달한다.

본 논문의 구성은 다음과 같다. 1장에서는 프로젝터-카메라 시스템에 관해 설명하고 체감형 놀이 콘텐츠에서 제안된 방법의 필요성에 관해 기술한다. 2장에서는 깊이 카메라를 이용한 콘텐츠들을 조사하고 분석한다. 3장에서는 제안된 방법에 대해 상세히 기술하고, 4장에서는 제안된 방법의 성능을 평가하고 실험 결과를 설명한다. 마지막으로 5장에서는 한계점과 추후 연구에 대해 언급하고 결론을 맺는다.

깊이 카메라는 다양한 상호작용 미디어 콘텐츠 개발에 많이 이용되어 왔다. 그림 1은 깊이 카메라를 이용하여 직접 속으로 캐릭터들을 제어할 수 있는 별주부전 전래동화 콘텐츠를 보여준다 [7]. 제작된 콘텐츠는 손으로 직접 3D 캐릭터를 조작함으로써 사용자들에게 흥미와 몰입감을 준다는 장점이 있다. 하지만 어린이들은 세밀한 조작이 어려우므로 시나리오에 맞게 진행하기에는 어려움이 있다.

Fig. 1. 
The Hare and the Tortoise [7]

그림 2는 깊이 카메라를 이용하여 사용자의 손동작을 인식하고 인식된 손동작에 따라 적합한 글자와 이미지가 나타나는 한글 교육용 콘텐츠 보여준다 [8]. 제안된 콘텐츠 역시 손동작을 실시간으로 인식하고 어린이들에게 교육 콘텐츠를 제공한다는 측면에는 장점이 있지만, 원하는 자음을 정확히 선택하기 위해서는 정밀한 손동작이 필요하다는 단점이 있다.

Fig. 2. 
Korean educational content [8]

그림 3은 홀로그래피 프로젝션 3D 콘텐츠와 사용자 간의 자연스러운 홀로그래피 상호작용 방법을 보여준다 [9]. 제안된 방법은 깊이 카메라를 이용하여 홀로그래피 콘텐츠의 주변 공간을 컴퓨팅 환경으로 보고 사용자의 동작 정보를 공간적으로 해석하는 것이다. 홀로그래피를 이용하여 사용자의 몰입감을 증가시키는 장점은 있지만, 3차원 공간에서 조작되는 콘텐츠와 깊이 카메라로 인식된 스켈레톤 위치를 정확히 교정(calibration) 해야 한다는 어려움이 있다.

Fig. 3. 
Holographic projection system [9]

기존 연구들은 깊이 카메라를 동작 인식에만 적용하여 콘텐츠를 제작하였으며, 제안된 방법은 동작 인식 이외에 던지기 놀이 콘텐츠 제작에 활용함으로써 시나리오의 확장이 가능하다. 또한, 상호작용 방법은 단순하고 반복적인 동작을 요구하므로 어린이들을 대상으로 한 쉽고 활동적인 콘텐츠 제작이 가능하다.

제안된 방법의 성능을 평가하기 위해 정확도와 처리 시간에 대해 실험을 수행하였다. 정확도는 촬영된 실험 영상에서 물체의 위치와 추정된 위치를 비교함으로써 거리 오차를 측정하였다. 처리 시간의 경우 충돌 직후부터 추정된 위치가 나타나기까지의 시간을 측정하였다. 그림 10은 실험에서 사용된 크기가 다른 2개의 공을 보여준다.

Fig. 10. 
Objects used in the experiment: a large ball with a diameter of 12.5 cm on the left and a small ball with a diameter of 6.3 cm on the right.

표1은 정확도와 처리 시간를 측정한 결과이다. 정확도의 경우 큰 공의 경우 약 3 cm의 오차와 작은 공의 경우 약 3.5 cm의 오차가 발생하였다. 실험 결과 공이 다른 크기라도 그 오차는 유사하게 나타났으며, 전체 평균은 3.25 cm 로서 체감형 놀이 콘텐츠에 충분히 적용 가능한 정확도를 보였다.

처리 시간의 경우 큰 공은 127 ms, 작은 공의 경우 114 ms, 그리고 평균 120 ms으로 나타났다. Kinect V2 카메라의 경우 30 fps 의 성능을 가지며, 처리 시간에서 하드웨어 시간을 제외한 위치 추정 알고리즘 동작시간은 평균 87ms로 나타났다. 제안된 방법은 추정되는 물체 수 증가에 따른 처리 시간 증가가 없으므로 어린이를 대상으로 한 체감형 놀이 콘텐츠에 적용할 수 있다. 야구 게임과 같이 물체의 빠른 추정을 요구하는 체감형 콘텐츠에 대해서는 제안된 시스템의 적용이 어려우며 이를 해결하기 위해서는 각 단계에 대한 최적화 방법이 필요하다.

본 논문에서는 프로젝터-카메라 시스템을 이용하여 던지기 놀이 형태의 콘텐츠 제작이 가능하도록 시스템 구성 및 물체와 벽면 간 위치 추정 방법을 제안하였다. 제안된 방법은 깊이 카메라를 이용하여 벽 앞에 얇은 깊이 버퍼를 만들고 버퍼에 들어온 물체들만 인식하고 위치를 추정함으로써 벽에 근접하거나 충돌된 물체의 위치를 정확히 추정할 수 있다.

추후 연구로서 첫 번째는 교정과정의 자동화이다. 제안된 시스템은 교정하는 사람의 숙련도에 따라 시스템의 성능이 달라질 수 있다. 이 부분을 해결하기 위해 최적화된 자동화 교정 과정이 필요하다. 두 번째로는 평평한 벽뿐만 아니라 그림 11과 같이 곡선형의 벽에서도 시스템이 동작하도록 연구·개발하는 것이다.

Fig. 11. 
Curved wall