Journal Archive

우리가 살아가는 공간은 기술의 발전에 힘입어 기술 중심의 사회에서 사용자 즉, 인간중심의 기술 개발의 사회로 변화하고 있다. 사용자의 몰입감을 증대하기 위해서 우리 주변의 영상의 품질을 높이는 연구가 지속되고 있는데, 이는 해상도의 향상을 이야기한다. Full-HD에서 4K 해상도 현재에는 8K의 해상도를 이야기하는데 이것은 이제 대형화에 따른 수치의 확장일 뿐 사용자의 시각에서는 그 차이를 뚜렷하게 확인하기는 어렵다. 영상의 화질은 현재의 기술로 충분하다고 보고 오히려 지금은 사용자가 상호작용을 통해서 보여지는 영상과 가상의 콘텐츠 등을 수단과 방법을 제어하는 부분에 대한 연구가 더 활발하게 이루어지고 있다. 상호작용이 없는 많은 콘텐츠들은 감상적인 관점밖에 나타나지 않기 때문에 점점 그 흥미를 잃고 있으며, 사용자의 몰입도도 떨어지고 있는 것이다. 자연스러운 상호작용을 위해서 다양한 방법들이 연구되고 있는데 크게 사용자의 신체를 통한 터치를 이용한 방법과 스마트폰과 카메라 등의 기기를 사용하는 방법으로 나누어진다.

상호작용의 연구는 HCI(Human-computer interaction) 분야에서 다양한 방면에서 연구되어지고 있다. 그림 1과같이 우리 주변의 모든 분야에 사람과 기술이 연결되어 있음을 볼 수 있다[1]. 특히 사용자가 머무르는 공간에서 이루어지게 되는데 이러한 공간에서의 연구는 사용자가 참여할 수 있는 대표적인 연구 분야라고 할 수 있다. 그림 2를 보면 기존에 센서를 통한 인터랙티브 방식은 특정 공간이나 지역에서 (a)의 예제처럼 터치패널을 이용하거나 (b)와 같이 스마트폰 내부의 센서를 가지고 움직임을 감지하고 이에 그림을 그려주는 방식이었다면, (c)와 같이 현재에는 이러한 센서를 사용하지 않고 카메라의 영상만을 이용하거나 추가적인 센서를 사용하는 등의 복합 정보 기반의 인터랙티브 방식을 통해 정밀하고 다양한 정보를 분석해서 그에 상응하는 내용을 전달하고 있다[2]. 이러한 복합적인 센싱 기술은 사용자들이 쉽게 접하게 되는 전시공간에서 기술과 예술의 융합된 새로운 형태의 전시나 작품이 많이 시도되고 있다. 관람객의 움직임 행동 등에 반응해서 사용자에게 전달하고자하는 정보가 영상이나 소리, 조명 등으로 공간에서 표현된다[3]. 버스나 지하철과 같이 불특정 다수가 움직이는 공간에서 센싱을 통한 정보 전달이나, 전시 공간에서 사용자에게 전달하고자하는 정보에 맞춰 내용을 전달하는 방법에도 사용자의 신체 움직임이나 이동정보와 같이 복합적인 센싱 정보를 기반으로 정보를 전달하는 것이다[4][5]. 이처럼 카메라를 이용한 영상 기술의 발전으로 다양한 분야에서 활용하고 있다. 일상생활에서는 안전을 위한 CCTV를 이용한 특정 공간의 관리, 사용자의 움직임이나 행동을 분석하기 위한 기록, 개인적인 기록을 위한 촬영 등 광범위하게 사용되고 있다. 현재 일상생활에서 카메라를 이용한 촬영 및 분석은 보편화 되고 있고, 이를 기록하고 재생산하는 작업들로도 확대 되고 있는 것이다. 이러한 작업들은 데이터 시각화나 여러가지 정보전달의 그래픽 요소로 사용되기도 하는데 이를 위해서는 실시간으로 카메라에서 취득되는 영상 분석 및 이를 보완하기 위한 다양한 센서를 이용한 작업들로 이루어진다.

Fig. 1. 
Human-computer interaction and related research fields

Fig. 2. 
Example of interaction (a) Touch panel (b) Smart phone motion sensor (c) Camera sensing

본 연구에서는 사용자가 조작하는 여러가지 방법을 상호작용이라고 정의하고, 공간에서 다양한 움직임이나 사용자의 행위에 따른 상호작용을 감지하고 이를 활용한 다양한 정보전달을 위한 기술 적용에 대한 연구를 진행하고자 한다. 상호작용을 위한 감지 방법은 크게 3가지로 정의될 수 있는데, 터치 패널을 손이나 펜등을 이용하는 방법, 스마트폰과 같은 모바일 기기의 센서를 이용하여 움직이는 속도나 방향을 분석하여 상호작용을 하는 방법, 카메라에 입력되는 시각정보인 영상을 이용하는 방법으로 나누어 볼 수 있다. 우리는 현장에서 쉽게 설치가 용이하고 움직임에 즉각적으로 반응할 수 있는 영상기반의 센서를 이용해서 연구를 진행하였다. 이를 통해서 특정공간안에서 움직임을 감지하고 판단해서 실시간으로 처리되는 결과를 영상을 통해서 사용자에게 상호작용의 결과를 보여주는 연구를 진행하고자 하는 것이다.

모션센서인 키넥트, 립모션, 리얼센스와 같은 카메라 기반의 장비중에서 우리는 공간에서 설치가 용이하고 다양한 움직임을 센싱할 수 있는 리얼센스를 기반으로 테스트를 진행하고자 한다. 키넥트 센서는 개발 사용된지 오랜 시간이 지나고 현재 단종된 상태이고, 립모션은 손에대한 움직임에 특화되어 있기 때문에 사람의 움직임이나 상체에 대한 센싱 부분을 고려했을 때 가장 적합한 카메라 장비로 판단되었다.

실험에서 사용된 카메라는 인텔사에서 개발한 리얼센스 시리즈중의 D435 모델을 선정해서 테스트 되었다. 이 모델은 카메라가 확보할 수 있는 시야각이 다른 모델에 비해 넓고, 측정 거리도 넓어서 다양한 환경에서 사용이 용이하다. 특히 상호작용을 위한 손의 제스쳐 인식을 위한 검출도 용이한데 손과 손가락의 위치를 총 22개의 점으로 인식가능하고 이를 기반으로 손과 손가락을 추적한다. 손가락은 손가락 마디에서 손가락 끝 사이의 관절 2개로 각각 4개의 포인트, 손바닥과 손등의 2개의 포인트로 구성된다. 이를 기반으로 제스쳐 인식인 주먹을 쥐고, 손바닥을 편상태와 손을 좌에서 우로, 우에서 좌로 움직이는 동작의 제스쳐를 감지한다. 이러한 동작을 이용해서 우리는 인터랙티브 시스템을 그림 12와 같은 환경에서 테스트를 진행하였다. 영상 출력을 위한 디스플레이 앞에 사람이 영상을 보면서 움직이는 모션에 따라 결과를 보여주는 것을 목표로 센서의 위치를 정하고 테스트를 진행하였다. 디스플레이와 사용자 사이에 유리창이 존재하는 환경을 고려하여 작업하였다.

Fig. 12. 
Interaction system layout

그림 13은 상호작용 시스템을 구성하기 위한 하드웨어 구성을 나타내고 있다. 다중의 디스플레이를 연동하기 위해서 네트워크 기반의 동기화 작업이 전제되어야하기 때문에 네트워크 연동과 영상의 제어를 위한 제어 서버의 역할이 필요하다. 센서의 정보를 얻어서 서로의 서버에서 특정 영역에 상호작용을 연동하였다.

Fig. 13. 
Interaction System Hardware Diagram

상호작용 시스템은 크게 3단계로 테스트가 진행되었다. 그림 14를 보면 1차 단계에서 센서에 대한 실내공간에서 내부 테스트를 진행하면서 실내에 설치된 유리를 사이에 두고서 투사에 대한 테스트를 진행하였다. 사용자의 신체의 움직임을 감지하고 그중 손의 움직임을 감지해서 제스쳐를 인식하는 테스트를 진행하였다. 2차 단계로는 실외환경에 사용자와 실내 환경에 카메라가 세팅되고 그사이를 유리가 있는 환경에서 인식률 테스트를 진행하였다. 유리는 두께나 코팅된 필름에 따라서 환경적인 차이를 나타내었다. 그리고 마지막 3차로는 앞에서 테스트된 결과들을 이용하여 가상의 3D 캐릭터에 모션인식에 따른 손의 제스처를 인식해서 상호작용을 테스트하는 과정으로 마무리 하였다.

Fig. 14. 
Test step (a) in-door (b) out-door (c) interaction

카메라는 빛의 간섭과 주변 환경의 변화에 민감하게 반응하는데 이러한 부분에 대해 강건한 검출 및 추적을 진행하기 위해서 다양한 실외 환경의 테스트가 필요하다. 그림 15는 센싱 카메라의 다양한 환경 테스트를 위해서 진행한 테스트 작업으로 실내에 설치된 카메라가 실외에서 반응하는 사용자를 감지하고 인식하는 과정을 테스트 하였다. 주변의 다양한 빛의 간섭이나 주변 사람들의 이동을 통해서 그림자나 빛의 변화에 대해 간섭이 존재하는 부분을 확인하였다. 빛의 급격한 변화에 민감도를 보이는 부분에 대해서 예외 처리를 통한 정확도를 찾고자 하였고, 사용자가 겹치거나 지나가는 부분에 대한 반사에 대한 부분도 시간차를 이용해서 예외 처리를 진행하였다. 이러한 부분을 환경에 맞게 적용하여 환경에 최적화 하는 작업을 진행하였다.

Fig. 15. 
Outdoor environmental sensing test work

손을 이용한 제스쳐 인식은 손을 쥐고 펴는 동작에서 시작해서 다양한 설정이 존재한다. 그림 16에 제스처에 대한 정의를 나타내고 있는데, 손의 다양한 모양을 인식하는 것과 이러한 손의 움직임까지는 분류가 가능하다. 하지만 이러한 손의 움직임에 대한 기준이 필요하기 때문에 우리는 신체의 각 관절의 정보를 이용해서 몸통을 기준으로 잡고 상하좌우에 대한 손의 모션인식을 추가해서 정확한 동작 인식을 하고자 하였다.

Fig. 16. 
Hand gestures detection

그림 17은 앞에서 이야기한 신체의 관정 정보와 손의 움직임을 이용해서 사용자가 상호작용 테스트 작업을 진행한 이미지이다. 가상의 3D 말 캐릭터는 카메라가 사용자를 인식하는 공간에서 사용자의 손의 움직임에 반응한다. 이러한 상호작용에 반응해서 3D 말 캐릭터가 모션에 따라서 왼쪽, 오른쪽, 점프의 세단계의 움직임을 나타내고, 앞으로 달려가는 가상의 공간에서 목표지점까지 무사히 도달하는 방식의 규칙을 가지고 테스트를 진행하였다. 직관적인 모션을 위해서 손을 왼쪽으로 움직이는 동작에는 왼쪽으로 이동, 손을 오른쪽으로 움직이는 동작에는 오른쪽으로 이동, 양손을 들어올리는 동작에는 점프를 하게되는 규칙을 적용하였다. 이러한 방식은 움직임이 거의 없는 사용자의 몸통과 상대적으로 움직이는 손의 움직임을 통하여 동작을 인식하는 방법으로 진행되었다. 이러한 과정을 통하여 출발지점에서 시작하여 목표지점을 향해 움직이는 과정으로 상호작용 요소에 대한 테스트로 진행하였다. 그림 18은 이러한 움직임에 반응하는 3D 말 캐릭터의 움직임을 영상으로 기입할 수 없어서 스틸 이미지로 나타낸 것이다. 화면의 가운데를 중심으로 사용자의 손의 움직임에 따라서 좌우로의 이동과 점프하는 동작에 대한 내용을 보여주고 있다.

Fig. 17. 
Detect hand gestures Interaction test

Fig. 18. 
Gesture detection interaction test video still image

구현된 시스템은 사용자가 핸드 모션을 통해 상호작용을 진행하기 위해서 구현되었다. 테스트에 참여한 사용자들은 특정 공간에서 실시간으로 모션에 반응하는 가상의 3D 캐릭터를 확인하면서 자신이 행동에 반응하는 캐릭터에 대해서 흥미를 가지고 테스트를 진행하였다. 하지만 테스트를 진행하는 과정에서 빛에 의한 간섭 때문에 센서의 설치 환경이 중요한 요인으로 발생하였다. 카메라 센서에 빛이 광원에 의한 순간적인 객체의 추적실패 및 지연이 생기게 되는 것으로 확인되었다. 때문에 우리는 실험 테스트 공간을 빛에 의한 간섭이 적은 공간을 선정하고 실험 환경을 구성하는 부분에 있어서도 빛을 고려해서 설치하였다. 이는 상호작용의 목적에 맞는 주변 환경을 구성하고 빛에 대한 카메라의 문제가 발생하지 않는 구성이 매우 중요한 요소라는 것을 확인하는 결과를 나타내었다.

현대사회는 새로운 기술의 개발과 더불어서 다양한 학문과 교류하고 융합하는 현상이 두드러지게 나타나고 있다. 기술이 기술에만 머무르는 것이 아니고 기술과 문화, 예술 등 기존에는 뚜렷하게 다르고 별개라고 생각했던 부분들이 하나로 융합되고 있는 것이다. 기술을 표현하기 위해서 예술적인 감각이 필요하고, 문학을 알리기 위해서 기술을 통해 재미있고 쉽게 다가갈 수 있게 만드는 것이다. 이러한 부분에서 상호작용과 관련된 기술들은 매우 두드러지게 나타나고 있는 요소라고 할 수 있는데, 사용자가 직관적으로 다가설 수 있기 때문이라고 생각된다. 기존의 기술들과 새로운 기술 더불어 하드웨어의 발달로 점점 고도화되고 소형화 되면서 우리 주변에 널리 사용되고 있는 것이다.

이번 연구에서는 사용자의 직관적인 행동을 인식하는 카메라와 이에 반응하는 영상 미디어 기반의 연구를 진행하였다. 미디어와 매일 함께하는 환경을 지니고 있는 현대인에게 단방향적인 영상 표현에만 머무르지 않고 카메라와 센서 등 다양한 매개체를 활용하여 미디어 콘텐츠를 보여주는 것은 더욱 효과적으로 정보를 전달할 수 있는 방법이 될 것이다. 이는 일방적인 전달방식을 통해 기술이나 정보를 얻게 되는 수동적 방식에서 벗어나 사용자가 디지털 콘텐츠에 직접 참여할 수 있는 상호작용 기술을 통해 나타나고 발전되고 있다. 특히, 최근에 개발 된 비 접촉식 동작인식 감지 기기들인 립모션과 리얼센스가 이러한 상호작용 방식의 대중화에 앞장서고 있다. 이러한 기술의 적용을 통해 사용자의 신체 행위를 인식하여 별도의 신체적 접촉이 있는 장비를 사용하지 않고 대상과 상호작용하는 방식의 콘텐츠는 앞으로 각광받을 대표적인 방식이라고 볼 수 있다. 이러한 기술들이 우리 생활에서 다양하게 적용되고 있기 때문에 앞으로 더 다양한 연구를 통해 다양한 환경과 공간에 적용 가능할 것으로 기대된다.