스마트 기기를 이용한 실시간 상황인식의 오차 보정

Ⅰ. 서론

유비쿼터스 시대를 거치고 사물인터넷 시대를 맞이하여 ‘상황인식’이 중요한 연구 이슈가 되고 있다. 상황인식에서 ‘상황’이란 ‘실제세계에 존재하는 실체의 상태를 특징화하여 정의한 정보’로 정의한다[1]. 여기서 실체는 인간, 장소, 또는 사람과 서비스 간의 상호작용을 의미한다. 상황 정보는 1)사용자 상황 2) 물리적 상황인식 3)컴퓨팅 시스템 상황 4) 사용자-컴퓨팅 상호작용 이력 5)건축물 및 내부 구성 물체의 IPv6 운영상황 등으로 구분하기도 한다.

상황인식이 중요한 것은 현재의 사물인터넷 서비스의 가장 핵심적인 부분을 차지하고, 향후 의료, 관광, 물류, 재난안전, 자율주행 자동차, 스마트시티 등 수많은 분야에서 응용될 것이기 때문이다[2][3].

상황인식을 위해서는 상황정보를 센싱하여야 한다. 상황인식을 위하여 필요한 것은 상황인식 모델이다. 상황정보 모델로 사용되는 것은 Key-Value Models, Markup Scheme Models, Graphical Models, Logic Based Models, Object Oriented Models, Ontology Based Models 등이 있다. 이중에서 가장 많이 사용되는 것은 온톨로지 기반 모델이다.

상황인식 연구가 어려움을 겪는 것은 근본적으로 상황정보의 종류가 너무 많다는 점이다. 수집하고 처리해야 하는 양이 아주 방대하기 때문에 연구의 어려움이 근본적으로 존재한다. 그렇지만, 인간의 개입 없이 이루어지는 상황인식을 활용할 수 있는 분야가 대단히 많기 때문에 상황인식에 대한 연구는 지속될 수밖에 없는 것이다.

한편, 상황인식에서 가장 큰 문제점은 상황인식을 위한 상황정보를 획득하는 센싱에서 발생하는 오차가 대표적이라 할 수 있다. 상황을 인식하기 위해서는 가장 정확한 센싱 측정값이 전송되어야만 한다. 그렇지만, 실제 세계의 상황 변화를 센싱하는 과정에서는 다양한 오차와 오류가 발생할 수밖에 없다. 이러한 오차와 오류는 센싱 환경으로 말미암을 수 있다. 센싱 환경이 혹한과 혹서로 인한 온도 차이를 제공할 수 있다. 각종 진동과 소음이 일상적으로 존재하는 환경은 어디에서나 경험할 수 있다. 주간과 야간의 조도변화도 센싱에 영향을 주는 경우는 많다. 그 뿐만 아니라 센서 자체의 오차와 오류도 존재한다. 온도센서의 경우도 기존의 기계식 온도센서의 경우는 일정한 기계적 오류가 수반되는 것이었다. 센싱 오류는 이와 같이 다양하다. 이에 따라 높은 수준의 상황인식이 가능하게 하기 위하여 오차를 보정할 필요가 있는 것이다. 상황 정보를 획득하기 위한 센싱 과정에서 수반되는 오차를 보정하여야 상황인식에서 보다 효과적인 성과를 얻을 수 있는 것이다.

본 연구에서는 상황 정보를 획득하기 위한 센싱 과정에서 얻어지는 오차에 대한 보정 방안을 제안한다. 스마트 기기에 내장된 센서의 센싱을 오차 보정 대상으로 삼았으며, 스마트 기기에서 가장 보편적으로 작동하고 있는 3축 가속도센서의 측정 데이터를 이용하였다. 스마트 기기의 3축 가속도 센서는 다방면에서 활발하게 활용되어지고 있다. 예를 들어, 3축 가속도 센서가 제공하는 센싱 데이터를 이용하여 걸음을 인식함으로써 사용자의 건강 상태나 출입보안 등 다양하고 중요한 용도에 센싱 결과를 활용하는 사례가 있다.

본 연구에서는 개인의 운동 상태나 건강 상태를 인식하는데 활용하는 걸음 인식의 데이터를 제공하는 3축 가속도 센서가 센싱 과정에서 발생하는 오차를 보정하기 위하여 칼만 필터를 이용할 것을 제안한다. 칼만 필터는 오차를 보정하기 위한 방안으로써 처음 제안되었으며, 당시에는 선형 운동하는 비행체의 항로 추정을 위한 목적으로 사용했었다. 본 연구에서는 칼만 필터를 적용하여 시계열 데이터를 이루는 3축 가속도 센서의 센싱 데이터에 대한 분석 과정에서 발생하는 일정 부분의 오차를 제거하는 방법을 제안한다.

본 논문은 다음과 같이 구성되어 있다. 2장에서 관련된 선행 연구를 정리하고 3장에서 스마트 기기를 이용한 상황인식에서의 오차보정 방안을 제안한다. 4장에서 제안한 방법으로 실험을 실시하고, 그 결과를 평가하였다. 그리고 5장에서 결론을 맺는다.

Ⅱ. 관련연구

칼만 필터는 관측치의 오차를 보정하기 위해 처음 제안 되었다. 필터의 설계에는 시행착오가 필요하고 필터에 의한 위상 지연이 불가피하다. 필터의 상태변수와 잡음 등의 정규성, 상태방정식의 선형성이라는 가정 하에서는 추정오차의 제곱합을 최소화하는데 칼만필터를 적용할 수 있다[4].

권효정 외 5인 (2009)은 공분산 타워에서 관측된 기상자료의 월 변화를 나타내었다. 월별 평균한 증발산의 일변화는 뚜렷한 계절 및 식생 변동을 반영하였다. 강수 대비 증발산의 기여도를 알아보기 위해 총 누적강수량과 총 누적 증발산을 나타내었다. 전원 공급 차단, 기기 보정, 기기 오작동, 자료 품질관리 과정에서 제거된 자료 등으로 인해 자료에 결측이 생기게 된다. 결측된 증발산 자료를 채우기 위해 칼만 필터 방법과 평균 일변동 방법을 사용하였다. 칼만 필터는 필터링 방법의 일종으로 관측에도 오차가 있다는 것을 전제로 하며, 증발산의 시계열 자료를 이용하여 추정하는 각 추정시점(t)마다 최적의 증발산 예측을 추구하는 귀납적 알고리즘이다. 이를 위해 칼만 필터는 관측 증발산과 추정된 증발산의 오차를 최소화함으로써 최적의 추정값을 생산해 낸다[5].

유철상 외 2인 (2012)은 자료동화기법의 하나인 확장 칼만 필터를 이용하여 유량자료의 실시간 품질향상을 수행하였다. 확장 칼만 필터의 상태-공간모형은 강우-유출모형과 관측유량자료를 이용하여 구성하였다. 충주댐 유역을 대상으로 적용하였으며, 그 결과 제시된 모형들이 댐 유입량 자료나 결 오측이 포함된 유량자료의 실시간 품질향상에 효과적으로 작동함을 확인하였다[6].

오세창 외 2인 (2003)은 차량검지기 데이터를 이용한 고속도로 환경에 적합한 통행시간 추정 및 예측모형 구현에 칼만필터를 적용하였다. 교통데이터 중 교통류의 변동을 민감하게 포착할 수 있는 교통량을 이용한 통행시간 추정모형을 정립하였다[7].

박영식은 근거리 미사일/로켓 방어시스템의 대응탄용 근접센서에 적용되는 칼만필터 기반 지면밀착 접근표적 추적기법을 제안하였다. 탄의 전면에 위치한 근접센서는 지면 클러터를 최소화하기 위한 안테나의 제한된 빔 폭으로 인해 위협체가 파편 분산 범위에 들어오는 순간을 감지하기 쉽지 않다. 또한 복잡한 지상 환경에서는 위협체 뿐만 아니라, 바위, 나무 등과 같은 클러터 정보를 포함하여 정확한 위협체 감지에 어려움이 따른다. 이를 해결하기 위해 칼만필터 기반의 접근표적 추적기법, 추적성능 향상을 위한 잡음 공분산 행렬의 새로운 추정 방식을 적용하였다[8]. 하종수 외 4인 (2017)은 대응탄 파편의 위협체에 대한 타격 정확도 향상을 위해 대응탄 전면에 RF(Radio Frequency) 근접센서를 적용하였다. 전면에 위치한 근접센서는 지면으로부터의 클러터 영향을 최소화하기 위해 빔폭이 제한된 안테나를 이용해 위협체를 감지하였다[9].

장태호 외 4인 (2016)은 두 개의 서로 다른 센서 데이터를 칼만필터로 융합하여 로봇의 위치인식의 정확도를 높이고자 하였다. 칼만필터로 융합한 두 개의 센서 측정값은 카메라 영상으로부터 측정된 모바일 로봇의 전역(global) 위치 좌표(x, y)값과 모바일 로봇 바퀴에 부착된 엔코더로부터 측정된 로봇의 직선 및 각속도 값이다. 칼만필터로부터 계산된 모바일 로봇의 위치값을 모바일 로봇의 자세 안정화에 피드백하여 모션 제어의 퍼포먼스를 향상시켰다[10].

김병만 외 2인 (2005)은 손 영역을 탐지하고 찾으면 칼만 필터를 초기화 하고 찾은 영역을 지정, 칼만 필터에 따라 손 영역 위치를 예측하고 예측된 손 영역 내에서 AdaBoost 알고리즘을 사용하여 손가락을 탐지하고 추적하였다[11].

본 연구에서는 다양한 연구를 통해 그 추정 성능이 충분히 입증된 칼만필터를 사용하여 상황인식의 정확성을 향상시키고자 하였다.

Ⅲ. 스마트 기기를 이용한 실시간 상황추론의 오차 보정

스마트 기기에 내장되어 있는 센서는 오차를 항상 발생시킨다. 최근의 스마트 기기는 사물인터넷 기술을 활용한 것인데, 정확하게 센싱할 수 있도록 센서가 고정되었다고 하더라도 센싱 대상인 객체의 활동성의 영향력으로부터 완전히 자유로울 수 없다. 결국, 스마트 기기에 내장된 센서를 통한 센싱 과정에서 측정값의 오차와 오류 발생은 불가피하다고 할 수 있다.

본 연구에서 이용하고자 하는 칼만 필터는 스마트 기기의 상황인식 활동에서 발생하는 오차 보정에 유리하다. 칼만필터는 애초에 시간의 흐름에 따라서 예측치와 실제 측정치에서 발생하는 오차를 산출하고 다음 시간대에서 이를 감안한 예측치를 만들고 그 예측치와 다시 측정치를 비교하여 오차를 줄이는 방식으로 오차를 보정한다. 스마트 기기의 센서가 감지하여 보고하는 데이터는 시간의 흐름에 따라 지속적으로 감지하고 보고하는 시계열 데이터의 형태를 가진다. 칼만필터는 이러한 시계열 데이터 분석을 수행하는데 있어서 매우 적합한 방법이라고 하겠다.

스마트 기기는 최근 사물인터넷의 활용 추세에 따라 급격하게 보급이 확대되고 있다. 스마트 폰은 가장 대중적인 스마트 기기로 자리매김하였다. 이어서 시장에 나타난 것은 스마트워치이다. 그 외에도 노인들이 길 잃은 것에 대비한 스마트 기기도 출시되어 있으며, 아동들의 미아, 유괴를 방지하기 위한 목적의 스마트 기기도 이미 보급되고 있다. 의료기관에서는 환자의 상태를 측정하기 위한 목적으로 스마트 기기를 활용하는 사례도 다양하게 나타나고 있다. 이미 심장내과에서는 오래전부터 환자의 심장 상태를 측정하기 위한 스마트 기기를 활용하여 왔다.

이러한 스마트 기기들은 시간의 흐름에 따라 변화하는 상황을 센서를 이용하여 인식한다. 이때, 스마트 기기의 센서가 측정하는 값에 오차가 발생하는 것은 필연적이다. 스마트 기기의 대부분은 사용자가 몸에 지니거나 부착하는 형태로 이용되는 것들이며 이때, 몸에 지닐 때 어떻게 지니는지에 따라서 오차가 크게 또는 작게 발생한다. 몸에 부착하는 스마트 기기의 경우도 스마트 기기를 부착한 사람이 안정된 고정상태를 유지하지 아니하고 활동하는 경우가 많이 때문에 그로 인한 오차는 피할 수 없는 것이다.

본 연구에서는 이러한 스마트 기기의 센싱에 대한 오차 보정을 위해 다음과 같은 처리과정을 제안한다.

• 1) 스마트 기기의 센서 선정한다.
• 2) 일정한 시간간격을 설정한다.
• 3) 측정 시작 시기와 다음 시간의 측정치의 차이가 주목할 만한 정도가 어느 정도인지 설정한다.
• 4) 스마트 기기의 센서의 센싱을 실행한다.
• 5) 각 시간대에서의 센싱 값을 구분한다.
• 6) 칼만 필터를 이용하여 각 시간대에서의 센싱 데이터에 대한 오차 보정을 실행한다.
• 7) 센싱 데이터를 이용하는 상황인식을 실행한다.

이와 같은 과정을 가상코드로 나타내면 그림 1과 같다.

Fig. 1.

Situation recognition pseudocode

그림 2는 상황을 인식하는 과정을 개념도로 나타낸 것이다.

Fig. 2.

Context aware frame

그림 3은 칼만필터를 이용한 오차 보정을 실행하는 과정을 나타낸 것이다.

Fig. 3.

Error correction process using Kalman filter

다음 4장에서는 본 연구에서 제안한 바를 실제 데이터에 적용하여 오차를 보정하고 그 결과에 대하여 평가를 실시한다.

Ⅳ. 실험 및 평가

실험 진행을 위해 사용된 웨어러블 디바이스는 스마트 워치인 Samsung Gear S3 이다. 단말의 사양은 표 1과 같다. 스마트 워치는 왼쪽 속목에 착용하였고, 앉기, 걷기, 달리기, 계단 오르기/내려가기의 활동 상태의 3축 가속도 센서 신호를 수집하였다. 수집된 신호의 속성은 측정 시간, X축 신호, Y축 신호 Z축 신호로 구성된다. 수집은 각 활동에서 10분 안팎으로 진행하였다. 실험에 참여한 피실험자는 30대 남자 1명이 진행하였다.

Table 1.

Device specification

달리기에 대한 원시 데이터는 그림 4와 같다. 달리기의 강도는 조깅 정도로 7~9km/h 의 속도로 달려 데이터 수집을 수행하였다. 달리기는 다른 신체 활동보다 격렬한 움직임으로 인해 스마트 폰 및 스마트 워치의 3축 가속도 센서의 신호가 요동치고 있는 것이 확인 가능하였다.

Fig. 4.

Raw data on smartwatch

3축 가속도 센서는 중력의 영향을 받아 단말의 회전 상태에 따라 신호에서 중력 값을 표현하는 것을 확인할 수 있다. 따라서 실험의 검증 및 평가의 신뢰도 확보를 위해 중력 값을 제거하는 단계를 추가하였다. 중력 값의 제거는 흔히 High-pass Filter (HPF)를 사용한다. 본 실험에서도 중력 값 제거 방법으로 HPF를 사용하였고, 필터를 적용한 결과는 그림 5와 같다.

Fig. 5.

HPF application of smart watch

3축 가속도 센서의 신호는 신체 활동이 격렬할 때, 그렇지 않은 신체 활동 보다 더 많은 노이즈 및 오차 값을 포함한다. 다음 단계로는 이러한 문제를 해결하기 위한 방법으로 오차 신호를 보정하는 칼만 필터를 적용하였다. 그림 6은 칼만 필터가 적용된 가속도 신호이다. 특히, Y축이 눈에 띄게 보정된 것을 확인할 수 있다. Y축의 값이 –70 ~20 사이에서 칼만 필터 적용 후 –23~15 사이로 보정되었다.

Fig. 6.

Kalman filter application of smart watch

원시데이터로부터 중력값 제거 단계를 거쳐 칼만 필터 적용까지 완료된 신호는 오차에 대한 보정이 잘 수행된 것을 확인할 수 있다.

Ⅴ. 결론

본 연구에서는 사물인터넷 기술을 이용하는 스마트 웨어러블 기기의 상황인식 기능을 향상시키기 위하여 센서부의 이벤트 데이터에 대한 오차 보정 방안을 제안하였다. 상황인식에서 필수적인 상황 정보 센싱을 함에 있어서 스마트 기기는 기기의 이용 특성상 오차가 불가피하게 발생한다. 스마트 기기의 3축 가속도 센서에서 입수되는 신호 값은 잡음이 많은데, 이는 단말기의 회전에 따른 중력 값의 영향이 크기 때문이다. 본 연구는 이를 보정하기 위하여 중력 값에 의한 신호를 HPF로 제거한 후, 각 시간대에서 칼만필터의 오류보정 알고리즘을 적용하였다. 칼만필터는 처음 사용될 때부터 시간의 흐름에 따른 예측치와 실측치 사이의 오차를 개선하는 용도로 쓰여졌기 때문에 시간의 흐름에 따라 지속하여 입수되는 실시간 상황 정보 데이터에 대한 오차 보정에 적용하기 유리하다. 본 연구에서는 개인의 운동 상태나 건강 상태를 인식하는데 활용하는 걸음 인식을 가능하게 하는 스마트 기기의 3축 가속도 센서가 센싱하고 보고하는 과정에서 포함되는 오차를 보정하기 위하여 칼만 필터를 이용하였다. 칼만 필터를 활용함으로써 시계열 데이터를 이루는 3축 가속도 센서가 감지하여 보고하는 데이터에 대한 처리 과정에서 일정 부분 오차를 제거할 수 있음을 보였다.

References

• C. C. Aggarwal, N. Ashish, and A. Sheth, "The Internet of Things: a survey from the data-centric perspective", C. C. Aggarwal (Ed.), Managing and Mining Sensor Data, Springer, Boston, p383-428, (2013). [https://doi.org/10.1007/978-1-4614-6309-2_12]
• J. Attard, S. Scerri, I. Rivera, and S. Handschuh, "Ontology-based Situation Recognition for Context-Aware Systems", In Proceedings of the International Conference on Semantic Systems, Graz, Austria, p113-120, (2013). [https://doi.org/10.1145/2506182.2506197]
• W. Dargie, E. Eldora, J. Mendez, C. Möbius, K. Rybina, V. Thost, and A. Turhan, "Situation Recognition for Service Management Systems Using OWL 2 Reasoners", In Proceedings of the IEEE Workshop on Context Modeling and Reasoning, San Diego, USA, p31-36, (2013).
• Technology Focus, p64-71, (2018), https://arx.appi.keio.ac.jp/wp-content/uploads/2018/01/test.pdf.
• H. J. Kwon, J. H. Lee, Y. K. Lee, J. W. Lee, S. W. Jung, and J. Kim, "Seasonal Variations of Evapotranspiration Observed in a Mixed forest in the Seolmacheon Catchment", Korean Society of Agricultural and Forest Meteorology, 11(1), p39-47, (2009). [https://doi.org/10.5532/KJAFM.2009.11.1.039]
• C. S. Yoo, J. H. Hwang, and J. H. Kim, "Use of the Extended Kalman Filter for the Real-Time Quality Improvement of Runoff Data: 1. Algorithm Construction and Application to One Station", Journal of Korea Water Resources Association, p697-711, July), (2012.
• S. C. Oh, M. H. Kim, and Y. H. Baek, "Development of a Freeway Travel Time Estimating and Forecasting Model using Traffic Volume", The Journal of Korean Socity of Transportation, 21(5), p83-95, (2003).
• Y. S. Park, "Approaching Target above Ground Tracking Technique Based on Noise Covariance Estimation Method-Kalman Filter", The Journal of Korean Institute of Electromagnetic Engineering and Science, 28(10), p810-818, Oct.), (2017.
• J. S. Ha, J. E. Roh, J. H. Choi, H. J. Lee, and Y. S. Park, "Study on the Compact K-Band Radar for Detecting the Approaching Target above Ground", The Journal of Korea Institute of Electromagnetic Engineering And Science, 28(4), p309-317, Apr.), (2017. [https://doi.org/10.5515/KJKIEES.2017.28.4.309]
• T. H. Jang, Y. S. Kim, M. Y. Kyoung, H. B. Yi, and Y. D. Hwan, “Kalman Filter-based Sensor Fusion for Posture Stabilization of a Mobile Robot”, Trans. Korean Soc. Mech. Eng. A,, 40(8), p703-710, (2016). [https://doi.org/10.3795/KSME-A.2016.40.8.703]
• B. M. Kim, J. W. Kim, and K. H. Lee, “An Application of AdaBoost Learning Algorithm and Kalman Filter to Hand Detection and Tracking”, Journal of the Korea Society of Computer and Information, 10(4), p47-56, (2005).