Journal Archive

사물인터넷 기술을 이용하는 각종 응용에 관한 연구가 활발하게 진행되고 있다. 4차 산업혁명은 지금 현재 매우 큰 관심을 불러 일으키고 있는 중이다. 4차 산업혁명을 유발하고 이끌어가는 핵심기술로 사물인터넷, 빅데이터, 인공지능을 꼽을 수 있는데, 그중에서도 단연 사물인터넷은 다른 빅데이터와 인공지능의 역할을 극대화하는데 기여하기 때문에 4차 산업혁명의 핵심기술로서 비중이 다른 것보다 더 크다고 하겠다[1].

사물인터넷은 센서부와 통신부와 데이터처리부, 그리고 전원부로 이루어져 있다. 센서부에서는 실제세계에서 일어나는 현상과 상황의 변화를 감지하고 이를 보고하는 역할을 한다. 센서부는 실제세계의 다양한 객체 또는 객체가 처한 환경요소들에게 부착되거나 배포된다. 센서부는 반도체의 발달에 힘입어서 날로 그 성능이 강화되고 있다.

사물인터넷은 네트워크의 발달로 인하여 활성화될 수 있었다. 이전에 유비쿼터스 센서 네트워크(USN;ubiquitous sensor network)가 있었다[2]. 이 네트워크 시스템이 실용화되기 어려웠던 것은 유비쿼터스 센서 네트워크가 가진 네트워크의 한계 때문이었다. 유비쿼터스 센서 네트워크의 통신 네트워크 프로토콜은 Zigbee를 채용하였는데, 원거리 데이터 전송과 장애물 통과에 있어서 어려움이 있었다. 그렇지만 사물인터넷은 근거리 데이터 통신과 원거리 이동통신망을 연결함으로써 유비쿼터스 센서 네트워크가 겪었던 문제를 해결하였다.

사물인터넷은 그 자체보다도 그 다양한 응용이 이루어지고 있는데, 사물인터넷으로 인하여 스마트 웨어러블 기기의 발달과 안정화가 이루어지고 있다. 대표적인 스마트기기로 이미 상용화가 이루어진 것으로는 스마트 폰과 스마트워치를 들 수 있다. 이외에도 스마트 글래스가 시장에 출시를 준비 중에 있으며, 보건의료, 스마트 팩토리 등 다양한 분야에서 스마트 웨어러블 기기가 활용되기 위한 연구가 이루어지고 있다[1].

스마트 웨어러블 기기에는 여러 가지 다양한 기능과 용도가 있다. 그중에서도 실시간으로 웨어러블 기기를 지참하거나 부탁하고 있는 객체의 상태를 인식하는 것이 가장 중요한 기능이라고 할 수 있다. 스마트 웨어러블 기기의 센서데이터는 약간의 문제가 있다. 웨어러블 기기의 특성상 오류와 잡음이 발생하여 측정값에 포함되는 것이다. 이러한 오류와 잡음을 제거하는 것은 중요하다. 그래야 웨어러블 기기의 본래 목적인 실시간 상태인식 및 상태 추정의 질을 높이고 그 효과를 증대시킬 수 있기 때문이다.

본 연구에서는 측정값에 대한 필터링을 제안함으로써 스마트 웨어러블 기기의 기능을 향상시키고 실시간 상태 추정을 보다 고급화할 것을 기대한다. 본 연구는 다음과 같이 구성되어 있다. 2장에서 관련 연구에 대하여 정리한다. 3장에서 본 연구에서 제안하는 저역필터를 채용하는 잡음제거 방안을 제안한다. 4장에서는 본 연구에서 제안한 바에 대한 실험을 실시하고 그 결과에 대하여 평가한다. 5장에서 결론을 맺는다.

우수한 음향이나 영상을 얻기 위해서는 신호 값의 잡음 제거 과정이 필요하다. 첫째, 푸리에 변환을 이용한 주파수 영역에서의 잡음 제거 방법이 있다. 주파수 영역에서 잡음의 스펙트럼을 추정하여 제거한다. 잡음 제거 능력이 우수하지만 비슷한 주파수 특성을 가진 잡음에 대해서는 좋은 성능을 보여주지 못하고 위상 검출 부분에서 어려움이 있다[3]. 둘째, 통계적 모델에 기반한 잡음 제거 방법이 있다. 통계적 모델은 잡음 참고신호와 오차의 모델로부터 원하는 신호를 추정하고 신호를 향상하는 방법이다. 잡음 환경에 맞춰 적응하여 잡음을 제거한다. 잡음제거와 음성향상에 좋은 성능을 보이지만 참고신호를 획득하기 위한 별도의 신호 입력단이 필요하며 낮은 신호 대 잡음비 환경에서 성능 저하가 일어난다. 셋째, 웨이블릿 변환을 이용한 잡음 제거 방법이 있다. 웨이블릿 변환을 이용한 경우, 입력 신호를 분해하는 기저함수를 사용자가 결정해야 한다. 웨이블릿 문턱치 구간에서 신호의 불연속이 발생한다. 넷째, EMD(empirical mode decomposition)를 이용한 잡음 제거 방법이 있다. 비선형적이며 비정상적인 신호를 분석하기 위해 도입된 적응적인 모드이다. EMD를 이용한 기법의 경우, 잡음의 분포를 사용자가 사전에 알 필요가 없으며, 기저함수 또한 순수하게 입력신호에 의해서 결정되는 유용한 특성을 지니고 있다. 유사한 신호 모드로 분해하는 것을 방해하는 모드 혼합이 발생하는 단점이 있다[4].

영상 처리에서 잡음제거는 선형필터와 비선형 필터로 나눌 수 있다. 선형 필터는 영상을 대칭적인 윈도우와 컨볼루션 하는 것으로 복원되는 각 픽셀 값은 주변 픽셀들의 가중 평균값으로 나타낼 수 있다. 가우시안 필터는 윈도우의 가중치 값이 가우시안 함수 분포를 가짐으로써 윈도우의 중심에 더 큰 가중치를 준다. 선형필터는 구현이 간단하여 가장 많이 사용된다. 변화도가 작은 영상 신호에서는 좋은 성능을 보이나, 정상 상태가 성립되지 않는 부분인 에지나, 코너 등에서의 선형 필터링은 몽롱화 현상을 가져온다[5]. 에지에서 고주파 정보의 손실을 막기 위한 것이 비선형 필터이다.

Jeon 외 2인은 영상 내에 포함되어 있는 자기 유사성을 이용하는 잡음 제거 알고리즘을 제안하였다. 잡음 제거를 수행 할 위치의 화소 주변 화소들을 이용하여 평탄 영역인지를 판단한다. 평탄 영역일 경우 그 주변 픽셀들의 평균으로 잡음을 제거하고, 평탄 영역이 아닌 경우, 블록 MSE(block mean square error) 관점에서 유사도가 높은 블록을 탐색하여 그 블록들의 중심 화소 값들을 이용하여 잡음 제거를 수행하였다[6].

비지역적 알고리즘은 부가적 백색잡음을 제거하는데 효과적이다. 오프라인 과정에서는 노이즈 수준과 디노이징 파라미터 간의 관계를 비지역적 기법을 이용하여 분석해본다. Lim은 다양한 디노이징 파라미터들을 비지역적 알고리즘에 적용하였으며 이미지의 퀄리티를 분석하기 위해서 SSIM(structural similarity) 지표를 사용하였다. 온라인 과정에서는 노이즈 수준을 실시간으로 추정하여 최적의 디노이징 파라미터를 적용하여 비지역적 필터링을 수행하였다[7].

Park은 웨이블릿 계수의 크기와 위상을 이용하여 평탄 영역과 복잡한 영역으로 분류하였다. 평탄 영역의 블록 경계에서는 격자 잡음 제거를 위한 필터링을 수행하고, 복잡한 영역에서는 스케일에 따른 웨이블릿 계수의 변화율을 이용하여 에지와 계단형 잡음으로 구분하고 계단형 잡음만 처리하였다. 복잡한 영역의 에지블록은 신호적응필터를 이용하여 에지를 보존하면서 유사에지인 링잉현상을 효율적으로 제거하였다[8].

영상에 첨가되는 복합잡음의 영향을 완화하기 위하여 공간영역에서 잡음의 종류에 의해 임펄스 잡음과 가우시안 잡음을 분류하여 처리하며, 임펄스 잡음일 경우, 변형된 비선형 필터 처리하고 가우시안 잡음일 경우, 가중치를 적용시켜 처리하였다[9]. 입력 영상에서 신호와 잡음을 효과적으로 구별하여 잡음의 상대적인 크기에 따라 적응적으로 잡음을 제거할 수 있는 방법을 블럭 방법을 이용하였다[10].

본 연구는 스마트 폰의 가속도 센서에서 신호 값을 얻고 신호값의 잡음을 제거하는 방법으로 LPF(low-pass filter)를 적용하고자 한다.

스마트 웨어러블 기기를 활용하는 중요한 목표는 실시간 상황인식이다. 실제 세계의 상황 변화와 의미 있는 이벤트 발생을 인식하고 그에 따른 지능화된 서비스를 제공하는 것이 스마트 웨어러블 기기의 주된 기능이다.

본 연구에서는 스마트 웨어러블 기기의 센서부가 감지한 이벤트 데이터에 포함되어 있는 잡음을 제거하기 위한 방안을 제안한다. 웨어러블 디바이스의 특징으로는 컴퓨팅, 통신, 전원 자원이 용량 측면에서 풍부하지 못하다. 이러한 환경에서 웨어러블 디바이스가 지능적인 기능을 획득하고 효율적인 서비스를 제공하기 위해서는 획득한 이벤트 데이터를 효율적으로 분석하고 관리할 필요성이 있다. 스마트 웨어러블 디바이스에서는 데이터 처리 방식을 간소화하기 위하여 경량 웨어러블 플랫폼을 위한 시계열 신호 변화 양상을 분석하여 의미를 도출하는 방안을 추가할 수 있다. 즉, 중대한 변화가 감지되지 않은 상태에서는 자원을 덜 소모할 수 있도록 입수되는 시계열 데이터에 대한 분석에 역량을 쏟아야 하는 것이다. 그렇지만 이러한 노력에 반하는 현상으로 나타나는 것이 잡음이다. 실제 세계의 센싱과 전송과정에서 잡음은 피할 수 없는 것이기는 하지만, 이를 최소화함으로써 스마트 웨어러블 기기의 상황인식 기능을 강화하고 획득하는 상황 정보를 고급화하는데 기여할 수 있다.

사물인터넷을 활용하는 상황인식 절차를 도식화 하면 그림1과 같다. 센서부에서 감지한 실제세계의 상황변화 중에서 유의미한 것을 이벤트라고 하면, 입수된 이벤트 데이터에 대한 전처리를 실시한다. 이러한 데이터에 대하여 군집화 및 분석 평가를 실시한 후, 이질적이고 다양한 센서 데이터에 대한 데이터 병합, 데이터 융합 처리를 거쳐서 상황인식에 도달 할 수 있다. 이러한 상황정보는 선별적인 수요를 포함하여 지능적으로 수요자에게 전달되고 필요한 후속 서비스와 연결할 수 있다.

Fig. 1. 
Situation awareness using the IoT

이러한 일련의 과정에서 얻어지는 상황정보의 수준을 높이기 위하여 다양한 방법을 강구할 수 있는데, 주요한 방안으로는 데이터 여과 처리를 통한 불요불급한 데이터 제거, 데이터 병합 처리를 통한 중복 데이터 제거 그리고 데이터 융합 처리를 통한 이질적인 정보 통합 등의 방안이 있다. 그렇지만 본 연구에서는 이러한 방법 외에 웨어러블 기기에서 자주 발생하는 잡음을 제거함으로써 스마트 웨어러블 기기의 상황인식에 기여하는 방안을 제안한다.

스마트 웨어러블 기기의 센서부에서 감지하고 보고하는 데이터는 기본적으로 시간의 흐름에 따라 지속적으로 감지하여 보고하는 데이터이다. 웨어러블 기기의 센서부는 인체와 접촉하거나 비접촉이더라도 신체에 근접하여 감지활동을 지속한다. 시간의 흐름에 따라 일정한 시간 간격을 설정하여 감지한 결과를 보고한다. 웨어러블 기기의 센서는 신체에 근접하거나 부착되어 있기 때문에 다양한 활동을 하는 신체의 운동의 영향을 받는다. 운동하고 있는 신체는 진동, 소음, 체온 등의 영향을 센서부에 가한다. 웨어러블 기기의 센서부는 이러한 조건에서 감지한 이벤트 데이터를 보고한다. 따라서, 웨어러블 기기의 센서부는 피할 수 없는 오차와 오류와 잡음을 포함한 이벤트 보고를 할 수 밖에 없다.

이 문제를 해결하기 위하여 두 가지 해법을 생각할 수 있다. 첫째, 보다 정확하고 오류가 적은 센싱 방법과 센서를 개발하는 것이다. 현재 센서는 매우 다양한 기능과 센서가 개발되어 있다. 센서는 물리, 화학, 생물학적 변화를 감지하여 이를 수치화 하는데, 과거와 달리 근래에는 센서 개발 방향이 반도체를 이용하여 생산단가와 센싱 정확도를 올리는 추세에 있다. 최신의 센서들은 오류와 오차를 개선하는 센서들이 속속 개발되어 실용화되고 있다. 이러한 센서의 개선에는 개발 비용이 따르고 개발과 안정화에 따른 시간을 필요로 한다. 두 번째 방법으로는 기존의 센서를 채택하여 활용하되, 이 때 센서데이터에 대한 처리 방법을 개선하는 것이다. 본 연구는 두 번째 방안에 대한 기여로써 센서의 이벤트 데이터에 대한 처리를 통하여 센서의 센서 데이터에 포함된 잡음을 제거하는 방안을 제안한다. 센서가 감지한 데이터에는 기본적으로 오차, 오류가 잡음과 함께 포함되어 있는데, 본 연구는 그중에서도 잡음을 제거에 있어서 효과적인 방안을 제안한다. 다음의 그림2는 시간의 흐름에 따라 입수되는 시계열 데이터에 대한 처리와 분석과정을 도식화한 것이다.

Fig. 2. 
Processing of time series data

웨어러블 기기의 센서부가 감지하여 보고하는 데이터는 시간의 흐름에 따라 데이터양이 급격하게 증가해 나가므로 분석을 위한 일정한 시간간격을 정해주어야 한다. 일정한 시간 간격 이내에서 제한된 데이터를 대상으로 분석처리를 하는 것이다. 본 연구는 스마트 웨어러블 기기로써 스마트 폰과 스마트워치를 선정하였다. 스마트 폰과 스마트워치에는 3축 가속도센서가 기본 장착되어 있는데, 3축 가속도센서가 감지하여 보고하는 데이터를 분석하면 사용자의 상태를 추정할 수 있다. 즉, 앉아 있는지 걷고 있는지, 혹은 달리고 있는지 여부와 걷거나 달릴 때, 정상적인 운동 상태인지 비정상적인 운동 상태인지 식별할 수 있다. 본 연구는 그런 개인의 상태 추정을 위한 연구는 아니다. 다만, 그런 상태를 추정함에 있어서 필요로 하는 센서의 이벤트 데이터에 포함되어 있는 잡음을 효율적으로 제거하는 방안을 제안하고자 한다.

본 연구에서는 다음과 같은 절차의 잡음 제거를 위하여 센서 데이터에 대한 LPF를 적용할 것을 제안한다. 잡음제거를 위한 대상 데이터로는 스마트 폰과 스마트워치에 내장된 3축 가속도 센서가 감지하여 보고한 데이터로 하며, 보고한 감지데이터는 일정한 간격으로 입수되는 데이터이다. 3축 가속도 센서는 1개의 검출소자로 가속도의 3축 성분을 검출할 수 있게 하는 센서이다. 3축 가속도 센서는 x축, y축, z축의 가속도를 측정해주는데, 가속도 센서는 기본적으로 출력신호를 처리하여 물체의 가속도, 진동, 충격 등의 동적인 힘을 측정한다. 스마트 폰, 스마트워치에 내장된 3축 가속도센서가 감지하여 보고하는 데이터에 대하여 시간의 흐름에 따라 지속적인 측정 분석을 실행하면 센서가 부착된 객체의 운동 상태를 감지할 수 있다. 그렇지만 스마트 폰은 사용자가 소지하는 상태에 따라서 잡음이 유입되며 스마트워치는 사용자의 운동에 따라 다양한 잡음이 불가피하게 포함된다. 사용자의 상태를 추정함에 있어서 이러한 잡음은 정보의 질을 떨어트리는 요인이 된다.

본 연구에서는 감지하여 보고한 3축 가속도 센서에 대하여 LPF를 적용함으로써 잡음을 저감시킬 수 있음을 보이고자 한다. LPF는 저역을 통과시키는 필터로 회로에서는 저항과 콘덴서를 이용하여 감쇠량을 결정한다. 차단 각주파수를 결정하고, 이 주파수보다 낮은 대역은 감쇠 없이 자유로이 통과시키고 높은 대역에 대해서는 큰 감쇠를 주는 필터이다. 이러한 필터를 적용할 때, 불필요하게 포함된 과도한 값들을 제거하거나 일정 패턴 영역에 가깝게 조정하는 역할을 할 수 있는 것이다. 그 절차를 다음과 같이 기술할 수 있다.

가) 스마트 웨어러블 기가의 3축 가속도센서가 상태를 측정한다.
나) 3축 가속도 센서가 이벤트라고 판단하는 측정값에 대하여 보고한다.
다) 일정한 시간간격을 설정하고 해당 시간간격 내에서는 보고를 지속한다.
라) 일정한 시간간격 내에서 축적된 보고 데이터에 대하여 평가를 실시한다.
마) 축적된 보고 데이터에 대하여 저역필터를 적용한다.
바) 평가 결과를 비교한다.
사) 비교 결과 상황추론에 유리한 결과를 채택한다.

이러한 절차를 이용함으로써, 센서가 측정하여 보고한 값들에 포함된 잡음을 일정량 제거할 수 있다. 실시간 상황인식에 있어서 잡음이 제거된 값을 이용함으로서 상황정보의 고급화를 기대할 수 있으며, 상황정보에 기반한 지능화 서비스에 있어서도 보다 효율적인 방안을 강구할 수 있을 것이다. 4장에서는 본 연구에서 제안한 방법에 대한 실험을 실시하고 그에 대한 평가를 실시한다.

실험을 위해 사용된 단말은 Samsung Galaxy Note5 와 Samsung Gear S3 이다. 두 개의 단말에서 3축 가속도 센서의 값을 획득하여 실험을 진행하였다. 각 단말의 사양은 표 1 과 같고, 3축 가속도 센서 데이터의 속성은 표 2 와 같다.

실험 진행 시 스마트 폰은 오른쪽 바지 호주머니에 넣고, 스마트 워치는 왼쪽 손목에 착용하였다. 가속도 센서의 샘플링 주기는 50Hz 로 설정하고, 샘플링 구간은 256개로 하였다. 샘플링 구간을 50% 중첩하여, 2.8 초마다 데이터를 수집하였다.

활동 상태 인식 대상은 서있기, 걷기, 달리기(조깅), 계단 오르기, 계단 내려가기로 총 5개로 분류 하였다. 데이터 수집을 위하여 피실험자는 30대 남자 1명이 진행하였다. 피실험자는 각 활동 상태에 대해 5분에서 10분 사이 동안 지속적으로 활동 상태를 유지하며 수집하였다.

걷기 상태의 수집된 원시데이터에서 LPF가 적용되는 과정을 그림으로 나타내었다.

스마트 폰과 스마트 워치에서 받은 3축 가속도의 걸음 측정 원시데이터는 그림 3 과 그림 4 와 같다.

Fig. 3. 
Raw data on smartphone

Fig. 4. 
Raw data on smart watch

신호가 노이즈로 인하여 산만하게 분포되어 있는 것이 확인된다. Y 그리고 Z 축은 회전된 상태에 따라 중력의 영향을 받아 서로 다른 주파수대역에 있는 것을 확인 할 수 있다. 정확한 비교 평가 및 신뢰할 수 있는 결과를 도출하기 위해 중력 값 제거 과정을 진행하였다. 중력 값을 제거하는 방법으로 HPF(high-pass filter)를 사용하였다. HPF의 알파값은 0.8로 설정하였다. HPF를 적용한 결과를 그림 5 와 그림 6에서 확인 할 수 있다. 각 축의 가속도 센서 신호값에서 중력 값이 제거되어 동일축선상에서 변화양상을 확인할 수 있다. 하지만 노이즈는 그대로 존재하고 있다.

Fig. 5. 
HPF application of smartphone

Fig. 6. 
HPF application of smart watch

다음 단계에서 노이즈를 제거하기 위한 LPF를 적용하였다. LPF는 25MHz 이상의 주파수를 차단하도록 설정하였다. 그림 7 과 그림 8 에서 LPF를 적용하여 노이즈가 대부분 감소된 것을 확인 할 수 있다.

Fig. 7. 
LPF application of smartphone

Fig. 8. 
LPF application of smart watch

그림 9는 스마트 폰의 신호에 SVM(signal vector magnitude)을 사용하여 하나의 에너지 값으로 변환한 것이다.

Fig. 9. 
SVM application of smartphone

이상의 실험을 통하여 스마트 웨어러블 기기의 3축 가속도 센서로부터 감지되어 보고된 데이터에 잡음이 존재하고 있는 것을 확인하였다. 이 잡음을 제거하기 전에 먼저 HPF를 적용하여 중력의 영향을 제거하였으며, 다시 LPF를 적용함으로써 실제 측정값에 포함되어 있는 잡음을 제거할 수 있었다. 이러한 처리의 목적은 실시간 상황인식에 기여하기 위함이다.

본 연구에서 제안한 LPF를 적용한 값을 평가하기 위하여 SVM 값과 비교하였다. SVM 값은 3축 가속도 센서가 측정한 값을 이용하여 걸음을 인식하는데 이용되는 방법이다. SVM 값은 스칼라 값으로 변환시킨 것으로써 0으로부터 시작하여 운동량의 크기 값의 패턴을 분석하게 되어 있다. 그에 비하여 LPF를 적용한 값은 0을 기준으로 하여 (-)값으로부터 (+)에 이르는 변화 패턴을 분석할 수 있다. 0을 기준으로 하여 상하 양방향으로의 변화패턴을 읽을 수 있다는 것은 상황인식을 위하여 자료가 더 풍부하다고 평가할 수 있는 것이다. SVM 값은 양의 방향으로의 변화 패턴이지만, LPF를 적용한 값은 음과 양의 방향으로의 패턴을 읽을 수 있으며, 더 나아가 x, y, z 방향으로의 패턴을 계속하여 주시할 수 있으므로 패턴을 분석하는데 있어서 다양한 근거를 제공한다고 평가할 수 있다.

본 연구는 실시간 상황인식을 염두에 둔 것으로서 LPF를 이용하여 잡음을 제거한 것이 측정값의 과도한 극한 값들을 제거할 수 있었으며, 걸음을 인식하는 상황인식 사례에서 기존의 SVM 법에 비하여 다양한 참고자료를 제공한다고 평가할 수 있는 것이다.

본 연구에서는 사물인터넷 기술을 이용하는 스마트 웨어러블 기기의 상황인식 기능을 향상시키기 위하여 센서부의 이벤트 데이터에 대한 잡음 제거 방안을 제안하였다. LPF를 이용함으로써 비정상적으로 측정된 값에 대한 감쇠를 유도하고 센서의 이벤트 데이터를 이용한 상황 인지에서 유익을 얻을 수 있었다. 실험을 위하여 스마트 폰과 스마트워치에 기본 내장되어 있는 3축 가속도 센서가 감지하여 보고한 이벤트 데이터를 활용하였다. 일정한 시간 간격을 설정하고 그 간격 내에서 분석을 실시하는 시계열 데이터 분석 환경에서 LPF를 적용하였다. 실험결과 비정상적으로 과도하게 측정되어 입수된 잡음값에 대한 감쇠 처리하였다. 이를 통하여 분석에 부담이 되는 비정상적인 잡음 값에 대하여 일정한 유익을 획득할 수 있었다.