SilverLinker: IoT 센서 기반 독거노인 케어 플랫폼

2-1 독거노인 고독사 방지 연구

독거노인 고독사 방지를 위해 시행되고 있는 서비스 중 대표적으로는 독거노인종합지원센터의 독거노인돌봄기본서비스와 보건복지부의 응급안전알림서비스가 존재한다.

먼저, 독거노인돌봄기본서비스는 생활관리사가 요보호 독거노인에게 정기적인 안전 확인을 통해 정서적 지원을 도모하고, 건강 영양관리 등의 생활교육 등을 제공한다. 주기적 방문 및 전화를 통해 안전을 확인하고, 보건복지 서비스 연계를 통해 건강을 관리하는 서비스이다[13].

응급안전알림서비스는 화재⦁가스 등이 발생했을 시 독거노인이 신속하게 대처할 수 있도록 응급 상황을 알리고 119에 신고하는 서비스이다. 독거노인의 집에 설치된 활동⦁화재⦁가스 등을 감지하는 센서로 이상 상황을 감지하고, 응급 상황 시 자동으로 119에 신고가 간다[14].

독거노인돌봄기본서비스와 응급안전알림서비스는 독거노인을 대상으로 하여 생활관리사의 지속적인 관리와 IoT 기술을 활용해 응급 상황에 대한 대처가 가능하다는 점에서 의미가 있다. 만약 선정 기준에 부합해 서비스를 지원 받는다면 주기적인 관리와 감지를 통해 여러 위험으로부터 안전하게 보호 받을 수 있다.

그러나, 독거노인돌봄기본서비스는 직접 방문이나 전화로 안전 확인을 해야 하는 비효율성이 존재한다. 또한, 응급안전알림서비스는 향상된 기술과 성능의 장비가 개발되었음에도 대체되지 않은 노후화된 장비가 5년 이상 사용되고 있다[12]. 수집된 데이터와 모니터링은 웹에서만 확인이 가능하다는 한계도 있다. 추가적으로, 고령화 시대에 지원이 필요한 독거노인을 대상으로 한 복지임에도, 서비스 대상자에 대한 선정 기준이 높아 보급률이 떨어진다는 단점이 있다[12].

2-2 SURF(Speeded Up Robust Features)

SURF는 특징점 기반 인식 알고리즘으로, 먼저 원본 영상의 픽셀 밝기값을 누적한 적분 영상으로 변환한다. 이 영상으로부터 Hessian 행렬을 통해 특징점을 추출한다. 이때, 행렬의 값은 가우시안 2차 미분 필터를 근사화한 아래 그림 1의 박스 필터의 연산으로 얻는다[15].

Fig. 1.

Box filter

Hessian 행렬로 추출한 특징점의 주변 일정한 영역 내 이웃한 픽셀의 밝기 변화를 담고 있는 것을 서술자라고 한다. 서술자는 영상이 회전하거나 크기가 변하더라도 고유의 값을 얻어야 한다. 이를 위해 특징점의 스케일 정보 등을 이용하여 특징점 주변 영상을 회전하고, 크기를 변화시킨 부분 영상을 통해 서술자를 얻는다[16]. 이후, 비교하고자 하는 두 영상에서 각각 생성된 서술자를 대조하고 유사한 밝기 변화를 가진 특징점들을 연결해 매칭한다. 이때, 매칭 방식은 아래 그림 2와 같다. 유사한 밝기 변화값은 매칭 되고(Match), 아니라면 매칭 되지 않는다(No match). 이러한 방식으로 매칭 된 특징점들만을 대응점이라 칭한다[15].

Fig. 2.

Feature matching

SURF는 일반적으로 특정 대상이 해당 이미지에 존재하는지 파악하고, 두 영상 간의 유사성을 비교하는 알고리즘이다. 이는 본 시스템에서 움직임 검출을 위해 영상을 비교할 때 동일한 물체를 찾는 데에 유용하다. 그러나, 영상 간의 유사성만 찾을 뿐 움직임 여부를 검출하는 데에는 부족함을 보인다.

2-2 기존 연구와의 차이점 및 제안

2-1절에서 언급한 바와 같이 기존의 서비스는 생활관리사가 직접 방문이나 전화를 하지 않으면 실시간 상황 확인이 불가하며, 서비스의 노후화 및 유지비용이 높고 보급률이 낮다는 단점이 있다.

또한, 2-2절에서 서술한 SURF는 정적인 두 영상의 유사성을 비교하기 위한 알고리즘이나, 두 영상의 유사성만으로는 움직임을 검출하기에는 한계가 있다. 따라서, 본 논문은 SURF를 보강, 연속된 영상 사이에서 매칭된 특징점 간 기울기를 이용해 움직임을 검출하는 개선된 알고리즘을 제안한다.

본 논문에서는 저비용의 센서로 움직임과 소리를 감지해 상황을 분류하고, 모바일 애플리케이션에서 실시간 영상 및 상황 확인이 가능하며, 위급 상황 시 응급 알림 기능까지 갖춘 효율적인 독거노인 케어 플랫폼 ‘SilverLinker’를 제안한다. 본 논문에 대한 기초적인 방향을 제시하는 기획은 [17]에 간략하게 서술되어 있다.

3-1 개발 환경

본 절에서는 SilverLinker의 개발 환경을 살핀다. 본 시스템은 독거노인을 대상으로 한 케어 플랫폼이다. 라즈베리 파이의 IoT 센서로 움직임과 소리를 감지하고, 모바일로 관련 데이터를 확인한다.

따라서, 이 시스템의 핵심 환경은 설치된 센서를 제어하는 라즈베리 파이와 상황을 확인하는 모바일로 나뉜다.

신용카드 크기의 싱글 보드 컴퓨터인 라즈베리 파이(rapsberry pi)[18]에 카메라와 PIR(passive infrared sensor) 센서, 사운드 센서를 설치하여 Python으로 모듈을 제어한다. SURF를 위한 OpenCV와 수집된 데이터의 관리를 위한 phpMyAdmin 데이터베이스를 사용한다.

모바일에 설치된 SilverLinker 애플리케이션은 안드로이드 스튜디오로 구현한다. 데이터 통신과 긴급 알림 전송을 위해 Firebase를 사용하며, 실시간 영상은 UV4L 서버로 전송된다.

3-2 SilverLinker 시스템 구성도

본 절에서는 SilverLinker의 시스템 구성도를 라즈베리 파이, 모바일, 서버 및 데이터베이스의 순서로 나누어 설명한다.

설명에 앞서, 본 논문에서는 독거노인을 케어 대상자로, 독거노인을 돌보는 관련 기관과 생활관리자 등을 케어자라 칭한다. 라즈베리 파이에서 분류된 상황을 케어자의 모바일에서 시각적으로 나타내기 위해 신호등의 색으로 보여주는 영역은 상황등이라 정의한다.

아래 그림 3은 SilverLinker의 전체 구성을 담은 시스템 구성도이다. 시스템은 크게 센서를 통해 상황을 감지하는 라즈베리 파이와 그 상황을 확인하는 모바일로 구성되어 있다. 두 하드웨어는 서버와 데이터베이스를 통해 서로 통신한다.

Fig. 3.

System diagram

3) 서버 및 데이터베이스 구성

본 시스템은 라즈베리 파이와 모바일 애플리케이션의 통신을 위해 서버 및 데이터베이스를 사용한다.

라즈베리 파이에서 센서를 통해 감지된 움직임 및 소리, 최종 상황 분류 결과는 각각 데이터베이스에 저장된다. 이 저장된 데이터와 카메라로 촬영한 영상은 서버를 통해 실시간으로 모바일에 전송된다. 이는 케어자가 언제든지 케어 대상자의 상황을 확인, 즉각적인 대처가 가능하게 하기 위함이다.

아래 그림 4는 SilverLinker 데이터베이스의 구조로, 크게 네 가지 테이블로 나뉜다. 첫 번째, 케어 대상자의 정보를 저장하는 User Information이다. 주요 애트리뷰트는 케어 대상자의 이름을 저장하는 User_name과 Primary key의 역할을 하며 전화번호를 저장하는 User_tel이다.

Fig. 4.

Database structure

두 번째, 움직임 감지를 저장하는 Motion Detection이다. 영상 감지를 저장하는 Image_detection, 적외선 감지를 저장하는 Infrared_detection, 두 감지를 통합한 움직임 감지 결과를 저장하는 Motion_detection이 주 애트리뷰트이다. 또한, 케어 대상자 별로 데이터 관리를 위해 User Information 테이블의 User_tel을 참조한다.

세 번째, 소리 감지를 저장하는 Sound Detection으로 감지 결과를 저장하는 Sound_detection이 주 애트리뷰트이며 Motion Detection 테이블과 동일하게 User_tel을 참조한다.

네 번째, 최종 상황 결과를 저장하는 Total Situation으로 위와 동일하게 User_tel을 참조한다. 주 애트리뷰트는 Signal로, 모바일로 전송하기 위한 최종 상황 신호값을 저장한다.

4-1 시스템 및 기능 흐름도

본 시스템의 흐름도는 아래 그림 5와 같다. SilverLinker는 두 하드웨어로 구성된다. 첫 번째, 케어 대상자의 집에서 감지 및 신호를 보내는 라즈베리 파이이다. 두 번째, 애플리케이션에서 신호를 받고 영상을 확인하는 케어자의 모바일이다.

Fig. 5.

System and function flowchart

본 시스템은 케어 대상자의 개인 주거 공간을 촬영하고 감지한다. 따라서, 케어 대상자의 동의를 받아 집의 주요 활동 영역에 라즈베리 파이를 설치한다. 이는 케어 대상자를 중심으로 상황을 면밀하게 촬영하고 감지하기 위함이다.

설치된 라즈베리 파이의 전원이 켜지면 카메라는 영상 촬영과 사진 캡처를 시작한다. 이와 함께 PIR 센서는 적외선 감지를, 사운드 센서는 소리 감지를 시작한다. 또한, 카메라가 실시간으로 촬영하는 영상은 케어자의 모바일로 전송되기 시작한다. 이 과정은 그림 5의 Ⅰ에서 보인다.

카메라와 PIR 센서로부터 받은 움직임 감지 값과 사운드 센서로부터 받은 소리 감지 값을 기반으로 케어 대상자의 상황을 분류한다. 이 과정은 그림 5의 Ⅱ에서 보인다. 이때, 케어 대상자의 상황은 실시간으로 적용되는 감지 값들을 통해 안전⦁주의⦁위험의 세 가지로 구별된다. 이는 케어 대상자의 상황을 상황등의 색으로 표현하기 위함이다.

이와 같이 분류된 상황은 신호로 변환되어 서버를 통해 케어자의 모바일로 전송된다. 그림 5에서 라즈베리 파이가 케어 대상자의 상황을 감지해 신호를 보내면, 케어자는 모바일에 설치된 애플리케이션으로 그 상황을 확인 가능하다.

먼저, 케어자는 SilverLinker 애플리케이션에 접속해 로그인 한다. 이는 본 애플리케이션의 목적이 케어 대상자와 그의 개인 공간을 확인 및 대처하는 것이므로 케어자 이외의 사람이 본 SilverLinker 시스템에 접근하는 것을 막기 위함이다.

로그인에 성공하면 케어자가 돌보는 케어 대상자들의 이름 및 나이, 성별 등 간단한 정보를 담은 목록이 화면에 나타난다. 케어자는 이들 중 자신이 확인하고자 하는 케어 대상자를 선택하여 상황을 확인한다. 또한, 다른 케어 대상자를 확인하고자 하면 목록으로 되돌아와 다시 선택 가능하다.

목록에서 선택된 케어 대상자의 집에 설치된 라즈베리 파이의 전원이 꺼져 있다면 이에 대한 확인 불가 메시지가 뜬다. 하지만 전원이 켜져 있다면, 모바일은 라즈베리 파이의 데이터베이스에 저장된 케어 대상자의 정보를 가져온다.

케어자는 카메라가 촬영하고 있는 실시간 영상을 모바일로 확인 가능하다. 이 과정은 그림 5의 Ⅲ에서 보인다. 동시에 라즈베리 파이에서 감지 및 전송하는 상황 신호를 수신, 직관적인 확인이 가능한 상황등의 색으로 나타낸다. 상황이 안전일 경우 초록색, 주의일 경우 노란색, 위험일 경우 붉은색으로 표시한다. 또한, 이 상황등은 모바일의 상단바에도 나타난다. 이는 애플리케이션을 켜두지 않고 백그라운드로 실행 중일 때에도 상황 확인이 가능하도록 하기 위함이다.

케어 대상자를 촬영하고 있는 실시간 영상은 서버를 통해 전송되므로 과도한 데이터 사용료가 부과될 수 있다. 따라서, 알고리즘을 통해 분류된 상황이 안전 혹은 주의일 경우 실시간 영상의 On/Off가 가능하도록 한다. 이때 On/Off는 케어자의 버튼 선택으로 전환된다. 그러나, 상황이 위험으로 분류되면 영상이 On으로만 유지되어 Off가 불가하다. 이는 케어자의 적극적인 상황 확인 및 판단을 지원하기 위함이다.

분류된 상황이 위험일 경우 케어자는 영상을 통해 상황의 최종 판단을 내리고 대처 여부를 결정한다. 그러나, 케어자가 매번 애플리케이션을 확인하기에는 어려움이 있다. 따라서, 위험 상황일 경우에는 위험 알림을 받는다. 이 과정은 그림 5의 Ⅳ에서 보인다. 이 알림을 선택하면 애플리케이션에 바로 접속되어 실시간 영상의 확인이 가능하다. 또한, 대처가 필요하다 판단되면 케어 대상자 혹은 119에 전화를 걸 수 있다.

4-2 움직임 및 소리 감지 기능

본 절은 카메라와 PIR 센서가 움직임을 감지하는 기능과 사운드 센서가 소리를 감지하는 기능을 각각 설명한다.

1) 움직임 감지 기능

본 시스템의 움직임 감지 기능은 카메라로 감지하는 영상 감지와 PIR 센서로 감지하는 적외선 감지로 나뉜다. 이 두 감지 결과를 통합해 최종 움직임 감지를 도출한다.

먼저, 라즈베리 파이의 카메라로 촬영 중인 영상을 캡처한다. 아래의 그림 6은 본 논문에서 제안하는 SURF를 보강한 영상 감지 알고리즘이다. 이를 사용하여 캡처된 영상의 특징점을 추출하고, 연속된 영상 간 대응점을 매칭해 특징점들을 연결한다(line 3). 이에 보강하여, 움직임 감지를 위해 연결된 선의 기울기를 측정한다. 대응점 매칭 시 오차를 고려하여 특정 기울기 범위에 포함된 대응점이 일정 수 이상인 경우를 움직임이 있는 것으로 정의한다(line 4).

Fig. 6.

Image detection algorithm

아래 그림 7은 추출한 특징점들과 연속 영상 간 대응점을 연결한 결과이다. 이때, 일부 특징점들의 유사성으로 그림 7 중앙의 대각선과 같이 대응점 매칭에 오차가 발생한다. 예를 들어, 서로 다른 물체임에도 특징점을 결정짓는 요소인 밝기 변화가 유사해 동일한 대응점으로 매칭되는 오류가 있다. 이로 인해 움직임이 없는 두 사진에서 기울기가 인지된 대응점들이 발생하여 움직임이 감지되었다는 결과가 출력된다.

Fig. 7.

Correspondence point result between images

대응점 매칭 오류의 개선을 위해 특징점의 총 수와 기울기가 인지된 대응점의 수를 비교한다. 만약 움직임이 있다고 정의된 대응점의 수가 총 특징점 수의 일정 비율 이상이라면 유효 움직임 수로 정의한다.

PIR 센서는 사람으로부터 방출되는 적외선을 통해 움직임 여부를 확인한다. 감지 범위 안에 사람이 들어오는 순간 감지되므로 PIR 센서는 사람의 유무 확인에 적합하다.

본 시스템은 PIR 센서로 움직임이 한 번 감지된 후 4분 이상 미 감지 시 움직임이 없다고 정의한다. 여기서 4분은 심장 마비, 호흡 정지 등이 일어난 후 생명을 살릴 수 있는 시간인 골든타임(Golden hour)[19] 4분에 기초해 설정된 시간이다.

이렇게 영상 감지와 적외선 감지를 통해 얻은 각각의 움직임 여부 결과를 통합하여 최종 움직임 감지를 도출한다.

4-3 상황 분류 기능

아래 그림 8은 본 논문에서 제안하는 상황 분류 기능의 흐름도이다. 이는 감지 데이터를 기반으로 최종 상황을 분류한다. 영상과 적외선 감지로 움직임 상황을, 소리 감지로 소리 상황을 분류한다. 두 감지 결과를 통합해 도출한 최종 상황을 안전(Safe), 주의(Caution), 위험(Danger)으로 분류한다.

Fig. 8.

Situation classification function

4-4 실시간 영상 전송 기능

라즈베리 파이의 카메라로 촬영 중인 케어 대상자의 영상은 UV4L 서버를 통해 케어자의 모바일로 실시간 전송된다. 케어자는 이 영상을 통해 케어 대상자의 상황을 주기적으로 확인 가능하다. 또한, 위험 상황일 경우에는 실시간 영상을 확인함으로써 대처의 필요성을 판단 가능하다.

실시간 영상은 서버를 통해 수신되므로 케어자에게 데이터 사용료가 과도하게 부과될 수 있다. 이를 방지하기 위해 안전 혹은 주의 상황의 경우 영상 Off 선택이 가능하다. 그러나 위험 상황의 경우에는 케어자의 적극적인 상황 판단을 위해 영상이 자동으로 On 되며, Off가 불가하다.

4-5 위험 알림 기능

라즈베리 파이는 상황을 감지해 신호를 보내고, 케어자의 모바일은 이를 수신해 실시간 영상과 상황등을 확인한다. 이때, 케어자가 모바일을 보고 있지 않더라도 위험 상황일 때 즉각적인 상황 확인이 가능하도록 위험 알림을 수신한다.

아래 그림 9는 라즈베리 파이와 모바일에서의 위험 알림 흐름도이다. 라즈베리 파이에서 위험 상황을 감지하면 위험 신호와 함께 긴급 알림을 케어자의 모바일로 전송한다.

Fig. 9.

Danger notification function flowchart

모바일은 위험 신호와 긴급 알림을 수신하며, 케어자가 이를 선택 시 SilverLinker 애플리케이션으로 이동한다. 이때, 케어 대상자를 촬영 중인 실시간 영상이 자동으로 켜진다. 케어자는 이를 통해 즉각적인 상황 판단이 가능하다. 만약 위험 상황이라 판단되면 케어 대상자에게 전화 연결 혹은 119 신고를 함으로써 신속한 대처가 가능하다.

5-1 SSC 알고리즘 - Motion

SSC 알고리즘에서 움직임을 분류하는 부분은 아래 그림 10과 같다. 먼저, 영상 감지의 경우, 카메라로 촬영 중인 영상을 캡처한 이미지로부터 특징점을 추출, 대응점을 연결한다. 기울기가 존재하는 연결선 위 점의 수를 움직임 수로 정의한다. 이때, 전체 특징점 대비 움직인 대응점의 수가 일정 비율 이하일 경우 움직임이 없는 Danger(line 3-4), 그 외의 경우에는 움직임이 있는 Safe라고 분류한다(line 5-6).

적외선 감지의 경우, PIR 센서가 적외선을 감지하면 Safe라 분류한다(line 7-8). 골든타임인 4분 이상 적외선이 미 감지 되면 Danger라 분류한다(line 9-10). 이때, Caution은 Safe와 Danger 사이의 분류값이므로 골든타임의 절반을 기준으로 한다. 따라서 적외선 미 감지 경과 시간이 2분 이상 4분 미만일 경우를 Caution으로 분류한다(line 11-12).

Fig. 10.

Motion classification algorithm

움직임 분류는 영상과 적외선 감지로 도출한다. 알고리즘으로 Motion 상황을 Safe⦁Caution⦁Danger로 분류하기 위해 아래 표 1과 같이 경우의 수를 나눈다. 영상 감지가 Safe, 적외선 감지가 Safe 혹은 Caution일 경우 움직임은 Safe로 분류한다(line 15-16). 영상 및 적외선 감지 모두가 Danger이면 움직임을 Danger로 분류하고(line 17-18), 그 외의 모든 경우는 Caution으로 분류한다(line 19-20).

Table 1.

Motion classification table

5-2 SSC 알고리즘 – Sound

사운드 센서의 감지값에 따라 소리를 분류하는 알고리즘은 아래 그림 11이다. 소리 크기에 따라 증가된 count수를 일정 범주로 나누어 소리를 분류한다. Sound 상황도 Motion과 같이 Safe⦁Caution⦁Danger로 분류된다. 분류 기준치는 케어 대상자의 주거 환경에 따라 설정한다. 이때, 감지되는 소리의 크기가 작을수록 Danger로 분류한다(line 1-2).

Fig. 11.

Sound classification algorithm

5-3 SSC 알고리즘 – Merging

움직임과 소리 분류 결과값을 통합해 최종 상황을 분류한다. 이를 모바일로 전송하기 위해 상황 신호로 변환하는 알고리즘은 아래 그림 12이다.

Fig. 12.

Merging algorithm

먼저, 움직임과 소리가 모두 Safe일 때 최종 상황을 Safe로 분류하고 상황 신호를 ‘Green’으로 설정한다(line 1–3). Caution의 경우, 두 분류 결과가 다른 동일한 값으로 바뀌었을 경우에만 상황 신호를 보낸다. 이는 두 분류가 Safe 또는 Danger의 동일한 감지값을 갖기 전까지 케어자가 주의를 갖고 면밀하게 지켜볼 수 있도록 하기 위함이다. 따라서, 움직임과 소리 모두 동일한 감지값으로 변화된 경우에만 최종 상황을 Caution으로 분류, 상황 신호를 ‘Yellow’로 설정한다(line 4-6). 움직임과 소리가 모두 Danger면 최종 상황을 Danger로 분류, 상황 신호를 ‘Red’로 설정한다(line 7-9).

6-1 라즈베리 파이

아래 그림 13은 라즈베리 파이이다. 최상단은 촬영과 영상 감지를 위한 카메라, 그 아래는 적외선을 감지하는 PIR 센서이다. 또한, 최하단의 사운드 센서는 소리 감지를 한다.

Fig. 13.

Raspberry pi

6-2 안드로이드 인터페이스

본 절은 모바일에 설치되는 SilverLinker 애플리케이션의 구현 화면을 설명하며, 일반적인 실행 순서에 따라 서술한다.

1) 로그인 및 케어 대상자 선택

케어자가 SilverLinker를 실행하면 아래 그림 14의 로그인 화면이 나온다. 이는 케어 대상자의 사생활 보호를 위해 본 애플리케이션 사용자의 본인 확인을 위함이다.

Fig. 14.

Login and care receiver list screen

로그인을 하면 그림 14의 케어 대상자 목록이 나타나며, 케어자는 확인하고자 하는 케어 대상자를 선택 가능하다. 우측 상단의 Logout 버튼을 선택해 로그인 화면으로 돌아간다.

2) 메인 화면

그림 14의 목록에서 케어 대상자를 선택하면 대상자의 상황을 나타내는 상황등과 실시간 영상을 확인하는 메인 화면이 나타난다. 이처럼, 아래 그림 15의 왼쪽은 SilverLinker 애플리케이션의 대부분의 기능을 하는 기본 메인 화면이고, 그림 15의 오른쪽 최하단 초록색 영역이 상단바이다.

Fig. 15.

SilverLinker main and top bar screen

메인 화면 상단에는 목록에서 선택한 케어 대상자의 이름, 나이 등의 정보가 표시되며, 이 영역을 선택하면 전화 연결 팝업이 뜬다. 그 아래 초록색 영역은 상황등으로, 색깔에 따라 상황을 직관적으로 알 수 있다. 이 상황등은 모바일의 상단바에서도 확인이 가능해, 애플리케이션이 백그라운드에서 실행 중일 때에도 이를 통해 케어 대상자의 상황을 확인 가능하다. 메인 화면의 중앙 부분은 실시간 영상 영역이다. 케어 대상자의 상황이 안전 또는 주의라면 메인 화면의 구성을 설명하는 이미지를, 위험 상황이라면 실시간 영상을 고정으로 보여준다. 화면 하단의 전원 버튼은 영상 On/Off 버튼이다. 상황이 안전 및 주의라면 버튼을 선택해 실시간 영상을 확인 가능하다. 또한, 케어 대상자의 주소가 최하단에 있어, 위험 상황일 때 이를 참고해 119에 신고 가능하다.

3) 위험 알림 및 전화 연결

아래 그림 16의 왼쪽은 모바일의 상단바 위험 알림을, 오른쪽은 위험 상황 시의 애플리케이션 메인 화면을 보여준다.

Fig. 16.

Danger notification and main screen

위험 상황의 경우 모바일은 라즈베리 파이로부터 위험 알림을 수신한다. 그림 16처럼 수신한 위험 알림을 선택하면 SilverLinker 메인 화면으로 이동한다. 이때는 위험 상황이므로 실시간 영상이 자동으로 실행되어 케어 대상자의 상황을 바로 확인하고 대처가 필요한지에 대해 판단할 수 있다.

케어자가 대처를 하고자 하면, 메인 화면 상단의 케어 대상자 정보를 선택해 전화 연결 팝업 목록을 띄울 수 있다. 케어 대상자나 119를 선택해 전화나 신고가 가능하며, 신고 시 화면 하단의 케어 대상자의 집 주소를 참고할 수 있다.

7-1 영상 감지 실험

카메라를 사용하는 영상 감지는 촬영 중인 영상을 이미지로 캡처해 특징점을 추출, 연속된 영상 간 서로 대응되는 점을 매칭해 연결한다. 이때, 연결된 선의 기울기가 존재 시 움직인 것으로 간주하나, 매칭 시 발생하는 오차를 고려해 일정 기울기 이상의 선의 점 개수만 유효 움직임 수로 정의한다.

따라서 이 일정 기울기 제한값의 특정을 위해 약 100장의 동일한 사진을 각각 다른 값에 따라 비교하는 실험을 제안한다. 이때, 기울기 제한값은 0.5, 1.0, 2.0으로 나누고, 제한값 이하인 연결선의 대응점은 움직임이 없는 것으로 간주한다.

아래 그림 17, 그림 18, 그림 19는 기울기 제한값에 따른 영상 감지 분류 그래프이다. 또한, 아래 그림 23은 영상 감지 실험에 사용된 이미지들 중 일부를 캡처한 사진이다.

Fig. 17.

Image detection classification (slope limit: 0.5)

Fig. 18.

Image detection classification (slope limit: 1.0)

Fig. 19.

Image detection classification (slope limit: 2.0)

그림 17의 기울기 제한값은 0.5, 그림 18은 1.0, 그림 19는 2.0이다. 또한 세로축의 움직임 분류값이 1이면 움직임이 있는 것, 2면 움직임이 없는 것으로 정의한다.

그림 17과 그림 18의 그래프에서 영상 감지 분류 결과는 비슷한 양상을 보인다. 그러나, 그림 17과 그림 18에서 사각형으로 표시된 부분을 보면, 그림 17의 그래프 양상이 그림 18보다 고르지 못함을 보인다. 만약, 불안정한 그림 17의 결과가 상황 분류 기능을 거치면 감지 값이 불균일해진다. 결국, 케어자의 모바일에서 나타나는 상황등이 수시로 바뀌어 케어자에게 혼란을 초래하는 문제가 발생한다.

그림 18과 그림 19 그래프는 대다수의 결과가 서로 반전된 양상을 보인다. 그림 19와 같이, 기울기 제한값이 그림 18에 비해 지나치게 커지자 대부분의 움직임을 감지하지 못한다. 이는 기울기 제한값이 증가할수록 움직임 분류에 오류가 발생함을 유추 가능하다. 이처럼 움직임이 있음에도, 감지 결과로는 케어 대상자의 움직임이 없어 위험으로 분류, 케어자의 모바일로 과도한 위험 알림을 전송하게 된다. 하지만, 케어자가 알림을 선택해 실시간 영상을 확인했을 때, 실제로 케어 대상자는 안전 상황일 확률이 높다. 이런 상황이 반복된다면 이후에는 위험 알림이 울려도 확인이 소홀해져 결국 케어자의 안전 불감증과 케어 대상자의 위험 방치를 유발한다.

앞서 살펴봤듯이 기울기 제한값이 0.5인 그림 17의 경우 감지 결과가 불균일해지고, 기울기 제한값이 2.0인 그림 19의 경우 감지 결과에 오류가 발생한다. 따라서 영상 감지 분류를 위한 기울기 제한값은 가장 안정적이며 정확한 감지를 하는 그림 18과 같이 1.0이 되는 것이 적합함을 알 수 있다.

7-2 소리 감지 실험

소리 감지는 사운드 센서가 주변의 소리를 인지해 그 크기를 아날로그 신호로 출력한다. 소리는 주변 환경에 따라서 인지되는 정도에 차이가 광범위하게 발생하여 다수의 변수에 영향을 받는 요소이다. SilverLinker는 독거노인의 주거 환경의 소리를 감지해 상황을 분류하는 시스템이다. 따라서, 소리 분류에 적합한 범주를 위한 다음의 실험을 제안한다.

아래 그림 20은 장소에 따른 소리 감지 분류 그래프이다. 이때, 실험 장소로는 일반 카페, 컴퓨터 실습실, 아파트의 거실, 원룸으로 설정하였다.

Fig. 20.

Sound detection by location

첫 번째로, 일반 카페는 대체로 음악이 흘러나오며, 다수의 사람들이 이야기를 나누므로 항상 소리가 존재하는 장소이다. 음악의 종류, 사람들의 대화로 인해 소리 크기가 계속 변화한다. 따라서, 그림 20과 같이 소리 크기가 일정하지 않음을 보인다. 최소 10부터 최대 500까지 광범위하게 변화한다. 두 번째로, 컴퓨터 실습실은 다수의 컴퓨터로 수업 혹은 실습이 가능한 장소이다. 컴퓨터의 작동 소리가 발생하며 교수와 학생들이 대화하는 공간이다. 일반적으로는 200 이하의 소리가 발생하나 대화로 인해 그 이상이 발생하는 구간이 나타난다. 세 번째로, 아파트의 거실은 보통 텔레비전이 있으며 가족 단위로 거주한다. 대체로 다른 장소에 비해 조용하나, 텔레비전과 가족들의 대화 소리가 종종 발생한다. 따라서, 100 이상의 크기가 감지되는 구간이 있다. 마지막으로, 원룸은 1인 가구가 거주하는 장소이다. 타인과의 대화가 거의 없으며 텔레비전 소리도 작다. 대체적으로 50 이하의 소리가 유지되며, 큰 소리가 발생해도 100을 넘지 않는 것을 보인다.

위의 네 가지의 실험 장소들 중, 원룸이 본 시스템에서 고려하는 독거노인의 거주 형태와 가장 유사하다. 따라서, 원룸에서 측정한 소리 크기 데이터를 기반으로 소리 상황 분류를 수행하는 것이 적절하다.

아래 그림 21은 그림 20의 데이터 중 원룸의 소리 감지값만 나타낸 그래프이다. 원룸의 소리 감지값을 기반으로 소리 상황 분류를 위한 범주를 설정한다. 소리 감지는 텔레비전을 시청 중인 경우, 텔레비전을 끄고 일상적인 행동을 했을 경우, 아무 행동도 보이지 않았을 경우로 나누어 진행되었다. 텔레비전이 켜져 있는 경우, 대체적으로 20~80의 소리 크기를 보인다. 이후 텔레비전을 끄고 일상적인 행동을 진행하자 10~30의 크기를 보인다. 마지막으로 아무 행동도 보이지 않자, 10 이하의 크기를 보이며 0에 가까운 수치값도 나타난다.

Fig. 21.

Sound detection value in studio apartment

이러한 결과를 기반으로, 소리 상황 분류의 범주는 10에서 30 사이로 설정하는 것이 적절하다. 아무 행동도 보이지 않았을 때인 Danger를 소리 크기 10 미만으로, 일상적인 행동일 때의 Safe의 범주는 30 초과로 설정한다. Caution의 경우, 그 사이 값인 10 이상 30 이하의 범주로 설정한다.