비콘 통신을 이용한 시각 장애인을 위한 스마트 지팡이 구현

2-1 기존의 초음파 센서 기반 시각 장애인 지팡이

시각 장애인들을 위한 스마트 지팡이에 관련하여 해외 연구사례들을 분석해보았다. 영국에서 ‘울트라케인’이라는 전자지팡이 제품이 시판되었고, 가격은 약 800$이다. 프랑스에서는 레이저로 거리를 측정하는 전자 지팡이를 개발되었고, 1800유로에 판매되고 있다. 레이저로 거리를 측정하는 지팡이는 인식한 정보를 진동으로 전달하여 사용 전에 시각 장애인들의 훈련이 필요하다. 말레이시아에서 물체 감지 센서를 2개 부착한 전자지팡이를 개발하였고, 사용자의 이어폰에 진동을 주어 사용자가 장애물을 감지할 수 있도록 하였다. 미국에서는 레이저 포인터와 디지털카메라에 컴퓨터 프로세서가 결합한 형태의 가상 전자지팡이를 개발하였고, 주변의 정보를 인식한 후 분석해 사용자를 안전한 공간으로 안내한다[8]. 인도에서는 ‘Guide Cane’이라는 초음파 센서 기반의 전자지팡이 개발하였다. 이 지팡이는 끝부분에 바퀴가 부착되어있고, 끝부분에 부착된 초음파 센서와 자이로스코프 (gyroscope) 데이터를 이용하여 주변 장애물의 위치와 공간 정보를 인식하여 사용자에게 전달한다. 평지에서는 주변 장애물 인식에 큰 어려움이 없지만, 계단 등 다른 환경에서는 이동이 쉽지 않고, 제품이 무겁다는 단점이 있다.

Table 1.

Overseas Case Studies

2-2 기존의 진동 센서 기반 시각 장애인 지팡이

초음파 센서에서 언급했던 영국에서 개발된 ‘울트라케인’은 진동 센서를 사용하여 사용자에게 장애물의 정보를 전달하여 준다. 진동이 두 버튼에 의해 조절되는데 특별한 형태의 손잡이에 적합하도록 설계되어있다. 터키에서 개발된 WeWALK는 눈앞의 가슴 높이 이상의 장애물이 있으면 진동을 통하여 사용자에게 전달한다.

2-3 기존의 조도 센서 기반 시각 장애인 지팡이

터키의 구루아케데미에서 개발된 WeWALK는 전면에 LED가 탑재되어 있어 시력이 일부분 남아있는 시각 장애인들이 어둠 속에서 볼 수 있도록 제작되었다.

2-4 기존의 블루투스 기반 시각 장애인 지팡이

기존에 개발된 블루투스로 연동 지팡이는 IOS 또는 안드로이드 스마트폰을 원격으로 작동하여 또한 구글 지도, 우버 등의 같은 응용 프로그램을 사용할 수 있다. 이로 인해 음성지원과 내비게이션의 역할을 할 수 있다.

3-1 제안하는 초음파 센서 기반의 스마트 지팡이

초음파 센서는 음향 진동의 일종이다. 초음파는 사람의 귀로 들을 수 없는 20kHz대 이상의 음을 말하며, 초음파 세척기에 사용되는 25kHz, 40kHz, 초음파 거리계, 초음파 두께측정기에 사용되는 100kHz, 1MHz, 20MHz로 초음파의 주파수 범위는 광범위하다. 초음파 센서는 초음파를 발사한 후 반사된 파형을 검지한다. 거리나 두께 계측 등에 사용되는데 이것은 초음파의 반사성과 전파성의 지연을 응용한 사례이다. 초음파 거리계와 같이 초음파를 발사하여 물체에 닿으면 반사되는 능동형에서는 측정 물체에서의 반사파가 중요하고, 반사파의 도달 시간을 거리로 하여 측정하는 경우에는 통신 매체에 적당한 지연시간이 필요하다. 초음파는 온도에 영향을 받아 주위 온도에 따라 음속이 변하므로 물체의 거리를 정밀하게 측정하기 위해서 온도에 따른 보정이 필요하다. 또한 공기 중에서는 초음파가 급속히 감소하므로, 검출 거리는 보통 10m 이내이다. 초음파 센서에서 거리를 구하는 공식은 다음과 같다.

t : 신호가 되돌아 올 때까지 걸리는 시간(s)
L : 물체와의 거리(m)
V_s : 음속(m/s)

여기에서, t = 2 * 0.01 / 340 = 58.824µs로, 초음파가 1cm를 이동하는데 걸리는 시간은 약 29µs가 걸리며, 초음파가 반사된 물체와의 거리는 다음과 같이 구할 수 있다.

본 논문에서 제안하는 지팡이는 기존의 제품들이 전방의 물체만을 인지하는 단점을 보안을 유지하기 위해 초음파 센서 3개를 사용한다. 시중의 판매되는 지팡이를 사용하는 시각 장애인들은 지팡이를 좌우로 짚어보면서 장애물의 위치를 인식하며 걸어가는데, 이 과정에서 지팡이 사용자는 많은 힘이 들고, 그로 인해 외출 시간이 단축된다. 본 논문에서는 초음파 센서를 정면, 좌측, 우측에 배치하여 전방위 탐지를 구현하였고, 지팡이의 중반부와 하단부에 부착하여 지면에 장애물이 많은 우리나라의 보행환경에 적합하도록 하였다. 초음파 센서를 사람의 시야각과 같은 120°로 부착하여 지팡이의 사용자가 지팡이를 좌우로 짚지 않더라도 근방의 장애물을 모두 인식할 수 있다.

기존의 제품들은 장애물의 정보를 진동으로 전달하는데 제안하는 지팡이는 장애물의 위치에 상응하는 입체 음향을 사용하여 사용자에게 전달하도록 개선하였다. 입체 음향은 음원이 존재하는 공간에 위치하지 않은 청취자에게 음향의 방향성을 제공하는 모든 기술적, 실제적 방법 등을 말한다[5]. 이 지팡이에서는 2개의 스피커 또는 헤드폰을 좌우로 배치하여 입체 음향을 구성하는 방식인 2채널 시스템 (스테레오)을 사용했으며, 가상 서라운드를 이용해 입체 음향을 구현하였다. 인식한 장애물의 위치 정보를 보다 입체적으로 전달해 주어 사용자의 혼란을 줄여 보다 안정성을 높였고, 시중의 다른 지팡이들과 차별성을 갖는다.

기존의 지팡이에서 시력이 일부분 남아있는 시각 장애인이 어둠 속에서 앞을 볼 수 있도록 LED를 탑재해놓은 것을 구현했다. 시각 장애인은 시야가 제한되어 있어 야간과 주간이 동일하게 보이지 않지만 야간에는 일반 보행자들도 시야가 제한되기 때문에 시각 장애인과 충돌이 발생할 수 있다. 이러한 문제를 해결하기 위해 조도 센서를 부착하였다. 조도 센서는 밤 길이나, 터널 등 주변의 어두움을 감지하여 LED를 점등시켜 시각 장애인의 존재를 다른 보행자들에게 알려준다. 조도 센서와 LED를 연결하여 주위가 특정 값 이하로 어두워 지면 조도 센서의 저항값이 낮아져 LED가 점등되고 주위가 밝아지면 조도 센서의 저항값이 높아져 LED가 소등된다.

제작하는 스마트 지팡이에서는 조도 센서의 값이 50 이하일 때, LED가 점등되게 하였고, 50 이상일 때 LED가 소등되게 하였고 스마트 지팡이와 블루투스로 연동되는 시각 장애인을 위한 안드로이드 앱을 개발하였다. 앱은 시각장애인분들이 쉽게 사용하는 것에 중점을 두고 디자인하였다. 지팡이와 연결되거나 연결이 해지될 때, 음성으로 사용자에게 알린다. 장애물의 정보 전달 방식에서 장애물의 위치에 따른 값을 시리얼 통신을 통해 앱으로 전달하면 앱이 입체 음향을 이용하여 위치에 따른 알림음을 준다.

그림 1는 위치에 따른 입체 음향을 이용한 지팡이를 보여준다. 지팡이 중반부에 부착한 초음파 센서값이 200 이하일 때 1이라는 숫자가 출력된다. 지팡이 하단의 왼쪽에 있는 초음파 센서값이 200 이하일 땐 2가 출력된다. 지팡이 하단의 오른쪽에 있는 초음파 센서값이 200 이하일 땐 3이 출력된다. 이 값들은 시리얼 통신으로 앱으로 송신되고 입체 음향을 이용한 알림음이 수신된다.

Fig. 1.

Surround sound-based smart cane

그림 2은 개발한 앱 결과 화면을 보여준다. 앱 화면은 scan, connect, Disconnect, Crosswolk 네가지 버튼으로 구분된다.

Fig. 2.

Developed app design

그림 3는 지팡이 앱의 동작 순서도를 보여준다. 그림 3에서처럼 핸드폰의 앱으로 1이 전송되면 장애물이 정면에 있다는 알림음이 재생되고, 핸드폰의 앱으로 2가 전송되면 장애물이 왼쪽에 있다는 알림음이 재생된다. 마지막으로 핸드폰의 앱으로 3이 전송되면 오른쪽에 장애물이 있다는 알림음이 재생된다. 이어폰으로 알림음을 듣는 것만으로도 장애물의 위치를 알 수 있도록 입체 음향을 사용하여 인식한 정보를 보다 입체적으로 전달해 준다. 이로 인해 사용자의 혼란을 줄이고 안정성을 높였다.

Fig. 3.

Flowchart of the Smart Cane App

3-2 제안하는 비콘 통신을 이용한 스마트 지팡이

그림 4는 비콘 ID를 이용한 사용자 위치 인식을 보여주고 있다. 그림 4에서 사용한 비콘은 저전력 블루투스 4.0인 Bluetooth Low Energy 프로토콜 기반의 근거리 무선 통신 장치이다. 근거리 무선 통신인 NFC가 10cm 이내의 근거리에서만 작동하는 반면, 비콘은 최대 70m 이내의 장치들과 교신 가능하고, 5 ~ 10cm 단위의 거리를 구별하는 높은 정확성을 가지고 있다. 저전력특성 때문에 사물인터넷 시스템을 구현하기 적합하다. 비콘은 MAC 주소, MAJOR, UUID, RSSI, MINOR값 등을 전송한다[9]. 스마트폰에서 비콘이 전송한 이러한 값들로 위치를 감지하고 신호 강도를 측정할 수 있다[10]. 비콘의 발신기는 일정한 정보를 설치된 공간에서 지속해서 퍼트리는 장치이고, 수신기는 발신된 데이터를 받고 받은 정보를 확인하는 장치이다. 신호등 내부의 비콘 발신 부는 총 20개의 코드를 100m 내의 공간에 방송하며 방송반경 내의 비콘 수신부는 해당 신호를 받아 해당 정보를 확인한다.

Fig. 4.

User location recognition using beacon ID

현재 활용하고 있는 예로, 루브르 박물관에서 비콘을 사용하여 관람자의 위치에 따른 예술 작품 안내 서비스기 있다. 비콘은 일반적으로 스마트폰과 통신을 목적으로 개발되어 아두이노에 사용할 수 있는 수신기가 많지 않아 본 논문에서는 HM-10 블루투스 모듈을 사용한다.

음향 신호기는 시각 장애인의 보행 안전을 위해 신호등과 같이 횡단 보도상에 설치되는 시설물이다. 음향 신호기는 음성 멘트로 시각 장애인에게 위치를 파악하고 방향을 구분할 수 있는 정보를 제공한다. 현재 설치된 음향 신호기를 작동시키기 위해서는 신호등 전주 상단에 설치된 버튼을 눌러야 한다. 일반적으로 음향신호기는 도로변에 설치되어 있기 때문에 시각 장애인이 직접 버튼을 누르기에는 위험하다. 이와 같은 문제를 해결하기 위해 시각 장애인이 직접 버튼을 누르지 않아도 되는 음향 신호기용 RF 리모컨이 제공되고 있다. 현재 사용되고 있는 RF 리모컨은 358.5 MHz의 주파수를 사용하여 리모컨을 누르면 서비스 반경 내의 모든 음향 신호기들을 작동시킨다. 음향 신호기들의 소리가 겹쳐 들려 어느 방향 신호기인지 분간하기 어려워 시각 장애인에게 혼란을 초래한다.

본 논문은 이와 같은 문제를 해결하기 위해 아두이노와 비콘을 갖는 블루투스 모듈을 사용하여 스마트 지팡이를 개발하였다. 그림 5는 지팡이의 비콘 통신 순서도를 보여주고 있다. 그림 5에서 스마트 지팡이는 신호등에 설치되어있는 비콘의 MAC 주소를 미리 저장하여 신호등을 구분할 뿐만 아니라 가장 가까운 비콘의 RSSI값을 측정한다[11][12]. 스마트 지팡이와 신호등 사이의 거리가 1m 이내에 들어갔을 때의 신호를 받아들여서 지팡이에 전달하기 때문에 시각 장애인들의 혼란을 줄여 준다. 사용자는 스마트폰의 앱의 버튼을 이용해 선택적으로 작동시킬 수 있다. 지팡이 사용자를 위한 앱으로 시각 장애인이 쉽게 제어할 수 있도록 앱을 디자인하였다. 앱의 맨 아래 버튼인 “Crosswalk”를 누르면 신호등의 비콘 값을 받아들이기 시작한다. 스마트 지팡이와 신호등 사이의 RSSI값이 1m 이내에 들어갔을 때의 신호를 받아들여서 지팡이에 전달하기 때문에 시각 장애인들의 혼란을 줄여 준다. 이 비콘 데이터를 받아들여 스마트 지팡이의 손잡이에 부착한 진동 센서와 사용자의 휴대폰에 진동을 주어 사용자에게 신호등에 도착했음을 전달한다.

Fig. 5.

Flowchart of Beacon Communication about Smart Cane

4-1 하드웨어 및 시스템 구현

그림 6은 제안하는 초음파 센서 기반 스마트 지팡이의 구현된 결과 사진을 보여주고 있다. 표 2는 본 논문에서 구현시 사용한 아두이노 회로 핀 할당을 나타내고 있다.

Fig. 6.

Proposed Smart Cane based on ultrasonic sensor

Table 2.

Arduino Circuit Pin Assignments

4-2 조도 센서 구현

제작한 지팡이에서는 조도 센서의 값이 50 이하일 때, LED가 점등되도록 하였다. 조도 센서의 값을 결정하기 위해 다음 세 가지 조건을 고려하여 실험을 진행하였다.

조건 1. 오후 8시 이후 해가 완전히 진 상태

조건 2. 암막 커튼으로 외부의 빛을 차단한 실내

조건 3. 36w 형광등 2개가 설치된 곳에서 수직 방향으로 약 2m 떨어진 곳에서 측정

Fig. 7.

Probability of success according to illuminance sensor value

실험은 위의 세 가지 조건을 만족한 상태에서 센서값을 45 ~ 100까지 5단위로 증가시키며 진행하였다. 형광등을 껐을 때 LED가 한 번 이상 켜진 센서값은 45 ~ 70의 6개 값이었고 6개의 센서값에서의 성공 횟수를 위의 그래프에 확률로 나타내었다. 성공률이 100%인 경우가 가장 적절하다고 판단하였고 조도 센서값이 작을수록 어두운 환경을 뜻하므로 성공률이 100%인 45와 50중 더 큰 값인 50으로 센서값을 설정하였다.

4-3 초음파 센서 구현

그림 8는 지팡이 중반부와 하단에 부착한 SRF 04 초음파 센서 결과 사진을 보여주고 있다. 지팡이에 사용하는 초음파 센서 HR-06의 데이터 시트에 따르면, 유효한 탐지 범위는 10cm ~ 4m이다. 지팡이의 초음파 센서값을 결정하기 전에 초음파 센서의 실제 탐지 범위를 측정해 보았다.

Fig. 8.

SRF 04 ultrasonic sensor attached to middle and bottom of cane

그림 9는 초음파 센서 탐지 범위 측정에 의해 성공확률을 보여주고 있다. 실험은 초음파 센서와 수평거리로 1m ~ 5m 떨어진 곳까지 물체를 1m씩 이동시키며 진행하였다. 초음파 센서값이 5m 이하일 때 아두이노 시리얼 모니터에 1을 출력하게 하였고 1m ~ 4m까지는 비교적 출력이 잘 되었다. 출력에 성공한 횟수는 적었지만 5m 떨어진 곳에 위치한 물체까지 초음파 센서가 인식함을 알 수 있었고 거리에 따른 성공 횟수를 그래프에 확률로 나타내었다. 위 실험을 통해 성공률이 100%인 범위는 1m ~ 3m임을 알 수 있었다. 결국 3m 이내로 초음파 센서값을 설정하기로 하였다.

Fig. 9.

Ultrasonic Sensor Detection Range Measurement

Table 3.

Average walking speed of people by age

모든 연령, 성별의 사람들 평균 보행속도는 0.8m/s이고, 반사각에 의한 초음파 센서의 오차범위는 최대 ±20cm이다. 적어도 두 번의 신호는 들어야 시각 장애인이 장애물의 위치를 감지하고 회피할 수 있으므로 오차범위까지 고려하여 0.8m x² = 1.6m에 오차범위 0.2 x 2 = 0.4m를 더하여 2m로 초음파 센서값을 설정했다[13][14]. 최종적으로 두 실험의 결과를 합쳐 초음파 센서값을 2m로 설정했다.

4-4 초음파 센서 배치

이 지팡이는 초음파 센서 3개와 그에 상응하는 입체 음향으로 시중의 다른 지팡이들과 차별성을 두고 있다. 시중의 판매되는 지팡이를 사용하는 시각 장애인들은 지팡이를 좌우로 짚어보면서 장애물의 위치를 인식하며 걸어가는데, 이 과정에서 지팡이 사용자는 많은 힘이 들고, 그로 인해 외출 시간이 단축된다. 지팡이를 좌우로 짚지 않고 걸어간다면 사용자의 힘도 절약할 수 있고, 외출 시간도 증가시킬 수 있다고 생각하여 초음파 센서를 정면, 좌측, 우측에 배치하여 전방위 탐지를 구현했다.

인간의 시야각은 120°이다[15]. 이 논문의 지팡이는 하단에 초음파 센서 3개를 사람의 시야각과 같은 120°가 되도록 부착하여 지팡이 사용자가 지팡이를 좌우로 짚어보지 않아도 전방위의 장애물을 인식하는 데 불편함이 없도록 제작했다.

4-5 비콘의 RSSI 값 설정

표 4는 거리에 따른 RSSI값 계산한 결과 표를 보여주고 있다. 비콘의 거리 측량 방법은 비콘 신호의 수신 강도(RSSI: Received Signal Strength Indicator)로 값을 측정하고 측정한 RSSI 값을 Friis 공식을 이용하여 거리에 따른 값으로 계산하였다. Friis 공식은 다음과 같다.

Table 4.

Calculation of RSSI value over distance

Friis 공식을 사용하여 계산한 1m에 대한 RSSI값 –75를 기준으로 실험을 진행하였다.

그림 10은 제안하는 RSSI값에 따른 거리별 성공확률 결과를 보여주고 있다. 지정한 RSSI값을 거리별로 50번씩 측정하였는데 먼 거리에서도 비콘을 인식하고 진동이 울렸다. 본 논문에서 제안하는 지팡이는 5m 이상의 먼 거리에서도 작동하지만, 거리가 가까울수록 정확도가 100%에 가까움을 알 수 있다. 이와 같은 실험을 통하여 RSSI값이 –75일 때 핸드폰과 지팡이에 진동을 울리도록 설계하였다.

Fig. 10.

Probability of success by distance according to proposed RSSI value

4-6 진동센서 구현

기존의 개발된 지팡이들은 장애물이 인식되면 진동으로 전달하였는데, 본 논문에서 제안하는 지팡이는 손잡이에 진동 모듈을 부착하여 신호등에 설치된 비콘의 MAC 주소 정보를 인식한 후 비콘의 RSSI가 가까워지면 딜레이 값 10만큼 진동하도록 구현하였다. 또한 개발한 앱도 동시에 진동하여 사용자에게 신호등의 1M안에 있음을 명확히 전달한다. 그림 11은 손잡이에 부착한 DM159 진동 모듈의 결과 사진을 보여주고 있다.

Fig. 11.

DM159 Vibration Module Attached to the Smart Cane Handle