시각장애인을 위한 의약품 및 알약 조회 모바일 어플리케이션 구현

실로암 헬스모아[6]는 시각장애인을 위한 의약품 정보 조회 서비스를 제공하는 모바일 어플리케이션이다. 헬스모아는 단순하게 텍스트를 입력하는 방법으로 의약품을 검색할 수 있을 뿐만 아니라 의약품의 바코드 및 QR코드 (Quick Response Code) 촬영, 내장된 마이크를 이용하여 의약품명을 음성으로 검색하는 방법을 활용하여 다양한 방법으로 시각장애인이 의약품 정보를 검색할 수 있는 특징이 있다.

실로암 헬스모아는 휴대폰 카메라를 이용한 의약품 혹은 처방전 촬영으로 의약품 검색 기능을 제공한다. 하지만 검색을 위해 촬영을 할 때 촬영에 대한 어떠한 음성 가이드를 제공하지 않는다. 의약품 촬영 각도 및 위치를 시각장애인이 파악하기 어렵기에 실제로 애플리케이션을 이용 시에는 의약품을 조회할 수 있는 확률이 현저히 낮아져 정보를 조회하는 것에 불편함이 있다. 또한 시각장애인을 주된 서비스 대상으로 설정하였지만, 서비스 이용을 위한 터치 및 입력 횟수가 너무 많으며 음성 가이드 없이 3줄 이상의 텍스트를 출력함으로써 정보 접근성이 떨어진다. 따라서 본 논문에서 제안하는 필라로이드는 의약품을 촬영으로 검색할 때는 손 위치에 따른 실시간 가이드를 제공함으로써 촬영 시에 약품이 찍히지 않는 확률을 줄인다. 또한 필라로이드에서는 화면의 기능 이름과 설명 등을 자동으로 음성 가이드 제공함으로써 최소화된 입력으로 검색할 수 있다.

의약품 검색[7]은 약학정보원에서 의약품 정보 서비스를 제공하는 어플리케이션이다. 의약품을 제품명 혹은 관련 정보를 입력하여 조회할 수 있을 뿐만 아니라 제형 및 색상 등의 모양을 입력 혹은 선택하여 의약품 정보를 조회할 수 있다. 하지만 시각장애인을 대상층으로 하는 서비스가 아니기 때문에 다소 복잡한 레이아웃 배치로 되어 있어 정보를 조회하는 데 어려움이 있다. 또한 의약품을 검색하는 방법으로는 오로지 텍스트 입력만 가능하므로 불편함이 있다. 그뿐만 아니라 어플리케이션에서는 의약품 정보 조회만 가능하며 즐겨찾기와 알림 등 사용자 개인의 맞춤 서비스가 없기 때문에 추가적인 어플리케이션을 사용함으로써 일정 및 정보를 관리해야 한다는 단점이 있다. 따라서 필라로이드에서는 촬영과 음성 인식 등의 방법을 활용하여 정보를 조회할 수 있도록 하며, 검색된 의약품 정보가 출력되는 화면에서 하나의 버튼을 이용하여 알림 및 즐겨찾기 서비스 기능을 이용할 수 있다.

커넥트디아이[8]는 의약품 정보를 검색할 수 있으며 비대면의 채팅 상담으로 약사와의 상담 서비스를 제공하는 모바일 어플리케이션이다. 커넥트디아이는 하나의 텍스트 입력 필드에 의약품명 혹은 증상 등을 입력함으로써 의약품에 대한 정보를 검색할 수 있어 최소한의 입력 횟수로 검색할 수 있다는 특징이 있다. 또한 관심 의약품을 선택할 수 있어서 개인마다 의약품과 주사제 총 2개의 카테고리로 나누어 개별적으로 조회할 수 있는 장점이 존재한다. 하지만 메인 화면에서 의약품 검색, 뉴스, 채널 등 한 화면에 너무 많은 정보를 담고 있어 시각장애인이 한 번에 원하는 기능을 찾을 수 있는 효율성이 떨어진다. 따라서 필라로이드에서는 메뉴에서의 레이아웃을 가로 혹은 세로 방향으로 최대 2개의 버튼만을 배치함으로써 효율성과 편의성을 높이고자 한다.

본 논문의 알약 학습 데이터 셋은 의약품안전나라에서 제공한 공개 데이터 셋[18]과 알약을 직접 다양한 조도, 각도, 거리에서 촬영한 데이터 셋으로 구성하였다. 공개 데이터 셋의 알약 종류는 24,306개로 매우 방대하다. 따라서 네이버 의약품 사전에서 각 의약품의 rating 값을 크롤링하여 5개 이상인 것만 선별하였다. rating 값이란 네이버 의약품 사전을 이용하는 사용자가 ‘유익해요’, ‘더 알고 싶어요’, ‘담아갈게요’, ‘수정해주세요’에 체크한 숫자를 합산한 값으로, 숫자가 많을수록 해당 의약품에 많은 관심을 가진다는 것을 의미한다. 즉, rating 값이 0~4개인 것을 제외함으로써 모든 알약에서 사용자가 관심을 두는 알약으로 범위를 좁혔다. 선별 결과로 최종 학습시킬 알약은 3,091종이며 각각의 이미지는 데이터 증강 과정을 거쳤다. 데이터 증강은 기존 데이터에 각종 노이즈를 주어 이미지 데이터의 양을 늘리는 기법이다. 본 논문에서는 밝기 조절, 회전, 반전을 알약 이미지에 적용하여 최종적으로 3,091종에 대해 약 12만 장의 이미지 데이터 셋을 구축하였다.

본 논문에서는 알약 딥러닝 예측 모델로 CNN을 사용하였다. 알약 예측 모델로 사용한 CNN 계층은 1개의 입력 계층과 7개의 은닉 계층, 1개의 출력 계층으로 구성하였고, 7개의 은닉 계층은 각각 4개의 합성곱 계층과 3개의 풀링 계층으로 구성하였다. 합성곱 계층은 활성화 함수로 ReLU를 사용했으며, 출력 계층은 다중 클래스 분류를 위해 softmax 함수를 사용하였다.

표 2는 100장의 알약 사진으로 학습 모델을 평가한 결과이다. 평가 사진은 학습으로 쓰이지 않은 공개 데이터 셋 일부와 직접 본 저자들이 손 위에 알약을 놓고 찍은 사진으로 구성하였다.

Table 2.

Predictive results based on predicted value criteria

총 100개의 사진 중 알약을 잘못 예측한 경우는 9개로 전체적인 정확도는 91%로 나타났다.

한편, 각 알약 클래스에 대한 예측 확률은 불확실성을 추정할 수 있도록 해준다. 예를 들어, 하나의 확률값이 다른 확률값에 비해 월등히 높다는 것은 모델이 결과를 확신하고 있음을 의미한다. 반대로 확률값이 서로 비슷하다는 것은 불확실성이 높고 그 결과를 신뢰할 수 없음을 의미한다. 따라서 임곗값을 정하여 가장 높은 예측 확률이 임곗값보다 낮다면 그 판단을 신뢰할 수 없으므로 제외되어야 한다. 표 2는 최적의 임곗값을 정하기 위해 75%, 70%, 65%의 기준으로 예측 성공 여부를 분류한 결과를 보여준다.

예측값이 최적이 되기 위해선 예측 실패는 적게 검출하되 예측 성공은 많이 검출하는 값으로 해야 한다. 예측 확률이 75%인 경우 70%일 때보다 예측에 성공한 것을 4개 덜 검출했으며 65%인 경우 70%일 때보다 예측에 실패한 것을 1개 더 검출했다. 따라서 임곗값으로 70%가 적절하며 가장 큰 예측 확률이 70%를 넘기지 못한다면 예측 결과를 반환하지 않도록 한다.

낱알 검색 기능을 시작하면 후면 카메라가 켜졌음을 알리고 알약을 손바닥 위에 올리라는 내용의 음성 안내를 내보낸다. 앱은 카메라로 촬영 중인 실시간 영상에서 손을 감지하기 위해 TensorFlow Lite를 통한 분석을 수행한다. 적정 거리와 위치에서 손이 감지되지 않았다면 “손이 감지되지 않습니다. 손을 포착할 수 있도록 카메라를 더 멀리 이동해주세요.”라는 가이드를 제공한 후 다시 분석을 진행한다. 손이 올바른 곳에서 잘 감지되었을 경우 Spring Boot 서버로 촬영 사진을 전송하며, 서버가 인식한 알약 정보를 앱에 나타낸다. 알약 정보는 그림 2(b)와 같이 효능 및 효과, 용법 및 용량, 주의사항, 외형, 성분, 보관법으로 나누어 보여준다. Spring Boot 서버는 요청과 함께 받은 사진을 Flask 서버로 전송하여 의약품 품목 일련번호 목록을 얻는다. 가장 높은 예측값에 해당하는 알약 품목 일련번호로 데이터베이스에서 의약품 정보를 찾고 앱에 반환한다.

Flask 서버에서는 전송받은 이미지에서 알약이 존재하는지 확인한 후 모델을 통해 알약 예측 데이터를 얻는다. 사진에서 알약이 존재하는지 판별하기 위해 YOLOv5를 이용하였다.

이미지 라벨링 도구인 labelImg[19]를 이용하여 알약 데이터 셋을 YOLOv5에서 사용할 학습데이터로 변환하였다. YOLOv5에서 검출된 알약 이미지는 CNN 모델의 입력 데이터로 사용되며 모델을 실행시켜 알약 예측 결과를 얻는다. 예측 확률이 높은 상위 5개의 품목 일련번호와 예측값을 Spring Boot 서버에게 반환한다. 그림 3은 이에 대한 구조도를 나타낸다.

Fig. 3.

Structure diagram of pill search function

기능 시작 시 의약품 포장 용기 촬영을 위해 후면 카메라가 켜지고 카메라가 켜졌다는 것을 사용자에게 음성으로 안내한다. 사용자가 후면 카메라에 의약품 포장 용기를 가져다 대면 안드로이드는 구글 ML kit 라이브러리를 통해 실시간 영상에서 바코드 감지를 시도한다. 바코드가 감지되지 않았다면 TTS 기능을 통해 “바코드가 인식되지 않았습니다. 천천히 상하좌우로 움직여주세요”라는 안내 음성을 제공한 후 다시 바코드 감지를 시도한다. 바코드 감지에 성공할 경우 바코드 번호를 서버로 넘겨 관련된 의약품 정보를 얻는다. 의약품 정보는 낱알 촬영으로 검색 시 보여주는 결과 화면(그림 2(b))과 동일하다.

서버에서는 전달받은 바코드 번호가 medicine 테이블에 있는지에 따라 처리 과정이 나뉜다. medicine 테이블에 바코드 정보가 존재하면 DB에서 관련된 의약품 정보를 찾아 클라이언트에게 바로 반환한다. 그렇지 않다면 직접 다음과 같이 크롤링하여 해당 바코드 번호로 된 의약품이 있는지 확인한다. 관련된 의약품이 있다고 판단하는 기준은 구글에 바코드 번호를 검색했을 때 ‘의약품안전나라’[16]에서 제공하는 의약품 페이지가 노출되고, 그 의약품 페이지에 완전히 일치하는 바코드 번호가 존재하는지로 하였다. 크롤링으로 찾은 의약품 페이지에서 품목 일련번호와 제품명을 추출하고 DB에 있는 의약품일 경우 조회된 정보를 클라이언트에게 반환한다.

그림 2(c)가 보이고 있는 의약품 음성으로 검색 화면에서는 먼저 검색 방법에 대한 음성 가이드를 안드로이드의 TTS 기능을 이용해 자동으로 실행한다. 이후 음성 인식은 음량 버튼을 활용하여 동작한다. 음량 위 버튼을 누르면 띵 똥 소리와 함께 음성 인식을 시작한다. 이후 의약품명을 사용자가 말하고 다시 음량 위 버튼을 누르면 음성 인식이 종료된다. 만약 음성 인식 중일 때 음량 아래 버튼을 누르면 음성 인식을 중지할 수 있다. 만약 음성 인식 종료 후에 다시 녹음하고 싶다면 다시 음량 위 버튼을 누름으로써 동일한 방식으로 의약품명을 말할 수 있다. 화면 하단에는 결과 확인 버튼이 있다. 버튼의 위치는 버튼을 한번 클릭 시에 “버튼. 결과 확인하기”라고 음성으로 안내함으로써 사용자가 버튼을 찾지 못하는 상황을 방지하였다. 따라서 음성 인식 종료 후에 사용자가 버튼의 위치를 찾아 클릭하게 하면 음성 인식된 키워드를 TTS로 출력하며, 의약품명을 서버로 전달한다.

전달된 의약품명은 서버에서 medicine 테이블의 의약품명(name) 값 중 음성으로 검색한 의약품명 키워드를 포함하는 의약품 목록을 반환한다. 반환된 결과인 의약품명들은 안드로이드 화면에서 리스트의 형식(그림 2(d))으로 보여준다. 이때 검색된 의약품명 목록은 자동으로 하나씩 음성으로 출력된다. 검색된 결과 중 하나를 선택할 때는 화면에 해당 부분을 더블클릭하거나 음성으로 출력 도중 해당하는 의약품이 들렸을 때 음량 위 버튼을 누르면 된다. 전달된 의약품 번호의 값으로 medicine 테이블에서 조회해 의약품 정보를 화면으로 출력한다. 출력 화면은 낱알 촬영으로 검색 시 보여주는 결과 화면(그림 2(b))과 동일하다.

필라로이드는 처방전 촬영을 통한 의약품 정보 조회도 지원한다. 처방전을 카메라로 촬영한 후에 처방전에 적힌 텍스트를 ML kit를 통해 인식한다. 일반적인 처방전의 양식을 고려하여 인식된 텍스트 중 ‘의약품의 명칭’이 적힌 위치부터 ‘주사제 처방내역’ 혹은 ‘이하 여백’ 텍스트의 위치 사이에 인식된 의약품명을 추출한다. 1개 이상의 의약품명이 추출되면 서버에 해당 명칭들을 전달하여 medicine 테이블에서 해당 명칭으로 시작하거나 동일한 의약품을 찾아 반환한다. 이때 하나의 의약품명에 여러 개의 결과가 반환되면 그중 괄호를 제외했을 때의 의약품명이 정확히 일치하는 의약품을 우선으로 하며, 이외에는 의약품명의 사전 순서 중 가장 빠른 하나의 의약품 정보를 응답 결과로 반환한다. 반환된 의약품 정보는 의약품명, 외형 정보, 용법 및 용량, 그리고 효능 및 효과이며, 어플리케이션 화면에 검색된 의약품명을 음성 가이드로 안내함과 동시에 그림 2(e)와 같이 화면에 정보를 차례대로 출력된다. 출력된 결과에서 3개의 카테고리의 영역을 각각 클릭할 시에는 해당 카테고리의 의약품 정보를 음성으로 출력한다. 또한 의약품의 결과가 2개 이상일 때는 화면 결과 출력 부분을 가로로 스와이프 가능하게 함으로써 다음 의약품의 정보를 확인할 수 있다.

시각장애인이 복용하고자 하는 약이 맞는지 확인하고 싶을 때 약 봉투 촬영을 통해 약 봉투 내용 조회가 가능하다. 후면 카메라가 켜지면 시각장애인은 음량 위 버튼을 통해 약 봉투를 촬영할 수 있다. ML Kit 텍스트 인식 라이브러리를 통해 약 봉투에 적힌 텍스트들을 인식하는데 여기서 약 봉투는 약포지와 조제약 봉투, 2가지를 말한다. 약포지에서는 약국 이름과 아침, 점심, 저녁으로 주로 표기되는 복용 시기를 추출한다. 조제약 봉투에서는 약국 이름, 제조 일자, 약제 분류와 보이스아이 코드 여부를 추출한다. 보이스아이 코드란 조제약 봉투에 기입된 직사각형 코드로, ‘보이스아이’ 어플리케이션[17]에서 이를 스캔하면 복약 정보 및 의약품 정보를 음성으로 확인할 수 있다. 보이스아이 코드 여부는 코드 밑에 적히는 ‘음성 복약지도’ 텍스트 인식 여부로 판단한다. 추출된 텍스트 정보를 종합하여 TTS 음성 가이드로 제공한다.

필라로이드는 서비스 이용 방법과 촬영 안내 가이드, 화면에 표시되는 텍스트 등을 음성으로 안내한다. 처음 필라로이드 실행 시에는 앱 사용 설명을 안내하는 초기화면이 보임과 동시에 음성 가이드 또한 실행된다. 이후 앱을 다시 실행 시에는 초기 가이드 화면은 보이지 않게 하였다. 또한 필라로이드에서 표시되는 모든 텍스트, 이미지, 버튼 등의 요소를 한번 터치하면 텍스트 혹은 관련 설명을 음성으로 먼저 안내하도록 구현하였다.

음성 가이드는 마이페이지 화면(그림 4(a))에서 음량과 속도 조절이 가능하다. 마이페이지에서 설정하는 가이드 음량은 앱을 실행시켰을 때 설정할 미디어 음량을 말한다. 기본 가이드 음량은 8로 설정되며, 0부터 15까지 설정할 수 있다. 또한 보이스 속도는 필라로이드에서 제공하는 음성 가이드 속도를 말하며 기본값으로는 1.0배속이다. 속도는 0.5배속부터 1.5배속까지 0.25의 간격으로 총 5구간에서 선택 가능하다. 이와 같이 가이드 음량 및 속도 조절이 가능하도록 구현함으로써 개인의 취향에 맞게 필라로이드를 사용할 수 있다.

Fig. 4.

Application screen for etc services : (a) my page (b) favorites, (c) alarm, (d) alarm time setting* This mobile application service is designed for Korea; thus, it is written in Korean.

의약품을 조회했을 때 보이는 결과 화면에서 오른쪽 상단에 위치한 별 이미지 아이콘을 클릭하면 즐겨찾기 등록 및 삭제를 할 수 있다. 즐겨찾기로 설정된 의약품은 그림 4(b)에 해당하는 마이페이지 내의 즐겨찾기 목록에서 확인할 수 있다. 이를 통해 관심 있거나 조회 필요성이 있는 의약품을 즐겨찾기 아이콘 클릭 한번으로 사용자가 자유롭게 설정할 수 있어 정보 조회에 대한 시간을 절약할 수 있다.

즐겨찾기 목록에서는 의약품명을 리스트로 출력하며, 조회하고자 하는 의약품명을 선택하면 처방전을 제외한 의약품 조회에 대한 결과 화면(그림 2(b))과 동일한 화면으로 효능, 용법, 주의사항, 외형, 성분, 보관법의 정보를 출력하도록 구현하였다.

의약품 복용 알림 설정을 위해 의약품 조회 결과 화면의 가장 오른쪽 상단에 위치한 종 이미지 아이콘을 클릭하면 알림 생성 다이얼로그가 띄워진다. 이후 다이얼로그에 레이블과 복용 기간을 입력한 후 확인 버튼을 클릭해 알림 생성이 가능하다. 이때 레이블은 의약품명으로 기본값이 설정되어 있으며, 복용 기간은 기본값으로 5일로 설정하여 사용자의 입력을 최소화할 수 있도록 구현하였다. 레이블은 최대 30자까지 가능하며 복용 기간은 최대 3개월까지 가능하다.

알림 생성을 위해서는 먼저 마이페이지의 알림 화면(그림 4(c))에서 사용자의 알림 시간대를 설정해야 한다. 그림 4(d)에서 볼 수 있듯이 설정값으로는 아침, 점심, 저녁 3개의 식사 시간이 있다. 각각의 식사 시간은 시간 단위로는 1시간씩, 분 단위로는 10분씩 볼륨 버튼을 통해 조절할 수 있도록 구현하였다. 각각의 식사 시간을 입력한 후에 저장 버튼을 클릭하면 alarmtime 테이블에 저장된다. 이후에 알림 생성 시, 설정한 알림 시간대에 맞춰 실제 의약품의 용법 용량을 고려해 사용자의 의약품 복용 알림 시간을 계산한 값이 alarm 테이블에 저장된다.

alarm 테이블에 저장된 알림은 Firebase에서 제공하는 Firebase Cloud Messaging을 이용하여 푸시 알림을 통해 제공된다. 서버에서 알림이 설정된 시간에 “필라로이드 의약품 복용 알람”의 이름과 함께 “타이레놀 복용 시간입니다. 타이레놀은 1알 복용하시면 됩니다.” 같은 내용으로 푸시 알림을 전달하여 사용자는 모바일에서 확인할 수 있다.