AWS 클라우드 기반 신뢰성 있는 화재 감지 서비스 플랫폼 개발

센서 클러스터로 수집된 데이터들은 AWS의 관계형 데이터베이스 서비스인 AWS RDS (Relational Database Service)[11]에 업로드 되어 .csv 파일로 구성하였다. 모델을 점진적으로 학습시켜 판정 결과를 고도화하기 위해 단기간에 수집된 데이터가 아닌 여름철, 겨울철 별로 수집 기간을 나눠 데이터를 학습시켰다. 또한 초기 데이터, 중기 데이터, 최종 데이터 별로 데이터를 학습시켜, 기간 별 학습 데이터에 대한 지속적인 성능 판정 및 과적합 방지 작업을 거쳤다. 이를 위해 여름철을 6월부터 8월로 설정하였고, 겨울철은 10월부터 11월까지 설정하여 2주 기간 동안 센서 데이터를 수집했다. 또한 모든 데이터는 2주간 24시간 종일 수집되어 시간 별 센서 데이터의 변화를 모델에 학습할 수 있도록 하였고, 센서 클러스터를 외부와 내부의 경계인 창문에 두어 내부 온도 및 외부 온도 변화 데이터를 모두 수집하도록 했다.

파일 내부의 릴레이션은 온도, 습도, 일산화탄소, 적외선 온도, 적외선 습도를 속성으로 가지고, 튜플은 2초 딜레이를 가지는 시계열 데이터이다. 여름철과 겨울철 일정 기간 내 데이터를 수집하고 이를 합산하여 하나의 파일로 만든 결과, 모델 학습을 위해 개별 속성(온도, 습도, 일산화탄소, 적외선 온도, 적외선 습도)을 가지는 튜플(시계열 데이터)은 총 53만개로 구성되었다.

OneClassSVM (One-Class Support Vector Machine)을 통해 구축된 센서 데이터 화재 판정 모델은 센서별로 화재를 판정한다. 이는 Anomaly Detection, 즉, 이상 상황을 감지하기 위함이다[12]. 각 센서를 통해 실시간으로 감지되는 온도, 습도, 적외선 온습도, 일산화탄소 등의 데이터는 기훈련된 모델을 통해 화재를 1차적으로 판정한다. 이를 위해 53만개의 주변 환경 센서 데이터를 학습시킨다.

이 데이터들은 OneClassSVM 기반 모델에 학습되어 속성별로 개별 이상 상황 탐지 모델을 생성한다. 이 모델은 센서 클러스터에서 실시간으로 수집되는 주변 환경 데이터에 대해 현재 상황이 이상 상황인지 정상 상황인지 판정하게 된다.

1차 화재 판정 모델의 성능을 고도화하기 위해 특정 기간 데이터 분할 학습, 점진적 데이터 학습 등의 방법을 적용했다. 또한 새로운 데이터를 학습시킬 때마다 모델 성능 판정을 진행하여 모델 성능을 향상시킬 수 있으며, 실제 화재 실험을 통해 수집한 화재 상황 데이터와 화재 상황 가정 시나리오 별 데이터를 통해 정성적인 성능 분석을 진행하였다. 이는 실험실 레벨에서 그림 5와 같이 안전 박스를 설치하고 발화체(고체연료)를 투입하여 30회 반복 수행하였다.

Fig. 5.

Fire experiments environment*screen shot of app operation.

우선 목표 학습 데이터를 여름철과 겨울철 데이터로 설정하고 초기 여름철 데이터를 수집하였다. 초기 데이터는 대략 6만 튜플로, 이 초기 데이터를 학습시킨 1차 판정 모델의 성능은 좋지 않았다. 결과치 변동이 상당히 심했고, 무엇보다도 겨울철 데이터가 학습되지 않았다 보니 영하 기온 데이터에 대해 화재로 판정하는 등 신뢰도가 매우 낮은 모습을 보였다. 이후 점진적으로 여름철 데이터를 모두 학습 시켰을 때 과적합 등의 부작용이 나타나지 않아 겨울철 데이터의 경우에도 여름철 데이터와 동일하게 점진적으로 학습시켰다. 최종적으로 53만개의 모든 데이터가 학습되었고, 가상 시나리오 상황 및 실제 화재 상황에 대해서도 좋은 성능을 보이는 1차 판정 모델이 구축되었다.

‘예’와 ‘아니오’로 이진 판정된 1차 판정 값은 Hard-Voting, Soft Voting, Stacking 등의 방법으로 세분화되어 있는 앙상블 기법(Ensemble Method) 중 소프트 보팅을 통해 화재 여부를 최종 판정한다[13].

소프트 보팅은 분류기(Classifier)의 레이블 값 결정 확률을 모두 더하고 평균을 구한 뒤 이들 중 확률이 가장 높은 레이블 값을 최종 보팅 결과로 선정하는 방법이다. 이때 분류기는 각 센서 별 판정 데이터에 해당한다. OneClassSVM을 통해 이진 값으로 판정된 센서 데이터들은 각 판정에 대한 확률 값을 가진다. 이 확률은 평균을 도출하기 위한 입력값이 된다.

평균값이 도출된 후 가장 확률이 높은 레이블 값이 최종 결과가 된다. 만약 가장 확률이 높은 레이블의 값이 -1, 즉 화재라면, 최종화재 판정을 하고 화재 상황에 맞은 이후 대처가 실행된다. 이 시점에서 현재 상황을 정상 상황이라 판정한 센서 데이터가 존재한다면 그 센서에 대해 유지 보수 작업을 실행한다. 만약 가장 확률이 높은 레이블이 0, 즉 비화재 또는 정상 상황이라면 최종 화재 판정은 비화재가 된다.

OneClassSVM은 비지도 학습 알고리즘으로 주로 이상 탐지에 활용된다. 이 알고리즘은 데이터셋에서 정상 데이터를 학습하여 새로운 데이터가 정상 데이터와 유사한지, 아니면 이상인지를 판별한다.

• 훈련 데이터

OneClassSVM은 단일 클래스에 대한 정보만을 가지고 훈련된다. 이상 데이터의 정보는 필요하지 않다.

그림 6의 데이터는 라즈베리파이의 부착된 여러 센서에서 정상 데이터를 수집한 .csv 파일 일부분이다. 데이터의 신뢰성을 얻기 위하여 여름, 겨울 계절과 실내에서 히터와 에어컨을 틀었을 때의 이상 상황으로 탐지하는 것을 방지하기 위해 히터와 에어컨을 가동하면서 모든 센서 데이터를 각각 2주 정도 수집하였다.

Fig. 6.

Normal data(.csv)

• 결정 경계

OneClassSVM 알고리즘은 훈련 데이터를 기반으로 결정 경계를 형성하게 된다. 이 경계는 데이터의 분포를 나타내는 일종의 영역으로 훈련 데이터의 대부분이 이 영역 내에 위치하도록 한다.

OneClassSVM의 모델 학습시 nu 파라미터 값은 결정 경계를 결정하는 값으로, nu 파라미터 값이 작으면 작을수록 학습 데이터내에서 이상 탐지 경계가 더욱 좁아지고 nu 파라미터 값을 높일수록 경계가 넓어지게 된다. 즉, 민감한 탐지를 원할 경우 파리미터 값을 작게 조정하여 학습을 진행한다. 하지만 모델 학습은 사용자의 사용 요구나 상황에 맞게 유동적이여야 하며 이 과정은 파라미터를 반복적으로 조정하면서 최적의 값을 찾아내야 한다.

모델훈련 후 이상치 차단 테스트를 위해 임의의 값을 데이터 값으로 설정해 준 뒤 테스트를 진행한다. 이러한 작업을 통해 어느 범위까지 이상치로 판단하는지 찾아낼 수 있다.

Object Detection 기법 중 하나인 YOLO (You Only Lock Once)는 CNN (Convolutional neural network)와 달리 이미지를 한장으로 해석한다. 또한 1-stage 방식으로 Classification과 Localization을 동시에 진행 하므로 정확도는 낮지만, 속도가 빠르다는 장점이 있다[14].

본 연구에서는 좌, 우 각도에서의 인식률이 떨어지는 기존버전과 달리 새로운 리포지토리를 활용하는 Yolov8을 활용한다[15]. Yolov8 모델을 학습하기 위해 AWS SageMaker 인스턴스 노트북을 생성해 주어야한다. 정확도를 높이기 위해 학습 횟수를 높게 설정한다. 이때 이미지 학습의 경우 상대적으로 높은 수준의 리소스를 요구하기 때문에 인스턴스 유형을 ‘large’로 생성하는 것이 용이하다. 요구하는 리소스 대비 상대적으로 낮은 리소스를 사용할 경우 학습 진행 중에 인스턴스의 커널이 중단되는 현상이 발생할 수 있어 요구 리소스(GPU 자원)를 항상 고려하고 있어야 한다.

YOLO 모델과 관련된 Python 라이브러리로 Ultralytics 라이브러리를 사용한다. 이 라이브러리는 모델을 쉽게 사용하고 개선할 수 있는 도구를 제공한다. 학습 코드를 사용자가 직접 구성하는 것이 아닌 명령어 한 줄로 모델의 학습, 검증까지 진행할 수 있도록 하는 라이브러리이며 개발자는 이미지 데이터 세트에만 중점을 두면 된다.

[ !pip install ultralytics ] 명령어를 통해 설치 할 수 있으며, 이 모델 학습 결과와 검증 결과는 yolo 디렉토리에 저장이 된다. YOLO(yolov8n.pt)는 설치한 ultralytics의 내장된 모델 정의 메서드이다. ultralytics에서 제공하는 기본 yolov8 모델을 설정하고 model.train의 파라미터 값으로 data = ‘데이터셋 디렉토리 위치’, epochs = ‘학습 횟수’, batch = ‘배치 사이즈’, imgsz = ‘데이터셋의 이미지 사이즈’, patience = ‘과적합 방지’와 같이 파라미터 값을 설정한다. 이후 커널을 실행하면 학습이 진행된다.

학습을 진행하게 되면 현재 진행되고 있는 학습 수, GPU 사용량, 손실률 등 정보가 표시된다. 또한 학습이 완료된 후 모델은 runs/detect/train2/weight/best.pt에 저장되며, 학습의 전반적인 결과를 확인 할 수 있다.

최종화재 판단 모델은 센서(온도, 습도, 일산화탄소, 적외선)의 Soft Voting 함수를 통해 도출된 판단 값과 yolo 알고리즘 기반으로 도출된 카메라 센서 데이터의 판단 값을 비교하여 최종 화재 판정을 내리게 된다. 카메라 모델을 Soft Voting에 포함시키지 않은 이유는 카메라 모델의 판단 결과 값이 다른 센서와 비교해 봤을 때 더 정확한 결과를 내리기 때문에 Soft Voting에 포함하지 않고 개별적으로 처리하였다.

센서 모델은 AWS S3 Bucket에 저장하여 활용할 수 있도록 하며, 해당 모델이 저장된 디렉토리 위치를 설정한다. 다음으로 lambda_handler event 파라미터로 전달받는 각각의 센서 데이터를 새로운 변수 설정을 진행한다. 여기서 event 파라미터는 AWS Lambda에서 설정한 AWS IoT Event 즉, 현재 센서 데이터를 가져오게 된다. 그 후 predict_sensor의 모델 디렉토리 위치와 실시간 데이터 값이 파라미터로 넘어가 실시간 데이터의 판단 값을 predict_sensor 함수가 반환하게 된다. 이와 마찬가지로 predict_accuracy 함수는 판단 값의 정확도를 반환하고 이 정확도 값은 sigmod 메서드를 통해서 0~1사이의 정규화된 값으로 설정되게 된다. 마지막으로 soft_voting 메서드를 통해 각 센서의 정확도 값은 하나의 최종 판단 값을 반환받게 된다. yolov8 모델 기반 예측값 img_class는 객체 탐지 클래스의 결과를 딕셔너리 형태로 초기화 되어있다. Soft_voting의 값과 img_class값을 비교하여 최종적으로 화재 및 비화재를 판단하게 된다.

우선 TwinMaker 콘솔에서 작업 공간을 생성하여 작업 공간의 이름 및 디지털 트윈을 만들면서 저장되는 리소스 (3D 모델 등)가 들어갈 버킷을 지정한다.

디지털 트윈을 시각화 하기 위해서는 서드 파티 애플리케이션으로 Grafana를 사용하여야 하는데 TwinMaker에서는 Amazon에서 제공하는 Grafana와 사용자 구동 Grafana 서버 중 하나를 선택할 수 있다. Amazon에서 제공하는 Grafana에서는 웹으로의 임베딩이 불가능하므로 본 시스템에서는 자체 관리형 Grafana를 선택하였다. 작업공간을 만든 후 리소스 라이브러리에서 리소스 추가를 통해 3D 모델을 업로드한다. 추가한 리소스들을 바탕으로 Scene을 하나 생성하면 그림 7과 AWS IoT TwinMaker Scene 편집기를 확인할 수 있다. 이 편집기를 통해 객체를 추가하고 실제 객체가 투영되는 디지털 트윈을 구성할 수 있다.

Fig. 7.

AWS IoT TwinMaker Scene editor *screen shot of app operation.

최종적으로 구성한 디지털 트윈을 표현하기 위해 먼저 가상 컨테이너 서비스인 도커 (Docker)를 설치하고 Grafana 서버를 가동시킨다. Grafana 서버 생성 후 SiteWise와 TwinMaker의 데이터 소스를 추가하면 대시보드를 통해 시각화 할 수 있다. 우선 대시보드 및 패널을 생성한다. 패널에는 여러 종류가 있지만 본 논문에서는 시스템 구축에 4가지 유형의 패널 (디지털 트윈, 비디오 피드, 시계열 그래프, 게이지 차트)을 설계하였다.

• 시계열 데이터

시계열 데이터는 대시보드의 쿼리 탭에서 SiteWise의 데이터 소스를 가져오게 한다. 그다음 Get property value history 쿼리 타입을 사용하여 특정 기간 동안 수집된 데이터를 가져오게 하고 측정값을 설정하면 데이터 시각화 그래프를 구성할 수 있다.

• 게이지 차트

게이지 차트의 경우에도 시계열 데이터와 마찬가지로 동일하게 설정한 뒤, Get property value 쿼리 타입을 통해 특정 시간의 데이터를 가져오게 한다. 게이지의 모양은 사용자 맞춤으로 구성할 수 있다.

• 디지털 트윈

디지털 트윈은 AWS IoT TwinMaker Scene Viewer를 활용하여 패널을 생성한다. 추가적으로 작업공간과 장면 등을 선택하면 이상 없이 설정된 상태일 경우 디지털 트윈이 나타난다.

• 비디오 피드

비디오 피드의 경우 AWS IoT TwinMaker Video Player패널을 선택한 뒤 카메라 스트리밍 정보가 담긴 SiteWise 자산을 선택하고, Kinesis Video Stream에서 실행되는 스트리밍 이름을 선택하면 비디오 피드가 생성된다.

위와 같이 4가지 유형의 패널을 추가하여 적절한 위치에 배치한다면 웹앱에서 그림 8과 같이 AWS managed Grafana를 활용한 디지털 트윈 및 센서 데이터 시각화 결과를 볼 수 있다.

Fig. 8.

Grafana based vitalization dash board*screen shot of app operation.

모니터링 페이지에 접속하면 가장 처음 보이는 페이지인 메인 페이지는 타겟 공간, 즉 센서 클러스터가 설치된 공간 내 온도 및 습도, 일산화탄소 농도를 보여준다. 이 페이지는 그림 9와 같이 센서 클러스터가 감지하는 데이터를 숫자 및 그래프 형태로 실시간 시각화하여 관리자가 각 현재 공간의 상태를 즉시 파악할 수 있도록 설계되었다. 또한 이 페이지는 현재 공간의 상태가 안전한지, 아니면 화재 위험이 있는지를 한눈에 확인할 수 있는 대시보드를 제공한다.

Fig. 9.

Administration monitoring page, normal / abnormal*screen shot of app operation.

센서 데이터 페이지는 측정된 각 센서의 데이터를 보여준다. 이는 그림 10과 같이 온도, 습도, 일산화탄소 센서들의 판정 데이터를 시간별로 화재 및 정상으로 표시하여 센서의 화재 판정 상태를 파악할 수 있도록 하였다. 또한, 이 페이지에서는 각 센서의 상태를 실시간으로 확인하고, 센서가 정상적으로 작동하지 않는 경우 즉시 대응할 수 있도록 하였다.

Fig. 10.

sensor determination page, normal / abnormal*screen shot of app operation.

실시간 카메라 페이지는 관리자의 위치에 상관없이 현장 상황을 알 수 있도록 하기 위해 구성되었다. 실시간 카메라는 센서 클러스터가 설치된 공간을 실시간으로 모니터링하며, 관리자는 이 페이지를 통해 실시간 영상을 통한 현장 상황을 확인할 수 있다. 이는 그림 11과 같이 화재 발생 시 실시간으로 현장 상황을 파악하고, 필요에 따라 적절한 대응 조치를 취할 수 있도록 돕는다.

Fig. 11.

Real-time camera page, normal / abnormal*screen shot of app operation.

디지털 트윈 페이지는 관리자의 화재 현장 파악에 도움을 준다. 화재가 발생하면 센서 클러스터가 이를 확인하고 AWS TwinMaker에 이 사실이 전달된다. AWS TwinMaker는 이 데이터를 기반으로 디지털 트윈에 어느 공간에 화재가 발생했는지 시각화한다. 이 시각화 프로세스는 그림12와 같이 실시간으로 반영되어 관리자는 디지털 트윈을 통해 더욱 신속한 화재 상황 대처가 가능하다.

Fig. 12.

Digital twin page, normal / abnormal*screen shot of app operation.