실시간 영상 기반 도시홍수 침수영역 탐지 경량 세그멘테이션 AI 모델 개발

Ⅰ. 서 론

최근 기후변화와 도시화의 영향으로 도시지역의 집중호우 및 내수침수 위험이 증가하고 있다. IPCC 제6차 평가보고서에서는 도시화가 도시 및 도시 하류 지역의 평균 강수와 극한 강수를 증가시킬 수 있으며, 이로 인한 유출 강도 증가는 도로, 지하공간, 건축물 침수로 이어질 수 있음을 제시하였다[1]. 국내에서도 행정안전부 재해연보는 호우, 태풍 등 자연재난으로 인한 피해 현황, 복구비, 인명피해 등을 지속적으로 집계하고 있으며, 이는 도시홍수 대응 및 재난관리 정책 수립의 기초자료로 활용되고 있다[2]. 특히 도심부 도로 침수는 차량 고립, 교통 혼잡, 긴급차량 접근 지연, 2차 사고 유발 등 도로교통 안전 전반에 직접적인 영향을 미치며, 도시홍수 상황에서는 주요 도로의 기능 저하와 우회도로의 혼잡 증가가 도시 교통망 전반으로 확산될 수 있다[3]. 따라서 침수영역의 공간적 확산 양상과 도로 주변 구조물의 상태를 신속하게 파악할 수 있는 실시간 모니터링 기술이 필요하다.

기존 도시홍수 모니터링은 주로 우량계, 수위계, 하천 수위 관측장비 등 계측 기반 자료에 의존해 왔다. 이러한 방식은 특정 지점의 수위나 강우량을 정량적으로 파악하는 데 유용하지만, 실제 도로 공간에서 침수영역이 어느 방향으로 확산되는지, 도로 경계부와 배수시설 주변의 위험 상태가 어떻게 변화하는지를 공간 단위로 파악하는 데에는 한계가 있다. 반면 도시 전역에 설치된 CCTV는 현장의 시각 정보를 연속적으로 제공하므로, 도로 침수 상황을 직접 관측하고 침수영역과 주변 구조물을 동시에 분석할 수 있는 실용적 자료원으로 활용될 수 있다.

그러나 CCTV 영상을 도시홍수 모니터링에 활용하기 위해서는 침수영역과 도로 주변 구조물을 자동으로 탐지할 수 있는 AI 기반 세그멘테이션 기술이 필요하다. 도시홍수 CCTV 영상은 침수영역, 도로면, 교각, 배수시설 등이 복합적으로 나타나며, 이때 도로면은 주행공간으로의 침수 확산 여부를 파악하는 데 필요하며, 교각과 배수시설은 침수 확산 양상과 침수에 따른 위험 상태를 해석하는 데 필요한 요소이다. 따라서, 단순히 침수 여부를 판단하는 것보다 침수영역과 주요 구조물을 픽셀 단위로 구분하는 세그멘테이션 기술이 중요하다. 또한 현장 단말 장치와 같은 엣지 디바이스 기반 운영 환경을 고려하면 AI 모델은 탐지 정확도뿐만 아니라 실시간 추론 속도와 낮은 파라미터 수 확보가 필수적이라 판단된다.

이에 본 연구에서는 AI Hub의 부산시 침수위험 복합 데이터셋[4]을 활용하여 도시홍수 CCTV 영상의 데이터 구성과 클래스별 분포 특성을 분석하였다. 또한, 10종의 세그멘테이션 모델을 동일 조건에서 학습·평가하고, mIoU, 클래스별 IoU, FPS, 파라미터 수를 기준으로 도시홍수 CCTV 기반 엣지 환경에서의 적용 가능성을 분석하였다. 이를 통해 제한된 연산 자원에서 파라미터 수를 줄이면서 일정 수준의 mIoU와 실시간 추론 속도를 확보할 수 있는 경량 세그멘테이션 모델 FloodSP-Net을 제안하였다.

Ⅱ. 본 론

Ⅲ. 세그멘테이션 AI 모델 성능 분석

3-1 데이터셋 개요 및 분석

1) 데이터셋 개요

본 연구에서는 AI Hub에서 제공한 부산시 침수위험 복합 데이터셋을 활용하였다. 해당 데이터셋은 도시홍수 상황에서 촬영된 CCTV 영상을 기반으로 구축되었으며, 그림 1과 같이 세그멘테이션 학습을 위한 원본 이미지와 Ground Truth 마스크 이미지로 구성된다.

Fig. 1.

Example dataset

원본 영상은 실제 강우 이벤트 시 수집된 현장 데이터를 반영하고 있으며, 도시홍수 실시간 모니터링 환경에서 발생할 수 있는 다양한 시각적 조건과 침수 양상을 포함한 것을 알 수 있다. 데이터셋은 총 89,995장의 이미지로 구성되며, 이 중 79,995장은 학습용, 10,000장은 검증용으로 구성되어 제공된다. 모델 성능 평가는 해당 검증용 데이터를 기준으로 수행하였다. 원본 영상의 해상도는 1,280×720이며, 모델 간 공정한 비교와 학습 효율성 확보를 위하여 모든 입력 영상을 512×512 크기로 리사이즈하여 사용하였다. 데이터셋의 클래스는 Background, Driveway, Pole, Pier, Water_side, Water_area, Rain_gutter로 총 7개의 클래스로 구성된다.

2) 데이터셋 분석

그림 2와 같이 클래스별 픽셀 비율을 분석하면, Background 44.9%, Driveway 32.0%, Water_area 12.1%, Water_side 9.0%, Rain_gutter 1.24%, Pier 0.46%, Pole 0.19%로 나타난다. 즉, Background와 Driveway가 전체 픽셀의 76.9%를 차지하는 반면, Pole, Pier, Rain_gutter는 합계 1.89%에 불과하여 클래스 불균형 특성을 보인다.

Fig. 2.

Pixel ratio per class

그림 3과 같이 Pole은 세로 방향으로 길고 얇은 형태를 보이며, Pier는 교각에 해당하는 세로 블록형 구조로 나타난다. Rain_gutter는 도로변 또는 배수시설을 따라 가로 방향으로 길게 분포하는 특성을 가진다. 해당 클래스들은 전체 픽셀에서 차지하는 비율이 낮고 방향성이 뚜렷한 소형·세장형 구조물로, 반복적인 다운샘플링 과정에서 공간 정보가 손실되기 쉽다. 따라서 도시홍수 CCTV 기반 세그멘테이션 모델은 넓게 분포하는 침수영역과 도로 영역을 안정적으로 구분하는 동시에, 상대적으로 작은 비율로 나타나는 구조물과 침수 경계부의 세부 정보를 보존할 수 있어야 한다. 이러한 데이터 특성은 소형 객체 보존, 소수 클래스 학습 보강, 방향성 구조물 인지를 고려한 FloodSP-Net 설계에 반영하였다.

Fig. 3.

Original, GT images of Pole, Pier, Rain_gutter classes

3-2 비교 모델 특성 및 학습 조건

본 연구에서는 도시홍수 CCTV 영상 기반 실시간 침수영역 세그멘테이션에 적용 가능한 총 10종의 세그멘테이션 모델을 비교 대상으로 선정하였다. 비교 모델은 정확도 중심의 중량급 모델, 경량 백본 기반 모델, 이중 분기 구조 모델, 경량 실시간 모델을 포함하도록 구성하였다. 이는 도시홍수 CCTV 환경에서 요구되는 정확도, 추론 속도, 경량성 간의 상충 관계를 분석하고, 실제 모니터링 환경의 연산 자원과 처리 속도 요구조건을 고려하여 적정 모델을 도출하기 위함이다.

구체적으로 DeepLabV3+ (ResNet-50)는 고정확도 기준 모델로 선정하여 본 데이터셋에서 확보 가능한 성능 상한선을 확인하고자 하였다. DeepLabV3+ (MobileNetV3), STDC1-Seg, SegFormer-B0는 경량 백본 기반 모델로 포함하여, 경량화된 백본이 정확도, 추론 속도, 파라미터 수에 미치는 영향을 검토하고자 하였다. BiSeNetV2, DDRNet23-Slim, PIDNet-S는 공간 정보와 문맥 정보를 병렬, 이중 해상도 구조로 처리하는 경량 모델로서, 대면적 침수영역과 소형 구조물이 공존하는 도시홍수 장면에서의 적용 가능성을 평가하기 위해 선정하였다. ENet, Fast-SCNN, PP-LiteSeg는 경량 및 고속 추론 중심 모델로 분류하여, 제한된 연산 자원을 갖는 엣지 기반 실시간 모니터링 환경에서의 활용 가능성을 함께 분석하고자 하였다. 이와 같이 다양한 구조적 특성을 갖는 모델을 비교함으로써, 단순한 정확도 중심 평가가 아니라 도시홍수 CCTV 기반 침수영역 세그멘테이션에 적합한 모델의 성능 특성을 종합적으로 검토하고자 하였다. 선정한 10종 모델의 구성 및 특성은 표 1과 같다.

Table 1.

Configuration of 10 segmentation models

모든 비교 모델은 공정한 성능 비교를 위하여 동일한 학습 조건에서 학습하였다. 입력 영상 크기는 512 × 512로 통일하였으며, 배치 크기는 16으로 설정하였다. 비교 대상 10개 모델의 학습 Epoch은 각 모델의 개별 최적 성능을 도출하기보다는 모델 간 비교 조건의 일관성과 GPU 자원 및 학습 시간 제약을 고려하여 15로 설정하였고, 옵티마이저는 AdamW를 사용하였다. 초기 학습률은 1e-4, Weight Decay는 1e-4로 설정하였으며, 학습률 스케줄러는 Cosine Annealing을 적용하였다. 손실함수는 클래스 불균형 특성을 반영하기 위하여 역빈도 기반 Weighted Cross-Entropy를 사용하였다. 데이터 증강은 모델 간 비교 조건의 일관성을 유지하기 위해 Random Horizontal Flip만 적용하였다. 이는 모든 비교 모델에 동일한 증강 조건을 적용하여 모델 구조에 따른 상대적 성능 차이를 비교하기 위한 설정이다. 특히 도시홍수 CCTV 영상은 도로, 침수영역, 구조물의 공간적 배치가 중요한 데이터이므로, 과도한 기하학적 변환이나 색상 변형은 클래스 경계 및 장면 구조를 왜곡할 수 있다. 따라서 본 연구에서는 기본적인 좌우 반전 증강만 적용하였으며, 사전학습이 가능한 모델은 ImageNet pretrained 가중치를 활용하였다. 실험은 NVIDIA RTX PRO 4500 Blackwell (32 GB) 환경에서 수행하였다.

그림 4는 동일한 학습 조건에서 10종 세그멘테이션 모델의 학습 및 검증 Loss 변화를 나타낸다. 학습 Loss는 초기 1~3 Epoch에서 Loss가 급격히 감소하였고, 4~5 Epoch 이후부터는 완만하게 수렴하였다. 검증 Loss 또한 1~4 Epoch에서 빠르게 감소한 뒤, 5 Epoch 이후에는 안정화되었다. 이를 통해 15 Epoch 조건에서 모델들이 전반적으로 수렴하였음을 확인하였다.

Fig. 4.

Training and validation loss curves of 10 segmentation models

3-3 모델 성능 비교

모델 성능은 mIoU, 클래스별 IoU, 추론 속도(FPS), 파라미터 수를 기준으로 평가하였다. mIoU는 전체 세그멘테이션 정확도를 나타내는 대표 지표로 사용하였으며, 클래스별 IoU는 도시홍수 CCTV 장면에서 클래스별 성능 차이를 분석하기 위해 활용하였다. 추론 속도는 실제 CCTV 모니터링 환경에서의 실시간 적용 가능성을 판단하기 위한 지표로, 배치 크기 1 기준 반복 추론을 통해 측정하였다. 파라미터 수는 경량 환경에서의 적용 가능성을 판단하기 위한 지표로 사용하였다. 본 연구에서 제시한 파라미터 수는 7개 클래스 세그멘테이션에 맞게 구현한 모델을 기준으로 산정하였다.

전체 모델의 정량적 성능 비교 결과는 표 2와 같다. DeepLabV3+ (ResNet-50)는 mIoU 0.9002로 가장 높은 세그멘테이션 성능을 기록하였다. 이는 도시홍수 CCTV 장면에서도 중량급 세그멘테이션 모델이 높은 정확도를 확보할 수 있음을 보여준다. 그러나 해당 모델은 41.99M의 파라미터 수를 요구하므로, 제한된 연산 자원을 갖는 엣지 환경에 직접 적용하기에는 한계가 있다. 반면 BiSeNetV2는 mIoU 0.8594, 추론 속도 600.9 FPS, 파라미터 수 2.04M을 기록하여 정확도와 효율성 측면에서 가장 우수한 균형을 보였다. 이는 실시간 도시홍수 CCTV 모니터링 환경에서 높은 세그멘테이션 성능과 경량성을 동시에 확보할 수 있는 대표적인 균형형 모델임을 시사한다.

Table 2.

Performance comparison of segmentation models

경량 모델군인 Fast-SCNN, PIDNet-S, ENet은 모두 2M 이하의 파라미터를 확보하였다. 그러나 mIoU는 각각 0.7914, 0.7560, 0.6587로 나타나, 도시홍수 CCTV 장면의 복합적인 구조를 충분히 반영하는 데에는 한계가 확인되었다. 특히 ENet은 0.21M의 매우 작은 파라미터 수를 갖지만 정확도 저하가 크게 나타났으며, PIDNet-S는 가장 높은 FPS를 기록하였으나 mIoU가 낮았다. 해당 결과는 엣지 환경에서 단순히 파라미터 수를 줄이거나 추론 속도만을 높이는 것만으로는 도시홍수 CCTV 기반 세그멘테이션 성능을 충분히 확보하기 어렵다는 점을 보여준다. 따라서 본 연구에서는 mIoU, FPS, 파라미터 수를 종합적으로 고려하여 BiSeNetV2, Fast-SCNN, PIDNet-S, ENet을 주요 경량 비교 모델로 선정하고, 이를 FloodSP-Net과 비교하였다.

3-4 모델별 클래스별 성능 분석

mIoU는 전체 클래스의 평균 탐지 성능을 나타내는 지표이므로, 도시홍수 CCTV 복합 장면에서의 실질적인 모델 적용성을 충분히 평가하기 어렵다. 동일한 mIoU 수준의 모델이라도 특정 클래스에서 성능 차이가 발생할 수 있으므로, 본 연구에서는 10종 모델의 클래스별 IoU를 표 3과 같이 비교하였다.

Table 3.

Class-wise IoU by segmentation models

분석 결과, Background와 Driveway와 같은 대면적 클래스에서는 BiSeNetV2와 경량 모델군 모두 비교적 안정적인 성능을 보였다. BiSeNetV2는 Background 0.9823, Driveway 0.9792를 기록하였으며, Fast-SCNN은 각각 0.9663, 0.9622, PIDNet-S는 0.9571, 0.9450, ENet은 0.9308, 0.9120으로 나타났다. 이는 대면적 클래스의 경우 경량 모델에서도 일정 수준 이상의 탐지 성능을 확보할 수 있음을 보여준다.

반면 Pole, Pier, Rain_gutter와 같은 소형·세장형 구조물 클래스에서는 모델 간 성능 차이가 뚜렷하게 나타났다. BiSeNetV2는 Pole 0.7724, Pier 0.7648, Rain_gutter 0.6277을 기록하여 경량 모델군 대비 가장 안정적인 성능을 보였다. 반면 Fast-SCNN은 각각 0.6423, 0.6566, 0.5038로 감소하였고, PIDNet-S는 0.5978, 0.6559, 0.4095를 기록하였다. ENet은 Pole 0.5054, Pier 0.4600, Rain_gutter 0.2443으로 가장 큰 성능 저하를 보였다. 특히 Rain_gutter 클래스는 모든 경량 모델에서 낮은 성능을 보였으며, 이는 가로 방향으로 길게 분포하고 픽셀 비율이 낮은 구조물의 특성이 경량 모델에서 충분히 보존되지 못했기 때문으로 해석된다.

이러한 성능 저하는 경량 모델의 반복적인 다운샘플링 구조와 소수 클래스의 데이터 불균형이 복합적으로 작용한 결과로 해석된다. 경량 모델은 연산량 감소를 위해 공간 해상도를 단계적으로 축소하므로, 픽셀 규모가 작은 객체의 세부 정보가 깊은 계층에서 손실되기 쉽다. 또한 정사각형 커널이나 Spatial Pooling 방식은 가로·세로 방향으로 길게 분포하는 구조물의 형태 정보를 충분히 반영하기 어렵고, 픽셀 비율이 낮은 소수 클래스는 학습 과정에서 충분한 그래디언트 신호를 확보하기 어렵다. 따라서 본 연구에서는 2M 이하의 경량 파라미터 규모에서 실시간성을 유지하면서, 대면적 침수영역과 소수 구조물 클래스의 특징 손실 문제를 고려한 경량 세그멘테이션 모델 FloodSP-Net을 설계하였다.

Ⅳ. FloodSP-Net 제안 및 성능 검증

4-1 FloodSP-Net 구조

FloodSP-Net은 Detail Branch, Context Branch, Multi-Scale Decoder로 구성된 경량 이중 분기 구조이다. 전체 파라미터 수는 1.29M이며, 입력 영상은 두 분기를 통해 각각 공간 세부 정보와 광역 문맥 정보를 추출한 뒤, Multi-Scale Decoder에서 단계적으로 융합된다. 모델의 전체 구조는 그림 5와 같다.

Fig. 5.

FloodSP-Net architecture and characteristics

1) Detail Branch

Detail Branch는 입력 영상의 공간 정보를 보존하여 도로 윤곽, 침수 경계, 구조물의 형태 정보를 추출하는 역할을 수행한다. Depthwise Separable Convolution(DSConv) 블록을 기반으로 하며, 세 단계(D1, D2, D3)로 구성된다. 각 단계는 stride 2를 적용하여 입력 512×512×3으로부터 256×256×48, 128×128×64, 64×64×96의 특징맵을 순차적으로 생성한다. DSConv 블록은 3×3 depthwise convolution, batch normalization, ReLU, 1×1 pointwise convolution, batch normalization, ReLU의 순서로 구성된다. 이는 일반 합성곱 대비 연산량을 줄이면서도 공간 특징을 효과적으로 추출할 수 있는 구조이다. 따라서 Detail Branch는 경량성을 유지하면서도 도시홍수 장면에서 중요한 경계 및 세부 구조 정보를 보존하는 역할을 담당한다.

2) Context Branch

Context Branch는 광역 장면 문맥을 추출하기 위한 경로로, MobileNetV2 계열의 Inverted Residual(IR) 블록을 기반으로 한다. 일반적인 경량 모델이 1/32 해상도까지 다운샘플링하는 것과 달리, FloodSP-Net은 최저 해상도를 1/16으로 제한한다. 이는 도시홍수 장면에서 소형 구조물의 공간 특징이 과도하게 손실되는 것을 완화하기 위한 설계이다. 입력 영상은 stem 단계의 두 개의 convolution block을 통해 128×128×48 특징맵으로 변환된다. 이후 Stage C1은 IR 블록을 통해 64×64×64 특징맵을 생성하고, Stage C2는 32×32×160 특징맵을 생성한다. 마지막으로 Global Average Pooling(GAP)을 통해 전역 문맥 정보를 추출하고, 이를 32×32 특징맵에 보강하여 장면 수준의 의미 정보를 반영한다. Context Branch는 64×64 및 32×32 특징을 디코더로 전달하여, 단일 스케일 출력보다 풍부한 문맥 정보를 제공한다.

3) Strip Pooling 기반 Flood-Aware Attention Module

Flood-Aware Attention Module(FAAM)은 방향성 구조물의 형태 정보를 강화하기 위한 어텐션 모듈이다. 입력 특징맵에 대해 Horizontal Strip Pooling, Vertical Strip Pooling, Channel Attention을 병렬적으로 수행한다.

수평 방향 정보 추출은 식 (1), 수직 방향 정보 추출은 식 (2), 전역 채널 어텐션은 식 (3)과 같이 정의된다.

$\[ F_h={Conv}_{1\times 3}\left({AdaptiveAvgPool}_{1\times w}\left(X\right)\right) \]$

(1)

$\[ F_v={Conv}_{3\times 1}\left({AdaptiveAvgPool}_{H\times w}\left(X\right)\right) \]$

(2)

$\[ F_c={Conv}_{1\times 1}\left(GAP\left(X\right)\right) \]$

(3)

FAAM은 가로·세로 방향의 연속 구조 정보를 반영하여 Pole 및 Pier와 같이 방향성이 뚜렷한 구조물과 Rain_gutter와 같이 주변 클래스와의 경계가 모호한 소수 클래스의 특징 표현을 보완하기 위해 설계되었다. Horizontal Strip Pooling은 가로 방향으로 길게 분포하는 구조를, Vertical Strip Pooling은 세로 방향으로 길게 분포하는 구조를 포착하기 위한 것이다. Channel Attention은 침수영역 및 구조물 구분에 유효한 특징 채널의 중요도를 재조정한다. 세 분기의 출력은 원래 해상도로 복원된 뒤 결합되고, 1×1 convolution과 sigmoid 연산을 거쳐 Attention 가중치 A를 생성한다. 최종 출력은 식 (4)와 같이 잔차 형태로 정의된다.

$\[ Y=A\odot X+X \]$

(4)

여기서 ⊙는 요소별 곱을 의미한다. 해당 구조는 세장형 구조물의 방향성 정보를 명시적으로 보완한다는 점에서 도시홍수 CCTV 장면에 적합하다.

4) Multi-Scale Decoder

Multi-Scale Decoder는 생성된 특징을 단계적으로 융합하여 최종 512×512 세그멘테이션 마스크를 생성한다. 먼저 64×64 Feature Fusion 단계에서는 Detail Branch의 64×64×96 특징, Context Branch의 32×32×160 특징을 1×1 convolution으로 96채널 정렬 후 64×64로 업샘플한 특징, 그리고 Context Branch의 64×64×64 특징을 결합한다. 이를 통해 256채널의 융합 특징을 생성하고, FAAM과 DSConv 블록을 거쳐 64×64×96 특징으로 정제한다. 이후 128×128 Feature Fusion 단계에서는 64×64×96 특징을 128×128로 업샘플한 특징과 Detail Branch의 128×128×64 Skip Feature를 결합하여 160채널의 융합 특징을 생성한다. DSConv 블록을 통해 128×128×64 특징으로 정제하고, 최종 Segmentation Head를 통해 512×512×7 형태의 7-class 세그멘테이션 출력을 생성한다. Auxiliary Head는 학습 단계에서만 사용되며, 64×64×96 특징에 ConvBNReLU와 1×1 convolution을 적용하여 7-class 보조 출력을 생성한다. 보조 출력은 최종 해상도인 512×512로 업샘플되어 손실 계산에 사용된다. 추론 단계에서는 보조 헤드를 사용하지 않으므로, 추가적인 추론 시간은 발생하지 않는다.

5) Training Loss Function

FloodSP-Net의 최종 손실 함수는 Main Loss와 Auxiliary Loss의 가중합으로 식 (5)와 같이 정의된다.

$\[ L_{total}=L_{CE}\left(y_{main},y_{gt}\right)+\lambda L_{CE}\left(y_{aux},y_{gt}\right) \]$

(5)

여기서 y_main은 최종 출력, y_aux는 보조 출력, y_gt는 Ground Truth, λ는 Auxiliary Loss 가중치이다. 본 연구에서는 λ = 0.4로 설정하였다. 두 손실 모두 식 (6)과 같이 역빈도 기반 weighted cross-entropy를 사용하여 클래스 불균형을 보정하였다.

$\[ L_{CE}=-\sum _{c=1}^K{w}_c{y}_{gt,c}\text{log}\left(y_{pred,c}\right),{ w}_c=\frac{1}{R_c+ϵ} \]$

(6)

여기서 w_c는 클래스 c의 역빈도 가중치, R_c는 클래스 픽셀 비율, ϵ은 수치 안정성을 위한 상수이다. 이러한 학습 설계는 소수 클래스가 중간 단계와 최종 단계에서 동시에 학습 신호를 받을 수 있도록 한다.

4-2 FloodSP-Net 성능 분석 및 결과

1) 클래스별 성능 분석

표 4는 FloodSP-Net의 클래스별 성능 특성을 보다 구체적으로 분석하기 위해, 선정한 주요 모델 4종과 비교한 결과이다.

Table 4.

Class-wise IoU comparison of FloodSP-Net

FloodSP-Net의 클래스별 IoU 분석 결과, Pole과 Rain_gutter는 각각 0.5562, 0.4785의 IoU를 기록하여 BiSeNetV2 및 Fast-SCNN보다 낮은 성능을 보였다. 이는 두 클래스가 낮은 픽셀 비율과 얇은 형상 특성을 가지므로, 경량화된 네트워크 구조에서 세부 형상 및 경계 정보를 충분히 보존하는 데 한계가 있었기 때문으로 판단된다. 반면 Pier는 0.7291의 IoU를 기록하여 BiSeNetV2의 0.7648보다는 낮았으나, Fast-SCNN 0.6566, PIDNet-S 0.6559, ENet 0.4600보다 높은 탐지 성능을 보였다.

Driveway 클래스에서는 FloodSP-Net이 0.9824의 IoU를 기록하여 BiSeNetV2 0.9792, Fast-SCNN 0.9622, PIDNet-S 0.9450, ENet 0.9120보다 높은 성능을 보였다. Water_area 클래스에서는 0.9487의 IoU를 기록하여 BiSeNetV2 0.9526과 유사한 수준을 보였으며, Fast-SCNN 0.9208, PIDNet-S 0.8666, ENet 0.7877보다 높은 성능을 나타냈다. Water_side 클래스에서는 0.9266의 IoU를 기록하여 BiSeNetV2 0.9365보다는 낮았으나, Fast-SCNN 0.8876, PIDNet-S 0.8601, ENet 0.7707보다 높은 성능을 보였다. 이는 FloodSP-Net이 도로 영역, 침수영역 및 수변부와 같은 주요 클래스에서 비교 경량 모델 대비 높은 탐지 성능을 확보하였음을 의미한다.

종합하면, FloodSP-Net은 Driveway 0.9824, Water_area 0.9487, Water_side 0.9266, Pier 0.7291의 IoU를 기록하여 도로 침수 분석에 필요한 주요 클래스에서 비교적 높은 탐지 성능을 보였다. 다만 Pole과 Rain_gutter에서는 각각 0.5562, 0.4785로 상대적으로 낮은 성능을 보여, 소형·세장형 클래스의 세부 형상 보존에는 추가적인 개선이 필요한 것으로 판단된다.

2) 종합 성능 분석

FloodSP-Net의 성능은 3장에서 사용한 동일한 입력 크기, 옵티마이저, 학습률, 학습률 스케줄러, Epoch, 손실 함수 조건을 기반으로 검증하였다. FloodSP-Net과 선정된 주요 경량 모델인 4종 세그멘테이션 모델의 성능 분석 결과는 표 5와 같다.

Table 5.

Performance analysis of FloodSP-Net and 4 models

먼저 mIoU 측면에서 FloodSP-Net은 BiSeNetV2의 0.8594보다 낮았으나, 파라미터 수 2M 이하의 경량 모델인 Fast-SCNN 0.7914 대비 1.04%, PIDNet-S 0.7560 대비 4.58%, ENet 0.6587 대비 14.31% 높은 성능을 보였다.

FPS 측면에서 FloodSP-Net은 556.4 FPS를 기록하였다. 이는 BiSeNetV2의 600.9 FPS, Fast-SCNN의 784.5 FPS, PIDNet-S의 1459.0 FPS보다 낮지만, ENet의 404.4 FPS보다는 높은 수준이다. FloodSP-Net은 최고 속도 모델은 아니지만, 500 FPS 이상의 추론 속도를 확보하여 실시간 영상 처리가 가능한 경량 모델로 해석할 수 있다.

파라미터 수 측면에서 FloodSP-Net은 1.29M으로, 정확도가 높은 BiSeNetV2 2.04M보다 36.76% 적은 파라미터 수를 보였다. 또한 PIDNet-S 1.67M(mIoU 0.7560)보다 적은 파라미터 수에서 더 높은 mIoU를 기록하였다. 유사한 크기의 파라미터 수를 보이는 Fast-SCNN(1.12M, mIoU 0.7914)보다 FloodSP-Net은 비교 우위의 성능을 보였다. 가장 적은 파라미터 수를 기록한 ENet(0.21M, mIoU 0.6587)은 경량성에 있어서 우위가 있다고 판단되나, mIoU가 상대적으로 낮아 정확도 측면에서 한계가 있다고 판단된다.

종합하면, FloodSP-Net은 BiSeNetV2 대비 mIoU와 FPS는 낮지만, 1.29M의 파라미터 수에서 mIoU 0.80 이상과 500 FPS 이상의 추론 속도를 확보하여 실시간 침수영역 탐지에 활용 가능한 모델로 판단된다.

Ⅴ. 결론 및 향후 연구

본 연구는 도시홍수 CCTV 영상 기반 실시간 침수영역 세그멘테이션 모델의 성능 특성과 한계를 분석하고, 경량 환경에서 적용 가능한 FloodSP-Net을 제안하였다. 부산시 침수위험 복합 데이터셋 89,995장을 활용하여 10종의 세그멘테이션 모델을 동일 조건에서 비교하였으며, mIoU, 클래스별 IoU, FPS, 파라미터 수를 기준으로 모델의 적용 가능성을 평가하였다.

분석 결과, DeepLabV3+ (ResNet-50)는 mIoU 0.9002로 가장 높은 정확도를 보였으나 41.99M의 파라미터 수로 인해 엣지 환경 적용에는 제약이 있었다. BiSeNetV2는 mIoU 0.8594, 600.9 FPS, 2.04M 파라미터로 정확도와 실시간성 측면에서 가장 우수한 균형을 보였다. 반면 Fast-SCNN, PIDNet-S, ENet의 경량 모델은 높은 FPS를 확보하였으나, 상대적으로 낮은 mIoU 성능이 확인되었다.

이에 본 연구에서는 제한된 연산 자원에서 파라미터 수를 줄이면서도 일정 수준의 정확도와 실시간성을 확보하기 위한 FloodSP-Net을 설계하였다. 제안 모델은 1.29M의 파라미터 수에서 mIoU 0.8018, 556.4 FPS를 기록하였다. BiSeNetV2와 비교하면 mIoU와 FPS는 낮았으나, 더 적은 파라미터 수로 0.80 이상의 mIoU와 500 FPS 이상의 추론 속도를 확보하였다. 따라서 FloodSP-Net은 적은 파라미터 수를 기반으로 정확도와 실시간성을 함께 고려한 경량 모델로 판단된다.

한계점으로는 FloodSP-Net이 Pole과 Rain_gutter 클래스에서 각각 0.5562, 0.4785의 IoU를 기록하여 일부 비교 모델보다 낮은 성능을 보였다. 특히 Rain_gutter, Pole 클래스는 픽셀 비율이 낮고 얇은 수직 구조를 가지므로, 경량화된 네트워크 구조에서 세부 형상 정보를 충분히 보존하는 데 한계가 있었던 것으로 판단된다. 또한 본 연구는 부산시 침수위험 복합 데이터셋과 단일 GPU 환경을 기반으로 수행되었으며, 별도의 독립 테스트셋이 아닌 동일 데이터셋 내 검증용 데이터를 성능 평가에 활용하였다는 한계가 있다. 학습 조건 측면에서는 모델 간 비교의 일관성을 확보하기 위해 Epoch을 15로 통일하고 Random Horizontal Flip만을 적용하였으나, 모델별 최적 Epoch 차이와 다양한 시각적 환경 변화를 충분히 반영하지 못한 한계가 있다.

이러한 한계를 극복하기 위해 향후 연구에서는 경계 보존 모듈, 고해상도 특징 융합, 소수 클래스 중심 학습 전략을 적용하여 소형·세장형 구조물의 탐지 성능을 보완하고, 다양한 도시 및 하드웨어 환경에서 모델의 일반화 성능과 실시간 처리 안정성을 추가 검증하고자 한다. 또한 validation loss 기반 조기 종료와 모델별 최적 Epoch 탐색을 통해 각 모델의 최대 성능을 비교할 필요가 있다. 더불어 저조도 시간대와 야간 환경에서 발생하는 밝기 저하 및 경계 흐림 문제를 완화하기 위해 데이터 증강, 전처리 기법, 도시홍수 영상 특화 필터를 결합하고, 영상 조건에 따라 필터 강도를 적응적으로 조절하는 방향으로 연구를 확장하고자 한다. 이를 통해 실시간성과 경량성을 유지하면서도 침수영역 및 주요 구조물의 탐지 성능을 향상시키고자 한다.

Acknowledgments

본 연구는 한국건설기술연구원 연구운영지원(주요사업) 사업으로 수행되었습니다(20260161001, 홍수 안심도시 실현을 위한 디지털 도시홍수제어 기술 개발).

References

• D. Dodman, B. Hayward, M. Pelling, V. Castan Broto, W. Chow, E. Chu, ... and G. Ziervogel, “Cities, Settlements and Key Infrastructure,” in Climate Change 2022: Impacts, Adaptation and Vulnerability, Cambridge, UK: Cambridge University Press, pp. 907-1040, 2022. [https://doi.org/10.1017/9781009325844.008]
• Ministry of the Interior and Safety, 2023 Disaster Yearbook (Natural Disaster), Ministry of the Interior and Safety, Sejong, January 2025.
• J. Park, C. Yoon, Y. R. Kim, J.-G. Sung, and M. S. Kim, “A Study on Transportation Response Strategies in Flood Scenarios,” Journal of Digital Contents Society, Vol. 26, No. 11, pp. 3251-3257, November 2025. [https://doi.org/10.9728/dcs.2025.26.11.3251]
• AI Hub. Busan City Flood Risk Complex Data [Internet]. Available: https://aihub.or.kr/aihubdata/data/view.do?dataSetSn=71793, .
• M. Rahnemoonfar, T. Chowdhury, A. Sarkar, D. Varshney, M. Yari, and R. R. Murphy, “FloodNet: A High Resolution Aerial Imagery Dataset for Post Flood Scene Understanding,” IEEE Access, Vol. 9, pp. 89644-89654, June 2021. [https://doi.org/10.1109/ACCESS.2021.3090981]
• A. Gebrehiwot, L. Hashemi-Beni, G. Thompson, P. Kordjamshidi, and T. E. Langan, “Deep Convolutional Neural Network for Flood Extent Mapping Using Unmanned Aerial Vehicles Data,” Sensors, Vol. 19, No. 7, 1486, March 2019. [https://doi.org/10.3390/s19071486]
• Y. Liang, X. Li, B. Tsai, Q. Chen, and N. Jafari, “V-FloodNet: A Video Segmentation System for Urban Flood Detection and Quantification,” Environmental Modelling & Software, Vol. 160, 105586, February 2023. [https://doi.org/10.1016/j.envsoft.2022.105586]
• Y. Wang, Y. Shen, B. Salahshour, M. Cetin, K. Iftekharuddin, N. Tahvildari, ... J. L. Goodall, “Urban Flood Extent Segmentation and Evaluation from Real-World Surveillance Camera Images Using Deep Convolutional Neural Network,” Environmental Modelling & Software, Vol. 173, 105939, 2024. [https://doi.org/10.1016/j.envsoft.2023.105939]
• J. Zhao, X. Wang, C. Zhang, J. Hu, J. Wan, L. Cheng, ... and X. Zhu, “Urban Waterlogging Monitoring and Recognition in Low-Light Scenarios Using Surveillance Videos and Deep Learning,” Water, Vol. 17, No. 5, 707, 2025. [https://doi.org/10.3390/w17050707]
• L.-C. Chen, Y. Zhu, G. Papandreou, F. Schroff, and H. Adam, “Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation,” in Proceeding of the 15th European Conference on Computer Vision - ECCV 2018, Munich, Germany, pp. 833-851, 2018. [https://doi.org/10.1007/978-3-030-01234-2_49]
• A. Paszke, A. Chaurasia, S. Kim, and E. Culurciello, “ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation,” arXiv:1606.02147, , 2016. [https://doi.org/10.48550/arXiv.1606.02147]
• R. P. K. Poudel, S. Liwicki, and R. Cipolla, “Fast-SCNN: Fast Semantic Segmentation Network,” arXiv:1902.04502, , 2019. [https://doi.org/10.48550/arXiv.1902.04502]
• C. Yu, C. Gao, J. Wang, G. Yu, C. Shen, and N. Sang, “BiSeNet V2: Bilateral Network with Guided Aggregation for Real-Time Semantic Segmentation,” International Journal of Computer Vision, Vol. 129, pp. 3051-3068, 2021. [https://doi.org/10.1007/s11263-021-01515-2]
• H. Pan, Y. Hong, W. Sun, and Y. Jia, “Deep Dual-Resolution Networks for Real-Time and Accurate Semantic Segmentation of Traffic Scenes,” IEEE Transactions on Intelligent Transportation Systems, Vol. 24, No. 3, pp. 3448-3460, 2023. [https://doi.org/10.1109/TITS.2022.3228042]
• M. Fan, S. Lai, J. Huang, X. Wei, Z. Chai, J. Luo, and X. Wei, “Rethinking BiSeNet for Real-Time Semantic Segmentation,” in Proceeding of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville: TN, pp. 9711-9720, June 2021. [https://doi.org/10.1109/CVPR46437.2021.00959]
• J. Peng, Y. Liu, S. Tang, Y. Hao, L. Chu, G. Chen, ... and Y. Ma, “PP-LiteSeg: A Superior Real-Time Semantic Segmentation Model,” arXiv:2204.02681, , 2022. [https://doi.org/10.48550/arXiv.2204.02681]
• J. Xu, Z. Xiong, and S. P. Bhattacharyya, “PIDNet: A Real-Time Semantic Segmentation Network Inspired by PID Controllers,” in Proceeding of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Vancouver, Canada, pp. 19529-19539, June 2023. [https://doi.org/10.1109/CVPR52729.2023.01871]
• E. Xie, W. Wang, Z. Yu, A. Anandkumar, J. M. Alvarez, and P. Luo, “SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers,” in Advances In Neural Information Processing Systems, Vol. 34, pp. 12077-12090, December 2021.