Korea Digital Contents Society
[ Article ]
Journal of Digital Contents Society - Vol. 26, No. 7, pp.1923-1932
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 31 Jul 2025
Received 24 Jun 2025 Revised 07 Jul 2025 Accepted 11 Jul 2025
DOI: https://doi.org/10.9728/dcs.2025.26.7.1923

적대적 중독 공격에 강인한 연합 의료 영상 정화 및 분할 방법

김민혁1 ; 이응주2 ; 유석봉3, *
1전남대학교 인공지능융합학과 석사과정
2애리조나 대학교 전기 및 컴퓨터 공학과 조교수
3전남대학교 인공지능융합학과 교수
Federated Medical Image Segmentation and Purification Against Adversarial Poisoning Attacks
Min Hyuk Kim1 ; Eung-Joo Lee2 ; Seok Bong Yoo3, *
1Master’s Course, Department of Artificial Intelligence Convergence, Chonnam National University, Gwang-ju 61186, Korea
2Assistant Professor, Department of Electrical & Computer Engineering, The University of Arizona, AZ, Tucson 85721, USA
3Professor, Department of Artificial Intelligence Convergence, Chonnam National University, Gwang-ju 61186, Korea

Correspondence to: *Seok Bong Yoo Tel: +82-62-530-3437 E-mail: sbyoo@jnu.ac.kr

Copyright ⓒ 2025 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

연합 학습은 의료 영상 분할 분야에서 데이터 프라이버시를 보호하기 위해 로컬 데이터를 유지함으로써 입증된 강력한 능력을 보유하고 있다. 그럼에도 불구하고, 이 기술의 적용은 로컬 데이터 중독 공격과 같은 장애물에 직면하고 있으며, 이는 글로벌 분할 모델의 정확성을 심각하게 저해한다. 이러한 문제를 해결하기 위해 우리는 k-FedShield를 제안한다. 이는 중독 공격으로부터 연합 의료 영상 분할을 방어하기 위한 정화 기술이다. 또한, 분리된 정화 및 분할 모듈을 사용하여 k-공간 도메인에서 데이터를 정화하며, 적대적 공격의 영향을 반복적으로 차단한다. 또한 훈련 손실 추세에서 이상 패턴을 분석하여 악의적인 클라이언트를 탐지하는 데이터 중독 공격 탐지 메커니즘을 적용한다. 실험적 검증 결과, k-FedShield는 다른 연합 학습 방법에 비해 평균적으로 약 10.4% 더 높은 Dice Score를 기록하여 강건성과 우수한 성능을 입증하였다.

Abstract

Federated learning has demonstrated significant potential in medical image segmentation by preserving data privacy through local data retention. However, its practical implementation faces challenges, particularly from data poisoning attacks that significantly degrade the accuracy of the global segmentation model. To address these issues, we propose k-FedShield, a purification framework designed to federated medical image segmentation against poisoning attacks. k-FedShield employs a decoupled purification and segmentation module to iteratively purify data in the k-space domain, thereby counteracting the effects of adversarial interference. In addition, it features a data poisoning detection mechanism that identifies malicious clients by analyzing anomalous patterns in training loss trends. Experimental results demonstrate the robustness and superior performance of k-FedShield compared to existing federated learning methods, achieving an average Dice score improvement of approximately 10.4%.

Keywords:

Federated Learning, Medical Image Segmentation, k-Space Domain, Data Purification, Data Poisoning Attack

키워드:

연합 학습, 의료 영상 분할, k-공간 도메인, 데이터 정화, 데이터 중독 공격

Ⅰ. 서 론

의료 영상 분할[1],[2]은 현대 의료의 기반 기술로서, 효과적인 질병 모니터링, 정확한 진단 및 최적화된 치료 계획 수립을 가능하게 한다. 이러한 기능은 환자 치료 결과를 개선하고 의료 워크플로우를 최적화하는 데 필수적이다. 그러나 데이터 개인정보 보호 문제로 인해 세분화 방법의 광범위한 적용에는 제한이 따르고 있다. 연합 학습(FL; federated learning)[3]은 다중 임상 센터에서 분산된 훈련을 가능하게 함으로써 이러한 데이터 개인정보 보호 문제를 해결하고자 하는 접근 방식으로 등장하였다. 또한 FL은 여러 임상 센터가 협력하여 통합된 글로벌 모델을 공동으로 개발할 수 있도록 하여 의료 응용 분야의 협업 노력을 강화할 수 있도록 한다.

잠재적인 장점에도 불구하고 연합 의료 영상 분할은 클라이언트 측에 보관된 데이터가 데이터 중독 공격에 취약하다는 점에서 여전히 심각한 도전 과제에 직면해 있다. 이러한 도전 과제는 FL 기반 모델의 정확성과 신뢰성을 저해하여 의료 환경에서 실제로 활용되기 어렵게 만든다. 그림 1(a)에서 보여주듯, 외부 공격자는 자기공명영상(MRI; magnetic resonance imaging) 데이터에 적대적 변형을 주입하여 세분화 영역을 손상시킬 수 있다[4]. 적대적 공격[5]에 의해 변형된 경우, 심장 영상 분할 모델은 ‘확장성 심근병증’을 정확히 예측하지 못하게 된다. 이러한 성능 저하는 임상 시스템에서 심각한 문제를 야기할 수 있으며, 적대적 예시는 딥러닝 기반 응용 프로그램의 신뢰성을 방해할 수 있다[6]. 특히, 적대적 예시[7]로 인한 질병 분류 오류로 인해 다수의 사기 보험 청구 사례가 발생할 가능성이 높다. 또한 최근 연구[8]에서는 의료 이미지 특징이 적대적 예시에 의해 일반 이미지 특징보다 훨씬 크게 왜곡될 수 있음을 확인하였다. 이러한 증가된 취약성은 공격자에게 악의적인 조작의 기회를 더 많이 제공한다. 또한 그림 1(b)에 나타난 바와 같이, 깨끗한 데이터로 FL 방법[4]을 사용해 훈련 및 테스트된 분할 모델[9]은 Dice 점수 87.2%를 기록하였다. 반면, 적대적 공격[5]의 기본 설정으로 변형된 데이터에서 훈련된 모델은 동일한 깨끗한 데이터에서 Dice 점수 69.3%로 성능이 감소하였다. 따라서 기존 FL 프레임워크는 훈련 중 발생하는 데이터 중독 공격으로 인해 해결해야 할 과제를 안고 있다.

Fig. 1.

Impact of data poisoning attack and schematic diagram of the proposed FL framework. (a) Visualization of segmentation predictions in a patient with “dilated cardiomyopathy” from both clean and FGSM-perturbed[5] MRI data[26]. (b) Comparison of data poisoning effects in FL, highlighting the Dice score when tested on clean data. (c) Schematic diagram of the proposed FL framework: identifying malicious clients, refining data, and segmenting target regions.

이 문제를 해결하고자 본 연구에서는 k-FedShield를 제안한다. 본 방법의 주요 기여는 다음과 같이 정리할 수 있다. 연합형 정제 접근법: 본 연구는 우리가 아는 한, 악의적인 클라이언트 데이터의 영향을 완화하기 위해 정제 방법을 결합한 FL 접근법을 처음 시도한 연구이다. 이 접근법은 다양한 의료 기관 간의 협력을 촉진하여 환자 데이터의 다양성과 연합형 의료 영상 분할의 적대적 강건성을 동시에 향상시킨다. 분리된 정제 및 분할: k-공간은 정제 및 분할 특징을 분리하는 데 핵심적인 역할을 한다. 이를 기반으로, 우리는 k-공간 내에서 강건한 정제 특징을 추출하고 점진적으로 정제하며, 정제된 MRI 데이터로부터 분할 지도를 생성하는 정제 방법을 제안한다. 미분 손실 기반 공격 탐지: 적대적 변형이 존재할 때 훈련 손실 추세는 종종 불규칙한 패턴을 보인다. 따라서, 수렴 속도의 편차와 진동을 각각 포착하는 미분과 오목성을 분석하여 악의적인 클라이언트를 식별하는 방법을 제안한다.

구체적으로, 본 논문에서 제안하는 방법은 중독 공격에 대비한 연합 의료 영상 분할을 위한 k-공간 정제 프레임워크로, 그림 1(c)에 개념을 제시하였다. k-FedShield에서는 각 클라이언트가 자체 MRI 데이터를 사용하여 로컬 분할 모델을 훈련하고, 모델 가중치 및 Dice 손실 추세를 중앙 서버에 전달한다. 서버는 이를 바탕으로 악의적인 클라이언트를 탐지하여 글로벌 모델 집계에서 제외한다. 악의적인 클라이언트는 훈련 전에 오염된 데이터를 정제하기 위해 분리된 정제 및 분할(DPS; decoupled purification and segmentation)을 적용하며, 정상 클라이언트는 원본 데이터셋으로 훈련을 계속 수행한다. 본 논문은 k-공간 기반 정제 기법, 미분 손실 분석을 활용한 공격 탐지, DPS 구조를 통한 클라이언트 분기 학습으로 구성된 k-FedShield 프레임워크를 제시하며, 이를 통해 연합 의료 영상 분할에서의 중독 공격 대응 방안을 체계적으로 탐구하였다.


Ⅱ. 연합 학습 및 데이터 중독 공격 관련 선행 연구

2-1 분할을 위한 연합 학습

분산된 데이터를 활용하여 프라이버시를 중점으로 한 글로벌 모델을 구축할 수 있는 FL은 의료 영상 분할 분야에서 점차 널리 채택되고 있다[10]-[12]. 그러나 이러한 모델은 성능을 저하시킬 수 있는 적대적 공격에 취약한 한계를 지니고 있다. 이러한 한계를 극복하고자 본 연구에서는 악의적인 클라이언트를 위한 정제 기반 FL 프레임워크를 제안한다. 또한, 본 프레임워크는 기존 모델[13]에 영감을 받아 클라이언트의 Dice 손실 함수로부터 악의적인 클라이언트를 식별한다.

2-2 데이터 중독 공격

적대적 공격은 신경망의 견고성을 약화시키기 위해 미묘한 변형을 악용한다. 대표적인 공격 방법으로는 손실 함수의 기울기를 이용해 변형을 주입하는 빠른 기울기 부호 방법(FGSM; fast gradient sign method)[5]이 있다. 또한, 투영 경사 하강법 (PGD; projected gradient descent)[14]은 FGSM의 확장된 형태로, 정의된 경계 내에서 왜곡을 제한하여 더욱 강력한 공격을 생성한다. Carlini와 Wagner 공격 (C&W; Carlini and Wagner attack)[15]은 적대적 예시를 최적화 문제로 정의하여 생성하는 기법이다. 본 연구에서는 실험을 통해 이러한 공격들을 채택하여, 이에 대응하도록 설계된 FL 방법의 적대적 강건성을 입증하고자 한다.

2-3 연합 학습의 공격 강건성

데이터 중독 공격은 훈련 과정에 악성 데이터를 삽입하여 모델의 정확성을 크게 저하시킴으로써 FL에 심각한 문제를 초래한다[16]. 이를 해결하기 위해 최근 연구에서는 적대적 강건성을 도입하고자 하는 다양한 시도가 이루어지고 있다[17]-[22]. 특히, 최근의 방법[20]에서는 아웃라이어에 강건한 원-센터 및 원-평균 클러스터링 기법을 활용하여 분산 학습을 위한 새로운 집계 방식을 제안하였다. 또한, vertical FL via identification and purification (VFLIP)[19]은 FL 참가자 간에 수직으로 분할된 데이터를 처리하기 위해 추론 단계에서 작동하는 식별 및 정제 방법을 제시하였다. 그러나 이러한 접근 방식들은 적대적 훈련의 제약으로 인해 미지의 공격을 처리하는 데 한계가 있거나, 훈련 과정에서 악의적인 클라이언트를 제외함으로써 환자 데이터의 다양성이 감소하는 문제를 안고 있다. 이러한 한계를 완화하고자 본 연구에서는 k-FedShield을 제안하며, 이는 훈련 과정에서 정제된 악의적인 클라이언트를 식별하고 이를 통합하는 사전 예방적 전략을 채택하도록 설계하였다.


Ⅲ. 제안하는 공격 정화 및 탐지 방법

3-1 제안하는 모델의 전체 구조

그림 2에 나타난 바와 같이, M개의 클라이언트는 각자의 MRI 데이터셋을 사용하여 로컬 모델을 훈련하며, 서버는 총 R 라운드에 걸쳐 글로벌 모델 집계를 수행한다. 초기 단계에서 k-FedShield는 정제 및 세분화 구성 요소로 이루어진 DPS를 먼저 훈련한 후, 세분화 모델의 가중치 ϕ1,2,,M1를 서버로 전송한다. 서버는 이와 함께 각 클라이언트의 훈련 Dice 손실 추세 L1,2,,M1를 수집하여 미분 손실 기반 탐지 방식을 통해 악의적인 클라이언트를 식별하고, 이를 바탕으로 1 또는 0 형태의 악의적 상태 λ1,2,,M1를 생성한다. 이 상태 정보를 기반으로 서버는 적대자 인식 글로벌 모델 집계를 수행하며, 글로벌 모델 가중치 ϕglobal1을 계산할 때 악의적인 클라이언트를 제외한다. 이렇게 계산된 글로벌 가중치는 다시 각 클라이언트에게 배포된다. 정상 클라이언트는 이를 사용하여 세분화 모델을 재설정하며, 악의적인 클라이언트는 훈련을 다시 시작하기 전에 반복적인 정제 과정을 수행한다. 이 과정은 총 R 라운드 동안 반복되어 모델의 적대적 강건성을 지속적으로 강화하며, 최종적으로 전역적으로 최적화된 세분화 모델을 구축할 수 있도록 한다.

Fig. 2.

Overall structure of the k-FedShield network

3-2 제안하는 모델에서 사용한 위협모델

공격자의 목표는 비표적 공격을 통해 모델의 전체 성능을 저하시켜 심장 부위의 Dice 점수를 감소시키는 데 있다. 이를 위해 공격자는 적대적 예시를 활용하여 훈련 과정을 방해하며, 화이트박스 시나리오에서는 훈련 데이터와 모델 구조에 대한 사전 지식을 보유하고 있다고 가정한다[23]. 이 상황에서는 공격자가 훈련 데이터와 모델 파라미터에 무단으로 접근할 수 있으며, 클라이언트의 4분의 1을 침해할 수 있다고 전제한다. 이러한 접근은 FL 메커니즘과 독립적으로 작동하며, FL 메커니즘은 원시 데이터가 직접 전송되지 않도록 보장하여 데이터 프라이버시를 보호하는 것을 목표로 한다. 본 연구에서는 선의의 클라이언트는 침해되지 않고, 악의적인 클라이언트는 외부 공격자에 의해 수정된다고 가정한다. 로컬 클라이언트를 장악한 외부 공격자는 로컬 데이터에 접근하고 이를 조작할 수 있다[24].

3-3 분리된 정제 및 분할

클래스별 분리 방법[25]을 기반으로 본 연구에서는 이 접근법을 작업별 적대적 공격으로부터 MRI 데이터를 정제하는 데 적용하였다. 기존의 적대적 강건성 기술은 악의적인 클라이언트를 제거하는 방식으로 동작하지만, 본 연구에서 제안하는 방법은 훈련 데이터를 정제하면서도 이를 유지함으로써 환자 데이터의 다양성을 높일 수 있도록 설계되었다. 특히, 본 방법은 k-공간 특징[26]을 분리하여 취약한 분할 특징을 제거하고, 분할에는 강건한 정제 특징만을 활용하도록 한다.

초기 연구에서는 k-공간 내에서 작업 특이적으로 분리된 표현에 대한 적대적 공격의 영향을 조사하였으며, 특히 분할 작업을 대상으로 분석을 수행하였다. 이를 위해 먼저 MRI 이미지에 대해 빠른 푸리에 변환(FFT; fast Fourier transform)을 적용하여 정제 및 분할에 활용할 수 있는 의미 있는 특징을 추출하였다. 이에 대한 구체적인 내용은 아래에 자세히 설명한다.

SKut,Kvt=--IU,Ve-i2πUKut+VKvtdU,dV,(1) 
Kut=γ2π0tGuτdτ, Kvt=γ2π0tGvτdτ,(2) 

MRI 이미지에서 위치 (U,V)에 해당하는 이미지는 I(U,V)로 표기하며, k-공간에서 좌표 Ku(t),Kv(t)와 시간 t에 대응하는 신호 값은 S(Ku(t),Kv(t))로 나타내며, 이는 MRI 획득 과정의 특정 시점에서의 신호를 의미한다. 또한 Ku(t)와 Kv(t)의 값은 적용된 자기 기울기 필드 Gu(τ)와 Gv(τ)의 시간에 따른 적분 값에 비례하여 결정된다. 이때 자기 회전 비율 γ는 자기 모멘트와 각운동량 간의 관계를 정의한다. 주파수 영역은 중앙에 밀집된 저주파 성분과, 상대적으로 희소하게 분포된 고주파 영역으로 구성된다. 본 연구에서는 이러한 특성을 활용하여 희소한 k-공간이 작업 특이적 특징을 효과적으로 분리할 수 있는 이상적인 구조로 작용함을 확인하였다.

그림 3에 나타난 바와 같이, 본 연구에서는 k-공간 도메인에서 decoupling encoder를 활용하여 분리된 정제 특징과 세분화 특징을 추출하고, 이를 바탕으로 적대적 공격 상황에서의 견고성을 평가하였다. 또한 정규화된 정제 특징 fP와 세분화 특징 fS를 시각화하였다. 이 결과는 FGSM 공격 전후에 fPfS의 특징 분포가 어떻게 변화하는지를 보여준다. 특히 fS의 분포는 적대적 변형으로 인해 현저하게 변화하여 공격에 매우 취약해지는 반면, fP는 변형에도 불구하고 안정성을 유지함을 확인할 수 있었다.

Fig. 3.

Structure of decoupled purification and segmentation

이러한 관찰 결과를 바탕으로, 그림 3에 나타난 바와 같이 본 연구에서 제안하는 방법은 인코더를 훈련시켜 fPfS 간의 상관관계를 최소화함으로써 두 특징 집합을 효과적으로 분리하도록 설계하였다. 이 두 가지 서로 다른 특징 집합 중에서 fP는 정제된 MRI 데이터와 입력 MRI 데이터 간의 평균 절대 오차 LP를 최적화함으로써 정제에 활용된다. 이 LP는 정제 디코더를 훈련하는 데 사용된다. 반면, fS 는 세분화 작업을 위해 Dice 손실 Ld를 통해 최적화되며, 이는 세분화 디코더 훈련에 활용된다. 또한, fPfS의 독립성을 보장하기 위해 분리 인코더의 훈련 과정에서는 두 특징 간 상관관계를 줄이도록 설계된 독립성 손실 Li를 도입하였다. 이 손실 항은 다음과 같이 정의된다.

Li=1m2k=1ml=1mCfP,fSk,l2σfP,kσfS,l+ζ,(3) 

fPfS 사이의 공분산 행렬의 (k,l) 번째 요소는 C(fP,fS)k,l로 표시된다. fPfSk번째 및 l번째 차원에서의 표준 편차는 각각 σfP,kσfS,l로 표시된다. 특징 벡터 fPfS의 차원은 m으로 표시되며, 안정성 상수 ζ는 10-9로 설정되어 수치적 안정성을 보장한다. fPfS 간의 상관관계를 처벌함으로써 이 공식은 그들의 독립성을 강제한다. 역 빠른 푸리에 변환(IFFT; inverse fast Fourier transform)을 거친 후, fPfS는 각각 f Pf S로 변환된다. 악성 프로세스 동안 f P는 정제 디코더를 통해 T 번의 반복 정제 과정을 거친 후 정제된 데이터와 세분화 디코더를 사용하여 세분화 지도를 생성한다. 반면, 정상 프로세스 동안 f S는 직접 세분화 디코더에 입력되어 세분화 지도를 생성한다. 또한, 훈련 Dice 손실 추세는 서버로 전송되어 악성 클라이언트 탐지를 용이하게 한다.

3-4 미분 손실 기반 공격 탐지 및 집계

FL 시스템을 데이터 중독 공격으로부터 보호하고자 본 연구에서는 훈련 Dice 손실 추세에서 이상 패턴을 식별하는 미분 손실 기반 공격 탐지 방법을 제안하였다. 그림 4에 나타난 바와 같이, 훈련 손실 추세를 관찰한 결과 정상 클라이언트에 비해 악성 클라이언트는 더 느린 수렴 속도와 더 큰 진동 특성을 보이는 것을 확인할 수 있었다. 이러한 이상 현상을 효과적으로 탐지하기 위해, 본 연구에서는 세 번째 층 퍼셉트론을 활용하여 이상 패턴을 기반으로 악성 클라이언트를 식별할 수 있도록 두 개의 특징 생성기를 설계하였다. r번째 훈련 라운드에서 첫 번째 미분 생성기는 수렴 속도를 나타내는 기울기 잠재 코드 L1,2,,Mr를 추출하며, 두 번째 미분 생성기는 손실의 진동 특성을 포착하는 라플라스 잠재 코드 2L1,2,,Mr를 생성한다. 이 L1,2,,Mr2L1,2,,Mr는 연결되어 선형 레이어에 입력되며, 이를 통해 해당 클라이언트가 악성인지 여부를 판별한다. 만약 i번째 클라이언트가 r번째 라운드에서 악성으로 식별될 경우 λir=1로 할당되며, 그렇지 않은 경우에는 λir=0으로 할당된다. 서버는 이 정보를 바탕으로 적대적 공격을 고려한 글로벌 모델 집계를 수행하며, 이 과정에서 악성 클라이언트의 모델 가중치는 제외하고 정상 클라이언트의 모델 가중치만을 사용한다. 이 과정은 다음과 같은 방식으로 진행된다.

ϕr+1ϕr-α1M-i=1Mλir×i=1Mhir1-λirHr+ζ,(4) 
Fig. 4.

Loss trends and architecture of derivative loss-driven attack detection. (a) Visualization of training loss trends, highlighting malicious client's irregular patterns. (b) Structure of derivative loss-driven attack detection.

여기서 ϕrr번째 라운드에서의 글로벌 분할 모델의 가중치를 나타내며, hirr번째 라운드에서 i번째 클라이언트의 로컬 모델 기울기를 의미한다. 또한 기울기의 제곱의 누적 합은 Hr로 표현되며, 이는 Hr=Hr-1+i=1Nhir2로 계산된다. 학습률 α는 0.01로 설정하여 훈련을 진행한다. 식 (4)에서는 악의적인 클라이언트(λir=1)가 집계 과정에서 제외되도록 설계하였다. 아울러 서버는 클라이언트에게 λ1,,Mr를 전달하여 각자의 공격 상태를 알리고, 다음 훈련 라운드의 세분화 모델을 초기화하기 위해 ϕr+1을 전송한다.


Ⅳ. 실 험

4-1 데이터셋

본 연구에서는 multi-centre, multi-vendor and multidisease cardiac segmentation (M&Ms) 데이터셋[27](총 375명의 참가자 및 다중 공급업체 데이터 포함)과 automated cardiac diagnosis challenge (ACDC) 데이터셋[28](총 150명의 참가자)을 함께 활용하였다. 두 데이터셋 모두 심장 MRI 시퀀스를 포함하고 있으며, 각 참가자는 21개의 프레임, 4개의 질병 라벨, 3개의 세분화 목표를 가지고 있다. 본 연구에서 M&Ms 데이터는 4개의 병원에서 얻은 데이터이고 ACDC 데이터는 1개의 병원에서 얻은 4개의 질병라벨을 포함한다. 이를 근거로 4개의 클라이언트는 기존 연구[11]와 동일하게 M&Ms 데이터의 4개 병원을 기준으로 나눴으며, 4개의 클라이언트는 ACDC 데이터의 4개의 질병라벨을 기준으로 나누었다. 이를 통해 총 8개의 클라이언트(M=8)를 사용하며, M&Ms와 ACDC 데이터셋은 클라이언트들 간에 균등하게 분할된다.

4-2 구현

본 연구는 관련 연구[3]에서 제시된 FL 시나리오를 기반으로 두 개의 Nvidia H100 GPU를 사용하여 실험을 수행하였다. 기존 방법[29]과 비슷하게 모멘텀 0.9와 학습률 0.001을 적용한 SGD 옵티마이저를 사용하였다. R = 500으로 설정하여 총 500 라운드 동안 실행되었으며, DPS를 위한 T는 3으로 설정하였다. 이는 FGSM 공격 환경에서 M&Ms 데이터셋에서 가장 높은 Dice 점수인 80.7%를 달성하였기 때문이다. 비교를 위해 다른 T 값에 대한 Dice 점수는 T=1일 때 77.1%, T=2일 때 78.5%, T=4일 때 78.9%로 확인되었다. 또한 분리형 인코더는 3×3 커널을 갖는 두 개의 컨볼루션 레이어로 구성된 네 개의 잔차 블록으로 설계되었다[9]. 아울러 정제 및 세분화를 위해 설계된 디코더는 인코더의 구조를 반영하며 대칭적인 구조를 따르도록 구성했다.

4-3 결과 및 분석

본 연구에서는 k-FedShield를 기존의 적대적 강건 FL 방법들과 비교하여 평가하였다. 비교 대상에는 Yi et al. [18], Karimireddy et al. [30], Li et al. [21], iterative outlier scissor (IOS)[20], 그리고 federated robust batch-normalization (FedRBN)[22]의 방법들이 포함되며, M&Ms 및 ACDC 데이터셋을 활용하여 성능을 검증하였다. 보다 상세한 내용은 표 1에 제시되어 있다. 비교 실험에는 영상 분할에서 일반적으로 사용되는 적대적 공격 방법인 PGD, C&W, FGSM을 사용하였다. 백본 네트워크는 널리 활용되는 분할 모델[9]을 채택하였다. 각 실험에서는 두 개의 악성 클라이언트를 무작위로 선택하였으며, 모든 모델은 원저자의 실험 설정과 오픈소스 구현을 활용하여 수렴될 때까지 처음부터 훈련 및 평가를 수행하였다. 모든 표에서는 가장 높은 점수를 굵게 표시하였다. 표 1k-FedShield가 다른 FL 모델에 비해 Dice 점수 기준으로 평균 약 10.3%p의 성능 향상을 달성하였음을 보여준다. 또한 k-FedShield는 탐지 방법에 비해 양성 및 악성 클라이언트를 식별하는 정확도에서 일관되게 우수한 성능을 나타내며, 더 높은 회수율과 정밀도를 확보하였다. 이러한 결과는 데이터 중독 공격에 대한 강건성과 함께 훈련 Dice 손실 추세를 활용한 악성 클라이언트 식별의 효과성을 입증한다. 아울러, 악성 클라이언트 수를 3개와 4개로 늘려도 동일한 경향이 관찰되었으며, 다른 모델에 비해 Dice 점수 기준으로 각각 약 12.2%p와 11.2%p의 평균 성능 개선을 달성하였다.

Comparison of previous methods on the M&Ms and ACDC validation sets based on Dice score, recall, and precision. Each FL method is trained on adversarially perturbed data.

표 2는 8개의 클라이언트를 대상으로 다양한 FL 방법들을 floating operations per second (FLOPs), 수렴 라운드, 파라미터 수, 훈련 시간 측면에서 비교한 결과를 보여준다. 모든 방법은 클라이언트당 42 GFLOPs와 1.8M 파라미터를 사용하는 공통 분할 모델[9]을 사용하였다. k-FedShield는 희소한 k-공간에서 작동하는 디커플링 인코더 덕분에 FLOPs를 33 GFLOPs로 줄일 수 있었다. 정제 디코더(클라이언트당 0.9M)와 공격 탐지 모듈(서버에 0.3M)로 인해 추가적인 파라미터가 필요함에도 불구하고, k-FedShield는 빠른 수렴(477 라운드), 가장 빠른 훈련 완료 시간(7.9시간), 그리고 가장 낮은 총 FLOPs(326 GFLOPs)를 달성하였다. 또한, 표 2에 제시된 Convergence Round와 Training TIme은 M&Ms와 ACDC 데이터셋을 혼합한 연합학습 환경에서 이뤄졌기 떄문에 두 데이터셋 모두 동일한 경향을 보인다. FLOPs와 Params 같은 경우, ACDC와 M&Ms를 처리할 때 같은 사이즈로 처리하기 떄문에 같은 결과를 얻는다.

Computational complexity analysis of FL approaches on the M&Ms dataset

그림 5에서 볼 수 있듯이, k-FedShield는 모든 환자에 대해 심장 부위를 정확히 탐지하는 성능을 보였다. 그러나 federated averaging (FedAvg), Li et al., 그리고 Yi et al.은 정확한 예측에 어려움을 겪어 M&Ms 데이터셋에서 “비대성 심근병증” 및 “정상”환자에 대해 거짓 양성을 유발하였다. 이와 비슷하게 IOS, FedRBN, 그리고 Karimireddy et al.은 ACDC 데이터셋에서 “이상 우심실” 및 “확장성 심근병증” 환자에 대해 거짓 음성 결과를 초래하였다. 이러한 예측 오류는 잘못된 진단으로 이어질 수 있으며, 결과적으로 보험 사기 청구의 발생 가능성을 높일 수 있어 강력한 임상 방어 체계의 필요성을 강조한다. k-FedShield는 데이터 중독 공격에 대한 강한 내성을 바탕으로 이러한 문제를 방지할 수 있으며, 이는 실제 임상 적용 가능성을 뒷받침한다.

Fig. 5.

Qualitative segmentation results on M&Ms and ACDC datasets perturbed by FGSM. Each rows represent results in “hypertrophic cardiomyopathy”, “normal”, “abnormal right ventricle”, and “dilated cardiomyopathy” patients. Blue, green, and red regions denote the “right ventricle”, “left ventricle”, and “myocardium” regions, respectively.

4-4 절제 연구

본 섹션에서는 k-FedShield에서 각 구성 요소가 성능에 기여하는 정도를 평가하였다. 표 3에서 체크마크 (✔)는 해당 모듈이 활성화되어 있음을 나타낸다. 첫 번째 행은 모든 모듈이 활성화된 상태에서의 성능을 제시한다. 두 번째 행은 FFT와 IFFT를 제외하고 이미지 영역에서 정제 처리를 수행한 결과로, 성능이 저하되는 것을 확인할 수 있었다. 첫 번째 행과 두 번째 행을 비교함으로써 k-공간의 기여도를 확인할 수 있다. 두 행을 비교한 결과는 k-공간이 정제 및 세분화 특성을 효과적으로 분리하는 이상적인 구조임을 시사한다. 세 번째와 네 번째 행은 각각 2차 미분과 1차 미분 없이 실험을 수행한 결과를 보여준다. 두 행을 통해 1차 미분과 2차 미분의 기여도를 확인할 수 있다. 다섯 번째와 여섯 번째 행은 정제 과정을 제외하거나 1차 미분만 포함했을 때의 결과를 각각 제시한다. 마지막 행은 2차 미분만 포함하여 실험한 결과를 나타낸다. 세 행을 비교하면 정화 과정이 없을 때의 탐지 모듈의 기여도를 확인할 수 있다. 또한, 첫 번째 행과 다른 행들을 비교함으로써 각 모듈이 전체 성능 향상에 기여하고 있음을 확인할 수 있었다.

Ablation study on the M&Ms dataset affected by the PGD attack


Ⅴ. 결 론

본 논문은 연합 의료 영상 분할에서 발생할 수 있는 잔류 데이터 중독 공격의 문제를 다루고자 하였다. 이를 위해 k-FedShield라는 포괄적인 프레임워크를 제안하였다. 본 프레임워크는 k-공간 분리 정제와 공격 탐지 기능을 결합하여 이러한 위협을 효과적으로 완화할 수 있도록 설계되었다. k-FedShield는 악의적인 클라이언트를 식별할 뿐만 아니라, k-공간을 활용하여 해당 클라이언트의 데이터를 효과적으로 정제함으로써 FL 프레임워크 내에서 환자 데이터의 다양성을 유지할 수 있도록 한다. 실험 결과, k-FedShield는 기존 FL 방법들보다 평균적으로 약 10.4% 더 높은 Dice Score를 기록하여 우수한 성능을 입증하였으며, M&Ms 및 ACDC 데이터셋에서 최첨단 성능을 달성하여 다양한 임상 벤더 환경에서도 일반화 가능성이 있음을 확인하였다. 또한, 희소한 k-공간에서 작동하는 분리형 인코더 덕분에 높은 계산 효율성과 빠른 수렴성을 유지할 수 있었다. 제안된 프레임워크는 주로 입력 데이터의 이상 탐지를 기반으로 설계되어 있기 때문에, 데이터 중독 공격에는 효과적이다. 그러나 머신러닝 모델에 수많은 쿼리를 던진 후, 산출된 결괏값을 분석해 모델 학습을 위해 사용된 데이터를 추출하는 학습 데이터 추출 공격(Inversion attack)에 대해서는 상대적으로 방어에 한계가 있을 수 있다. 또한, k-FedShield는 추가 모듈로 인해 다소 많은 매개변수를 포함하므로 상대적으로 더 많은 메모리 자원이 요구될 수 있다는 한계가 존재한다. 향후 연구에서는 서버 측에서 정제 디코더를 교사 모델로 설계하고, 각 클라이언트에서는 경량화된 정제 디코더를 배치하는 지식 증류 기술을 탐구할 계획이다.

Acknowledgments

This study was financially supported by Chonnam National University (Grant number: 2024-1158-01). This work was also supported by the IITP grant funded by the Korea government (MSIT) (No.2021-0-02068, RS-2023-00256629, RS-2022-00156287, RS-2024-00437718).

References

  • Z. Song, X. Liu, W. Zhang, Y. Gong, T. Hao, and K. Zeng, “SPGNet: A Shape-prior Guided Network for Medical Image Segmentation,” In Proceedings of the Thirty-Third International Joint Conference on Artificial Intelligence, Jeju, pp. 1263-1271, August 2024. [https://doi.org/10.24963/ijcai.2024/140]
  • L. Li, S. Lian, Z. Luo, B. Wang, and S. Li, “VCLIPSeg: Voxel-Wise CLIP-Enhanced Model for Semi-supervised Medical Image Segmentation,” in Porceedings of International Conference on Medical Image Computing and Computer-Assisted Intervention, Morocco, North Africa, pp. 692-701, October 2024. [https://doi.org/10.1007/978-3-031-72114-4_66]
  • B. McMahan, E. Moore, D. Ramage, S. Hampson, and B. A. y Arcas, “Communication-Efficient Learning of Deep Networks from Decentralized Data,” in Proceedings of the 20th International Conference on Artificial Intelligence and Statistics, Fort Lauderdale: Fl, pp. 1273-1282, April 2017.
  • S. Kaviani, K. J. Han, and I. Sohn, “Adversarial Attacks and Defenses on AI in Medical Imaging Informatics: A Survey,” Expert Systems with Applications, Vol. 198, 116815, July 2022. [https://doi.org/10.1016/j.eswa.2022.116815]
  • I. J. Goodfellow, J. Shlens, and C. Szegedy, “Explaining and Harnessing Adversarial Examples,” arXiv:1412.6572, , March 2015. [https://doi.org/10.48550/arXiv.1412.6572]
  • S. G. Finlayson, H. W. Chung, I. S. Kohane, and A. L. Beam, “Adversarial attacks against medical deep learning systems,” arXiv:1804.05296, , February 2019. [https://doi.org/10.48550/arXiv.1804.05296]
  • Q. Liu, H. Jiang, T. Liu, Z. Liu, S. Li, W. Wen, and Y. Shi, “Defending Deep Learning-Based Biomedical Image Segmentation from Adversarial Attacks: A Low-Cost Frequency Refinement Approach,” in Proceedings of Medical Image Computing and Computer Assisted Intervention, Lima, Peru, pp. 342-351, October 2020. [https://doi.org/10.1007/978-3-030-59719-1_34]
  • Q. Yao, Z. He, Y. Lin, K. Ma, Y. Zheng, and S. K. Zhou, “A Hierarchical Feature Constraint to Camouflage Medical Adversarial Attacks,” in Proceedings of Medical Image Computing and Computer Assisted Intervention, Strasbourg, France, pp. 36-47, September 2021. [https://doi.org/10.1007/978-3-030-87199-4_4]
  • H. Y. Zhou, J. Guo, Y. Zhang, L. Yu, L. Wang, and Y. Yu, “nnFormer: Interleaved Transformer for Volumetric Segmentation,” arXiv:2109.03201, , Februray, 2022. [https://doi.org/10.48550/arXiv.2109.03201]
  • H. Guan, P.-T. Yap, A. Bozoki, and M. Liu, “Federated Learning for Medical Image Analysis: A survey,” Pattern Recognition, Vol. 151, 110424, July 2024. [https://doi.org/10.1016/j.patcog.2024.110424]
  • A. Linardos, K. Kushibar, S. Walsh, P. Gkontra, and K. Lekadir, “Federated Learning for Multi-Center Imaging Diagnostics: A Simulation Study in Cardiovascular Disease,” Scientific Reports, Vol. 12 3551, March 2022. [https://doi.org/10.1038/s41598-022-07186-4]
  • X. Qi, G. Yang, Y. He, W. Liu, A, Islam, and S. Li, “Contrastive Relocalization and History Distillation in Federated CMR Segmentation,” in Proceedings of International Conference on Medical Image Computing and Computer-Assisted Intervention, Singapore, pp. 256-265, September 2022. [https://doi.org/10.1007/978-3-031-16443-9_25]
  • I. Lee, E. Lee, and S. B. Yoo, “Latent-OFER: Detect, Mask, and Reconstruct with Latent Vectors for Occluded Facial Expression Recognition,” in Proceedings of the 2023 IEEE/CVF International Conference on Computer Visio, Prais, France, pp. 1536-1546, October 2023. [https://doi.org/10.1109/iccv51070.2023.00148]
  • A. Madry, A. Makelov, L. Schmidt, D. Tsipras, and A. Vladu, “Towards Deep Learning Models Resistant to Adversarial Attacks,” arXiv:1706.06083, , September 2019. [https://doi.org/10.48550/arXiv.1706.06083]
  • N. Carlini and D. Wagner, “Towards Evaluating the Robustness of Neural Networks,” in Proceedings of 2017 IEEE Symposium on Security and Privacy, San Jose: CA, pp. 39-57, May 2017. [https://doi.org/10.1109/sp.2017.49]
  • K. N. Kumar, C. K. Mohan, and L. R. Cenkeramaddi, “The Impact of Adversarial Attacks on Federated Learning: A Survey,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 46, No. 5, pp. 2672-2691, October 2023. [https://doi.org/10.1109/tpami.2023.3322785]
  • E.-G. Lee, M. S. Lee, J. H. Yoon, and S. B. Yoo, “IntensPure: Attack Intensity-Aware Secondary Domain Adaptive Diffusion for Adversarial Purification,” in Proceedings of the Thirty-Third International Joint Conference on Artificial Intelligence, Jeju, pp. 956-964, August 2024. [https://doi.org/10.24963/ijcai.2024/106]
  • Y. Yi, R. You, H. Liu, C. Liu, Y. Wang, and J. Lv, “Near-Optimal Resilient Aggregation Rules for Distributed Learning Using 1-Center and 1-Mean Clustering with Outliers,” in Proceedings of the 38th AAAI Conference on Artificial Intelligence, Vancouver, Canada, Vol. 38, No. 15, pp. 16469-16477, 2024. [https://doi.org/10.1609/aaai.v38i15.29584]
  • Y. Cho, W. Han, M. Yu, Y. Lee, H. Bae, and Y. Paek, “VFLIP: A Backdoor Defense for Vertical Federated Learning via Identification and Purification,” in Proceedings of the 27th European Symposium on Research in Computer Security, Bydgoszcz, Poland, pp. 291-312, September 2024. [https://doi.org/10.1007/978-3-031-70903-6_15]
  • Z. Wu, T. Chen, and Q. Ling, “Byzantine-Resilient Decentralized Stochastic Optimization with Robust Aggregation Rules,” IEEE Transactions on Signal Processing, Vol. 71, pp. 3179-3195, August 2023. [https://doi.org/10.1109/tsp.2023.3300629/mm1]
  • S. Li, Y. Cheng, W. Wang, Y. Liu, and T. Chen, “Learning to Detect Malicious Clients for Robust Federated Learning,” arXiv:2002.00211, , February 2020. [https://doi.org/10.48550/arXiv.2002.00211]
  • J. Hong, H. Wang, Z. Wang, and J. Zhou, “Federated Robustness Propagation: Sharing Adversarial Robustness in Heterogeneous Federated Learning,” in Proceedings of the 37th AAAI Conference on Artificial Intelligence, Washington DC, Vol. 37, No. 7, pp. 7893–7901, February, 2023. [https://doi.org/10.1609/aaai.v37i7.25955]
  • E. Nowroozi, I. Haider, R. Taheri, M. Conti, “Federated Learning under Attack: Exposing Vulnerabilities through Data Poisoning Attacks in Computer Networks,” IEEE Transactions on Network and Service Management, January 2025. [https://doi.org/10.36227/techrxiv.170492270.09799501/v1]
  • R. Haffar, D. Sanchez, J. Domingo-Ferrer, “Explaining Predictions and Attacks in Federated Learning via Random Forests,” Applied Intelligence, Vol. 53, pp. 169-185, April, 2023. [https://doi.org/10.1007/s10489-022-03435-1]
  • M. H. Kim, J. W. Jung, E.-G. Lee, and S. B. Yoo, “Disentangled Adaptive Fusion Transformer Using Adversarial Perturbation for Egocentric Action Anticipation,” Expert Systems with Applications, Vol. 282, July 2025. [https://doi.org/10.1016/j.eswa.2025.127648]
  • G. E. Sarty, R. Bennett, and R. W. Cox, “Direct Reconstruction of Non-Cartesian K-Space Data Using a Nonuniform Fast Fourier Transform,” Magnetic Resonance in Medicine, Vol. 45, No. 5, pp. 908-915, May 2001. [https://doi.org/10.1002/mrm.1120]
  • V. M. Campello, P. Gkontra, C. Izquierdo, C. Martin-Isla, A. Sojoudi, P. M. Full, ... and K. Lekdir, “Multi-Centre, Multi-Vendor and Multi-Disease Cardiac Segmentation: The M&Ms Challenge,” IEEE Transactions on Medical Imaging Vol. 40, No. 12, pp. 3543-3554, December 2021. [https://doi.org/10.1109/TMI.2021.3090082]
  • O. Bernard, A. Lalande, C. Zotti, F. Cervenansky, X. Yang, P.-A. Heng, ... and P.-M. Jodoin, “Deep Learning Techniques for Automatic MRI Cardiac Multi-Structures Segmentation and Diagnosis: Is the Problem Solved?,” IEEE Transactions on Medical Imaging, Vol. 37, No. 11, pp. 2514-2525, November 2018. [https://doi.org/10.1109/tmi.2018.2837502]
  • J. H. Yoon, J. W. Jung, and S. B. Yoo, “Equirectangular Point Reconstruction for Domain Adaptive Multimodal 3D Object Detection in Adverse Weather Conditions,” in Proceedings of the 39th Annual AAAI Conference on Artificial Intelligence, Washington, DC, Vol. 39. No. 9. February 2025. [https://doi.org/10.1609/aaai.v39i9.33035]
  • S. P. Karimireddy, L. He, and M. Jaggi. “Learning from History for Byzantine Robust Optimization,” in Proceedings of the 38th International Conference on Machine Learning, pp. 5311-5319, 2021.

저자소개

김민혁(Min Hyuk Kim)

2023년:전남대학교 (공학사)

2023년~현 재: 전남대학교 대학원 인공지능융합학과 석사과정

※관심분야:컴퓨터 비전, 시각 지능, 연합 학습 등

이응주(Eung-Joo Lee)

2015년:한국과학기술원 대학원 (공학석사)

2021년:메릴랜드 대학교 대학원 (공학박사)

2021년~2023년: 하버드 의과대학 박사 후 연구원

2023년~현 재: 애리조나 대학교 전기 및 컴퓨터 공학과 조교수

※관심분야:컴퓨터 비전, 임베디드 시스템, 의료 영상 응용, 시각 지능 등

유석봉(Seok Bong Yoo)

2009년:연세대학교 (공학사)

2011년:한국과학기술원 대학원 (공학석사)

2015년:한국과학기술원 대학원 (공학박사)

2015년~2017년: 삼성전자 책임연구원

2017년~2020년: 전자통신연구원 책임연구원

2020년~현 재: 전남대학교 인공지능융합학과 교수

※관심분야:컴퓨터 비전, 시각 지능, 생성 모델, 멀티모달 학습, 적대적 방어, 연합 학습 등

Fig. 1.

Fig. 1.
Impact of data poisoning attack and schematic diagram of the proposed FL framework. (a) Visualization of segmentation predictions in a patient with “dilated cardiomyopathy” from both clean and FGSM-perturbed[5] MRI data[26]. (b) Comparison of data poisoning effects in FL, highlighting the Dice score when tested on clean data. (c) Schematic diagram of the proposed FL framework: identifying malicious clients, refining data, and segmenting target regions.

Fig. 2.

Fig. 2.
Overall structure of the k-FedShield network

Fig. 3.

Fig. 3.
Structure of decoupled purification and segmentation

Fig. 4.

Fig. 4.
Loss trends and architecture of derivative loss-driven attack detection. (a) Visualization of training loss trends, highlighting malicious client's irregular patterns. (b) Structure of derivative loss-driven attack detection.

Fig. 5.

Fig. 5.
Qualitative segmentation results on M&Ms and ACDC datasets perturbed by FGSM. Each rows represent results in “hypertrophic cardiomyopathy”, “normal”, “abnormal right ventricle”, and “dilated cardiomyopathy” patients. Blue, green, and red regions denote the “right ventricle”, “left ventricle”, and “myocardium” regions, respectively.

Table 1.

Comparison of previous methods on the M&Ms and ACDC validation sets based on Dice score, recall, and precision. Each FL method is trained on adversarially perturbed data.

Model Dice Score (%) Recall Precision
M&Ms ACDC M&Ms ACDC M&Ms ACDC
FGSM PGD C&W FGSM PGD C&W FGSM PGD C&W FGSM PGD C&W FGSM PGD C&W FGSM PGD C&W
FedAvg 69.3 68.8 68.1 67.3 67.0 67.1 - - - - - - - - - - - -
Yi et al. 71.3 70.9 71.0 70.3 71.8 70.6 0.85 0.87 0.85 0.81 0.80 0.83 0.79 0.80 0.78 0.75 0.77 0.80
IOS 71.4 70.7 71.5 69.8 69.2 69.3 0.82 0.80 0.81 0.79 0.77 0.79 0.74 0.71 0.70 0.69 0.68 0.72
Karimireddy et al. 71.0 71.4 70.9 69.3 69.6 69.4 0.84 0.88 0.85 0.81 0.78 0.77 0.84 0.83 0.81 0.79 0.79 0.79
Li et al. 73.2 72.9 72.1 70.0 70.5 70.2 0.73 0.71 0.74 0.72 0.73 0.69 0.69 0.73 0.70 0.67 0.71 0.70
FedRBN 72.6 72.3 72.5 70.7 71.7 70.3 - - - - - - - - - - - -
k-FedShield 80.5 80.7 80.7 80.8 81.3 80.9 0.95 0.96 0.94 0.91 0.91 0.92 0.98 0.99 0.98 0.95 0.94 0.97

Table 2.

Computational complexity analysis of FL approaches on the M&Ms dataset

Model FLOPs
(G)
Convergence
Round
Params
(M)
Training
Time (hours)
FedAvg 336 554 14.4 9.2
Yi et al. 336 539 14.4 8.9
Karimireddy et al. 336 528 14.4 8.7
Li et al. 336 521 15.3 8.6
k-FedShield 326 477 21.9 7.9

Table 3.

Ablation study on the M&Ms dataset affected by the PGD attack

Attack Detection Purification Dice Score
1st-derivative 2nd-derivative k-space Image
80.7
78.3
76.8
76.5
74.8
72.9
72.4