Journal Archive

머신러닝 기술이 발전하면서 개인정보 보호와 데이터 기밀 유지에 대한 문제점이 부각되었다. 이에 대응하기 위해 2018년 유럽연합은 일반 데이터 보호규정(GDPR)을, 2020년 캘리포니아는 소비자 개인정보 보호법을 제정하여 데이터 보호와 보안을 강조하고 있다. 이에 따라 기존의 머신러닝 환경에서 발생할 수 있는 개인정보 보호 및 보안법률을 준수하는 방법인 데이터 통합 방법의 연합학습이 제안되었다.

연합학습[4]은 2016년 구글에서 처음 제안되어 여러 모바일 장치에서 공동으로 학습하기 위해 구글 키보드에 처음 활용하였고, 저장된 데이터를 공유하지 않고 인공지능 모델을 학습할 수 있는 분산형 기계 학습 기법이다. 연합학습의 과정은 중앙서버가 모델을 클라이언트에 보내면 각 클라이언트는 로컬 데이터로 이 모델을 훈련 시키고, 훈련된 로컬 모델의 파라미터를 중앙서버로 전송한다. 중앙서버는 이러한 과정을 반복하여 로컬 모델의 정보를 결합하여 글로벌 모델을 업데이트한다. 이렇게 개선된 글로벌 모델은 다시 로컬 장치에 전송되어 기존 모델을 업데이트함으로써 글로벌 모델의 성능을 점점 향상시킨다. 그림 1은 일반적인 연합학습에서 나타나는 프로세스이다.

• 1단계 : 서버는 학습에 참여하는 클라이언트에게 글로벌 모델을 전달한다.
• 2단계 : 각 클라이언트는 전달받은 모델을 로컬 데이터를 활용하여 학습시킨다.
• 3단계 : 클라이언트는 학습을 통해 업데이트된 모델의 파라미터만 서버로 전송한다.
• 4단계 : 서버는 각 로컬로부터 전달받은 파라미터를 집계하여 글로벌 모델을 업데이트한다.

Fig. 1. 
Federated learning process

연합학습은 기존 머신러닝과 비교했을 때 학습에 사용되는 데이터를 로컬 장치에서 관리하여 데이터를 공유하지 않는 점에서 개인 데이터 보호와 관련된 개인정보 보호 보장이 제공되는 이점이 있다. 그러나 반복적인 학습 과정과 모델 업데이트 교환 과정에서 악의적인 공격자에게 시스템이 노출될 수 있다. 이 과정에서 중독공격이 발생할 수 있는데, 중독공격은 연합학습에서 가장 일반적으로 사용되는 공격 기술 중 하나이다.

중독공격에서 악의적인 클라이언트는 조작된 데이터를 학습에 사용하여 글로벌 모델에 영향을 미치게 하며, 공격자의 목표에 따라 무작위 공격과 표적 공격으로 나뉜다[5]. 무작위 공격의 목표는 연합학습 모델의 정확도를 낮추게 하는 것이고, 표적 공격은 연합학습 모델이 공격자가 지정한 목표 레이블을 출력하도록 하는 것을 목표로 한다. 중독공격은 학습 단계 동안 모델 또는 데이터에 대해 수행될 수 있다. 중독공격은 공격자의 유형에 따라 데이터 중독공격과 모델 중독공격으로 분류될 수 있다[6].

데이터 중독공격은 공격자가 기존의 학습 데이터를 수정하거나 잘못된 레이블을 붙여서 새로운 중독 데이터 샘플을 만들어내는 공격이다[7]. 이를 통해 악의적인 클라이언트는 연합학습에서 공유되는 글로벌 모델의 결과를 왜곡하거나 특정한 방향으로 유도할 수 있다. 이와 같은 공격을 label-flipping이라 칭하며, 이는 학습 데이터의 레이블을 원래의 레이블 값이 아닌 다른 값으로 변경하는 데이터 중독공격이다.

[8]의 저자는 sybil 공격에 대응하여 FoolsGold라는 방법을 제안하였으며, sybil 기반 데이터 중독공격이 연합학습 시스템에 미치는 영향에 대해 연구를 진행하였다. 위 연구에서 악의적인 클라이언트는 학습 과정에서 중독된 데이터 샘플을 생성하여 공격을 시도한다. 실험 결과에 따르면 두명의 악의적인 클라이언트만으로도 95% 이상의 잘못된 분류를 달성할 수 있음을 보였다. 이에 따라 데이터 중독공격은 모든 클라이언트로부터 수행될 수 있기 때문에 시스템 전체를 위협할 수 있다는 결과를 보여준다.

모델 중독공격은 학습 프로세스 중에 클라이언트와 연합학습 서버 간에 공유되는 업데이트에 영향을 미치는 공격이다. 공격자는 로컬 모델의 업데이트를 수정하여 글로벌 모델의 업데이트를 방해하거나 왜곡시키는 것을 목표로 하여 데이터 중독공격과 달리 적은 수의 공격자만으로도 전체 글로벌 모델을 손상시킬 수 있다. 또한, 연합학습에서 모델의 업데이트만 공유하는 특성으로 인해 공격자를 특정하기가 어렵다. 이에 따라 모델의 참여자가 많은 대규모 연합학습에서 더 위협적일 수 있음을 확인하였다.

[9]의 연구에서는 탐지를 회피하기 위해 공격 목표과 학습 손실에 대해 번갈아 최적화하고, 공격 스텔스를 증가시키며, 정상 클라이언트의 업데이트에 대한 매개변수 추정을 사용함으로써 연합학습 환경에서 모델 중독공격이 데이터 중독공격보다 훨씬 더 효과적이라는 것을 입증했다. 따라서, 연합학습 환경에서는 데이터 중독공격과 모델 중독공격 모두 매우 심각한 보안 위협으로 인식되어야 하며, 이러한 공격에 대한 방어 및 대응 방법이 개발되어야 한다.

Fig. 2. 
Data poisoning and model poisoning

Liu 등[10]은 블록체인 기반 보안 연합학습 프레임워크를 제안하여 5G 네트워크에서 연합학습의 보안을 보장하기 위한 데이터 프라이버시 유출 문제에 대한 해결책을 제시하였다. 위 논문에 제안된 프레임워크에서는 블록체인의 스마트 컨트랙트를 실행하여 악의적이고 신뢰할 수 없는 참가자를 인식하여 중독공격을 방어하고, 클라이언트에 로컬 차등 프라이버시 기술을 적용하여 노이즈를 모델 매개변수에 추가 함으로써 공격자가 모델 매개변수에 접근 하더라도 원래의 모델 매개변수와 로컬 데이터를 복구할 수 없도록 하여 멤버십 추론 공격 방지를 시도하였다.

Mugunthan 등[11]은 블록체인과 스마트 컨트랙트의 분산 특징을 활용하였고, 개인정보 보호를 위해 각 클라이언트에 대한 평가를 진행하여 측정된 평가 점수를 기반으로 인센티브를 제공함으로써 책임있는 연합학습 프레임워크를 제안하였다. 해당 프레임워크의 목표는 로컬 데이터 세트의 개인정보 보호와 악의적인 공격자에 대한 대응 기여도에 비례하여 보상하는 것이며, 차등 프라이버시 도입과 모델 기여를 위한 새로운 감사메커니즘이 도입되었다. 평가점수는 클라이언트의 모델을 공유하여 정확도를 평가하고, 다른 클라이언트들로부터 측정된 점수의 중앙값을 구하여 평가점수를 설정한다. 만약 측정된 중앙값이 낮으면 해당 클라이언트는 성능이 낮은 모델을 등록했다고 간주되어 부정적인 영향을 받게 된다. 제안된 프레임워크는 중앙 집중식 검증 데이터 세트나 신뢰 가능한 감사자가 필요하지 않으며, 완전히 분산되어 있어 악의적인 공격자가 존재하는 상황에 대하여 최대 50%의 담합 공격에 대해 내성을 가진다.

LO Sin Kit 등[12]은 블록체인 기반의 연합학습 시스템을 제안하여 신뢰할 수 있는 연합학습의 책임성 문제를 해결하고자 했다. 블록체인의 투명성 특성과 불변성 특성을 활용하여 감사 가능성을 보장하고, 시스템의 책임성을 향상시켰다. 학습 라운드에서 클라이언트는 데이터 버전과 로컬 모델 매개변수을 데이터 모델 레지스트리 스마트 컨트랙트에 해시값으로 업로드하며, 중앙서버는 해시된 글로벌 모델 매개변수를 스마트 컨트랙트로 전송한다. 스마트 컨트랙트에서는 로컬 및 글로벌 모델 매개변수의 해시 값이 구조모델에 기록되며, 업로드한 정보는 수정할 수 없다. 블록체인을 사용하여 로컬 및 글로벌 모델 버전의 해시 값을 저장하면 데이터 모델의 출처를 얻을 수 있고, 사용자는 학습 모델 성능을 감사할 수 있다. 이러한 작업 로그는 블록체인의 고유한 특징인 변조방지 설계로 인해 수정이나 제거가 불가능하며, 이는 연합학습의 감사 추적에 대한 증거를 제공함과 동시에 블록체인 내 책임성을 보장하고 시스템의 신뢰성을 향상시킬 수 있음을 의미한다.

Yuzheng Li 등[13]은 악의적인 목적을 가진 클라이언트의 공격, 중앙 서버의 글로벌 모델에 대한 공격, 사용자 개인정보 데이터에 대한 지속적인 공격 등 기존 연합학습의 보안 문제를 해결하기 위해 위원회 합의가 있는 블록체인 기반 분산형 연합학습 프레임워크(BFLC)를 제안하였다. 이 프레임워크는 스마트 컨트랙트와 트랜잭션을 통해 중앙 서버의 기능을 대체하여 구현하였다. BFLC에서 블록체인은 글로벌 모델 블록과 로컬 모델 블록으로 구성되며, 학습 참여 클라이언트 중 평판 점수가 높은 소수의 클라이언트를 선출하여 로컬 모델을 검증하는 위원회를 구성하였다. BFLC의 학습 성능은 개인정보 보호 기능을 갖추면서 약 1% 이내로 근접하는 성능을 보이며, 기존 연합학습 방식과 비교하였을 때, 보안 문제를 효과적으로 해결할 수 있다는 장점이 있다.

현재 연합학습에서는 [10]-[13]의 선행 연구와 같이 블록체인의 신뢰성과 스마트 컨트랙트의 자동화를 이용하여 중앙 서버를 대체하는 연합학습 프레임워크에 대한 연구가 진행되고 있다. 그러나 중앙 서버가 없는 연합학습 시스템에서는 글로벌 모델을 업데이트하기 위해 모델이 블록체인에 업로드되고, 각 클라이언트 간 모델을 공유해야 한다. 이로 인해 악성 클라이언트는 쉽게 정상 모델을 획득할 수 있는 문제가 발생한다.

그림 3은 최종 글로벌 모델을 업데이트하기 전 가중치를 취합하는 단계에서 그림 1의 일반적인 연합학습 프로세서와 달리 각 클라이언트에 대한 신뢰도 점수를 계산하고, 이는 클라이언트를 선택하는 과정이 존재함을 보여준다. 신뢰도 점수는 글로벌 모델 업데이트에 반영되는 클라이언트의 가중치 비율을 결정하는 데 사용된다. 이 신뢰도 점수는 각 학습 데이터의 품질과 성능 기여도를 고려하여 계산되며, 악성으로 판단되는 클라이언트나 성능이 낮고 기여도가 적은 클라이언트는 모델 학습에서 제외되어 모델의 성능을 향상시킬 수 있다.

Fig. 3. 
Trust score based federated learning system architecture

연합학습에 참여하는 클라이언트는 신뢰도 점수를 통해 선택된다. 신뢰도 점수는 각 라운드에서 평가 정확도를 사용하여 계산한다. 신뢰도 점수 계산은 식 (3), (4), (5)으로 구성되며 최종적인 신뢰도 점수는 수식 (6.a)과 (6.b)를 통해 계산된다.

식 (3)는 다른 클라이언트의 평균 정확도와 비교하여 클라이언트의 성능을 평가하기 위해 사용된다. 식 (3)을 사용하여 계산된 값이 양수인 경우, 해당 클라이언트는 평균 이상의 성능을 보이는 정상 클라이언트로 간주 되고, 계산된 값이 음수인 경우에는 악성 클라이언트로 간주한다. 그러나 평가된 클라이언트는 다른 클라이언트의 평균 성능과 비교하기 때문에 정상 클라이언트 임에도 평균 성능 이하 가능성이 반드시 존재한다. 이에 따라 식 (3.a)를 통해 정상 클라이언트의 성능이 ϵ_p 이내의 오차범위 내에 있을 경우 그 값을 0으로 처리하여 해당 정상 클라이언트가 악성 클라이언트로 간주 되는 것을 방지한다.

식 (4)는 신뢰도 점수 계산의 대상이 되는 클라이언트를 제외하고 이를 취합한 임시 모델을 생성한다. 또한, 글로벌 모델의 업데이트를 위해 전체 클라이언트에 대한 모델을 취합하고 반영했을 때의 결과를 비교한다. 이 요소는 양의 값일 경우 글로벌 모델 개선에 긍정적인 영향을 주는 클라이언트라 판단할 수 있고, 최종 글로벌 모델을 생성할 때 각 클라이언트가 모델에 미치는 영향을 판단할 수 있다. 식 (4)의 값은 평균보다 높은 성능을 보이는 클라이언트의 가중치를 포함하고 있고, 취합된 글로벌 모델이 항상 더 나은 성능을 보이지 않는 경우가 존재하기 때문에 식 (4.a)와 같이 ϵ_q 이내의 오차 범위 안의 결과값을 0으로 처리하여 낮은 성능을 보이는 정상 클라이언트가 악성 클라이언트로 분류되는 상황을 방지한다.

식 (5)는 학습 클라이언트의 데이터가 변경된 상황(U =False)에서만 반영되고, 이전 라운드에서의 정확도와 비교한다. 식 (5)의 수치에 따라 모델 성능개선에 기여 가능한 데이터의 추가 여부를 판단할 수 있다, 그러나 정상 데이터가 추가되었더라도 추가된 데이터는 이전까지 학습된 글로벌 모델에 사용하지 않았던 새로운 데이터이기 때문에 정상 데이터임에도 성능이 감소하는 상황이 발생할 수 있다. 이에 따라 식 (5.a)를 통해 ϵ_r 이내의 오차 범위 안의 결과값을 0으로 처리하여 새로운 정상 데이터가 사용되는 상황을 고려하도록 한다.

식 (3), (4), (5)을 반영한 최종 신뢰도 점수 수식은 클라이언트의 데이터가 이전 라운드의 학습 데이터와 비교하여 동일한 경우(U =True)는 식 (6.a), 동일하지 않는 경우(U =False)는 식 (6.b)를 통해 계산된다. 각 클라이언트에 부여되는 신뢰도 점수는 라운드마다 학습을 마치고 글로벌 모델 업데이트를 위한 가중치 집계 과정에서 가중치 반영 비율을 결정하기 위해 사용된다.

그림 4의 신뢰도 점수 기반 연합학습 알고리즘은 학습에 참여하는 클라이언트에서 가중치와 정확도를 기준으로 신뢰도 점수를 결정하고, 계산된 점수를 통해 가중치 취합 비율과 다음 학습 라운드에 참여할 클라이언트를 결정한다. 신뢰도 점수를 계산하고 학습하는 과정은 다음과 같다. 연합학습을 시작하기 전 참여하는 모든 클라이언트의 학습 참여 기회 Counti와 신뢰도 점수 TSi는 0으로 초기화하며, TSi값은 매 라운드가 시작할때 0으로 초기화한다. 신뢰도 점수 TSi를 계산하기 전에 각 클라이언트의 이전 라운드와 현재 라운드 학습에 사용한 데이터의 변경 여부를 확인한다. 데이터의 변경 여부에 따라 식 (6.a)와 식 (6.b)의 수식을 반영하여 각 클라이언트의 신뢰도 점수 TSi를 계산한다. 신뢰도 점수 TSi가 0보다 작은 값을 갖는 클라이언트는 Counti값에 1을 더하고, Counti값이 학습 참여 기회 임계치 c값을 넘어가는 클라이언트는 연합학습에 참여할 수 없도록 학습 참여 클라이언트 집합에서 제거한다. 신뢰도 점수 TSi가 0보다 큰 클라이언트 집합에서 Counti값이 0보다 큰 클라이언트는 학습에 긍정적인 기여를 한 보상으로 Counti값이 0보다 큰 경우 0.5만큼 차감시켜 정상적인 클라이언트임에도 악성 클라이언트로 분류되어 학습에서 제외되는 상황을 방지한다. 신뢰도 점수 TSi에 따라 각 가중치는 재조정되며, 최종 글로벌 모델은 재조정된 가중치를 모두 더한 값이 된다. 이때, 신뢰도 점수 TSi가 0보다 작지만 Counti값이 학습 참여 기회 임계치를 넘지 않는 가중치는 글로벌 모델을 업데이트하는데 포함되지 않는다. 그러나 다음 학습 라운드에서 글로벌 모델을 받아 학습에 참여할 수 있다.

Fig. 4. 
Trust Score based Federated Learning(TSFL) algorithm

신뢰도 점수 기반 연합학습은 일반적인 학습 프로세스와 비교하여 로컬 모델을 학습하고 최종 글로벌 모델을 업데이트하는 과정 사이에 신뢰도 점수를 계산하여, 다음 학습 라운드에 참여할 클라이언트를 결정하는 과정이 존재한다. 그림 5의 신뢰도 점수 기반 연합학습의 프로세스는 다음과 같다.

• ① : 서버는 학습에 참여할 클라이언트를 선택한다.
• ② : ①에서 선택한 클라이언트에 글로벌 모델을 배포한다.
• ③ : 각 클라이언트는 ②에서 전달받은 모델을 보유한 데이터로 학습하고, 도출된 가중치를 서버에 전송한다.
• ④ : 서버는 클라이언트의 신뢰도 점수를 계산하기 전에 각 클라이언트의 데이터 변경 여부를 확인한다. 이를 위해 이전 라운드와 현재 라운드에서 학습에 사용된 데이터의 해시값을 비교한다.
• ⑤ : ④에서 확인된 데이터 변경 여부에 따라 식 (6.a)와 (6.b)를 적용하여 신뢰도 점수 TSi를 계산한다.
• ⑥ : TSi 가 0보다 작은 값을 가지면, 클라이언트 Ci는 모델을 개선에 긍정적 기여를 하지 못하는 클라이언트로 판단하고 Counti에 1을 더한다. TSi가 0보다 크거나 같은 값을 가질 때 학습에 긍정적 기여를 한 보상으로 클라이언트의 Counti값이 0보다 큰 경우 0.5만큼 차감하여 누적된 Counti값으로 인해 정상적인 클라이언트가 악성 클라이언트로 분류되어 학습에서 제외되는 상황을 방지한다.
• ⑦ : Counti을 학습 참여 기회에 대한 임계치 값인 c와 비교한다. TSi가 0보다 작은 값을 갖더라도 Counti값이 c값을 초과하지 않는 경우에 다음 학습 라운드에 참여할 수 있도록 하고, Counti값이 c값을 초과하는 클라이언트는 라운드가 진행되는 동안 긍정적 기여를 하지 못했다고 판단하고 학습에 참여할 수 없도록 제거한다.
• ⑧ : 글로벌 모델을 업데이트할 때, TSi값이 임계치인 0보다 큰 클라이언트의 가중치만 집계한다. TSi는 글로벌 모델을 업데이트할 때, 각 클라이언트의 가중치 반영 비율을 결정하는데 사용한다.

Fig. 5. 
Trust score based federated learning process

블록체인을 활용한 평가점수 기반 연합학습 BlockFLow[13]과 FedAVG 기반의 연합학습 방법, TSFL 방법을 이용하여 데이터 중독공격을 수행하는 악성 클라이언트 여부에 따른 학습 정확도를 비교 및 평가하였다. 블록체인을 활용한 평가점수 기반 연합학습 BlockFLow에서는 모든 클라이언트가 자신이 보유한 데이터셋을 이용하여 다른 모델을 평가한다. 평가점수는 모델을 공유한 각 클라이언트의 로컬 모델에 대해 보고된 점수의 중앙값과 보고한 점수, 중앙값 사이의 최대 차이의 역수 중 더 작은 값으로 결정된다. 만약 클라이언트의 모델 성능이 낮으면 보고된 점수의 중앙값이 낮을 것이라 보인다. 또한, 거짓으로 부정확한 평가를 보고하는 경우에 보고한 점수와 중앙값의 차이가 큰 차이를 보이기 때문에 학습에 부정적인 영향을 미칠 수 있다. 이때 보고한 점수와 중앙값 사이의 역수는 역수를 구하는 대신 max0,0.5-x0.5+x를 취해 보고된 점수의 중앙값과 보고한 점수가 0.5 이상 벌어지는 경우 0으로 만들어 올바른 평가를 제출하도록 유도한다. 연합학습 환경으로 학습에 참여하는 10개의 클라이언트 구성과 15번의 라운드를 진행하였다. 실험에는 Fashion-MNIST 데이터와 MNIST 데이터를 사용하였으며, 악성 데이터는 다른 레이블로 지정하는 label-flipping 방식으로 학습과 관계없는 데이터를 학습에 사용하였다. 또한, 모든 클라이언트는 3000개의 데이터를 보유한 상태로 학습에 참여하고, 특정 라운드에 각 500개의 데이터가 추가되여, 최종적으로 6000개의 데이터를 갖는 상황을 구성하였다.

그림 6의 시나리오 S1, S2, S3는 label-flipping 공격방법을 활용하였고, 공격에서 사용되는 데이터 수의 차이에 따른 모델 성능을 비교하기 위한 시나리오로 사용하였다. 반면에 S4는 label-flipping 공격방법이 아닌 학습과 관련 없는 데이터를 활용한 방법을 활용하였으며, 공격에서 사용되는 데이터의 개수가 S3과 동일하지만, 모델과 관련된 데이터인지에 대한 여부에 따른 성능 비교를 위한 시나리오로 사용하였다.

Fig. 6. 
Scenario specific data and labels