[發明專利]基于服務器和客戶端雙重檢測的聯邦學習中毒攻擊的防御方法

有效

• 申請號: 202110872091.8
• 申請日: 2021-07-30
• 公開（公告）號: CN113688387B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 陳潔;陳昂
• 申請（專利權）人: 華東師范大學
• 主分類號: G06F21/56
• 分類號: G06F21/56;G06F21/57;G06F18/241;G06F18/214;G06N20/20
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

本發明公開了一種基于服務器和客戶端雙重檢測的聯邦學習中毒攻擊的防御方法，其特點是在服務器不訪問客戶端訓練數據的前提下，通過獲取客戶端正常進行聯邦學習模型訓練與模擬中毒攻擊下的聯邦學習模型訓練的結果，作為中毒攻擊檢測器的訓練數據集，從而為每個客戶端訓練一個中毒攻擊檢測器。服務器根據中毒攻擊檢測器的結果，選出可疑客戶端和可信客戶端，再通過綜合可信客戶端對可疑客戶端的評分，來完成中毒攻擊檢測，從而降低了服務器端異常檢測的誤報率。本發明能在保證準確率的前提下高效地完成聯邦學習背景下的中毒攻擊檢測。

技術領域

本發明涉及人工智能技術領域，具體而言，涉及聯邦學習中的中毒攻擊的防御方法。

背景技術

聯邦學習是在人工智能發展下提出的一種新的計算架構。它通過加密機制下的參數交換方式，做到了各個參與方不共享訓練數據的情況下學習全局預測模型，避免了分散在多個客戶端上的敏感數據的隱私泄露。在聯邦學習中，服務器維護一個全局模型；客戶端下載當前全局模型后，根據本地數據的訓練后計算更新模型，然后將更新返回給服務器；服務器聚合所有客戶端的更新結果后，生成一個新的全局模型。

在傳統的機器學習中，攻擊者可以通過改變訓練數據的標簽、修改數據、將設計良好的參數注入訓練模型來實現中毒攻擊。然而，由于聯邦學習中訓練數據在各個參與方本地，其他參與方無法訪問及訓練的模型結構由服務器定義且公開的特性，所以上述方法無法在聯邦學習中實現。然而，這并不意味著聯邦學習不會遭受到中毒攻擊。攻擊者可以通過創建臟標簽數據進行本地訓練后，生成模型更新結果或者直接精心制作一份更新的結果上傳給服務器以毒害全局模型，從而削弱全局模型的訓練效果。

目前，聯邦學習中的中毒攻擊檢測方法比較有限。由于聯邦學習中服務器無法訪問客戶端訓練數據，因此，人們認為利用可信數據來訓練異常檢測器、識別與類相關的特征來檢測客戶端中的中毒攻擊的方法是不可行的。因此，目前的方法主要基于觀察各個客戶端的更新。使用k-means算法對客戶端更新進行聚類進行中毒攻擊檢測的方法需要假設攻擊者每一輪都執行攻擊，且已被證明單輪攻擊有效。檢查更新的余弦相似度的方法已被證明不能防御單個惡意客戶端。因此，如何穩定準確地檢測出惡意客戶端的中毒攻擊，是目前聯邦學習中的一個難題。

發明內容

本發明的目的是為了解決聯邦學習中惡意客戶端上傳惡意更新參數來削弱全局模型效果的問題，探索了一種服務器在不訪問客戶端訓練數據的前提下，訓練異常檢測器的方法。同時，本發明還添加了可信客戶端評分的過程，降低了服務器端異常檢測的誤報率，從而提供了一種高效、準確的基于服務器和客戶端雙重檢測的聯邦學習中毒攻擊的防御方法，克服了傳統k-means算法需要假設攻擊者每一輪都執行攻擊的弊端，并且能有效防御單個惡意客戶端。

本發明的目的是這樣實現的：

一種基于服務器和客戶端雙重檢測的聯邦學習中毒攻擊的防御方法，服務器在不訪問客戶端訓練數據的前提下，為每個參與聯邦學習的客戶端維護一個中毒攻擊檢測模型，并結合可信客戶端的評分來檢測中毒攻擊；特點是所述方法包括以下步驟：

步驟1：中毒攻擊檢測模型訓練

服務器為每個客戶端初始化一個用于中毒攻擊檢測的二分類模型，接收各個客戶端提供的訓練參數，針對每個客戶端訓練一個中毒攻擊檢測模型；

步驟2：服務器端中毒攻擊檢測

服務器用步驟1所述中毒攻擊檢測模型對對應的客戶端進行中毒攻擊概率預測，將客戶端分為可疑客戶端和正?？蛻舳?；特別地，將正?？蛻舳酥兄卸竟舾怕瘦^低的客戶端標記為可信客戶端；

步驟3：可信客戶端評分

可信客戶端接收可疑客戶端的更新參數，并根據服務器端制定的評分規則對接收到的可疑客戶端進行評分；服務器綜合所有可信客戶端的評分對可疑客戶端是否為中毒攻擊客戶端進行判斷；

步驟4：聯邦學習聚合