[發明專利]一種基于對抗樣本檢測的聯邦學習后門防御方法和裝置

在審

• 申請號: 202211525240.4
• 申請日: 2022-11-30
• 公開（公告）號: CN115796273A
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 陳晉音;劉濤;黃國瀚;李榮昌;鄭雅羽;宣琦
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06N3/098
• 分類號: G06N3/098;G06N3/094;G06F18/214;G06F18/23213;G06F18/24
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明公開了一種基于對抗樣本檢測的聯邦學習后門防御方法和裝置，本發明中根據本地模型參數與本地模型參數為每個客戶端生成一個對抗樣本集；利用生成的對抗樣本集對相應的本地模型參數進行測試，得到測試向量集合；并將測試向量集合和干凈測試向量進行K?means聚類，得到良性簇；對屬于良性簇的客戶端的信任分數加1，通過信任分數加1的客戶端的本地模型參數進行聚合，得到更新的全局模型參數。本發明從模型輸入輸出角度分析后門模型與良性模型之間的差異，檢測簡單而高效；使用聚類的方式能夠精確排除后門更新，不影響聯邦學習的正常訓練；引入了信任分數，使得攻擊者發動后門攻擊更加困難。

技術領域

本發明屬于面向聯邦學習后門攻擊安全領域，具體涉及一種基于對抗樣本檢測的聯邦學習后門防御方法和裝置。

背景技術

聯邦學習由于其高效性和隱私保護特性，已廣泛應用于不同的應用中。在聯邦學習中，客戶端基于本地訓練數據和全局模型對模型進行本地訓練，然后將這些更新提供給中央服務器。中央服務器將這些更新組合到新的全局模型中，然后將新的全局模型發送回客戶端進行下一次訓練迭代。聯邦學習根據訓練的特點可以分為水平聯邦學習、垂直聯邦學習和遷移聯邦學習。水平聯邦學習是發展最為火熱的一個，在現實世界中也有了許多部署與研究。一個典型的應用是在車聯網企業中，這些企業往往因為數據的隱私性而無法整合出充足的數據，能夠解決數據孤島問題的聯邦學習自然而然成為了研究的熱點。

然而最近的研究表明，在聯邦學習解決車聯網數據問題的過程中，本地客戶端很容易在訓練期間受到惡意更新的干擾，如“后門”，因為客戶端可以完全控制本地數據和本地訓練過程，通過精心設計更新，以致使全局模型對某類特定的觸發器有效。例如惡意的客戶端可以添加觸發器，指使車輛自動駕駛模型將“紅燈”識別為“加速”，從而導致嚴重的交通事故。后門攻擊引起了極大的安全問題，并已成為阻礙車聯網部署聯邦學習中的嚴峻問題。

鑒于后門攻擊強大的破壞性，許多工作嘗試設計魯棒聚合算法降低后門攻擊的對于聯邦學習的影響。大多數現有防御算法利用良性和惡意模型更新之間的差異，使用基于群集的或基于行為的模型檢查方案來區分良性和潛在的惡意客戶端。雖然這些方法證明了它們在檢測或減輕目標中毒攻擊方面的有效性，但它們的性能通常是不穩定的。此外，另一些防御算法把重心放在了去除模型中的后門上。他們試圖通過對更新向量剪切和添加噪聲來消除后門的影響。然而，噪聲的最佳大小還沒有得到很好的研究，這將嚴重影響模型的性能。

本發明動機利用后門模型中的后門會被一定的對抗樣本觸發，因此在對抗攻擊下后門模型往往會比良性模型更加脆弱。基于這個直覺，本發明提出了一種基于對抗樣本測試的聯邦學習后門防御方法，能夠檢測并且排除車聯網結合聯邦學習下的后門更新。該方法基于服務器手動收集一個小的干凈檢測數據集。對于每個客戶端的更新，服務器使用檢測數據集對其生成對抗樣本，通過這些對抗樣本測試客戶更新模型。利用測試結果進行聚類，排除那些被分成“異常”的更新模型。最后根據累積的測試結果加權形成新的全局模型。

發明內容

本發明的目的在于針對現有技術的不足，提供了一種基于對抗樣本檢測的聯邦學習后門防御方法和裝置。

本發明的目的是通過以下技術方案來實現的：一種基于對抗樣本檢測的聯邦學習后門防御方法，包括以下步驟：

(1)初始化聯邦學習訓練環境：本地設置有M個客戶端參與聯邦訓練，云端設置1個服務器；服務器為每個客戶端分別下發一個初始模型參數θ^k＝0；

(2)開始聯邦學習訓練前，本地的每個客戶端上傳數據集信息，云端的服務器根據上傳的數據集信息收集得到用于車聯網聯邦學習任務的檢測數據集X：X＝{x₁,x₂,…,x_i,…,x_n}，其中，x_i表示第i個檢測數據，i＝1,2…,i,…,n；

(3)服務器將初始全局模型參數發送給本地的每個客戶端，開始聯邦學習訓練；