[發明專利]一種針對聯合學習中噪聲攻擊的防御方法

有效

• 申請號: 202011081206.3
• 申請日: 2020-10-12
• 公開（公告）號: CN112329009B
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 李駿;韋康;馬川;周程安;梁騰
• 申請（專利權）人: 南京理工大學
• 主分類號: G06F21/55
• 分類號: G06F21/55;G06N20/20;G06N3/08;G06F17/18
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 薛云燕

本發明公開了一種針對聯合學習中噪聲攻擊的防御方法。該方法為：在聚合端聚合用戶上傳的參數之前，由服務器預先檢驗用戶的可信度，并據此設置聚合時各個用戶的權重，步驟如下：服務器利用已有公共數據產生初始模型，并分發給參與訓練的用戶端；每個用戶端在本地更新模型，然后將結果上傳至服務器；從第二輪上傳開始，服務器計算每個用戶端上傳的模型參數與前一次上傳參數之間的相關性，并將得到的所有相關性結果進行歸一化處理，以此作為聚合時每個用戶端的權重，生成新的全局模型；新的全局模型將再次被發送給所有用戶端開始新一輪的訓練，直到達到系統結束要求。本發明有效地防御了噪聲攻擊，提高了訓練模型的精度，成本低廉且易于實現。

技術領域

本發明屬于機器學習中的隱私與安全問題技術，特別是一種針對聯合學習中噪聲攻擊的防御方法。

背景技術

機器學習中的隱私與安全問題是大數據時代非常重要的研究領域之一。隨著數據挖掘等技術的深入發展，個人隱私通過數據泄露的現象越來越常見，甚至出現了大規模的信息泄露事件。此外，各種機器模型越發成熟且得到廣泛應用，包括金融、醫療、國家安全等多種敏感領域，模型的安全性顯得愈發重要。因此，在機器學習模型中部署針對可能存在的惡意攻擊者的防御算法得到廣泛關注(BuczakA,Guven E.A Survey ofData Mining andMachine Learning Methods for Cyber Security Intrusion Detection[J].IEEECommunications SurveysTutorials,2017,18(2):1153-1176.)。

聯合學習是將訓練數據分布在移動設備上，通過聚集本地計算的更新來學習一個共享的模型(Mcmahan HB,Moore E,Ramage D,et al.Communication-Efficient Learningof Deep Networks from Decentralized Data[J].2016.)。聯合學習由谷歌首先提出，主要用于安卓移動端的自然語言處理等問題，是分布式學習的一種。在聯合學習架構中，存在一個中央服務器與大量的用戶端，服務器會將統一的初始模型分發給所有用戶端，各個用戶端利用自己的私人數據進行本地訓練，再將得到的結果(模型或者梯度等)重新上傳到服務器進行聚合；聚合后的結果會作為下一次本地訓練的初始模型再一次發送到用戶端的手中。服務器會持續這樣的流程直至整個訓練結束。與傳統的分布式學習不同，服務器對用戶的數據。在這樣的規則下，用戶不需要將自己的數據上傳也能達到信息交流的效果，既有效的保護的了自己的隱私，也提高了訓練模型的泛化性，從而有力的解決了“數據孤島”問題。

模型中毒攻擊是一種自然而強大的攻擊類，其中對手可以控制部分用戶端并直接操作對中央服務器的更新(Advances andOpen Problems in Federated Learning[J].2019.)。惡意的用戶端可以利用這些有缺陷的上傳來改變整個模型的邊界，導致它以錯誤的方向更新。具體地說，模型中毒攻擊的目標通常有兩個級別：無目標攻擊和有目標攻擊。無目標攻擊者通常以降低系統性能甚至破壞整個模型為目的，而目標攻擊者只會在具有特定屬性的樣本上使模型失效。因此前者往往更具破壞性，而后者更難以檢測。在分布式系統中，如果惡意用戶端產生任意輸出(比如拜占庭式攻擊)，這將是最糟糕的情況之一，而噪聲攻擊是常見的無目標模型中毒攻擊方式。因此針對聯合學習的彈性聚合方式是研究的重點方向。

在當前的防御算法中，比較流行的是服務器端對每個用戶上傳的模型進行質量檢測(陳晉音,張龍源.基于信用評估的面向聯邦學習中毒攻擊的防御方法[P].浙江省：CN111598143A,2020-08-28.)，服務器利用測試集對用戶上傳的模型進行測試，并以此結果對用戶進行信用評估，從而達到保護系統的目的。然而這種方法要求服務器具備額外的檢測數據集，如果使用公共的數據集作測試的話，易被攻擊者掌握先驗知識而有所準備；如果自己準備私人數據的話，為了測試的準確性需要制作大量的數據，成本較大；此外，對用戶進行逐一的驗證也增大了系統的計算開銷。

發明內容