[發明專利]一種橫向聯邦學習系統防御方法

在審

• 申請號: 202310223506.8
• 申請日: 2023-03-09
• 公開（公告）號: CN116523078A
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 苗銀賓;雷宇和
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06N20/20
• 分類號: G06N20/20;G06N3/082
• 代理公司: 杭州一串數字知識產權代理有限公司 33437
• 代理人: 鄭澤萍

本發明公開了一種橫向聯邦學習系統防御方法，包括以下步驟：步驟1，輸入:梯度集{gi(t)}n?i＝1，梯度模的下界L，上界R，統計抽樣比例β，抽樣維度數a，輸出:聚合梯度gˉ(t)，初始化:計算每個梯度gi(t)的模{∥gi(t)∥}n?i＝1；步驟2，基于梯度模的過濾：計算梯度模的中值M＝median{∥gi(t)∥2}n?i＝1，將滿足L≤∥g(t)i∥2M≤R的梯度加入到集合S1中。本發明提供一種橫向聯邦學習系統防御方法，通過計算梯度之間的符號統計信息、余弦分數以及異常分數作為Mean?Shift聚類特征，然后利用Mean?Shift聚類算法不需要指定聚類個數的特點進行聚類，從中選擇具有最多元素的簇作為最終可信集合，有效防御非定向模型投毒攻擊，提高聯邦學習系統的防御有效性。

技術領域

本發明涉及聯邦學習領域，具體為一種橫向聯邦學習系統防御方法。

背景技術

聯邦學習的主要目的是在本地化數據集上建立聯合機器學習模型，同時提供隱私保證，這對于許多新興場景來說是一種有吸引力的技術，不同于其他集中式的深度學習，聯邦學習需要多個分布式學習者共同學習，學習過程由中央服務器協調。

然而聯邦學習的分布式結構以及節點與中心節點間的通信行為，傳統的網絡攻擊方法容易成為新的模型投毒方式，數據投毒后門攻擊傾向于在神經網絡學得的特征表示的協方差頻譜中留下可檢測的痕跡，即頻譜特征，利用這種痕跡來識別和去除投毒數據，致使聯邦學習系統的防御有效性降低。

發明內容

(一)解決的技術問題

針對現有技術的不足，本發明提供了一種橫向聯邦學習系統防御方法，解決了的問題。

(二)技術方案

為實現上述目的，本發明提供如下技術方案：一種橫向聯邦學習系統防御方法，其特征在于，包括以下步驟：

步驟1，輸入:梯度集{gi(t)}n?i＝1，梯度模的下界L，上界R，統計抽樣比例β，抽樣維度數a，輸出:聚合梯度g-(t)，初始化:計算每個梯度gi(t)的模{∥gi(t)∥}n?i＝1；

步驟2，基于梯度模的過濾：計算梯度模的中值M＝median{∥gi(t)∥2}n?i＝1，將滿足L≤∥g(t)i∥2M≤R的梯度加入到集合S1中；

步驟3，基于符號統計量、余弦分數和異常分數的聚類，根據比例β隨機選擇梯度坐標的子集，在隨機坐標子集上計算梯度的符號統計量{(pi,zi,ni)}ni＝1，輸入{gi(t)}ni＝1執行余弦分數計算算法得到{simi}ni＝1，輸入{gi(t)}ni＝1與a執行異常分數計算算法得到{dnci}ni＝1，將{(pi,zi,ni,simi,dnci)}ni＝1作為輸入訓練一個Mean-Shift聚類模型，選擇具有最多元素的簇，將其中的梯度加入到集合S2中；

步驟4，聚合：求S1和S2的交集得到可信集合St，計算聚合梯度g^-(t)＝1|St|∑gi(t)∈St?gi(t)·min(1,Mg(i)t)，Return?g^-(t)。

優選的，步驟4中，聚合服務器的梯度聚合階段，采用SignGuard-SaD算法，其步驟為：輸入:學習率η，總迭代數T，客戶數n，初始化:初始化模型參數W(0)∈Rd，for?t?in{1,2,···,T}do，每一個用戶i執行：從數據集Di中隨機抽小批量樣本集b來計算隨機梯度gi(t)，將梯度gi(t)上傳給聚合服務器，等待接收聚合服務器下發的全局梯度g^-(t)，更新本地模型Wi(t)＝Wi(t-1)-ηg^-(t)。

優選的，聚合服務器的執行步驟為：

收集所有用戶發來的本地梯度gi(t)；

計算全局梯度g^-(t)＝SignGuard-SaD({gi(t)}n?i＝1；