[發明專利]一種基于特征訓練的聯邦學習中毒防御方法和裝置在審
| 申請號： | 202211722198.5 | 申請日： | 2022-12-30 |
| 公開（公告）號： | CN116028933A | 公開（公告）日： | 2023-04-28 |
| 發明（設計）人： | 陳晉音;劉濤;李明俊 | 申請（專利權）人： | 浙江工業大學 |
| 主分類號： | G06F21/56 | 分類號： | G06F21/56;G06N3/098;G06N3/084 |
| 代理公司： | 杭州求是專利事務所有限公司 33200 | 代理人： | 邱啟旺 |
| 地址： | 310014 浙*** | 國省代碼： | 浙江;33 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 特征 訓練 聯邦 學習 中毒 防御 方法 裝置 | ||
1.一種基于特征訓練的聯邦學習中毒防御方法，其特征在于，包括以下步驟：
(1)初始化聯邦學習訓練環境：本地設置有M個客戶端pj參與聯邦訓練，云端設置1個服務器，其中，j＝1,2…,j,…,M；所述服務器由全連接層和非連接層組成；
(2)開始聯邦學習訓練前，本地的每個客戶端上傳數據集信息，云端的服務器根據上傳的數據集信息收集得到檢測數據集X：X＝{x1,x2,…,xi,…,xn}，其中，xi表示第i個檢測數據，i＝1,2…,i,…,n；每個檢測數據xi都有對應的真實標簽yi，得到檢測數據集X的標簽集合Y：Y＝{y1,y2,…,yi,…,yn}；標簽集合Y總共包含R種標簽：{Y1,Y2,…,Yr,…,YR}，其中，Yr表示第r種標簽類別，r＝1,2…,r,…,R；
(3)服務器將初始全局模型參數發送給本地的每個客戶端，開始聯邦學習訓練；
(4)進行第k輪的聯邦學習訓練，每個客戶端pj通過總體損失函數進行本地模型訓練，得到總體損失函數函數的梯度估計通過梯度估計得到本輪更新的本地模型參數客戶端pj將本地模型參數和標簽信息上傳給服務器；所述本地模型參數由本地模型的非連接層的參數和本地模型的全連接層的參數組成：
(5)服務器在收到標簽信息后，對每個客戶端pj生成相應的嵌入特征針對每一種標簽類別Yr生成相對應的聚合嵌入特征得到{Y1,Y2,…,Yr,…,YR}相對應的聚合嵌入特征集合：
(6)服務器對上傳的本地模型的非連接層的參數進行聚合，得到更新后的全局模型的非全連接層的參數服務器通過通過{Y1,Y2,…,Yr,…,YR}和對應的聚合嵌入特征集合得到更新后的全局模型的全連接層的參數隨后得到更新后的全局模型參數并將更新后的全局模型參數下發給各個客戶端進行下一輪聯邦學習訓練；
(7)重復步驟(4)-步驟(6)，直至全局模型收斂，得到最后一輪的全局模型參數，用于基于特征訓練的聯邦學習中毒防御。
2.根據權利要求1所述的一種基于特征訓練的聯邦學習中毒防御方法，其特征在于，所述步驟(4)具體包括以下子步驟：
(4.1)對于第k輪聯邦學習訓練，任意一個客戶端pj收到全局模型參數后，所述全局模型參數為其中，為全局模型的非全連接層的參數，為全局模型的全連接層的參數；
根據本地數據進行本地模型訓練；客戶端pj第在k輪的總體損失函數表示為：
其中，表示客戶端pj在第k輪聯邦學習訓練過程中使用的本地數據；表示全局模型參數與變量的預測損失函數；表示變量的期望；表示本地數據中的任意一個檢測數據，表示檢測數據相對應的真實標簽；
然后可以得到關于總體損失函數函數的梯度估計
通過對梯度估計的反向傳播，得到本輪更新的本地模型參數
其中，ηk表示第k輪聯邦學習訓練的學習率；
所述本地模型參數由本地模型的非連接層的參數和本地模型的全連接層的參數組成：
(4.2)本地數據包含種標簽，其中，客戶端pj將本地模型參數與包含種標簽的標簽信息上傳給服務器，所述為
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于浙江工業大學，未經浙江工業大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202211722198.5/1.html，轉載請聲明來源鉆瓜專利網。
