[發明專利]一種聯邦學習中異常節點的檢測方法及系統

有效

• 申請號: 202110020440.3
• 申請日: 2021-01-07
• 公開（公告）號: CN112749392B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 郭晶晶;李海洋;劉玖樽;熊良成;田思怡;馬建峰;高華敏
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06F21/56
• 分類號: G06F21/56;G06F21/57;G06N20/20
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 房鑫

一種聯邦學習中異常節點的檢測方法及系統，檢測方法包括以下步驟：系統初始化，進行用戶注冊、系統參數生成與密鑰協商；掩碼本地模型生成；惡意用戶檢測，包括服務器端進行本地模型聚合，生成混淆聚合模型，用戶端對混淆聚合模型進行驗證生成驗證結果，服務器端根據用戶端驗證結果進行惡意用戶檢測；服務器利用非惡意用戶上傳的掩碼本地模型進行模型聚合，得到當前迭代輪的全局模型并發送給用戶，用戶根據收到的全局模型進行本地模型更新。檢測系統由一個聚合服務器，一個信任權威以及若干個用戶組成。本發明能在保證各用戶隱私的同時提高全局模型的可信度與精確度，實現安全、可靠的聯邦學習。

技術領域

本發明屬于網絡空間安全領域，具體涉及一種聯邦學習中異常節點的檢測方法及系統。

背景技術

聯邦學習(Federated Learning)是近年提出的一種機器學習方式，其特點是多個用戶利用自身擁有的數據在服務器的配合下協作訓練模型。用戶首先利用其本地數據進行模型訓練；然后將訓練得到的本地模型上傳至服務器；接著，服務器利用某種聚合規則對接收到的用戶本地模型進行聚合，從而得到全局模型供所有用戶共享。這種機器學習范式可以使得各用戶的訓練數據不會與其他用戶及中心服務器共享，從而保護用戶的數據隱私，該特性使得聯邦學習在近年來受到了學術界與工業界的極大關注并得到了快速發展。

現有的多數聯邦學習算法均假設所有參與聯邦學習的節點是誠實可信的，但實際情況中這種假設很難成立。有學者證實了通過分析用戶上傳的本地模型也可以得到用戶的隱私信息，并設計了相應的隱私保護聚合規則，令服務器無法直接觀察到每個用戶的本地模型，從而有效地保護了用戶的數據和模型隱私。與此同時，也給惡意用戶(又被稱為拜占庭節點)上傳異常(有意或無意)的本地模型提供了更多的機會，惡意用戶可以向服務器提交任意生成的參數作為其本地模型，從而影響整個聯邦學習過程，令中心服務器最終得到不準確的全局模型。因此，檢測惡意用戶上傳的錯誤模型并防止這些錯誤模型對全局模型造成影響是關系到聯邦學習能否能得到廣泛應用的重要前提。

發明內容

本發明的目的在于針對上述保護隱私的聯邦學習系統中存在惡意用戶可以發送任意本地模型導致聚合服務器生成不準確的全局模型的問題，提供一種聯邦學習中異常節點的檢測方法及系統，通過消除這些節點所上傳的惡意模型對整個學習過程的影響，從而保證聯邦學習系統訓練結果的可信性與準確性。

為了實現上述目的，本發明有如下的技術方案：

一種聯邦學習中異常節點的檢測方法，包括以下步驟：

步驟一、系統初始化，包括用戶注冊、系統參數生成與密鑰協商；

步驟二、掩碼本地模型生成；

步驟三、惡意用戶檢測，包括服務器端進行本地模型聚合，生成混淆聚合模型，用戶端對混淆聚合模型進行驗證生成驗證結果，服務器端根據用戶端驗證結果進行惡意用戶檢測；

步驟四、服務器利用非惡意用戶上傳的掩碼本地模型進行模型聚合，得到當前迭代輪的全局模型并發送給用戶，用戶根據收到的全局模型進行本地模型更新。

作為本發明的一種優選方案，所述的步驟一具體包括：

(1.1)用戶u_i注冊聯邦學習系統，首先向信任權威TA發送數據[d_i,MAC,nonce]，其中d_i為用戶u_i的本地數據量，MAC為用戶u_i的MAC地址，nonce為其生成的隨機數；

(1.2)服務器根據接收到的數據為用戶u_i生成其身份標識發送給用戶u_i與聚合服務器AS，然后利用KA.param算法生成系統參數pp＝[G,p,g,H]，將參數[G,p,g,H]分發給所有用戶；