[發明專利]一種聯合學習系統的模型更新方法、裝置、設備及介質

在審

• 申請號: 202111528566.8
• 申請日: 2021-12-14
• 公開（公告）號: CN116340958A
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 趙蕾
• 申請（專利權）人: 新智我來網絡科技有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06F21/62;G06F18/22;G06F18/214;G06N20/00
• 代理公司: 北京嘉科知識產權代理事務所(特殊普通合伙) 11687
• 代理人: 楊超

本公開涉及人工智能技術領域，提供了一種聯合學習系統的模型更新方法、裝置、設備及介質。該方法包括：根據中心節點對應的預置標準數據集，對中心節點對應的預設模型進行訓練更新，得到第一模型；其中，預置標準數據集與本地參與方節點對應的本地數據相關；將中心節點對應的全局模型發送至各本地參與方節點，通過各本地參與方節點與相應的本地數據對全局模型進行訓練，得到各本地參與方節點分別對應的第二模型；確定第一模型與各第二模型之間的余弦相似度，根據預設余弦相似度條件篩選出符合條件的第二模型；基于余弦相似度對符合條件的第二模型參數進行聚合處理，以得到全局模型對應的更新參數。

技術領域

本公開涉及人工智能技術領域，尤其涉及一種聯合學習系統的模型更新方法、裝置、設備及介質。

背景技術

聯合學習是一種保護數據隱私的分布數據集的分布式學習范式。經典的聯合學習框架包含中心節點和不同的本地參與方節點，通過各本地參與方節點對模型參數上傳下發實現對全局模型的更新訓練。

現有技術中的聯合學習框架存在安全性問題，比如攻擊者控制著一些惡意客戶端，這些客戶端可以是攻擊者注入的虛假客戶端，也可以是被攻擊者破壞的真實客戶端。惡意客戶端可以在聯合學習訓練過程中，向服務器發送任意的本地模型更新參數，從而降低全局模型更新的精度，以致降低聯合學習的穩定性。

發明內容

有鑒于此，本公開實施例提供了一種聯合學習系統的模型更新方法、裝置、設備及介質，以解決惡意客戶端在聯合學習訓練過程中，向服務器發送任意的本地模型更新參數，從而降低全局模型更新的精度，以致降低聯合學習的穩定性的問題。

本公開實施例的第一方面，提供了一種聯合學習系統的模型更新方法，包括：根據中心節點對應的預置標準數據集，對中心節點對應的第一模型進行訓練更新，得到第一模型；其中，預置標準數據集與本地參與方節點對應的本地數據相關；將中心節點對應的全局模型發送至各本地參與方節點，通過各本地參與方節點對應的本地數據對全局模型進行訓練，得到各本地參與方節點分別對應的第二模型；確定第一模型與各第二模型之間的余弦相似度，根據預設余弦相似度條件篩選出符合條件的第二模型；基于余弦相似度對符合條件的第二模型參數進行聚合處理，以得到全局模型對應的更新參數。

本公開實施例的第二方面，提供了一種聯合學習系統的模型更新裝置，包括：第一模型訓練模塊，根據中心節點對應的預置標準數據集，對所述中心節點對應的第一模型進行訓練更新，得到第一模型；其中，所述預置標準數據集與所述本地參與方節點對應的本地數據相關；第二模型訓練模塊，將所述中心節點對應的全局模型發送至各本地參與方節點，通過所述各本地參與方節點對應的本地數據對所述全局模型進行訓練，得到所述各本地參與方節點分別對應的第二模型；模型挑選模塊，確定所述第一模型與所述各第二模型之間的余弦相似度，根據預設余弦相似度條件篩選出符合條件的第二模型；全局模型獲取模塊，基于所述余弦相似度對所述符合條件的第二模型參數進行聚合處理，以得到全局模型對應的更新參數。

本公開實施例的第三方面，提供了一種電子設備，包括存儲器、處理器以及存儲在存儲器中并且可在處理器上運行的計算機程序，該處理器執行計算機程序時實現上述方法的步驟。

本公開實施例的第四方面，提供了一種計算機可讀存儲介質，該計算機可讀存儲介質存儲有計算機程序，該計算機程序被處理器執行時實現上述方法的步驟。

本公開實施例與現有技術相比存在的有益效果是：通過中心節點對應的預置標準數據集，對中心節點對應的第一模型進行訓練更新，根據第一模型確定出模型更新的信任方向，通過該信任方向確定本地參與方節點模型更新方向是否正確，從而確定出本地參與方節點中的惡意客戶端。其次，通過第一模型與各第二模型之間的余弦相似度不僅能夠將惡意客戶端進行剔除，也能將余弦相似度作為信任分數，根據第二模型與第一模型的信任分數值進行加權計算，得到的全局模型兼顧各第二模型與第一模型的相似度，其精度更高，從而提高聯合學習框架的穩定性。

附圖說明