[發明專利]一種聯合學習系統的模型更新方法、裝置、設備及介質

在審

• 申請號: 202111528566.8
• 申請日: 2021-12-14
• 公開（公告）號: CN116340958A
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 趙蕾
• 申請（專利權）人: 新智我來網絡科技有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06F21/62;G06F18/22;G06F18/214;G06N20/00
• 代理公司: 北京嘉科知識產權代理事務所(特殊普通合伙) 11687
• 代理人: 楊超

1.一種聯合學習系統的模型更新方法，其特征在于，所述聯合學習系統包括中心節點以及至少一個本地參與方節點，所述方法包括：

根據所述中心節點對應的預置標準數據集，對所述中心節點對應的預設模型進行訓練更新，得到第一模型；其中，所述預置標準數據集與所述本地參與方節點對應的本地數據相關；

將所述中心節點對應的全局模型發送至各本地參與方節點，通過所述各本地參與方節點對應的本地數據對所述全局模型進行訓練，得到所述各本地參與方節點分別對應的第二模型；

確定所述第一模型與所述各第二模型之間的余弦相似度，根據預設余弦相似度條件篩選出符合條件的第二模型；

基于所述余弦相似度對所述符合條件的第二模型參數進行聚合處理，以得到全局模型對應的更新參數。

2.根據權利要求1所述的方法，其特征在于，所述確定所述第一模型與所述各第二模型之間的余弦相似度，具體包括：

將所述第一模型對應的上一周期的模型訓練參數作為第一更新向量的起點，將所述第二模型對應的上一周期的模型訓練參數作為第二更新向量的起點；以及

將所述第一模型對應的當前周期的模型訓練參數作為第一更新向量的終點，將所述第二模型對應的當前周期的模型訓練參數作為第二更新向量的終點；

基于所述第一更新向量的起點、所述第二更新向量的起點、所述第一更新向量的終點以及所述第二更新向量的終點，確定所述第一模型與所述第二模型之間的余弦相似度。

3.根據權利要求1所述的方法，其特征在于，所述根據預設余弦相似度條件篩選出符合條件的第二模型，具體包括：

確定出余弦相似度為負的第二模型，通過線性整流函數將所述余弦相似度為負的第二模型進行剔除；

將剩余的第二模型作為所述符合條件的第二模型，以進行聚合處理；其中，所述符合條件的第二模型的更新方向與所述第一模型的更新方向相同。

4.根據權利要求1所述的方法，其特征在于，所述基于所述余弦相似度對所述符合條件的第二模型參數進行聚合處理，以得到全局模型對應的更新參數，具體包括：

將所述符合條件的第二模型對應的余弦相似度作為信任分數；

對所述符合條件的第二模型進行歸一化處理，使得所述符合條件的第二模型與所述第一模型的量級相同；

將所述信任分數作為權重，對歸一化處理后得到的各第二模型參數進行加權平均處理，得到所述全局模型對應的更新參數。

5.根據權利要求1所述的方法，其特征在于，所述根據所述中心節點對應的預置標準數據集，對所述中心節點對應的第一模型進行訓練更新之前，所述方法還包括：

接收所述各本地參與方節點上傳的本地部分數據，基于接收到的多個所述本地部分數據，建立所述預置標準數據集；

其中，所述本地部分數據，為所述各本地參與方隨機在當前本地數據中選取的部分數據。

6.根據權利要求5所述的方法，其特征在于，所述接收所述各本地參與方節點上傳的本地部分數據，基于接收到的多個所述本地部分數據，建立所述預置標準數據集，具體包括：

通過公鑰對密鑰進行加密，并通過加密后的密鑰對所述各本地參與方節點上傳的本地部分數據進行加密；其中，所述公鑰為可信執行環境生成的公私鑰中的公鑰，所述密鑰由所述各本地參與方節點生成；

將加密后的本地部分數據上傳至所述中心節點；

通過所述可信執行環境生成的公私鑰中的私鑰對加密后的所述密鑰進行解密，通過解密后的所述密鑰對所述本地部分數據進行解密，得到明文的本地部分數據，并將所述明文的本地部分數據作為所述預置標準數據集。

7.根據權利要求1至6中任一項所述的方法，其特征在于，所述根據預設余弦相似度條件篩選出符合條件的第二模型之后，所述方法還包括：

對所述各本地參與方節點得到的余弦相似度進行記錄；

確定出所述各本地參與方節點不符合所述預設余弦相似度條件的次數；

在所述次數大于預設次數的情況下，將所述本地參與方節點標注為異常節點，并將所述異常節點對應的第二模型參數進行刪除。