[發明專利]一種模型聯合訓練的方法和系統

有效

• 申請號: 202010326265.6
• 申請日: 2020-04-23
• 公開（公告）號: CN111523686B
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 陳超超;曹紹升;王力;周俊
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06N20/20
• 分類號: G06N20/20
• 代理公司: 成都七星天知識產權代理有限公司 51253
• 代理人: 楊永梅

1.一種模型聯合訓練的方法，所述方法包括：

多個聯合訓練的參與終端分別基于所述終端自身持有的樣本數據進行模型聯合訓練，多個聯合訓練的參與終端分別使用基于梯度的優化算法生成各自的梯度；

所述多個參與終端分別將所述各自的梯度發送給服務器；

所述服務器計算多個所述梯度的第一平均值，并且分別比較多個所述梯度與所述第一平均值，獲取多個偏差結果；

所述服務器基于所述多個偏差結果，選取偏差小于預設閾值的所述梯度作為可信任梯度，或者確定所述多個偏差結果的偏差由小到大的排名，選取排名小于預設閾值的所述梯度作為可信任梯度，并且根據選取的所述可信任梯度更新所述聯合訓練模型的參數，其中，多個所述梯度中除可信任梯度外的其他梯度為可疑梯度，所述可疑梯度對應的參與終端的梯度不被用于本次更新所述聯合訓練模型的參數；

所述樣本數據為文本數據、語音數據或者圖形數據。

2.根據權利要求1所述的方法，其中，所述根據選取的所述可信任梯度更新所述聯合訓練模型的參數包括：

計算多個所述可信任梯度的第二平均值；

將所述第二平均值作為所述聯合訓練模型的參數對應的梯度，使用所述基于梯度的優化算法更新所述聯合訓練模型的參數。

3.一種模型聯合訓練的系統，所述系統包括：

生成模塊，用于使得多個聯合訓練的參與終端分別基于所述終端自身持有的樣本數據進行模型聯合訓練，多個聯合訓練的參與終端分別使用基于梯度的優化算法生成各自的梯度；

發送模塊，用于使得所述多個參與終端分別將所述各自的梯度發送給服務器；

更新模塊，用于使得所述服務器：

計算多個所述梯度的第一平均值，并且分別比較多個所述梯度與所述第一平均值，獲取多個偏差結果；

所述服務器基于所述多個偏差結果，選取偏差小于預設閾值的所述梯度作為可信任梯度，或者確定所述多個偏差結果的偏差由小到大的排名，選取排名小于預設閾值的所述梯度作為可信任梯度，并且根據選取的所述可信任梯度更新所述聯合訓練模型的參數，其中，多個所述梯度中除可信任梯度外的其他梯度為可疑梯度，所述可疑梯度對應的參與終端的梯度不被用于本次更新所述聯合訓練模型的參數；

所述樣本數據為文本數據、語音數據或者圖形數據。

4.根據權利要求3所述的系統，其中，所述根據選取的所述可信任梯度更新所述聯合訓練模型的參數包括：

計算多個所述可信任梯度的第二平均值；

將所述第二平均值作為所述聯合訓練模型的參數對應的梯度，使用所述基于梯度的優化算法更新所述聯合訓練模型的參數。

5.一種模型聯合訓練的裝置，其中，所述裝置包括至少一個處理器以及至少一個存儲器；

所述至少一個存儲器用于存儲計算機指令；

所述至少一個處理器用于執行所述計算機指令中的至少部分指令以實現如權利要求1~2中任一項所述的方法。

6.一種計算機可讀存儲介質，所述存儲介質存儲計算機指令，當計算機讀取存儲介質中的計算機指令后，計算機執行如權利要求1~2中任一項所述的方法。