[發明專利]一種基于聯邦學習進行模型參數更新的方法及系統

有效

• 申請號: 202011044286.5
• 申請日: 2020-09-28
• 公開（公告）號: CN111931950B
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 鄭龍飛;王瑩桂;陳超超;王力;周俊;劉健;郭明宇
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06N20/20
• 分類號: G06N20/20
• 代理公司: 成都七星天知識產權代理有限公司 51253
• 代理人: 袁春曉

1.一種基于聯邦學習進行模型參數更新的方法，所述方法由參與方中的任一訓練成員實現，其中，所述參與方包括多個訓練成員以及服務器；所述方法包括：

獲取具有與其他參與方相同結構的待訓練初始模型；

進行多次模型參數迭代更新，其中每次迭代包括以下步驟：

基于自身持有的訓練樣本進行模型訓練，獲得當前次迭代對應的模型數據矩陣；其中，所述模型數據矩陣包含訓練得到的多個參數；

確定當前次迭代對應的傳輸比例，所述傳輸比例與迭代次數負相關；

基于所述傳輸比例從所述模型數據矩陣中提取部分參數元素；

基于所述部分參數元素生成參數傳輸矩陣；

將所述參數傳輸矩陣上傳給所述服務器；

從所述服務器獲取更新后的模型參數以基于此進行下一次迭代，或者基于此確定最終模型。

2.根據權利要求1所述的方法，所述基于所述傳輸比例從所述模型數據矩陣中提取部分參數元素，包括：

獲取所述模型數據矩陣所包含的參數元素總數；

基于所述參數元素總數以及所述傳輸比例計算上傳參數元素個數；

按所述模型數據矩陣中各參數元素的絕對值大小進行排序，選擇絕對值靠前的上傳參數元素個數的參數元素作為所述部分參數元素。

3.根據權利要求1所述的方法，所述基于所述部分參數元素生成參數傳輸矩陣，包括：

基于所述部分參數元素生成參數稀疏矩陣，其中，參數稀疏矩陣與所述模型數據矩陣同維，且所述部分參數元素在所述參數稀疏矩陣中的位置與在所述模型數據矩陣中的位置相同，所述參數稀疏矩陣中除所述部分參數元素以外的元素為0；

將所述參數稀疏矩陣確定為所述參數傳輸矩陣。

4.根據權利要求1所述的方法，所述基于所述部分參數元素生成參數傳輸矩陣，包括：

基于所述部分參數元素生成參數稀疏矩陣，其中，參數稀疏矩陣與所述模型數據矩陣同維，且所述部分參數元素在所述參數稀疏矩陣中的位置與在所述模型數據矩陣中的位置相同，所述參數稀疏矩陣中除所述部分參數元素以外的元素為0；

確定當前次迭代的訓練樣本數量；

將所述訓練樣本數量上傳給服務器；

接收服務器返回的當前次迭代的訓練樣本總數，所述當前次迭代的訓練樣本總數為各訓練成員當前次迭代的訓練樣本數據的總和；

基于所述訓練樣本數量以及所述訓練樣本總數確定權重系數；

基于所述權重系數以及所述參數稀疏矩陣獲得加權參數矩陣，其中加權參數矩陣中的元素為權重系數與所述參數稀疏矩陣元素的乘積；

將所述加權參數矩陣確定為所述參數傳輸矩陣。

5.根據權利要求4所述的方法，所述訓練樣本數量以密文的形式上傳給服務器。

6.根據權利要求1所述的方法，所述參數傳輸矩陣以密文的形式上傳給服務器。

7.根據權利要求1所述的方法，所述待訓練初始模型還具有與其他參與方相同的初始化模型參數。

8.根據權利要求1所述的方法，所述模型數據矩陣為模型梯度矩陣或模型參數矩陣，其中模型梯度矩陣包括訓練得到的多個梯度值，模型參數矩陣包括訓練得到的多個模型參數。

9.一種基于聯邦學習進行模型參數更新的方法，所述方法由參與方中的服務器實現，其中，所述參與方包括多個訓練成員以及所述服務器；所述方法包括多次模型參數迭代更新，其中每次迭代包括：

獲取各訓練成員上傳的參數傳輸矩陣，所述各參數傳輸矩陣包括訓練成員當前次迭代獲得的模型數據矩陣中的部分參數元素，且部分參數元素的數量與迭代次數負相關；所述模型數據矩陣包含訓練成員當前次迭代中通過自身持有的訓練樣本進行模型訓練得到的多個參數；

基于各參數傳輸矩陣得到聚合參數矩陣；

基于聚合參數矩陣獲得當前次迭代對應的模型參數；

將當前次迭代對應的模型參數發送給各訓練成員。