[發明專利]基于隱私保護的模型聯合訓練方法及裝置

有效

• 申請號: 202011465465.6
• 申請日: 2020-12-14
• 公開（公告）號: CN112231742B
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 周啟賢;張君濤
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06N3/08
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

1.一種基于隱私保護的模型聯合訓練方法，所述聯合訓練由服務器和若干個終端共同進行，所述聯合訓練包括若干次迭代，所述方法由所述服務器執行，所述方法包括：

根據待訓練的模型的信息，確定目標數量；所述目標數量是在迭代的輪次大于或等于預設的目標迭代的輪次時，若干個終端中的各個終端向所述服務器發送的梯度的共同數量；

針對若干個終端中的任意一個終端，將所述目標數量發送至該終端，使得該終端在迭代的輪次大于或等于目標迭代的輪次時，根據該終端生成的對應于所述模型的各個參數的梯度，確定出目標數量個目標梯度；

根據接收到的分別來自于若干個終端的各個目標梯度，得到訓練后的模型參數，以得到訓練后的模型；

其中，所述模型的信息包括：待訓練的模型的參數的數量、上一次訓練待訓練的模型的時間中的至少一種；

其中，根據待訓練的模型的信息，確定目標數量，包括：

在本次迭代的輪次大于或等于預設的目標迭代的輪次、且本次迭代未達到訓練結束條件時，針對若干個終端中的每一個終端，獲取該終端上一次迭代中確定出的損失；訓練結束條件是根據待訓練的模型的信息得到的；

根據該終端在上一次迭代中確定出的損失，確定該終端在執行本次迭代時向所述服務器發送的梯度的共同數量，作為目標數量。

2.根據權利要求1所述的方法，其中，根據接收到的分別來自于若干個終端的各個目標梯度，得到訓練后的模型參數之前，所述方法還包括：

對待訓練的模型的參數進行加密，得到加密后的模型；

將加密后的模型發送至參與所述聯合訓練的若干個終端中的每一個終端，使得每一個終端根據所述加密后的模型，得到待訓練的模型。

3.根據權利要求2所述的方法，其中，對待訓練的模型的參數進行加密之前，所述方法還包括：

針對待訓練的模型的每組參數，對該組參數進行第一扁平化處理，得到該組參數對應的綜合參數值；待訓練的模型的每組參數是根據預設的第一分組規則，對待訓練的模型的各個參數進行分組得到的；

對待訓練的模型的參數進行加密，包括：

針對各組參數對應的綜合參數值，采用各組參數分別對應的密鑰，分別地進行加密。

4.根據權利要求2所述的方法，其中，所述模型通過神經網絡實現，所述神經網絡包括多個層；任意一組參數對應于所述神經網絡的一個層。

5.根據權利要求2所述的方法，其中，對待訓練的模型的參數進行加密之前，所述方法還包括：

確定對待訓練的模型的參數進行加密所需的第一密鑰，所述第一密鑰包括公鑰和私鑰；

對待訓練的模型的參數進行加密，包括：

采用所述私鑰對待訓練的模型的參數進行加密；

根據接收到的分別來自于若干個終端的各個目標梯度，得到訓練后的模型參數之前，所述方法還包括：

將所述公鑰發送至參與所述聯合訓練的若干個終端中的每一個終端，使得每一個終端采用所述公鑰對加密后的模型解密。

6.根據權利要求1所述的方法，其中，所述目標梯度是根據綜合梯度值得到的；所述綜合梯度值是根據預設的第二分組規則將所述各個參數的梯度劃分為多個梯度組，將該多個梯度組分別進行第二扁平化處理之后，根據所述目標數量得到的；

根據接收到的分別來自于若干個終端的各個目標梯度，得到訓練后的模型參數，包括：

針對于任一終端發送的目標梯度進行第二恢復處理，得到第二恢復處理結果；

將所述若干個終端發送的對應于同一組參數的第二恢復處理結果進行聚合，得到該組參數的可用梯度值；

根據所述模型的各個參數的當前值和對應的可用梯度值，更新該參數。