[發明專利]一種模型訓練方法、系統及裝置

有效

• 申請號: 202110424366.1
• 申請日: 2021-04-20
• 公開（公告）號: CN113033823B
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 鄭龍飛;陳超超;王力;張本宇
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06N3/04;G06N3/08;G06F21/62
• 代理公司: 成都七星天知識產權代理有限公司 51253
• 代理人: 袁春曉

1.一種模型訓練方法，所述方法由參與方中的任一訓練成員實現，所述參與方包括多個訓練成員以及服務器；其中，所述訓練成員持有模型的第一部分以及訓練樣本，所述服務器持有模型的第二部分，所述模型的第二部分的輸入層的各輸入數據與所述模型的第一部分中至少兩層的各輸出數據分別對應；所述方法包括對模型參數進行多輪迭代更新，其中一輪迭代更新包括：

將自身持有的訓練樣本的特征數據輸入至模型的第一部分，得到初始輸出矩陣；所述初始輸出矩陣基于模型的第一部分中所述至少兩層的輸出數據生成；

基于所述初始輸出矩陣，確定并輸出第一輸出矩陣至服務器或第三方設備；

從所述服務器或所述第三方設備接收標簽預測值，基于訓練樣本的標簽值以及所述標簽預測值確定損失函數值；

將所述損失函數值傳輸給所述服務器，以便服務器基于所述損失函數值在模型的第二部分中反向傳播梯度，直到獲取輸出梯度矩陣；其中，所述輸出梯度矩陣的元素包括損失函數相對所述初始輸出矩陣中各元素的梯度；

接收服務器返回的所述輸出梯度矩陣，基于所述輸出梯度矩陣確定所述損失函數相對模型的第一部分中所述至少兩層的輸出數據的梯度；

基于所述損失函數相對模型的第一部分中所述至少兩層的輸出數據的梯度，繼續反向傳播梯度，以對模型的第一部分的模型參數進行更新；

基于更新后的模型的第一部分進行下一輪迭代更新，或者基于此確定最終模型的第一部分。

2.如權利要求1所述的方法，其中，基于所述初始輸出矩陣，確定第一輸出矩陣，包括：

獲取篩選矩陣；所述篩選矩陣與所述初始輸出矩陣同維，其元素包括0和1；

將所述初始輸出矩陣與所述篩選矩陣按位相乘，獲得所述第一輸出矩陣。

3.如權利要求2所述的方法，其中，各訓練成員的篩選矩陣的相同位置元素中有且僅有一個元素為1。

4.如權利要求2所述的方法，其中，所述獲取篩選矩陣包括：從第三方設備獲取所述篩選矩陣；所述第三方設備用于生成各個訓練成員的篩選矩陣并發送給對應的訓練成員。

5.如權利要求1所述的方法，其中，所述第三方設備用于將各訓練成員的第一輸出矩陣隨機排序并按行拼接獲得聚合矩陣、記錄排序信息以及將所述聚合矩陣發送給所述服務器。

6.如權利要求5所述的方法，其中，所述第三方設備用于接收所述服務器返回的標簽預測值矩陣、基于所述排序信息確定對應于各訓練成員的標簽預測值并發送給對應的訓練成員。

7.如權利要求1所述的方法，其中，所述一輪迭代更新包括還包括：

與其他參與方協同基于聯邦學習算法，對更新后的模型的第一部分的模型參數進行二次更新。