[發明專利]一種基于多個計算節點的模型訓練控制方法、裝置及系統

有效

• 申請號: 202010198359.X
• 申請日: 2020-03-19
• 公開（公告）號: CN111428887B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 劉洋;張雄;秦姝琦
• 申請（專利權）人: 騰訊云計算（北京）有限責任公司
• 主分類號: G06N20/20
• 分類號: G06N20/20;G06F21/60;G06Q30/0201;G06Q40/02;H04L9/08
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 李娟

1.一種基于多個計算節點的模型訓練控制方法，其特征在于，多個計算節點包括第一計算節點以及至少一個第二計算節點，所述第一計算節點擁有第一待確定模型參數以及由多個第一樣本數據構成的第一樣本數據集，所述第二計算節點擁有各自的第二待確定模型參數以及各自的由多個第二樣本數據構成的第二樣本數據集；

所述第一計算節點以及每個第二計算節點經過至少一次迭代訓練過程訓練所述模型，直至迭代終止條件到達時，所述第一計算節點獲得已確定第一模型參數以及各第二計算節點分別獲得各自的已確定第二模型參數，其中每次迭代訓練過程，包括：

所述第一計算節點基于所述第一待確定模型參數獲得每個第一樣本數據的第一模型輸出結果，并根據各第一模型輸出結果、各第二模型輸出結果以及安全多方求和協議確定模型總輸出結果，各第二模型輸出結果是各第二計算節點基于各自第二待確定模型參數以及各第二計算節點的每個第二樣本數據確定的；

所述第一計算節點根據各樣本數據的樣本標簽以及所述模型總輸出結果確定損失值，基于所述損失值確定該次迭代訓練過程的更新梯度值以及加密損失值，并將所述加密損失值發送給各第二計算節點；

所述第一計算節點基于所述更新梯度值更新該次迭代過程中所述第一計算節點的所述第一待確定模型參數，并對各第二計算節點的各加密梯度值進行解密，得到各解密梯度值，將各解密梯度值發送給對應的各第二計算節點，各解密梯度值用于更新該次迭代過程中各第二計算節點的第二待確定模型參數，各加密梯度值是各第二計算節點基于所述加密損失值以及各第二計算節點對應的加密隨機向量的哈達瑪積確定的。

2.根據權利要求1所述的方法，其特征在于，所述第一計算節點以及各第二計算節點按照環形順序依次交互，所述第一計算節點根據各第一模型輸出結果、各第二模型輸出結果以及安全多方求和協議確定模型總輸出結果，包括：

所述第一計算節點根據所述第一計算節點對應的第一加密隨機向量以及所述第一模型輸出結果確定所述第一計算節點的第一模型隨機輸出結果，所述第一加密隨機向量是根據所述安全多方求和協議確定的；

所述第一計算節點將所述第一模型隨機輸出結果發送給與所述第一計算節點在第一方向相鄰的第二計算節點，所述第一模型隨機輸出結果用于確定與所述第一計算節點在所述第一方向相鄰的第二計算節點的第二模型隨機輸出結果，并接收與所述第一計算節點在第二方向相鄰的第二計算節點發送的第三模型隨機輸出結果，所述第三模型隨機輸出結果是與所述第一計算節點在所述第二方向相鄰的第二計算節點根據所述第二模型隨機輸出結果以及所述第一計算節點在所述第一方向相鄰的第二計算節點與所述第一計算節點在第二方向相鄰的第二計算節點之間存在的各第二計算節點的各第二模型輸出結果確定的；

所述第一計算節點根據所述第一加密隨機向量以及所述第三模型隨機輸出結果確定所述模型總輸出結果。

3.根據權利要求1所述的方法，其特征在于，所述第一計算節點根據各第一模型輸出結果、各第二模型輸出結果以及安全多方求和協議確定模型總輸出結果，包括：

所述第一計算節點根據同一樣本標識對應的第一模型輸出結果、第二模型輸出結果以及安全多方求和協議確定針對該樣本標識的模型總輸出結果；

所述第一計算節點根據所述樣本標簽以及所述模型總輸出結果確定損失值，包括：

所述第一計算節點根據各樣本標識的模型總輸出結果以及非線性映射函數，將各樣本標識的模型總輸出結果轉換為各非線性模型輸出結果，根據各樣本標識對應的樣本標簽以及各非線性模型輸出結果確定針對各樣本標識對應的損失值，其中所述非線性映射函數的取值范圍與所述樣本標簽的標簽值的取值范圍相對應；

所述第一計算節點基于所述損失值確定該次迭代訓練過程的更新梯度值，包括：

針對每個樣本標識，所述第一計算節點基于該樣本標識對應的損失函數以及該樣本標識對應的第一樣本數據的乘積確定該樣本標識的子更新梯度值；

所述第一計算節點根據各樣本標識的子更新梯度值之和確定所述更新梯度值。