[發明專利]分布式系統的機器學習方法、裝置、系統、設備及存儲介質

有效

• 申請號: 202110028432.3
• 申請日: 2021-01-11
• 公開（公告）號: CN112347500B
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 劉洋
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06N20/20
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 高天華;張穎玲

1.一種分布式系統的機器學習方法，其特征在于，所述分布式系統包括主設備和多個從設備，所述方法包括：

所述主設備對機器學習模型的全局梯度標量進行同態加密，將得到的加密全局梯度標量發送至所述從設備；

所述從設備基于所述加密全局梯度標量、所述從設備針對訓練樣本存儲的特征數據以及所述從設備對應的局部模型參數，確定所述從設備對應的加密局部梯度；

所述主設備與所述從設備共同解密所述加密局部梯度，得到所述從設備對應的解密局部梯度；

所述從設備基于所述從設備對應的解密局部梯度以及所述從設備對應的歷史解密局部梯度，確定所述從設備對應的局部梯度變化量；

基于所述從設備對應的局部模型參數以及所述從設備對應的歷史局部模型參數，確定所述從設備對應的局部模型參數變化量，基于所述從設備對應的局部梯度變化量以及所述從設備對應的局部模型參數變化量，確定所述從設備對應的局部梯度下降方向；

基于所述從設備對應的局部梯度下降方向更新所述從設備對應的局部模型參數。

2.根據權利要求1所述的方法，其特征在于，所述主設備對機器學習模型的全局梯度標量進行同態加密之前，還包括：

基于所述多個從設備級聯傳遞的對應所述訓練樣本的局部對數幾率，確定對應所述訓練樣本的全局對數幾率；

基于對應所述訓練樣本的全局對數幾率以及所述主設備針對所述訓練樣本存儲的標簽數據，確定所述機器學習模型的全局梯度標量。

3.根據權利要求2所述的方法，其特征在于，所述基于所述多個從設備級聯傳遞的對應所述訓練樣本的局部對數幾率，確定對應所述訓練樣本的全局對數幾率，包括：

基于所述主設備針對所述訓練樣本存儲的特征數據以及所述從設備對應的局部模型參數，確定所述主設備對應所述訓練樣本的局部對數幾率；

對所述主設備對應所述訓練樣本的局部對數幾率與第一隨機數進行加和處理，并將得到的第一加和結果發送至所述從設備；

所述從設備基于所述第一加和結果累加所述從設備對應所述訓練樣本的局部對數幾率，得到對應所述局部對數幾率的累加結果；

將對應所述局部對數幾率的累加結果與所述第一隨機數的差值，作為對應所述訓練樣本的全局對數幾率。

4.根據權利要求3所述的方法，其特征在于，

所述多個從設備是級聯的；

所述將得到的第一加和結果發送至所述從設備，包括：

將得到的第一加和結果發送至所述級聯的多個從設備中的第一個從設備；

所述第一個從設備對所述第一加和結果與所述第一個從設備對應所述訓練樣本的局部對數幾率進行加和處理，將得到的加和結果輸出到后續級聯的從設備，以在所述后續級聯的從設備中繼續進行加和處理和加和結果輸出，直至輸出到最后一個從設備；

將所述最后一個從設備輸出的加和結果作為對應所述局部對數幾率的累加結果。

5.根據權利要求1所述的方法，其特征在于，所述從設備基于所述加密全局梯度標量、所述從設備針對訓練樣本存儲的特征數據以及所述從設備對應的局部模型參數，確定所述從設備對應的加密局部梯度，包括：

所述從設備將所述加密全局梯度標量與所述從設備針對訓練樣本存儲的特征數據進行乘積處理，將得到的乘積結果與所述從設備對應的局部模型參數進行加和處理，將得到的加和結果作為所述從設備對應的加密局部梯度。

6.根據權利要求1所述的方法，其特征在于，所述主設備與所述從設備共同解密所述從設備對應的加密局部梯度，得到所述從設備對應的解密局部梯度，包括：

所述主設備接收所述從設備對應的映射加密局部梯度，其中，所述從設備對應的映射加密局部梯度為所述從設備對所述從設備對應的加密局部梯度進行映射得到的；

解密所述從設備對應的映射加密局部梯度，將解密得到的所述從設備對應的映射解密局部梯度發送至所述從設備；

所述從設備基于所述從設備對應的映射解密局部梯度進行逆映射處理，得到所述從設備對應的解密局部梯度。