[發明專利]分布式系統的機器學習方法、裝置、系統、設備及存儲介質

有效

• 申請號: 202110028432.3
• 申請日: 2021-01-11
• 公開（公告）號: CN112347500B
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 劉洋
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06N20/20
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 高天華;張穎玲

本申請提供了一種分布式系統的機器學習方法、裝置、系統、電子設備及計算機可讀存儲介質；涉及人工智能技術；方法包括：主設備對機器學習模型的全局梯度標量進行同態加密，將得到的加密全局梯度標量發送至從設備；從設備基于加密全局梯度標量、從設備針對訓練樣本存儲的特征數據以及從設備對應的局部模型參數，確定從設備對應的加密局部梯度；主設備與從設備共同解密從設備對應的加密局部梯度，得到從設備對應的解密局部梯度；從設備基于從設備對應的解密局部梯度更新從設備對應的局部模型參數。通過本申請，能夠保證訓練數據的安全性。

技術領域

本申請涉及人工智能技術，尤其涉及一種分布式系統的機器學習方法、裝置、系統、電子設備及計算機可讀存儲介質。

背景技術

人工智能（Artificial Intelligence，AI）是計算機科學的一個綜合技術，通過研究各種智能機器的設計原理與實現方法，使機器具有感知、推理與決策的功能。人工智能技術是一門綜合學科，涉及領域廣泛，例如自然語言處理技術以及機器學習/深度學習等幾大方向，隨著技術的發展，人工智能技術將在更多的領域得到應用，并發揮越來越重要的價值。

機器學習模型的規模越大越大，在單個機器上訓練已經逐漸成為無法完成的任務。分布式學習系統通過整合多個機器的資源來協同完成機器學習任務。但是，相關技術提供的分布式機器學習技術在使用過程中，由于第三方的存在，無法保證內部各個設備之間隱私數據的安全。

發明內容

本申請實施例提供一種分布式系統的機器學習方法、裝置、系統、電子設備及計算機可讀存儲介質，能夠保證訓練數據的安全性。

本申請實施例的技術方案是這樣實現的：

本申請實施例提供一種分布式系統的機器學習方法，應用于分布式學習系統，所述分布式學習系統包括主設備和多個從設備；所述方法包括：

所述主設備對機器學習模型的全局梯度標量進行同態加密，將得到的加密全局梯度標量發送至所述從設備；

所述從設備基于所述加密全局梯度標量、所述從設備針對訓練樣本存儲的特征數據以及所述從設備對應的局部模型參數，確定所述從設備對應的加密局部梯度；

所述主設備與所述從設備共同解密所述從設備對應的加密局部梯度，得到所述從設備對應的解密局部梯度；

所述從設備基于所述從設備對應的解密局部梯度更新所述從設備對應的局部模型參數。

上述技術方案中，所述從設備基于所述從設備對應的解密局部梯度更新所述從設備對應的局部模型參數，包括：

所述從設備基于所述從設備對應的解密局部梯度以及所述從設備對應的歷史解密局部梯度，確定所述從設備對應的局部梯度變化量；

基于所述從設備對應的局部模型參數以及所述從設備對應的歷史局部模型參數，確定所述從設備對應的局部模型參數變化量，基于所述從設備對應的局部梯度變化量以及所述從設備對應的局部模型參數變化量，確定所述從設備對應的局部梯度下降方向；

基于所述從設備對應的局部梯度下降方向更新所述從設備對應的局部模型參數。

上述技術方案中，所述基于所述從設備對應的局部梯度下降方向更新所述從設備對應的局部模型參數，包括：

基于所述從設備對應的局部梯度下降方向、所述從設備針對訓練樣本存儲的特征數據以及所述主設備對應所述訓練樣本的加密海森二次型，確定所述從設備對應的加密海森矩陣；

將所述從設備對應的加密海森矩陣發送至所述主設備；

所述主設備基于所述從設備對應的加密海森矩陣以及所述從設備對應所述局部梯度下降方向的局部投影，得到所述機器學習模型在全局梯度下降方向的步長；