[發明專利]分布式分散化機器學習模型訓練

在審

• 申請號: 202110494833.8
• 申請日: 2021-05-07
• 公開（公告）號: CN113673708A
• 公開（公告）日: 2021-11-19
• 發明（設計）人: N·沙爾馬;V·R·博杜;A·J·K·K·衡;H·N·譚
• 申請（專利權）人: 希捷科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 陳依心;張鑫

本發明公開了用于分布式分散化機器學習模型訓練的系統和方法。在某些實施方案中，網絡中的第一節點可包括電路，所述電路被配置為接收具有初始參數集的初始機器學習模型，應用所述本地數據來更新所述初始計算機學習模型的參數以生成更新的機器學習模型，經由網絡接口將所述更新的機器學習模型的副本從所述第一節點傳輸至所述網絡中的多個相鄰節點，經由所述網絡接口從第一相鄰節點接收修改的機器學習模型，所述修改的機器學習模型具有基于所述第一相鄰節點的本地數據設置的參數，基于所述修改的機器學習模型來修改所述更新的機器學習模型，并且將所述更新的機器學習模型應用于控制所述第一節點處的操作。

發明內容

在某些實施方案中，一種方法可包括在網絡中的第一節點處接收具有初始參數集的初始機器學習模型，應用第一節點的本地數據來更新初始機器學習模型的參數以生成更新的機器學習模型，將更新的機器學習模型的副本從第一節點傳輸到網絡中的第一鄰居節點，在第一節點處從第一相鄰節點接收修改的機器學習模型，該修改的機器學習模型具有基于第一相鄰節點的本地數據設置的參數，在該第一節點處基于修改的機器學習模型來修改更新的機器學習模型，并且應用更新的機器學習模型來執行第一節點處的操作。

在某些實施方案中，存儲器裝置可存儲指令，所述指令在被執行時使處理器執行一種方法，該方法包括：在網絡中的包括處理器的節點處接收具有初始參數集的初始機器學習模型，應用第一節點的本地數據來更新初始機器學習模型的參數以生成更新的機器學習模型，將更新的機器學習模型的副本從第一節點傳輸到網絡中的第一相鄰節點，在第一節點處從第一相鄰節點接收修改的機器學習模型，該修改的機器學習模型具有基于第一相鄰節點的本地數據設置的參數，在該第一節點處基于修改的機器學習模型來修改更新的機器學習模型，并且應用更新的機器學習模型來執行第一節點處的操作。

在某些實施方案中，設備可包括網絡中的第一節點，該第一節點包括具有被配置為將該第一節點連接至網絡的網絡接口的計算系統、被配置為存儲本地數據的非易失性存儲器，以及電路。該電路可被配置為執行分布式機器學習模型訓練過程，包括：接收具有初始參數集的初始機器學習模型，應用本地數據來更新初始機器學習模型的參數以生成更新的機器學習模型，經由網絡接口將更新的機器學習模型的副本從第一節點傳輸到網絡中的多個相鄰節點，經由網絡接口從第一相鄰節點接收修改的機器學習模型，該修改的機器學習模型具有基于第一相鄰節點的本地數據設置的參數，基于修改的機器學習模型來修改更新的機器學習模型，并且應用更新的機器學習模型來控制第一節點處的操作。

附圖說明

圖1是根據本公開的某些實施方案的用于分布式分散化機器學習模型訓練的系統的圖；

圖2是根據本公開的某些實施方案的用于分布式分散化機器學習模型訓練的系統的圖；

圖3是根據本公開的某些實施方案的用于分布式分散化機器學習模型訓練的方法的流程圖；

圖4是根據本公開的某些實施方案的用于分布式分散化機器學習模型訓練的系統的圖；并且

圖5是根據本公開的某些實施方案的用于分布式分散化機器學習模型訓練的系統的圖。

具體實施方式

在以下對某些實施方案的詳細描述中，參考形成其一部分的附圖，在附圖中以示例性實施方案的圖示示出。還應當理解，可以組合、交換或移除本文的實施方案和示例的特征，可以利用或創建其他實施方案，并且可在不脫離本公開的范圍的情況下進行結構上的改變。