[發(fā)明專利]分布式機器學習任務(wù)啟動方法、系統(tǒng)、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201811482001.9
• 申請日: 2018-12-05
• 公開（公告）號: CN111352664A
• 公開（公告）日: 2020-06-30
• 發(fā)明（設(shè)計）人: 李大超;何云龍;董犖;陳澤友
• 申請（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀貿(mào)易有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445;G06N3/08;H04L29/08
• 代理公司: 北京律智知識產(chǎn)權(quán)代理有限公司 11438
• 代理人: 袁禮君;闞梓瑄

1.一種分布式機器學習任務(wù)啟動方法，其特征在于，包括如下步驟：

配置kubernetes Pod資源中的環(huán)境變量，所述環(huán)境變量包括所有機器學習節(jié)點的域名和端口信息；

配置kubernetes Pod資源中容器的啟動命令，所述啟動命令將所述環(huán)境變量傳入分布式機器學習任務(wù)啟動腳本；

根據(jù)所述環(huán)境變量和所述容器的啟動命令創(chuàng)建kubernetes Pod資源，所述kubernetesPod資源中容器配置為執(zhí)行所述啟動命令。

2.根據(jù)權(quán)利要求1所述的分布式機器學習任務(wù)啟動方法，其特征在于，所述方法還包括基于kubernetes的域名機制生成所有機器學習節(jié)點的域名的步驟；

所述創(chuàng)建kubernetes Pod資源時，創(chuàng)建的kubernetes Pod資源與所述機器學習節(jié)點一一對應(yīng)，且所述kubernetes Pod資源的名稱與所對應(yīng)的機器學習節(jié)點的域名相同。

3.根據(jù)權(quán)利要求2所述的分布式機器學習任務(wù)啟動方法，其特征在于，所述方法還包括如下步驟：

創(chuàng)建kubernetes Service資源，創(chuàng)建的kubernetes Service資源與所述機器學習節(jié)點一一對應(yīng)，且所述kubernetes Service資源的名稱與所對應(yīng)的機器學習節(jié)點的域名相同。

4.根據(jù)權(quán)利要求2所述的分布式機器學習任務(wù)啟動方法，其特征在于，所述機器學習節(jié)點包括多個節(jié)點組，所述機器學習節(jié)點的域名包括節(jié)點組的識別號和節(jié)點在節(jié)點組中的識別號。

5.根據(jù)權(quán)利要求4所述的分布式機器學習任務(wù)啟動方法，其特征在于，所述機器學習節(jié)點為基于TensorFlow模式的機器學習節(jié)點，所述機器學習節(jié)點根據(jù)不同角色分為多個節(jié)點組。

6.根據(jù)權(quán)利要求4所述的分布式機器學習任務(wù)啟動方法，其特征在于，所述機器學習節(jié)點為基于MPI模式的機器學習節(jié)點，所述機器學習節(jié)點分為主節(jié)點組和從節(jié)點組；

所述主節(jié)點組中的機器學習節(jié)點所對應(yīng)的kubernetes Pod資源中包括所述環(huán)境變量和容器的啟動命令；

所述從節(jié)點組中的機器學習節(jié)點所對應(yīng)的kubernetes Pod資源中不包括所述環(huán)境變量和容器的啟動命令。

7.根據(jù)權(quán)利要求1所述的分布式機器學習任務(wù)啟動方法，其特征在于，所述kubernetesPod資源中容器配置為創(chuàng)建完成后自動執(zhí)行所述啟動命令。

8.一種分布式機器學習任務(wù)啟動系統(tǒng)，其特征在于，應(yīng)用于權(quán)利要求1至7中任一項所述的分布式機器學習任務(wù)啟動方法，所述分布式機器學習任務(wù)啟動系統(tǒng)包括：

環(huán)境變量配置模塊，用于配置kubernetes Pod資源中的環(huán)境變量，所述環(huán)境變量包括所有節(jié)點的域名和端口信息；

啟動命令配置模塊，用于配置kubernetes Pod資源中容器的啟動命令，所述啟動命令將所述環(huán)境變量傳入分布式機器學習任務(wù)啟動腳本；

Pod資源創(chuàng)建模塊，用于根據(jù)所述環(huán)境變量和所述容器的啟動命令創(chuàng)建kubernetesPod資源，所述kubernetes Pod資源中容器配置為執(zhí)行所述啟動命令。

9.根據(jù)權(quán)利要求8所述的分布式機器學習任務(wù)啟動系統(tǒng)，其特征在于，所述系統(tǒng)還包括域名生成模塊，用于基于kubernetes的域名機制生成所有機器學習節(jié)點的域名；

所述Pod資源創(chuàng)建模塊創(chuàng)建的kubernetes Pod資源與所述機器學習節(jié)點一一對應(yīng)，且所述kubernetes Pod資源的名稱與所對應(yīng)的機器學習節(jié)點的域名相同。

10.根據(jù)權(quán)利要求9所述的分布式機器學習任務(wù)啟動系統(tǒng)，其特征在于，所述系統(tǒng)還包括Service資源創(chuàng)建模塊，用于創(chuàng)建kubernetes Service資源，創(chuàng)建的kubernetes Service資源與所述機器學習節(jié)點一一對應(yīng)，且所述kubernetes Service資源的名稱與所對應(yīng)的機器學習節(jié)點的域名相同。