[發(fā)明專利]調(diào)度機器學(xué)習(xí)任務(wù)的方法及裝置

在審

• 申請?zhí)枺?/td>: 202110782059.0
• 申請日: 2021-07-09
• 公開（公告）號: CN113419837A
• 公開（公告）日: 2021-09-21
• 發(fā)明（設(shè)計）人: 李龍飛;周俊
• 申請（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06N20/00
• 代理公司: 北京布瑞知識產(chǎn)權(quán)代理有限公司 11505
• 代理人: 張欣

本公開披露了一種調(diào)度機器學(xué)習(xí)任務(wù)的方法和裝置。所述方法包括：接收用戶向集群提交的機器學(xué)習(xí)任務(wù)，所述集群配置有能夠執(zhí)行所述機器學(xué)習(xí)任務(wù)的多種機器學(xué)習(xí)模型；根據(jù)所述多種機器學(xué)習(xí)模型的模型統(tǒng)計信息，從所述多種機器學(xué)習(xí)模型中選擇目標機器學(xué)習(xí)模型；將所述機器學(xué)習(xí)任務(wù)調(diào)度至所述集群的目標工作節(jié)點，并指示所述目標工作節(jié)點采用所述目標機器學(xué)習(xí)模型處理所述機器學(xué)習(xí)任務(wù)。

技術(shù)領(lǐng)域

本公開涉及任務(wù)調(diào)度領(lǐng)域，具體涉及一種調(diào)度機器學(xué)習(xí)任務(wù)的方法及裝置。

背景技術(shù)

隨著人工智能的興起，機器學(xué)習(xí)模型作為人工智能的核心技術(shù)應(yīng)用也越來越廣泛。為了給機器學(xué)習(xí)模型提供充足的計算資源及存儲資源，機器學(xué)習(xí)模型一般由集群加載并運行，這樣用戶可以通過向集群提交機器學(xué)習(xí)任務(wù)，以請求機器學(xué)習(xí)模型處理機器學(xué)習(xí)任務(wù)。

目前，用戶對集群處理機器學(xué)習(xí)任務(wù)的可靠性要求越來越高。然而，現(xiàn)有的任務(wù)調(diào)度機制主要致力于降低任務(wù)的處理時延，這種任務(wù)調(diào)度機制會降低集群處理機器學(xué)習(xí)任務(wù)的可靠性。

發(fā)明內(nèi)容

有鑒于此，本公開提供一種調(diào)度機器學(xué)習(xí)任務(wù)的方法及裝置，以提高集群處理機器學(xué)習(xí)任務(wù)的可靠性。

第一方面，提供一種調(diào)度機器學(xué)習(xí)任務(wù)的方法，所述方法包括：接收用戶向集群提交的機器學(xué)習(xí)任務(wù)，所述集群配置有能夠執(zhí)行所述機器學(xué)習(xí)任務(wù)的多種機器學(xué)習(xí)模型；根據(jù)所述多種機器學(xué)習(xí)模型的模型統(tǒng)計信息，從所述多種機器學(xué)習(xí)模型中選擇目標機器學(xué)習(xí)模型；將所述機器學(xué)習(xí)任務(wù)調(diào)度至所述集群的目標工作節(jié)點，并指示所述目標工作節(jié)點采用所述目標機器學(xué)習(xí)模型處理所述機器學(xué)習(xí)任務(wù)。

第二方面，提供一種調(diào)度機器學(xué)習(xí)任務(wù)的裝置，所述裝置包括：接收單元，被配置為接收用戶向集群提交的機器學(xué)習(xí)任務(wù)，所述集群配置有能夠執(zhí)行所述機器學(xué)習(xí)任務(wù)的多種機器學(xué)習(xí)模型；第一處理單元，被配置為根據(jù)所述多種機器學(xué)習(xí)模型的模型統(tǒng)計信息，從所述多種機器學(xué)習(xí)模型中選擇目標機器學(xué)習(xí)模型；第二處理單元，被配置為將所述機器學(xué)習(xí)任務(wù)調(diào)度至所述集群的目標工作節(jié)點，并指示所述目標工作節(jié)點采用所述目標機器學(xué)習(xí)模型處理所述機器學(xué)習(xí)任務(wù)。

第三方面，提供一種調(diào)度機器學(xué)習(xí)任務(wù)的裝置，包括存儲器和處理器，所述存儲器中存儲有可執(zhí)行代碼，所述處理器被配置為執(zhí)行所述可執(zhí)行代碼，以實現(xiàn)如第一方面所述的方法。

第四方面，提供一種計算機可讀存儲介質(zhì)，其上存儲有可執(zhí)行代碼，當所述可執(zhí)行代碼被執(zhí)行時，能夠?qū)崿F(xiàn)如第一方面所述的方法。

第五方面，提供一種計算機程序產(chǎn)品，包括可執(zhí)行代碼，當所述可執(zhí)行代碼被執(zhí)行時，能夠?qū)崿F(xiàn)如第一方面所述的方法。

本公開提供了一種機器學(xué)習(xí)任務(wù)的調(diào)度方案，能夠基于集群中多種機器學(xué)習(xí)任務(wù)模型的模型統(tǒng)計信息，從多種機器學(xué)習(xí)模型中選擇合適的目標機器學(xué)習(xí)模型，以處理用戶提交的機器學(xué)習(xí)任務(wù)，這樣有利于提高集群處理機器學(xué)習(xí)任務(wù)的可靠性。

附圖說明

圖1為本公開實施例適用的集群的示意圖。

圖2為本公開實施例的調(diào)度機器學(xué)習(xí)任務(wù)的方法的流程圖。

圖3為本公開另一實施例的調(diào)度機器學(xué)習(xí)任務(wù)的方法的流程圖。

圖4為本公開另一實施例的調(diào)度機器學(xué)習(xí)任務(wù)的方法的流程圖。

圖5是本公開一實施例的調(diào)度機器學(xué)習(xí)任務(wù)的裝置的結(jié)構(gòu)示意圖。

圖6是本公開另一實施例的調(diào)度機器學(xué)習(xí)任務(wù)的裝置的結(jié)構(gòu)示意圖。

具體實施方式

下面將結(jié)合本公開實施例中的附圖，對本公開實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅是本公開一部分實施例，而不是全部的實施例。