[發(fā)明專利]用于任務處理的方法、電子設備以及計算機程序產品

在審

• 申請?zhí)枺?/td>: 202010220468.7
• 申請日: 2020-03-25
• 公開（公告）號: CN113448743A
• 公開（公告）日: 2021-09-28
• 發(fā)明（設計）人: 李錦;劉金鵬;王匯澤
• 申請（專利權）人: 伊姆西IP控股有限責任公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F9/50;G06F9/48
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 黃倩

本公開的實施例及用于任務調度的方法、設備和計算機程序產品。該方法包括響應于接收到處理多個任務集合的請求，基于所述多個任務集合的優(yōu)先級和所述多個任務集合中的任務，在任務處理系統(tǒng)中創(chuàng)建當前待調度任務隊列，所述當前待調度任務隊列中的多個待調度任務在同一輪調度中被調度；分配用于調度所述多個待調度任務的計算資源以及使得所述當前待調度任務隊列中的所述多個待調度任務利用所述計算資源而被調度。以此方式，本公開的實施例能夠根據用戶的SLA水平調度具有不同優(yōu)先級和配額的多任務，并通過運行時負載平衡調度解決方案來提高云計算深度學習模型并行服務的效率和可伸縮性。

技術領域

本公開的實施例總體涉及數據存儲領域，更具體地，涉及用于任務處理的方法、電子設備和計算機程序產品。

背景技術

基于用戶任務的資源需求和專用處理單元的可用資源來調度深度學習(DL)模型的并行劃分的方案。該方案能夠以正確維持任務之間的依賴關系的方式調度并行任務，同時能夠最大化利用當前可用資源。

上述方案能夠并行調度來自單一用戶的任務集合。然而為了在云計算服務中將DL模型并行被實現(xiàn)為“一切皆服務”(X as a Service，XaaS),具有不同服務水平分配(SLA)的多用戶是最基本的功能。此外，針對多用戶的任務所需的計算資源，任務處理系統(tǒng)中的可用資源的負載均衡也是一個值得考慮的問題。

發(fā)明內容

本公開的實施例及用于任務處理的方法、電子設備和計算機程序產品。

在本公開實施例的第一方面，提供了一種用于任務處理的方法。該方法包括響應于接收到處理多個任務集合的請求，基于所述多個任務集合的優(yōu)先級和所述多個任務集合中的任務，在任務處理系統(tǒng)中創(chuàng)建當前待調度任務隊列，所述當前待調度任務隊列中的多個待調度任務在同一輪調度中被調度；分配用于調度所述多個待調度任務的計算資源；以及使得所述多個待調度任務利用所述計算資源而被調度。

在本公開實施例的第二方面，提供了一種電子設備。該設備包括處理器；以及與所述處理器耦合的存儲器，所述存儲器保存需要執(zhí)行的指令，所述指令在被處理器執(zhí)行時使所述電子設備執(zhí)行動作，所述動作包括響應于接收到處理多個任務集合的請求，基于所述多個任務集合的優(yōu)先級和所述多個任務集合中的任務，在任務處理系統(tǒng)中創(chuàng)建當前待調度任務隊列，所述當前待調度任務隊列中的多個待調度任務在同一輪調度中被調度；分配用于調度所述多個待調度任務的計算資源；以及使得所述多個待調度任務利用所述計算資源而被調度。

在本公開的第三方面，提供一種計算機程序產品，該計算機程序產品被有形地存儲在非瞬態(tài)計算機可讀介質上并且包括機器可執(zhí)行指令，該機器可執(zhí)行指令在被執(zhí)行時使機器執(zhí)行上述第一方面的方法的步驟。

提供發(fā)明內容部分是為了簡化的形式來介紹對概念的選擇，它們在下文的具體實施方式中將被進一步描述。發(fā)明內容部分無意標識本公開內容的關鍵特征或主要特征，也無意限制本公開內容的范圍。

附圖說明

圖1示出了可以在其中實施本公開實施例的示例性運行環(huán)境的示意圖；

圖2示出了根據本公開的實施例的并行執(zhí)行多個任務集合的示意圖；

圖3示出了根據本公開的實施例的并行執(zhí)行來自多個用戶的多個任務集合的示意圖；

圖4示出了根據本公開的實施例的用于均衡計算資源的分配的示意圖；

圖5示出了根據本公開的實施例的用于任務處理的方法的流程圖；以及

圖6示出了可以用來實施本公開的實施例的示例設備的框圖。

在各個附圖中，相同或對應的標號表示相同或對應的部分。

具體實施方式