[發(fā)明專利]基于DCU的資源調(diào)度方法、裝置和計算機設(shè)備

在審

• 申請?zhí)枺?/td>: 202011381447.X
• 申請日: 2020-12-01
• 公開（公告）號: CN112612600A
• 公開（公告）日: 2021-04-06
• 發(fā)明（設(shè)計）人: 王建敏;原帥;呂灼恒;南亞;蘇垚;余彬;于潔;郭珂
• 申請（專利權(quán)）人: 曙光信息產(chǎn)業(yè)（北京）有限公司;曙光信息產(chǎn)業(yè)股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責任公司 11240
• 代理人: 賈旭

本發(fā)明公開了一種基于DCU的資源調(diào)度方法、裝置和計算機設(shè)備。其中，基于DCU的資源調(diào)度方法包括：接收多個深度學習應(yīng)用作業(yè)任務(wù)，作業(yè)任務(wù)包括資源需求信息和作業(yè)任務(wù)類型；獲取深度學習加速器DCU開發(fā)環(huán)境下的可用資源使用狀態(tài)信息；根據(jù)資源需求信息、作業(yè)任務(wù)類型和可用資源使用狀態(tài)信息，確定作業(yè)任務(wù)的執(zhí)行順序和執(zhí)行節(jié)點；按照執(zhí)行順序，將作業(yè)任務(wù)調(diào)度至對應(yīng)的執(zhí)行節(jié)點，以使執(zhí)行節(jié)點執(zhí)行相應(yīng)類型的作業(yè)任務(wù)。本發(fā)明實施例的基于DCU的資源調(diào)度方法、裝置和計算機設(shè)備，支持DCU的資源調(diào)度，應(yīng)用靈活，功能豐富。

技術(shù)領(lǐng)域

本發(fā)明涉及服務(wù)器技術(shù)領(lǐng)域，尤其涉及一種基于DCU的資源調(diào)度方法、裝置和計算機設(shè)備。

背景技術(shù)

當前主流的容器編排平臺，主要機制包括應(yīng)用部署、規(guī)劃、更新、維護四大部分。通過部署容器方式，可以實現(xiàn)每個容器之間互相隔離；每個容器有自己的文件系統(tǒng)；容器之間進程不會相互影響，能區(qū)分計算資源。調(diào)度系統(tǒng)結(jié)合docker容器技術(shù)，可對Caffe、TensorFlow等深度學習框架進行封裝，提高了深度學習應(yīng)用的效率。同時，調(diào)度系統(tǒng)平臺還提供了訓練任務(wù)提交、資源狀態(tài)監(jiān)控等功能，實現(xiàn)了對資源的調(diào)度分配。

目前，傳統(tǒng)的調(diào)度系統(tǒng)僅支持NVIDIA類型GPU(Graphics Processing Unit，圖形處理器)加速的Caffe、TensorFlow等深度學習框架進行訓練，并不支持其他GPU類型如DCU(Deep learning Computer Unit，深度學習加速器)，擴展性差，功能單一。

發(fā)明內(nèi)容

本發(fā)明的目的旨在至少在一定程度上解決上述的技術(shù)問題之一。

為此，本發(fā)明的第一個目的在于提出一種基于DCU的資源調(diào)度方法，支持DCU的資源調(diào)度，應(yīng)用靈活，功能豐富。

本發(fā)明的第二個目的在于提出一種基于DCU的資源調(diào)度裝置。

本發(fā)明的第三個目的在于提出一種計算機設(shè)備。

本發(fā)明的第四個目的在于提出一種非臨時性計算機可讀存儲介質(zhì)。

為了實現(xiàn)上述目的，本發(fā)明第一方面實施例提出一種基于DCU的調(diào)度方法，該方法包括：

接收多個深度學習應(yīng)用任務(wù)，所述作業(yè)任務(wù)包括資源需求信息和作業(yè)任務(wù)類型；

獲取深度學習加速器DCU開發(fā)環(huán)境下的可用資源使用狀態(tài)信息；

根據(jù)所述資源需求信息、所述作業(yè)任務(wù)類型和所述可用資源使用狀態(tài)信息，確定所述作業(yè)任務(wù)的執(zhí)行順序和執(zhí)行節(jié)點；

按照所述執(zhí)行順序，將所述作業(yè)任務(wù)調(diào)度至對應(yīng)的執(zhí)行節(jié)點，以使所述執(zhí)行節(jié)點執(zhí)行相應(yīng)類型的作業(yè)任務(wù)。

可選的，根據(jù)所述資源需求信息、所述作業(yè)任務(wù)類型和所述可用資源使用狀態(tài)信息，確定所述作業(yè)任務(wù)的執(zhí)行順序和執(zhí)行節(jié)點，包括：

所述作業(yè)任務(wù)還包括用戶作業(yè)優(yōu)先級，所述作業(yè)任務(wù)類型具有相應(yīng)的調(diào)度類型優(yōu)先級；

根據(jù)所述用戶作業(yè)優(yōu)先級、所述資源需求信息、所述調(diào)度類型優(yōu)先級確定所述作業(yè)任務(wù)對應(yīng)的實際作業(yè)優(yōu)先級；

根據(jù)所述實際作業(yè)優(yōu)先級確定所述作業(yè)任務(wù)的執(zhí)行順序；以及

確定與所述作業(yè)任務(wù)類型相同的執(zhí)行節(jié)點。

通過用戶作業(yè)優(yōu)先級、所述資源需求信息、所述調(diào)度類型優(yōu)先級確定所述作業(yè)任務(wù)對應(yīng)的實際作業(yè)優(yōu)先級，細化了確定作業(yè)任務(wù)的執(zhí)行順序的步驟，保證最佳的資源分配。

可選的，在所述執(zhí)行節(jié)點執(zhí)行所述作業(yè)任務(wù)時，還包括：

創(chuàng)建與所述作業(yè)任務(wù)對應(yīng)的資源信息，并將所述資源信息記錄至資源記錄表。

將資源信息記錄至資源記錄表，對資源進行統(tǒng)計，方便資源的管理。