[發(fā)明專利]任務(wù)調(diào)度方法、裝置、設(shè)備和計(jì)算機(jī)存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110190139.7
• 申請(qǐng)日: 2021-02-18
• 公開（公告）號(hào): CN112948079B
• 公開（公告）日: 2022-06-28
• 發(fā)明（設(shè)計(jì)）人: 陳秋良;劉紅雨;藍(lán)翔
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F9/50
• 代理公司: 北京鴻德海業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11412
• 代理人: 田宏賓

1.一種任務(wù)調(diào)度方法，包括：

依據(jù)預(yù)先分析得到的目標(biāo)任務(wù)中各算子任務(wù)的硬件執(zhí)行代價(jià)，對(duì)可并發(fā)執(zhí)行的算子任務(wù)進(jìn)行優(yōu)先級(jí)排序，其中硬件執(zhí)行代價(jià)越低的算子任務(wù)優(yōu)先級(jí)越高，所述算子任務(wù)的硬件執(zhí)行代價(jià)由該算子任務(wù)需要的新增硬件資源量與執(zhí)行后可回收硬件資源量得到；

按照優(yōu)先級(jí)排序結(jié)果，依次對(duì)所述可并發(fā)執(zhí)行的算子任務(wù)進(jìn)行調(diào)度；

其中，所述調(diào)度包括：依據(jù)當(dāng)前待調(diào)度的算子任務(wù)需要的新增硬件資源量與當(dāng)前系統(tǒng)可用硬件資源量，確定是否執(zhí)行當(dāng)前待調(diào)度的算子任務(wù)。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述目標(biāo)任務(wù)中各算子任務(wù)的硬件執(zhí)行代價(jià)采用如下方式預(yù)先分析得到：

在目標(biāo)任務(wù)的編譯階段，根據(jù)指定輸入數(shù)據(jù)的大小以及所述目標(biāo)任務(wù)中各算子任務(wù)之間的依賴關(guān)系，確定各算子任務(wù)的硬件占用信息，所述硬件占用信息包括硬件執(zhí)行代價(jià)。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述目標(biāo)任務(wù)中各算子任務(wù)的硬件執(zhí)行代價(jià)采用如下方式預(yù)先分析得到：

在目標(biāo)任務(wù)的試運(yùn)行階段，記錄各算子任務(wù)的硬件占用信息，所述硬件占用信息包括硬件執(zhí)行代價(jià)；

根據(jù)試運(yùn)行階段采用的輸入數(shù)據(jù)的大小和當(dāng)前實(shí)際運(yùn)行階段采用的輸入數(shù)據(jù)的大小，在記錄的所述各算子任務(wù)的硬件占用信息的基礎(chǔ)上確定實(shí)際運(yùn)行階段各算子任務(wù)的硬件占用信息。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述可并發(fā)執(zhí)行的算子任務(wù)采用如下方式確定：

獲取依據(jù)所述目標(biāo)任務(wù)中各算子任務(wù)之間的依賴關(guān)系得到的計(jì)算圖，所述計(jì)算圖中節(jié)點(diǎn)為算子任務(wù)，節(jié)點(diǎn)之間的邊指示算子任務(wù)之間的數(shù)據(jù)流向；

基于所述計(jì)算圖，將不存在依賴關(guān)系且輸入數(shù)據(jù)已就緒的算子任務(wù)作為可并發(fā)執(zhí)行的算子任務(wù)。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述依據(jù)當(dāng)前待調(diào)度的算子任務(wù)需要的新增硬件資源量與當(dāng)前系統(tǒng)可用硬件資源量，確定是否執(zhí)行當(dāng)前待調(diào)度的算子任務(wù)包括：

若當(dāng)前待調(diào)度的算子任務(wù)需要的新增硬件資源量小于或等于當(dāng)前系統(tǒng)可用硬件資源量，則執(zhí)行所述當(dāng)前待調(diào)度的算子任務(wù)；

否則，等待正在執(zhí)行的算子任務(wù)回收硬件資源后，再次對(duì)所述當(dāng)前待調(diào)度的算子任務(wù)進(jìn)行調(diào)度。

6.根據(jù)權(quán)利要求5所述的方法，其中，若當(dāng)前待調(diào)度的算子任務(wù)需要的新增硬件資源量大于當(dāng)前系統(tǒng)可用硬件資源量，且在所述等待正在執(zhí)行的算子任務(wù)回收硬件資源之前，還包括：

判斷是否存在正在執(zhí)行的算子任務(wù)，如果是，則繼續(xù)執(zhí)行所述等待正在執(zhí)行的算子任務(wù)回收硬件資源；否則，結(jié)束所述目標(biāo)任務(wù)的執(zhí)行。

7.根據(jù)權(quán)利要求5所述的方法，該方法還包括：

算子任務(wù)執(zhí)行結(jié)束后，對(duì)所述算子任務(wù)回收硬件資源，并更新當(dāng)前系統(tǒng)可用硬件資源量。

8.根據(jù)權(quán)利要求1至3、4至7中任一項(xiàng)所述的方法，其中，所述目標(biāo)任務(wù)包括深度學(xué)習(xí)模型的訓(xùn)練任務(wù)或應(yīng)用任務(wù)；

所述硬件資源包括顯存空間。

9.一種任務(wù)調(diào)度裝置，包括：

排序單元，用于依據(jù)預(yù)先分析得到的目標(biāo)任務(wù)中各算子任務(wù)的硬件執(zhí)行代價(jià)，對(duì)可并發(fā)執(zhí)行的算子任務(wù)進(jìn)行優(yōu)先級(jí)排序，其中硬件執(zhí)行代價(jià)越低的算子任務(wù)優(yōu)先級(jí)越高，所述算子任務(wù)的硬件執(zhí)行代價(jià)由該算子任務(wù)需要的新增硬件資源量與執(zhí)行后可回收硬件資源量得到；

調(diào)度單元，用于按照優(yōu)先級(jí)排序結(jié)果，依次對(duì)所述可并發(fā)執(zhí)行的算子任務(wù)進(jìn)行調(diào)度；其中，所述調(diào)度包括：依據(jù)當(dāng)前待調(diào)度的算子任務(wù)需要的新增硬件資源量與當(dāng)前系統(tǒng)可用硬件資源量，確定是否執(zhí)行當(dāng)前待調(diào)度的算子任務(wù)。

10.根據(jù)權(quán)利要求9所述的裝置，還包括：

第一分析單元，用于在目標(biāo)任務(wù)的編譯階段，根據(jù)指定輸入數(shù)據(jù)的大小以及所述目標(biāo)任務(wù)中各算子任務(wù)之間的依賴關(guān)系，確定各算子任務(wù)的硬件占用信息，所述硬件占用信息包括硬件執(zhí)行代價(jià)。