[發(fā)明專利]一種面向GPU資源的任務(wù)調(diào)度方法、裝置和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910289968.3
• 申請日: 2019-04-11
• 公開（公告）號: CN109992422A
• 公開（公告）日: 2019-07-09
• 發(fā)明（設(shè)計）人: 許歡慶;牟永奇;李潔;湯勁武
• 申請（專利權(quán)）人: 北京朗鏡科技有限責(zé)任公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

本申請實施例公開了一種面向GPU資源的任務(wù)調(diào)度方法，當(dāng)需要利用服務(wù)器集群中的顯存資源執(zhí)行任務(wù)(例如第一目標(biāo)任務(wù))時，根據(jù)第一任務(wù)請求中包括的第一目標(biāo)任務(wù)的屬性信息和任務(wù)資源使用配置表計算第一目標(biāo)任務(wù)所需的顯存資源大小，然后，根據(jù)服務(wù)器集群的可用資源狀態(tài)表，確定滿足第一目標(biāo)任務(wù)所需的顯存資源大小的GPU，以便任務(wù)執(zhí)行模塊利用目標(biāo)GPU執(zhí)行第一目標(biāo)任務(wù)。本方案接收到任務(wù)請求時，會進(jìn)行任務(wù)的顯存資源估算，以顯存資源為最小單位選取可用的GPU來完成任務(wù)，細(xì)化資源管理和任務(wù)調(diào)度的粒度。若一個GPU中顯存資源符合任務(wù)要求，便可能實現(xiàn)一個GPU并行執(zhí)行多個任務(wù)的目的，提高了GPU中顯存資源的利用率。

技術(shù)領(lǐng)域

本申請涉及計算機(jī)領(lǐng)域，特別是涉及一種面向GPU資源的任務(wù)調(diào)度方法、裝置和系統(tǒng)。

背景技術(shù)

近年來，人工智能技術(shù)得以快速發(fā)展和成熟，許多行業(yè)領(lǐng)域紛紛引入相關(guān)技術(shù)提升生產(chǎn)效率，提高競爭力。例如，智能零售行業(yè)引入圖像智能識別技術(shù)實現(xiàn)無人銷售、銷售數(shù)據(jù)智能統(tǒng)計預(yù)測等。圖像處理、語音識別、機(jī)器翻譯等相關(guān)深度學(xué)習(xí)任務(wù)通常以服務(wù)器集群上的圖形處理器(Graphic Processing Unit，簡稱GPU)作為主要的計算資源。服務(wù)器集群的GPU資源管理和任務(wù)調(diào)度是業(yè)務(wù)系統(tǒng)的重要環(huán)節(jié)。

傳統(tǒng)面向GPU資源的任務(wù)調(diào)度方式是當(dāng)需要執(zhí)行用戶輸入的任務(wù)時，為每個任務(wù)分配一個GPU，即傳統(tǒng)面向GPU資源的任務(wù)調(diào)度方式中都是以單個GPU為最小單元進(jìn)行管理、調(diào)度的。

然而，服務(wù)器集群中單臺工作服務(wù)器配置多個GPU，每個GPU具有一定數(shù)量的顯存資源，深度學(xué)習(xí)任務(wù)需要占用GPU中的顯存資源。由于單個任務(wù)往往不需要使用整個GPU的顯存資源，因此，傳統(tǒng)方法容易造成GPU中顯存資源的浪費(fèi)，GPU中顯存資源的利用率低。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，本申請?zhí)峁┝艘环N面向GPU資源的任務(wù)調(diào)度方法、裝置和系統(tǒng)，可以實現(xiàn)一個GPU并行執(zhí)行多個任務(wù)的目的，提高了GPU中顯存資源的利用率。

本申請實施例公開了如下技術(shù)方案：

第一方面，本申請實施例提供一種面向GPU資源的任務(wù)調(diào)度方法，應(yīng)用于面向GPU資源的任務(wù)調(diào)度系統(tǒng)，所述方法包括：

接收第一任務(wù)請求，所述第一任務(wù)請求中包括第一目標(biāo)任務(wù)的屬性信息；

根據(jù)所述第一目標(biāo)任務(wù)的屬性信息和任務(wù)資源使用配置表計算所述第一目標(biāo)任務(wù)所需的顯存資源大小；

根據(jù)服務(wù)器集群的可用資源狀態(tài)表，確定滿足所述第一目標(biāo)任務(wù)所需的顯存資源大小的目標(biāo)圖形處理器GPU，以便任務(wù)執(zhí)行模塊利用所述目標(biāo)GPU執(zhí)行所述第一目標(biāo)任務(wù)。

可選的，在所述任務(wù)執(zhí)行模塊利用所述目標(biāo)GPU執(zhí)行所述第一目標(biāo)任務(wù)時，所述方法還包括：

接收第二任務(wù)請求，所述第二任務(wù)請求中包括第二目標(biāo)任務(wù)的屬性信息；

根據(jù)所述第二目標(biāo)任務(wù)的屬性信息和任務(wù)資源使用配置表計算所述第二目標(biāo)任務(wù)所需的顯存資源大小；

若根據(jù)所述可用資源狀態(tài)表，確定所述目標(biāo)GPU的剩余顯存資源滿足所述第二目標(biāo)任務(wù)所需的顯存資源大小，將所述目標(biāo)GPU作為用于執(zhí)行所述第二目標(biāo)任務(wù)的GPU，以便所述任務(wù)執(zhí)行模塊利用所述目標(biāo)GPU執(zhí)行所述第二目標(biāo)任務(wù)。

可選的，所述根據(jù)服務(wù)器集群的可用資源狀態(tài)表，確定滿足所述第一目標(biāo)任務(wù)所需的顯存資源大小的目標(biāo)圖形處理器GPU，包括：

根據(jù)服務(wù)器集群的可用資源狀態(tài)表，按照預(yù)設(shè)原則選擇滿足所述第一目標(biāo)任務(wù)所需的顯存資源大小的目標(biāo)GPU，所述目標(biāo)GPU位于目標(biāo)工作服務(wù)器上。

可選的，所述預(yù)設(shè)原則包括：服務(wù)器集群中各個工作服務(wù)器的任務(wù)負(fù)載平衡、工作服務(wù)器中各個GPU的顯存占用率平衡和服務(wù)器集群剩余顯存資源對任務(wù)的滿足程度。