[發(fā)明專利]一種面向GPU資源的任務(wù)調(diào)度方法、裝置和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910289968.3
• 申請日: 2019-04-11
• 公開（公告）號: CN109992422A
• 公開（公告）日: 2019-07-09
• 發(fā)明（設(shè)計(jì)）人: 許歡慶;牟永奇;李潔;湯勁武
• 申請（專利權(quán)）人: 北京朗鏡科技有限責(zé)任公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

1.一種面向GPU資源的任務(wù)調(diào)度方法，其特征在于，應(yīng)用于面向GPU資源的任務(wù)調(diào)度系統(tǒng)，所述方法包括：

接收第一任務(wù)請求，所述第一任務(wù)請求中包括第一目標(biāo)任務(wù)的屬性信息；

根據(jù)所述第一目標(biāo)任務(wù)的屬性信息和任務(wù)資源使用配置表計(jì)算所述第一目標(biāo)任務(wù)所需的顯存資源大小；

根據(jù)服務(wù)器集群的可用資源狀態(tài)表，確定滿足所述第一目標(biāo)任務(wù)所需的顯存資源大小的目標(biāo)圖形處理器GPU，以便任務(wù)執(zhí)行模塊利用所述目標(biāo)GPU執(zhí)行所述第一目標(biāo)任務(wù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述任務(wù)執(zhí)行模塊利用所述目標(biāo)GPU執(zhí)行所述第一目標(biāo)任務(wù)時(shí)，所述方法還包括：

接收第二任務(wù)請求，所述第二任務(wù)請求中包括第二目標(biāo)任務(wù)的屬性信息；

根據(jù)所述第二目標(biāo)任務(wù)的屬性信息和任務(wù)資源使用配置表計(jì)算所述第二目標(biāo)任務(wù)所需的顯存資源大小；

若根據(jù)所述可用資源狀態(tài)表，確定所述目標(biāo)GPU的剩余顯存資源滿足所述第二目標(biāo)任務(wù)所需的顯存資源大小，將所述目標(biāo)GPU作為用于執(zhí)行所述第二目標(biāo)任務(wù)的GPU，以便所述任務(wù)執(zhí)行模塊利用所述目標(biāo)GPU執(zhí)行所述第二目標(biāo)任務(wù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)服務(wù)器集群的可用資源狀態(tài)表，確定滿足所述第一目標(biāo)任務(wù)所需的顯存資源大小的目標(biāo)圖形處理器GPU，包括：

根據(jù)服務(wù)器集群的可用資源狀態(tài)表，按照預(yù)設(shè)原則選擇滿足所述第一目標(biāo)任務(wù)所需的顯存資源大小的目標(biāo)GPU，所述目標(biāo)GPU位于目標(biāo)工作服務(wù)器上。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述預(yù)設(shè)原則包括：服務(wù)器集群中各個(gè)工作服務(wù)器的任務(wù)負(fù)載平衡、工作服務(wù)器中各個(gè)GPU的顯存占用率平衡和服務(wù)器集群剩余顯存資源對任務(wù)的滿足程度。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

對所述服務(wù)器集群中各個(gè)工作服務(wù)器的第一心跳包進(jìn)行心跳監(jiān)聽，根據(jù)所述第一心跳包維護(hù)所述可用資源狀態(tài)表。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)所述第一心跳包維護(hù)所述可用資源狀態(tài)表，包括：

所述可用資源狀態(tài)表中標(biāo)識第一工作服務(wù)器為可用狀態(tài)，若在預(yù)設(shè)心跳周期內(nèi)未監(jiān)聽到來自所述第一工作服務(wù)器的第一心跳包，更改所述可用資源狀態(tài)表，更改后的可用資源狀態(tài)表標(biāo)識所述第一工作服務(wù)器為不可用狀態(tài)；

所述根據(jù)服務(wù)器集群的可用資源狀態(tài)表，確定滿足所述第一目標(biāo)任務(wù)所需的顯存資源大小的目標(biāo)圖形處理器GPU，包括：

根據(jù)所述更改后的可用資源狀態(tài)表，確定滿足所述第一目標(biāo)任務(wù)所需的顯存資源大小的目標(biāo)GPU。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述任務(wù)執(zhí)行模塊利用所述目標(biāo)GPU執(zhí)行所述第一目標(biāo)任務(wù)時(shí)，所述方法還包括：

對所述任務(wù)執(zhí)行模塊的第二心跳包進(jìn)行監(jiān)聽，根據(jù)所述第二心跳包更新所述第一目標(biāo)任務(wù)的執(zhí)行狀態(tài)。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述方法還包括：

若在預(yù)設(shè)時(shí)間段內(nèi)未接收到所述第二心跳包，回收所述任務(wù)執(zhí)行模塊執(zhí)行所述第一目標(biāo)任務(wù)所使用的顯存資源。

9.一種面向GPU資源的任務(wù)調(diào)度裝置，其特征在于，所述裝置包括：

第一接收單元，用于接收第一任務(wù)請求，所述第一任務(wù)請求中包括第一目標(biāo)任務(wù)的屬性信息；

第一計(jì)算單元，用于根據(jù)所述第一目標(biāo)任務(wù)的屬性信息和任務(wù)資源使用配置表計(jì)算所述第一目標(biāo)任務(wù)所需的顯存資源大小；

第一確定單元，用于根據(jù)服務(wù)器集群的可用資源狀態(tài)表，確定滿足所述第一目標(biāo)任務(wù)所需的顯存資源大小的目標(biāo)圖形處理器GPU，以便任務(wù)執(zhí)行模塊利用所述目標(biāo)GPU執(zhí)行所述第一目標(biāo)任務(wù)。

10.一種面向GPU資源的任務(wù)調(diào)度系統(tǒng)，其特征在于，所述系統(tǒng)包括：

任務(wù)管理子系統(tǒng)，用于接收第一任務(wù)請求，所述第一任務(wù)請求中包括第一目標(biāo)任務(wù)的屬性信息；根據(jù)所述第一目標(biāo)任務(wù)的屬性信息和任務(wù)資源使用配置表計(jì)算所述第一目標(biāo)任務(wù)所需的顯存資源大小；

資源管理子系統(tǒng)，用于接收所述任務(wù)管理子系統(tǒng)發(fā)送的資源請求，所述資源請求包括所述第一目標(biāo)任務(wù)所需的顯存資源大小；根據(jù)服務(wù)器集群的可用資源狀態(tài)表，確定滿足所述第一目標(biāo)任務(wù)所需的顯存資源大小的目標(biāo)圖形處理器GPU，以便任務(wù)執(zhí)行模塊利用所述目標(biāo)GPU執(zhí)行所述第一目標(biāo)任務(wù)。