[發明專利]任務時間預測模型的訓練方法、任務調度方法及相關裝置

在審

• 申請號: 202110247231.2
• 申請日: 2021-03-05
• 公開（公告）號: CN113032116A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 李曉杰
• 申請（專利權）人: 廣州虎牙科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06N3/04
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 黎堅怡

本申請公開了一種任務時間預測模型的訓練方法、任務調度方法及相關裝置，其中，所述任務時間預測模型的訓練方法包括：將歷史任務的任務信息轉換為灰度圖像；其中，所述任務信息包括任務運行指令、任務所需的資源以及任務運行的代碼；將所述灰度圖像輸入任務時間預測模型，輸出所述歷史任務對應的預測運行時間；基于所述歷史任務對應的預測運行時間和實際運行時間之間的差異，調整所述任務時間預測模型的網絡參數。上述方案，能夠提高資源利用率。

技術領域

本申請涉及計算機技術領域，特別是涉及一種任務時間預測模型的訓練方法、任務調度方法及相關裝置。

背景技術

許多公司的業務都包含大量的深度學習模型，而深度學習模型一般都需要GPU這種高性能的設備進行模型的訓練。為此，許多使用深度學習算法的公司都會搭建專門的集群，集群中的每臺機器的資源是固定的，但訓練任務所需要的資源各不一樣，其所需的運行時間也各不一樣。

一般的小卡數訓練任務都在單機運行，而不是分布式運行，因為這樣的訓練速度最快。假設集群中每臺機器都有8張GPU，各機器上運行的任務都占用了7張GPU，此時如果還需要調度1個單機2張GPU的任務，雖然集群的總體資源是夠的，但由于沒有單機2張GPU空閑的機器，因此導致新的任務無法調度，這就是資源碎片化所導致的問題，致使資源利用率不高。

發明內容

本申請主要解決的技術問題是提供一種任務時間預測模型的訓練方法、任務調度方法及相關裝置，能夠提高資源利用率。

為了解決上述問題，本申請第一方面提供了一種任務時間預測模型的訓練方法，所述訓練方法包括：將歷史任務的任務信息轉換為灰度圖像；其中，所述任務信息包括任務運行指令、任務所需的資源以及任務運行的代碼；將所述灰度圖像輸入任務時間預測模型，輸出所述歷史任務對應的預測運行時間；基于所述歷史任務對應的預測運行時間和實際運行時間之間的差異，調整所述任務時間預測模型的網絡參數。

為了解決上述問題，本申請第二方面提供了一種任務調度方法，所述任務調度方法包括：使用任務時間預測模型對待運行任務進行預測，得到所述待運行任務的預測運行時間；從滿足所述待運行任務所需資源的所有機器節點中，選取運行有目標任務的機器節點作為目標節點；其中，所述目標任務的結束時間點與所述待運行任務的預計完成時間點之間的差值最??；將所述待運行任務調度到所述目標節點；其中，所述任務時間預測模型是通過上述第一方面的任務時間預測模型的訓練方法進行訓練得到的。

為了解決上述問題，本申請第三方面提供了一種任務調度系統，包括：若干個機器節點，所述機器節點用于利用系統資源運行任務；任務調度器，所述任務調度器用于使用任務時間預測模型對待運行任務進行預測，得到所述待運行任務的預測運行時間；從滿足所述待運行任務所需資源的所有機器節點中，選取運行有目標任務的機器節點作為目標節點；將所述待運行任務調度到所述目標節點；其中，所述目標任務的結束時間點與所述待運行任務的預計完成時間點之間的差值最小；所述任務時間預測模型是通過上述第一方面的任務時間預測模型的訓練方法進行訓練得到的。

為了解決上述問題，本申請第四方面提供了一種任務時間預測模型的訓練裝置，包括：信息處理模塊，所述信息處理模塊用于將歷史任務的任務信息轉換為灰度圖像；其中，所述任務信息包括任務運行指令、任務所需的資源以及任務運行的代碼；第一預測模塊，所述第一預測模塊用于將所述灰度圖像輸入任務時間預測模型，輸出所述歷史任務對應的預測運行時間；模型優化模塊，所述模型優化模塊用于基于所述歷史任務對應的預測運行時間和實際運行時間之間的差異，調整所述任務時間預測模型的網絡參數。