[發明專利]深度學習訓練任務的管理方法及管理裝置

在審

• 申請號: 202011486962.4
• 申請日: 2020-12-16
• 公開（公告）號: CN112527503A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 趙明;韓來鵬;陳陽雪;柳笛;杜艷冰
• 申請（專利權）人: 北京地平線信息技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/08
• 代理公司: 北京布瑞知識產權代理有限公司 11505
• 代理人: 秦衛中

本申請公開了一種深度學習訓練任務的管理方法及管理裝置，該深度學習訓練任務的管理方法包括：確定第一深度學習訓練任務所在第一任務隊列的資源使用信息；基于第一任務隊列的資源使用信息，調整第一任務隊列對應的第一計算機集群的資源容量；控制調整資源容量后的第一計算機集群執行第一深度學習訓練任務。本申請的技術方案通過對第一任務隊列對應的第一計算機集群的資源容量進行調整，并利用調整資源容量后的第一計算機集群執行第一任務隊列中的第一深度學習訓練任務，從而可以從整體上提高資源的利用率，避免出現資源閑置以及資源緊張的問題，進而降低深度學習訓練任務的訓練成本。

技術領域

本發明涉及計算機技術領域，具體涉及一種深度學習訓練任務的管理方法及管理裝置。

背景技術

在深度學習技術領域，深度學習模型的訓練過程是必不可少的。深度學習模型的訓練過程可以看成深度學習訓練任務。深度學習訓練任務的管理系統可以對多個深度學習訓練任務的訓練過程進行管理，使得多個深度學習訓練任務按照順序進行訓練。但是現有的深度學習訓練任務的管理系統對資源的利用率低，導致訓練效率低下、訓練成本高。

發明內容

為了解決上述技術問題，本申請的實施例提供了一種深度學習訓練任務的管理方法及管理裝置。

根據本申請的一個方面，提供了一種深度學習訓練任務的管理方法，包括：確定第一深度學習訓練任務所在第一任務隊列的資源使用信息；基于第一任務隊列的資源使用信息，調整第一任務隊列對應的第一計算機集群的資源容量；控制調整資源容量后的第一計算機集群執行第一深度學習訓練任務。

根據本申請的另一個方面，提供了一種深度學習訓練任務的管理裝置，包括：確定模塊，用于確定第一深度學習訓練任務所在第一任務隊列的資源使用信息；調整模塊，用于基于第一任務隊列的資源使用信息，調整第一任務隊列對應的第一計算機集群的資源容量；執行模塊，用于控制調整資源容量后的第一計算機集群執行第一深度學習訓練任務。

根據本申請的又一個方面，提供了一種計算機可讀存儲介質，存儲介質存儲有計算機程序，計算機程序用于執行上述的深度學習訓練任務的管理方法。

根據本申請的又一個方面，提供了一種電子設備，包括：處理器；用于存儲處理器可執行指令的存儲器，其中，處理器用于執行上述的深度學習訓練任務的管理方法。

本申請實施例提供了一種深度學習訓練任務的管理方法及管理裝置，通過根據第一任務隊列的資源使用信息，對第一任務隊列對應的第一計算機集群的資源容量進行調整，可以在第一計算機集群的資源使用緊張的情況下，將第二計算機集群的資源調整給第一計算機集群，或者在第一計算機集群有資源閑置的情況下，將第一計算機集群的閑置資源調整給第二計算機集群，從而可以從整體上提高資源的利用率，避免出現資源閑置以及資源緊張的問題，進而降低深度學習訓練任務的訓練成本。

附圖說明

通過結合附圖對本申請實施例進行更詳細的描述，本申請的上述以及其他目的、特征和優勢將變得更加明顯。附圖用來提供對本申請實施例的進一步理解，并且構成說明書的一部分，與本申請實施例一起用于解釋本申請，并不構成對本申請的限制。在附圖中，相同的參考標號通常代表相同部件或步驟。

圖1是本申請一示例性實施例提供的深度學習訓練任務的管理系統的系統架構示意圖。

圖2是本申請一示例性實施例提供的深度學習訓練任務的管理方法的流程示意圖。

圖3是本申請另一示例性實施例提供的調整第一任務隊列對應的第一計算機集群的資源容量的流程示意圖。

圖4是本申請另一示例性實施例提供的深度學習訓練任務的管理方法的流程示意圖。

圖5是本申請另一示例性實施例提供的確定第一深度學習訓練任務的分值的流程示意圖。

圖6是本申請另一示例性實施例提供的深度學習訓練任務的管理方法的流程示意圖。