[發明專利]分布式算力資源的編排方法、裝置、設備及存儲介質

有效

• 申請號: 202211420673.3
• 申請日: 2022-11-15
• 公開（公告）號: CN115562877B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 黃耀;張弛
• 申請（專利權）人: 北京阿丘科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 深圳市恒程創新知識產權代理有限公司 44542
• 代理人: 李晶

本發明涉及資源數據管理技術領域，公開了一種分布式算力資源的編排方法、裝置、設備及存儲介質，所述方法包括：在接收到任務訓練請求時，通過分布式鎖將算力資源池進行鎖定，并將訓練任務添加至排隊任務隊列；在接收到訓練任務添加成功信息時，根據預設資源算法計算出訓練任務所需的算力資源；在訓練任務所需的算力資源小于或等于剩余算力資源時，將所述訓練任務從排隊任務隊列中移除；根據訓練任務所需的算力資源通過訓練節點對所述訓練任務進行訓練；通過上述方式，訓練任務由分布式協調器中間件來協調任務請求和資源占用，根據分配的算力資源對訓練任務進行訓練，能夠有效提高訓練模型任務的效率和高并發訓練任務的穩定性。

技術領域

本發明涉及資源數據管理技術領域，尤其涉及分布式算力資源的編排方法、裝置、設備及存儲介質。

背景技術

模型訓練是一個非常耗費資源和時間的過程。對于一個模型訓練任務來說，即便在高端的消費級顯卡上進行訓練也需要數個小時，并且作為辦公的電腦來說，所配置的顯卡的性能往往都不高，就會造成訓練所耗費的時間更長，為解決上述問題，目前常用的相關技術是通過提升個人電腦的配置或者通過多個訓練節點進行訓練，對于提升個人電腦的配置的方案來說，存在投入較大、收益不高且使用率較低等缺陷，對于通過多個訓練節點進行訓練的方案來說，每次訓練任務都將使用機器上的全部算力資源，同一時間每臺機器只能進行一個訓練任務，面對多個訓練任務的場景時，不同訓練任務串行處理，后續任務必須等待先前的訓練任務結束后才能開始執行，造成訓練模型任務的效率較低，以及高并發訓練任務的穩定性較差。

上述內容僅用于輔助理解本發明的技術方案，并不代表承認上述內容是現有技術。

發明內容

本發明的主要目的在于提供一種分布式算力資源的編排方法、裝置、設備及存儲介質，旨在解決現有技術訓練模型任務的效率較低，以及高并發訓練任務的穩定性較差的技術問題。

為實現上述目的，本發明提供了一種分布式算力資源的編排方法，所述分布式算力資源的編排方法包括以下步驟：

在接收到任務訓練請求時，通過分布式鎖將算力資源池進行鎖定，并將所述任務訓練請求對應的訓練任務添加至排隊任務隊列；

在接收到訓練任務添加成功信息時，根據預設資源算法計算出所述訓練任務所需的算力資源；

在所述訓練任務所需的算力資源小于或等于剩余算力資源時，將所述訓練任務從所述排隊任務隊列中移除；

根據所述訓練任務所需的算力資源通過訓練節點對所述訓練任務進行訓練。

可選地，所述在所述訓練任務所需的算力資源小于或等于剩余算力資源時，將所述訓練任務從所述排隊任務隊列中移除，包括：

將目標算力資源申請請求發送至算力資源控制模塊，以使所述算力資源控制模塊根據所述目標算力資源申請請求反饋剩余算力資源；

在所述訓練任務所需的算力資源小于剩余算力資源時，對訓練任務模塊的當前狀態進行調整；

在調整完成后，向所述排隊任務隊列發送任務訓練退出請求，以使所述排隊任務隊列將所述訓練任務進行移除。

可選地，所述將目標算力資源申請請求發送至算力資源控制模塊，以使所述算力資源控制模塊根據所述目標算力資源申請請求反饋剩余算力資源之后，包括：

在所述訓練任務所需的算力資源大于剩余算力資源時，判斷所述訓練任務是否為多個；

在所述訓練任務為多個時，將所述訓練任務劃分為第一訓練任務和第二訓練任務；

根據預設資源算法計算出所述第一訓練任務和第二訓練任務所需的算力資源；

在所述第一訓練任務和第二訓練任務所需的算力資源均小于剩余算力資源時，獲取所述第一訓練任務和第二訓練任務的訓練規模和訓練復雜度；