[發明專利]分布式算力資源的編排方法、裝置、設備及存儲介質

有效

• 申請號: 202211420673.3
• 申請日: 2022-11-15
• 公開（公告）號: CN115562877B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 黃耀;張弛
• 申請（專利權）人: 北京阿丘科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 深圳市恒程創新知識產權代理有限公司 44542
• 代理人: 李晶

1.一種分布式算力資源的編排方法，其特征在于，所述分布式算力資源的編排方法包括以下步驟：

在接收到任務訓練請求時，通過分布式鎖將算力資源池進行鎖定，并將所述任務訓練請求對應的訓練任務添加至排隊任務隊列；

在接收到訓練任務添加成功信息時，根據預設資源算法計算出所述訓練任務所需的算力資源；

在所述訓練任務所需的算力資源小于或等于剩余算力資源時，將所述訓練任務從所述排隊任務隊列中移除；

根據所述訓練任務所需的算力資源通過訓練節點對所述訓練任務進行訓練。

2.如權利要求1所述的分布式算力資源的編排方法，其特征在于，所述在所述訓練任務所需的算力資源小于或等于剩余算力資源時，將所述訓練任務從所述排隊任務隊列中移除，包括：

將目標算力資源申請請求發送至算力資源控制模塊，以使所述算力資源控制模塊根據所述目標算力資源申請請求反饋剩余算力資源；

在所述訓練任務所需的算力資源小于剩余算力資源時，對訓練任務模塊的當前狀態進行調整；

在調整完成后，向所述排隊任務隊列發送任務訓練退出請求，以使所述排隊任務隊列將所述訓練任務進行移除。

3.如權利要求2所述的分布式算力資源的編排方法，其特征在于，所述將目標算力資源申請請求發送至算力資源控制模塊，以使所述算力資源控制模塊根據所述目標算力資源申請請求反饋剩余算力資源之后，包括：

在所述訓練任務所需的算力資源大于剩余算力資源時，判斷所述訓練任務是否為多個；

在所述訓練任務為多個時，將所述訓練任務劃分為第一訓練任務和第二訓練任務；

根據預設資源算法計算出所述第一訓練任務和第二訓練任務所需的算力資源；

在所述第一訓練任務和第二訓練任務所需的算力資源均小于剩余算力資源時，獲取所述第一訓練任務和第二訓練任務的訓練規模和訓練復雜度；

通過預設調度策略對所述第一訓練任務和第二訓練任務的訓練規模和訓練復雜度進行計算，得到訓練優先級；

在所述第一訓練任務的訓練優先級高于所述第二訓練任務的訓練優先級時，將所述第一訓練任務移除至所述排隊任務隊列；

在所述第一訓練任務的訓練優先級低于所述第二訓練任務的訓練優先級時，將所述第二訓練任務移除至所述排隊任務隊列；

在所述第一訓練任務的訓練優先級等于所述第二訓練任務的訓練優先級時，將默認訓練任務移除至所述排隊任務隊列，所述默認訓練任務包括第一訓練任務或第二訓練任務。

4.如權利要求1所述的分布式算力資源的編排方法，其特征在于，所述根據所述訓練任務所需的算力資源通過訓練節點對所述訓練任務進行訓練，包括：

在接收到排隊任務隊列發送的所述訓練任務退出隊列成功信息時，將訓練任務模塊的當前狀態調整為可訓練狀態；

在調整完成后，通過所述訓練任務模塊向可訓練任務隊列發送任務訓練啟動信息，以使所述可訓練任務隊列根據所述任務訓練啟動信息反饋對應的確定啟動信息；

根據所述確定啟動信息和所述訓練任務所需的算力資源通過訓練節點對所述訓練任務進行訓練。

5.如權利要求4所述的分布式算力資源的編排方法，其特征在于，所述根據所述確定啟動信息和所述訓練任務所需的算力資源通過訓練節點對所述訓練任務進行訓練之后，還包括：

在訓練結束后，通過分布式鎖將其他正在執行的訓練任務進行解鎖；

在解鎖完成后，判斷所述排隊任務隊列中是否還存在其他訓練任務；

在所述排隊任務隊列中還存在其他訓練任務時，將所述訓練節點所占用的算力資源釋放至算力資源池，以供其他訓練任務的使用。

6.如權利要求5所述的分布式算力資源的編排方法，其特征在于，所述在所述排隊任務隊列中還存在其他訓練任務時，將所述訓練節點所占用的算力資源釋放至算力資源池之后，還包括：

獲取訓練節點的分布式lease協議狀態；

在所述分布式lease協議狀態為失效狀態時，將所述訓練節點所占用的算力資源從所述算力資源池進行排除。