[發明專利]基于多智能體強化學習的高性能集群資源公平分配方法

在審

• 申請號: 202210290007.6
• 申請日: 2022-03-22
• 公開（公告）號: CN114638167A
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 李巍;孫元昊;李云春
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06F9/48;G06F9/50
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 金怡;鄧治平

1.一種基于多智能體強化學習的高性能集群資源公平分配方法，其特征在于，包括：

步驟S1：建立高性能集群資源調度的馬爾科夫博弈模型，包括：定義作業特征狀態、集群資源使用狀態、單一用戶狀態以及單一智能體的環境狀態；

步驟S2：采集真實集群數據，利用仿真環境進行作業回放，構建高性能集群模擬環境；

步驟S3：在所述高性能集群模擬環境中對策略與狀態價值評估網絡進行訓練；其中，所述策略與狀態價值評估網絡包括：動作策略神經網絡NN_actor和值評估神經網絡NN_critic，并分別構建對應的損失函數進行用于參數更新。

2.根據權利要求1所述的基于多智能體強化學習的高性能集群資源公平分配方法，其特征在于，所述步驟S1：建立高性能集群資源調度的馬爾科夫博弈模型，包括：定義作業特征狀態、集群資源使用狀態、單一用戶狀態以及單一智能體的環境狀態，具體包括：

步驟S11：定義作業特征狀態：jobfeature＝{normalized_wait_time,normalized_run_time,normalized_request_procs,normalized_request_memory,normalized_user_id,normalized_group_id,normalized_executable_id,can_schedule_now}；

其中，normalized_wait_time表示作業已等待時間與預設的作業餓死等待時間之比，normalized_run_time表示作業已運行時間與最長作業運行時間之比，normalized_request_procss表示作業申請核數與集群總核數之比，normalized_request_memory表示作業申請內存量與集群總內存量之比，normalized_user_id表示作業的uesr_id與集群用戶數量之比，normalized_group_id表示作業的group_id與集群用戶組數量之比，normalized_executable_id表示作業腳本id與總腳本數量之比，can_schedule_now表示當前集群空閑資源是否滿足該作業的運行需要；

步驟S12：定義集群資源使用狀態：node_utility＝{normalized_node_utility₁,normalized_node_utility₂,...,normalized_node_utility_M}；

其中，M表示總節點數，normalized_node_utility_i表示節點i的已用核數與該節點總核數之比；

步驟S13：定義單一用戶狀態：userstate＝{normalized_user_node_utility₁,normalized_user_node_utility₂,...,normalized_user_node_utility_M}；

其中，normalized_user_node_utility_i表示該用戶在i節點上占用的核數與該節點總核數之比；

步驟S14：定義單一智能體的環境狀態，包括：作業與集群狀態矩陣M_{job_and_cluster}和用戶信息矩陣M_user：

和