[發明專利]基于多智能體強化學習的高性能集群資源公平分配方法

在審

• 申請號: 202210290007.6
• 申請日: 2022-03-22
• 公開（公告）號: CN114638167A
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 李巍;孫元昊;李云春
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06F9/48;G06F9/50
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 金怡;鄧治平

本發明涉及一種基于多智能體強化學習的高性能集群資源公平分配方法及系統，其方法包括：S1：建立高性能集群資源調度的馬爾科夫博弈模型；S2：采集真實集群數據，利用仿真環境進行作業回放，構建高性能集群模擬環境；S3：在高性能集群模擬環境中對策略與狀態價值評估網絡進行訓練；其中，策略與狀態價值評估網絡包括：動作策略神經網絡NN_actor和值評估神經網絡NN_critic，并分別構建對應的損失函數進行用于參數更新。本發明提供的方法，保證了在不影響集群資源使用率的情況下，能夠維護用戶間的資源使用公平。

技術領域

本發明涉及高性能集群的資源調度領域，具體涉及一種基于多智能體強化學習的高性能集群資源公平分配方法及系統。

背景技術

近年來，深度學習在大量不同的領域中取得了巨大的進步與發展，例如計算機視覺、圖像識別、自然語言處理、推薦算法。為了提高訓練結果的準確性，人們使用的模型的規模不斷上升，同時訓練的數據量也在不停地擴大。例如，谷歌在2018年提出的BERT模型，預訓練的過程使用了16個TPU v3芯片，耗時3天才完成了預訓練的任務。在8個Tesla P100GPU上訓練一個Resnet-50模型花費了29小時。伴隨著訓練計算量的不斷擴展，為了保證訓練時間在一個可接受的范圍內，就不得不使用分布式訓練的方法。

高性能計算集群擁有高性能，計算性價比高，方便擴展，適合并行任務的特點，所以適合用于進行大規模分布式訓練、物理模擬、并行計算任務。現有的一些大型互聯網公司，都建立了自己的GPU或TPU集群并且有著相應的任務調度與集群管理方式，例如谷歌使用Borg管理其內部集群，騰訊、百度使用YARN進行內部集群管理。用戶通過提交計算作業至集群，利用集群進行快速計算，同時并不會影響用戶進行其他的工作。隨著這種高效計算方式的興起，資源的高效管理成為一個熱點問題。云計算集群與高性能集群不可避免的涉及到了資源共享的問題。每個用戶都希望自己提交的作業能夠被高效運行，但是集群資源的有限性注定了無法使每個用戶的作業都被立即執行。因此，該問題就可以被建模成為一個多智能體調度問題：每個用戶都希望能夠優化自己的作業的等待時間，但是資源量是額定的，因此用戶間就形成了資源競爭關系。

當前的HPC任務調度系統實際上被建模成為了一個多作業調度的過程。如slurm調度系統，通過在管理節點建立作業隊列排序進行多任務的優先級設定。但是這類建模并沒有考慮到用戶之間的資源競爭關系，而是利用作業的特性進行優先級的計算。這容易導致資源傾向于某些用戶的情況產生，即這些用戶提交的作業更適合在當前集群環境下運行。但是高性能集群實際上是個多用戶共享的資源，每位用戶的使用的體驗都應該被考慮到。因此，如何在盡可能的保證資源的高效使用的情況下，維護用戶間的資源使用公平性，成為一個亟待解決的問題。

發明內容

為了解決上述技術問題，本發明提供一種基于多智能體強化學習的高性能集群資源公平分配方法及系統。

本發明技術解決方案為：一種基于多智能體強化學習的高性能集群資源公平分配方法，包括：

步驟S1：建立高性能集群資源調度的馬爾科夫博弈模型，包括：定義作業特征狀態、集群資源使用狀態、單一用戶狀態以及單一智能體的環境狀態；

步驟S2：采集真實集群數據，利用仿真環境進行作業回放，構建高性能集群模擬環境；

步驟S3：在所述高性能集群模擬環境中對策略與狀態價值評估網絡進行訓練；其中，所述策略與狀態價值評估網絡包括：動作策略神經網絡NN_actor和值評估神經網絡NN_critic，并分別構建對應的損失函數進行用于參數更新。

本發明與現有技術相比，具有以下優點：

1、本發明公開了一種基于多智能體強化學習的高性能集群資源公平分配方法，將高性能集群資源調度過程建模為多智能體調度的過程，使用用戶衰減系數靈活控制不同用戶的優先級，保證了在不影響集群資源使用率的情況下，能夠維護用戶間的資源使用公平。