[發明專利]一種基于深度強化學習的云作業調度方法

有效

• 申請號: 202011578884.0
• 申請日: 2020-12-28
• 公開（公告）號: CN112698911B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 李啟銳;彭志平;崔得龍;林建鵬;何杰光
• 申請（專利權）人: 廣東石油化工學院
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06F9/48;G06F9/50;G06N20/00
• 代理公司: 廣州潤禾知識產權代理事務所(普通合伙) 44446
• 代理人: 林偉斌

本發明涉及云計算資源調度領域，更具體地，涉及一種基于深度強化學習的云作業調度方法，包括：接收用戶發送的用戶作業；對用戶作業進行解耦，獲取就緒作業集；通過作業調度器對就緒作業集進行調度；所述調度為按照調度策略采取動作，將就緒作業集中的作業部署到相應的虛擬機上；通過虛擬機執行作業，并且返回執行結果；收集訓練樣本，建立經驗池；所述訓練樣本用于存儲就緒作業集狀態、虛擬機狀態、動作和回報值；所述回報值為采取動作獲得的回報；判斷經驗池內的訓練樣本數量是否小于閾值，若小于閾值則重新接收用戶發送的用戶作業，否則利用經驗池中的訓練樣本優化作業調度器；利用優化后的作業調度器進行調度。本發明能縮短用戶作業完工時間。

技術領域

本發明涉及云計算資源調度領域，更具體地，涉及一種基于深度強化學習的云作業調度方法。

背景技術

云計算本質上是一種通過技術集成，將計算、存儲、應用程序等IT資源集中并實現高效低成本供給的服務提供模型。中國云計算專家咨詢委員會秘書長劉鵬教授曾對云計算做了長短兩種定義。長定義是：云計算是一種商業計算模型，它將計算任務分布在大計算機構成的資源池上，使各種應用系統能夠根據需要獲取計算能力、儲存空間和信息服務。短定義是：云計算是通過網絡按需提供可動態伸縮的廉價計算服務。

如今，云計算已發展成為提供各類云端服務與組件的軟硬一體化技術資源平臺，是一個帶有明確商業模式的綜合性載體。在社會需求的價值驅動下，云計算作為一種低成本、可靈活的配置的服務提供模型，將迎來更豐富的應用場景與更廣闊的發展空間。在云作業調度過程中雖然具有較強的目標性，但其運動策略隨環境狀態變化而不斷調整，具有一定的隨機性；同時在制定作業調度策略時僅利用當前的系統狀態，與過去和將來的系統狀態無關，因此作業調度過程具有明顯的馬爾科夫特性(Markov property，是概率論中的一個概念，因為俄國數學家安德雷·馬爾科夫得名。在給定現在狀態時，它與過去狀態(即該過程的歷史路徑)是條件獨立的，那么此隨機過程即具有馬爾科夫特性)。一般情況下，云資源供需雙方追求的目標都是在提交作業后在最短的時間內得到響應。隨著人工智能技術的迅速發展，很多學者開始嘗試使用強化學習等機器學習算法解決諸多在云作業調度上的問題，以貼近這一目標。目前，基于強化學習的云作業調度算法在云計算資源調度領域已取得許多不錯的成果，同時也存在不少問題。云計算平臺是一個龐大的、瞬變的系統，因此狀態空間也是龐大的，狀態空間的龐大以及即將持續增大，使基于強化學習的云作業調度算法應用在分布式數據中心這種復雜的大型的云計算系統中具有很大局限性，這種局限性嚴重影響強化學習算法的性能。而強化學習算法的性能受到影響會導致作業的完工時間過長，用戶體驗不佳。綜上所述，目前亟需一種能縮短用戶作業完工時間的基于深度強化學習的云作業調度方法。

發明內容

為了解決上述問題，本發明提供一種基于深度強化學習的云作業調度方法，該方法能縮短用戶作業完工時間。

本發明采取的技術方案是：

一種基于深度強化學習的云作業調度方法，包括：

接收用戶發送的用戶作業；

對用戶作業進行解耦，獲取就緒作業集；

通過作業調度器對就緒作業集進行調度；所述調度為按照調度策略采取動作，將就緒作業集中的作業部署到相應的虛擬機上；所述動作為就緒作業集中的作業的虛擬機分配方式；

通過虛擬機執行作業，并且返回執行結果；

收集訓練樣本，建立經驗池；所述訓練樣本用于存儲就緒作業集狀態、虛擬機狀態、動作和回報值；所述回報值為采取動作獲得的回報；

判斷經驗池內的訓練樣本數量是否小于閾值，若小于閾值則重新接收用戶發送的用戶作業，否則利用經驗池中的訓練樣本優化作業調度器；

利用優化后的作業調度器進行調度。