[發明專利]一種可靠的基于深度強化學習的云容器集群資源調度方法及裝置

有效

• 申請號: 202210247022.2
• 申請日: 2022-03-14
• 公開（公告）號: CN114629906B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 吳超;胡煜;李兆豐;王朝
• 申請（專利權）人: 浙江大學
• 主分類號: H04L67/10
• 分類號: H04L67/10;H04L67/1008;H04L41/0823;H04L41/14;H04L41/147;G06N3/04;G06N3/092
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 劉靜

本發明公開了一種可靠的基于深度強化學習的云容器集群資源調度方法及裝置，首先需要確定云容器集群的穩定性目標；待調度目標聲明需要的最少資源需求和最大資源需求，并被放置待調度任務隊列中；待調度目標在執行調度時，首先將調度目標從隊列中取出，并過濾掉不符合該調度目標最少資源需求的集群節點；使用深度強化學習方法進行決策選擇集群中的調度的目標節點；檢測得到的目標節點是否可用，若可用，則直接調度至對應的節點上；若不可用，則采取保護性啟發式算法做出新決策，調度至對應的節點上。本發明能在深度神經網絡未受充足訓練甚至未訓練時直接投入使用而不會產生惡劣后果。添加和刪除節點而不需要中途停止并改動模型的參數。

技術領域

本發明屬于資源調度技術領域，尤其涉及一種可靠的基于深度強化學習的云容器集群資源調度方法及裝置。

背景技術

隨著云服務的不斷普及，很多公司開始使用云服務來減少在服務器上使用和維護的支出費用。現有的云服務付費模式主要為兩種：包年包月模式與按量付費模式。對于公司來說，需要一直穩定運行不間斷的服務，使用包年包月模式較為劃算，而對于突發需求則采用按量付費模式較為劃算。如何充分合理使用現有云服務器資源，則可以盡可能地減少在云服務上的龐大支出。

現有的云集群資源調度一般使用啟發式算法或者根據集群負載情況和特征采取一些自定義規則。例如開源的Kubernetes系統，它的調度大致分為兩個階段：預選與優選。在預選階段可以直接通過調度目標硬性調度條件直接將節點過濾掉(例如：該目標的某個端口是否被占用)。然后到了優選階段，在這個階段它將會把通過預選的所有節點使用內置的啟發式算法(例如：該節點的資源使用平衡度)進行計算，得到每個節點對應的分數，然后選擇最高分的節點，將調度目標調度到該節點上，結束該調度目標的調度。

但是采取以啟發式算法和人工為主的調度方法的主要問題在于：容易陷入局部最優解，導致資源碎片過多，無法充分利用系統資源。同時無法窮盡集群可能會出現的狀況，針對于不同需求，需要消耗大量的時間與支出。

于是，出現了利用強化學習為集群調度的方式，這種方式對于使用人員來說只需要定義好自己所期望的集群狀態的狀態-動作表、就可以了，對于每次調度，強化學習將會給這次調度基于該規則進行打分，然后不斷調整自身參數，最終達到使用人員想要的目標。

但是集群的條件是很復雜的，不同的集群指標都有很多處理方式，而對于強化學習來說，使用人員需要完整地定義狀態-動作表是不現實的，所以出現了深度強化學習。該深度強化學習使用神經網絡代替了狀態-動作表，極大的簡化了狀態-動作表的設置。

但是相比啟發式算法來說，深度強化學習不夠穩定：首先是數據的收集過程不可控，它在學習的過程中很可能絕大部分時間都在收集一些無用而且重復的數據。其次是很難基于當前的深度強化學習模型在狀態到達類似狀態時來重復測試該模型在此狀態下的魯棒性。最后，對于深度強化學習來說，它的探索過程還是十分原始的，探索過程本質上還是純隨機，即它在開始時會采取各種各樣的動作，只有在多次嘗試錯誤時才會避免該錯誤。不夠穩定的結果將會直接有可能集群的宕機，給公司帶來重大損失。

發明內容

本發明目的在于針對現有技術的不足，提出一種可靠的基于深度強化學習的云容器集群資源調度方法及裝置，同時還對工程化過程中產生的一些問題進行優化。

本發明的目的是通過以下技術方案來實現的：本發明提供了一種可靠的基于深度強化學習的云容器集群資源調度方法，該方法包括以下步驟：

(1)確定云容器集群的穩定性目標；

(2)待調度目標聲明需要的最少資源需求和最大資源需求，并被放置待調度任務隊列中；

(3)待調度目標在執行調度時，首先將調度目標從隊列中取出，并過濾掉不符合該調度目標最少資源需求的集群節點；