[發明專利]一種可靠的基于深度強化學習的云容器集群資源調度方法及裝置

有效

• 申請號: 202210247022.2
• 申請日: 2022-03-14
• 公開（公告）號: CN114629906B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 吳超;胡煜;李兆豐;王朝
• 申請（專利權）人: 浙江大學
• 主分類號: H04L67/10
• 分類號: H04L67/10;H04L67/1008;H04L41/0823;H04L41/14;H04L41/147;G06N3/04;G06N3/092
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 劉靜

1.一種可靠的基于深度強化學習的云容器集群資源調度方法，其特征在于，該方法包括以下步驟：

(1)確定云容器集群的穩定性目標；滿足如下要求：

M+ita×V＝100％

其中，M和V表示為節點的目標利用率和標準差，ita表示不超過節點容量的使用置信度；

(2)待調度目標聲明需要的最少資源需求和最大資源需求，并被放置待調度任務隊列中；

(3)待調度目標在執行調度時，首先將調度目標從隊列中取出，并過濾掉不符合該調度目標最少資源需求的集群節點；

(4)實時采集集群數據并查詢有無用戶綁定的用戶畫像，針對待調度目標，使用深度強化學習方法進行決策選擇集群中的調度的目標節點；基于比率a預先設置節點個數N，n/N＝ac，c為小于1的常數，n為實際在集群中的節點個數，對應深度強化學習模型的輸入層和輸出層的維度會增大，空位置的節點資源全部設置為不可用，當有新節點加入時即某個節點打開，變為可用節點，并改變強化學習的隨機程度，讓模型能夠探索到該節點，把這個節點納入預測范圍；

(5)檢測步驟(4)得到的目標節點是否可用，若可用，則直接調度至對應的節點上；若不可用，則采取保護性啟發式算法做出新決策，調度至對應的節點上；保護性的啟發式算法具體如下：

(5.1)得到當前節點的利用率，記為A，目標利用率記為X％；

(5.2)計算當前待調度目標的需求，記為B；

(5.3)計算如果該調度目標調度到目標節點的利用率，記為U＝A+B；

(5.4)如果U＝X％，返回U*(100-X)/X+X作為分數；

(5.5)如果X％U＝100％，返回50*(100-U)/(100-X)作為分數；

(5.6)如果U100％，返回0作為分數；

(5.7)取出最高分節點做為調度目標。

2.根據權利要求1所述的一種可靠的基于深度強化學習的云容器集群資源調度方法，其特征在于，步驟(1)中，通過云容器整個集群節點的平均利用率、節點之間平均利用率的差距、節點內部之間不同類型資源利用率的差距、超過目標利用率的差距來確定集群的穩定程度，平均利用率低于目標利用率時集群穩定，高于目標利用率時集群不穩定，集群穩定時，通過節點之間平均利用率的差距和節點內部之間不同類型資源利用率的差距判斷，差距絕對值越小越穩定，不穩定的程度基于超過目標利用率的差距值呈指數相關增長。

3.根據權利要求1所述的一種可靠的基于深度強化學習的云容器集群資源調度方法，其特征在于，步驟(4)中，若集群數據無法實時采集，則調用利用歷史集群數據訓練的時間序列模型預測獲得集群數據。

4.根據權利要求1所述的一種可靠的基于深度強化學習的云容器集群資源調度方法，其特征在于，步驟(4)中，所述用戶綁定的用戶畫像為調度目標具有相關的用戶過去使用記錄。

5.根據權利要求1所述的一種可靠的基于深度強化學習的云容器集群資源調度方法，其特征在于，步驟(5)中，所述保護性啟發式算法能夠預先設置節點的目標利用率，然后當前節點的利用率低于該目標利用率時，越靠近該目標利用率，該節點的優先程度越高；當超過該目標利用率時，越遠離目標利用率，節點優先程度越低。

6.根據權利要求1所述的一種可靠的基于深度強化學習的云容器集群資源調度方法，其特征在于，步驟(5)中，在調度目標調度成功時，根據調度目標聲明的最大資源需求，扣除在對應節點上的剩余資源聲明。

7.根據權利要求1所述的一種可靠的基于深度強化學習的云容器集群資源調度方法，其特征在于，步驟(5)中，在調度目標進行調度時，通過漏桶算法進行流量控制并通過集群負載狀況對集群進行保護。

8.根據權利要求7所述的一種可靠的基于深度強化學習的云容器集群資源調度方法，其特征在于，對集群進行保護是基于在一段時間范圍限制調度次數和該段時間內的集群波動大小程度上進行的保護。

9.一種實現權利要求1-8任一項所述的可靠的基于深度強化學習的云容器集群資源調度方法的調度裝置，其特征在于，包括存儲器和一個或多個處理器，所述存儲器中存儲有可執行代碼，所述處理器執行所述可執行代碼時，用于實現上述一種可靠的基于深度強化學習的云容器集群資源調度方法。