[發明專利]一種基于歷史數據分析的容器云平臺資源配額預測方法

有效

• 申請號: 201911360632.8
• 申請日: 2019-12-25
• 公開（公告）號: CN110990159B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 蔡亮;魯家南;才振功;李康;鄒金柱
• 申請（專利權）人: 浙江大學;中移在線服務有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06Q10/04
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明公開了一種基于歷史數據分析的容器云平臺資源配額預測方法，該方法創新性地基于混合統計學模型，根據容器實例的不同資源維度歷史負載，在滿足服務質量前提下獲得服務的不同維度資源消耗的關系；在請求負載一定的情況下，通過數據分析的方法，選出待選配額值中最優的配額值；通過不同級別負載測試實驗，得到相應負載級別下的資源分配量，根據這些對應不同服務負載下的資源分配量協同負載預測方法進行資源分配預測，優化資源配額方法，通過得到特定場景下服務所需資源量，結合考慮負載預測特性的調度方法，能預先針對負載做出調度及擴縮容決策，降低調度對服務質量影響，提升容器云平臺穩定性。

技術領域

本發明屬于云計算領域，具體屬于容器云平臺資源配額、資源預測領域，尤其涉及一種歷史數據分析的容器云平臺資源配額預測方法及裝置。

背景技術

云計算技術迅速發展，基于云平臺的應用也層出不窮。云平臺通過虛擬化技術將計算機資源整合成資源池，以按需付費的方式實現了用戶對計算資源的彈性需求。云計算發展至今，虛擬化技術一直是云平臺中的關鍵技術，而容器技術則是近年來新興的一種虛擬化技術。它的出現給傳統虛擬化技術帶來了挑戰，為構建高效的云平臺提供了新的思路。

現今各大云計算運營商正在大量的構建基于Docker容器技術的云平臺。其中kubernetes是一個全新的基于容器技術的分布式架構領先方案。Kubernetes在Docker的基礎上，為容器化的應用提供部署運行、資源調度、服務發現和動態伸縮等一系列完整功能，提高了大規模容器集群管理的便捷性。然而kubernetes在Pod的資源配額中，不同維度配額值關系，配額值粒度大小應該設置多少是普遍存在的一個問題，其直接導致現在的Pod資源利用率低，資源配額碎片化；另外，現階段還存在服務調度擴縮容的延時性等問題。

針對不同的服務對不同維度的資源有著不同的需求，如果不考慮這個特性，那么針對服務的資源分配會存在較大的浪費和碎片化問題，這將大大減少對于資源的有效利用。同時，對服務在特定負載級別下所需資源值的預估也對資源的分布、分配以致對于資源利用率的提升都有著十分重要的應用，結合負載預測的調度算法，能夠提高服務的穩定性。

發明內容

本發明的目的在于針對現有技術的不足，提供一種基于歷史數據分析的容器云平臺資源配額預測方法。本發明是一種資源配額、資源預估方法，用于解決現在kubernetes資源調度存在的資源利用不均衡、資源配額碎片化嚴重、調度擴縮容的延時性等問題。

本發明的目的是通過以下技術方案來實現的：一種基于歷史數據分析的容器云平臺資源配額預測方法，包括以下步驟：

(1)分別在實驗環境和線上環境監控kubernetes服務實例并獲得服務負載數據和資源使用量數據；所述資源使用量數據包括CPU資源使用量和內存資源使用量等。

(2)根據步驟(1)得到的服務負載數據和資源使用量數據，基于統計學模型獲取CPU資源使用量和內存資源使用量之間的關系。

(3)設置CPU參考配額值，并通過均勻采樣生成一組CPU待選配額值；再根據步驟(2)獲取的CPU資源使用量和內存資源使用量之間的關系，得到對應的內存待選配額值，構成CPU、內存配額值組；對不同的配額值組重復配額實驗，根據實驗得到的最小資源占用值確定配額較優值組。

(4)將服務配額設定為步驟(3)得到的配額較優值組，采用不同級別負載作為實驗環境的服務請求，記錄不同級別請求負載對應的CPU資源使用量。

(5)根據步驟(4)得到的不同級別請求負載對應的CPU資源使用量，通過線性回歸的方法得到請求負載和服務CPU資源使用量的函數關系，從而根據請求負載預測CPU資源使用量。

進一步地，所述步驟(1)包括以下子步驟：