[發明專利]面向多公有云計算平臺的集群監控系統及其監控方法

有效

• 申請號: 201911164907.0
• 申請日: 2019-11-25
• 公開（公告）號: CN110912773B
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 朱和勝;林帥康;劉陽;馬健;溫書豪
• 申請（專利權）人: 深圳晶泰科技有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L12/24
• 代理公司: 深圳市科吉華烽知識產權事務所(普通合伙) 44248
• 代理人: 胡玉

本發明提供一種向多云計算平臺的集群監控系統，包括數據采集子系統，負責根據既定指標采集各個云上計算平臺的基礎資源數據、任務運行狀態和消耗、整體資源使用狀態監控數據，并且提供接口供調度系統調用獲取實時監控數據指導調度；數據處理子系統，負責各個數據子系統通過RPC請求上傳的集群監控數據，進行一系列的處理轉儲到后端進行存儲，并且提供接口供數據展示、賬單系統；告警子系統負責根據告警策略處理分析監控數據，確認告警級別并且發送告警信息。本發明能更好的觀察整體的任務運行情況，提高資源使用率，計算資源持久化便于賬單審計和對賬，可以自動化的解決一部分的異常問題，減少人工參與。

技術領域

本發明屬于跨多公有云計算調度技術領域，具體涉及一種面向多公有云計算平臺的集群監控系統及其監控方法，可以使用在多云計算平臺集群之中，作為多計算集群資源狀態，計算任務狀態監控告警系統和其他相關系統的數據支撐系統。

背景技術

云計算是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網絡訪問，進入可配置的計算資源共享池（資源包括網絡、服務器、存儲、應用軟件、服務），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務供應商進行很少的交互。

隨著互聯網和云計算等技術的發展，越來越多的共有云計算資源可供選擇，基于計算成本和區域化的考慮，跨多公有云的計算任務調度已經成為一種趨勢。與此同時，云計算本身的復雜度也在加劇，鑒于成本和復雜度的考慮，公有云提供商無法提供完備的對各個計算資源的監控指標和監控數據，所以用戶只能基于有限的監控數據做出決策。

每個云計算提供商會提供可視化的資源監控，供用戶對一定時期的資源使用情況有一個大致的掌握以及提供根據資源數據設定閾值進而進行告警動作。有效的監控系統可以敏捷的對云計算平臺進行管理，進而在云平臺和用戶計算平臺不斷迭代的情況下保證整個調度計算流程的可用性和安全性。

目前的公有云監控系統存在的問題主要在以下幾個方面:

1，云計算提供商上只提供計算資源的基本監控指標及其監控數據。計算平臺是以大規模的計算密集型的任務為主，會大量的使用CPU資源進行計算，云提供商僅僅提供計算節點的CPU,內存,網絡等基礎的資源監控,但是這些基礎監控數據還不足以滿足計算平臺的需求。目前市面上的計算平臺都是以kubernetes或mesos為基礎的，需要監控平臺上每一個計算任務的實時運行狀態以及任務的資源請求量和實際使用量等監控指標。目前云提供商都無法完成對這些監控指標的支持。

2，基于成本的考慮，云提供商無法自定義監控指標采集且無法對監控數據進行更詳細的分析，進而無法反饋調度系統實時進行調整策略。在1中說明了云提供商無法提供一些云計算平臺需要的監控指標而且云提供商也無法讓用戶通過一定的方式采集這些指標并進行展示。對于已有的監控數據存儲在云端之上且沒有提供方式獲取一定時期的歷史數據進行更詳細的分析，進而無法核對資源使用情況造成無法對資源使用賬單進行核對。若無法獲取調度系統進行策略調整所依賴的數據，實時的調度策略也就無從談起，單一的調度策略可能會造成資源不必要的浪費。

3，自帶的資源監控視圖分散，無法提供用戶可自定義的統一視圖，而且各個云提供商的監控方式互不相同，很難有統一的方式去處理各個云的資源監控數據。與傳統的運維監控系統不同，計算平臺更關心某個集群整體的運行狀態而不是某臺機器的基礎資源狀態，比如集群整體的資源分配率，資源請求率以及計算任務的消耗速度等等。云提供不但無法提供某些指標的采集而且連基礎資源的整合都很難做到，這也就無法提供出一個直觀的資源狀態視圖。

4，告警系統只能針對某一個或某一類資源單獨設置且無法對告警進行分級。云提供商可以提供基礎資源的閾值告警，但是無法對這些告警進行分級，在告警信息過多的時候很容易造成關鍵告警信息被忽略無法及時處理。而且現有的告警策略完全不能滿足云計算平臺的告警需求，從而無法完全掌握計算平臺的運行時狀態。

發明內容