[發明專利]一種云環境下的數據采集與控制系統

有效

• 申請號: 202110232869.9
• 申請日: 2021-03-03
• 公開（公告）號: CN113037828B
• 公開（公告）日: 2023-01-20
• 發明（設計）人: 張永躍
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: H04L67/02
• 分類號: H04L67/02;G06F16/25;H04L41/0803;H04L43/08;H04L43/10;H04L69/22;H04L61/4511;H04L41/0213;H04L69/16;H04L41/0813;H04L69/18
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 闞恭勇

本發明提供一種云環境下的數據采集與控制系統，屬于云環境下的資源監控與數據采集領域，本發明Client端與Server端通過HTTP+JSON的方式進行數據交互；Server通過向Client端發送采集指令和配置信息的方式來拉取要采集的數據和配置修改，Client端向Server端發送注冊信息和定期發送心跳，以達到對Client端的狀態監控。

技術領域

本發明涉及云環境下的資源監控與數據采集領域，尤其涉及一種云環境下的數據采集與控制系統。

背景技術

從維基百科上了解到，云計算是一種能夠將動態伸縮的虛擬化資源通過互聯網以服務的方式提供給用戶的計算模式，而用戶是不需要知道如何管理那些支持云計算的基礎設施。通過這種方式，可以將軟硬件資源共享給其它用戶，提高了資源的利用效率。

但隨著云計算的發展，云環境變得越來越復雜，云環境下的單個資源產生的問題很可能會對其它部分產生影響，這就需要我們對云平臺環境下的資源進行統一的管理和調度。面對多云環境的場景，云平臺需要監控采集的資源異常多，所涉及的接口、協議也是異常的繁雜，在沒有統一的管理的情況下，這不僅給代碼開發帶來大量重復的工作，還給后續的運維帶來異常多的工作量。數據采集方法的好壞，直接涉及到云平臺對云資源的調度能力。

現有的采集方式，就是針對每一種采集資源，都會有一套采集程序，而每一套采集程序其中可能會涉及多個采集程序，比如Openstack平臺下的物理機的采集，這涉及CPU、內存、磁盤和網卡等的采集，這套采集程序是由兩部分組成：一部分是通過NET-SNMP工具進行的采集；另一部分是通過IPMI工具進行的采集。在多云環境下，采集程序更是異常繁雜，配置文件和日志文件繁多，這使得后續的運維工作異常艱難。

現在的數據采集方式越來越不適應多云環境，這就急需一個多云環境下的一個統一的數據采集平臺對資源進行采集管理，來達到對多云環境下的全量資源進行監控，確保云平臺運營者可以了解和把握總體運行情況，檢查系統瓶頸和隱藏的缺陷，及時優化資源性能和可用性，并讓運維人員在發生嚴重故障時及時對問題進行定位并解決。

發明內容

為了解決以上技術問題，本發明提供了一種云環境下的數據采集與控制方法，針對當前大量的不同協議的采集對象，統一納管所有的采集對象，對云平臺進行多維度、全方位的監控。

本發明的技術方案是：

一種云環境下的數據采集與控制方法，Client端與Server端通過HTTP+JSON的方式進行數據交互。

Server通過向Client端發送采集指令和配置信息的方式來拉取要采集的數據和配置修改，Client端向Server端發送注冊信息和定期發送心跳，以達到對Client端的狀態監控。

Client端在接收到采集指令后，通過規則引擎解析并將其下發到具體的采集插件中，采集插件獲取到采集指令后進行采集，并將采集到的初始數據返回給數據聚合插件，數據聚合插件根據規則將數據進行聚合獲取復合指標，之后Client端將采集到的指標通過Server端的默認數據接收端口發送給Server端。

進一步的，

針對大流量突發問題，Client端在采集指令接收端和采集結果端都設計并實現了對應的緩沖隊列。Client端接收指令是異步的方式，在接收到指令后，并不會等待采集插件完成采集，而是直接返回采集命令已接收的響應，等到所有采集結果全部采集完，才會將復合結果返回給Server端。。

此外，本發明還提供了一種云環境下的數據采集與控制系統，包括Client客戶端和Server端；

Server端用于接收Client端的注冊和心跳、向Client發送采集指令、接收Client的采集數據、向數據庫中灌入采集數據。Client端用于向Server端發送注冊和心跳、采集數據（包括性能、告警、日志、資源等）。