[發明專利]一種云環境下的數據采集與控制系統

有效

• 申請號: 202110232869.9
• 申請日: 2021-03-03
• 公開（公告）號: CN113037828B
• 公開（公告）日: 2023-01-20
• 發明（設計）人: 張永躍
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: H04L67/02
• 分類號: H04L67/02;G06F16/25;H04L41/0803;H04L43/08;H04L43/10;H04L69/22;H04L61/4511;H04L41/0213;H04L69/16;H04L41/0813;H04L69/18
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 闞恭勇

1.一種云環境下的數據采集與控制系統，其特征在于，

包括Client客戶端和Server端；

Server端用于接收Client端的注冊和心跳、向Client發送采集指令、接收Client的采集數據、向數據庫中灌入采集數據；

Client端用于向Server端發送注冊和心跳、采集數據；

在數據傳輸方面，兩者通過HTTP+JSON的方式進行指令下達和數據交互；

Client端分為緩沖層、解析層、控制層、采集層、數據聚合層；

控制層是Client端對整個Client軟件進行運行控制的層面，當出現錯誤的時候，讓Client端捕捉錯誤、拋出錯誤、回歸正常運行狀態；

緩沖層是Client端將接收到的采集指令進行緩沖，以面對大量業務突發情況；

在解析層，Client端初步解析采集指令，并將指令分發到指定的采集插件中；

采集層是采集插件進行具體的采集工作，獲取初步的數據；

數據聚合層是采集插件將初步采集數據進行規則運算，獲取聚合指標；

所述Client端的工作內容如下：

（1）Client首次啟動的時候需要向Server端注冊，表明在臺機器上啟動了Client端；

（2）已注冊的Client端需要間隔固定時間向Server端發送心跳信息，表明當前客戶端還活著，可從Server端接收指令；

（3）Client端從Server端接收采集指令，然后對JSON數據進行解析，下發指令到具體完成采集工作的采集插件；

（4）Client端的指令接收與采集工作是異步的，在接收到采集指令后，并不會等待采集插件完成采集工作在響應，而是立即返回指令已接收的響應數據，待具體的采集插件采集完數據后，Client端會將數據發送到對應的Server端；

（5）Client端可納管的對象，從底層管理對象開始，向上包括空間資源、基礎設施、虛擬化平臺、Laas層、Paas層、Saas層的對象；

（6）從OSI分層模型上看支持的協議；在應用層上，Client支持的協議包括HTTP/HTTPS、SNMP、DNS；在傳輸層上，支持TCP、UDP協議；在網絡層上支持IP、ICMP協議；

（7）Client統一管理所有采集對象的日志；日志文件分為兩個：一個是普通日志文件，統計warn及以上級別的日志；另一個是錯誤日志，用于統計error及以上級別的日志；

要監控的數據通過拉取的方式獲取； Server端通過采集指令下達到Client端，Client端才會主動將要監控的數據發送到Server端；

Client端異步處理采集指令，讓Client端釋放占用的資源，待當前采集結果全部出來之后，Client端才會返回結果集合；

Client端使用的配置文件只有一個，文件內容只有Server端的信息；配置文件支持熱更新，可通過人工或者Server端進行修改；

針對大流量突發的業務場景，Client端在指令接收一側和采集數據聚合一側各實現了一個緩沖隊列，用于保護系統的正常運行；

Client端的采集插件根據采集指令的規則進行數據的采集和數據的聚合；規則引擎支持以下規則：數值之間的加減乘除四則運算，以及字符串之間的加法運算；支持完整的邏輯運算，包括邏輯與（）、邏輯或（||）、邏輯非（！）；支持比較運算，包括等于（==）、不等于（！=）、大于（）、小于（）、大于等于（=）、小于等于（=）；支持+=、-=、*=、/=；支持小括號；符號之間的優先級為：小括號、邏輯非、乘除、加減、邏輯與和邏輯或，從左到右逐漸降低；

在Client端代碼實現上，分為對外接口、公共組件、采集插件；

對外接口用于通上游軟件進行信息交互，公共組件用于指令解析、數據整合、配置修改、錯誤處理方面，采集插件里集合了眾多的采集插件，以底層功能函數為依托，不僅囊括了針對具體的采集對象的采集插件，還可以和不同的云服務商進行對接；

對外接口部分提供了統一采集接收接口、配置更新接口、數據上送接口、心跳接口；

其中，

統一采集接收接口用于接收上游Server端下發的采集指令；

配置更新接口用于上游Server端更新配置信息；

數據上送接口將聚合后的數據從Client端上傳到Server端；

心跳接口用于Client端發送信息到Server端，以表明自己當前還存活著。