[發明專利]一種基于Zabbix監控系統的高效動態采集方法

在審

• 申請號: 202110762485.8
• 申請日: 2021-07-06
• 公開（公告）號: CN113535515A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 蘇占毅;趙乃良;袁俊峰;歐東陽;張紀林
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/32;G06N3/08
• 代理公司: 浙江千克知識產權代理有限公司 33246
• 代理人: 周希良

本發明涉及一種基于Zabbix監控系統的動態采集方法。本發明包括通過Zabbix采集數據并存儲在數據庫中，對節點按照負載狀態評估分為Green、Yellow、Red三種狀態，節點負載處于Green時通過BP神經網絡預測模型預測下一次采集周期；節點負載處于Yellow時將監控頻率的間隔周期分段，根據得到的差值和分級各段的時間計算下一次采集周期；節點負載處于Red,使用系統默認采集周期進行數據采集，不做改變。本發明能夠準確的根據節點負載進行Zabbix采集周期的動態調整，在保證節點負載正常的前提下提高了對業務數據監控的精準度。

技術領域

發明涉及運維監控的數據采集方法，尤其針對Zabbix實時監控大規模集群業務的動態采集方法。

背景技術

隨著人工智能AI、云計算產業的飛速發展，基于云計算的應用服務開始由點到面的滲透到各個領域，大規模數據中心往往由上萬臺物理機及外圍設備構成，經過整合和抽象之后通過網絡以按需分配的方式向用戶提供計算、存儲、通訊等服務，這些服務在運行過程中將產生種類繁多、體量巨大的實時監控數據。

從監控數據的特點來說，監控數劇價值密度分布并不均勻，并且采集的監控數據允許少量誤差；另一方面，從監控數據所能提供的價值來講，在波動相對劇烈的地方，價值密度相對較高，在波動平緩和遠離閾值地方，由于數據本身特征相對集中，因此價值密度相對低，在價值密度高的地方密集采集，在價值密度低的地方稀疏采集，在采集同樣數據點的條件下就能夠保留更多能夠表征監控數據整體特征的數據點，從而在整體上提高了采集數據的價值密度，降低了監控任務的負載和監控系統的成本。

當前云平臺下的以Zabbix為首的現有成熟監控都是以固定監控頻率采集，這在數據中心結構簡單、負載穩定的時候非常有利。但隨著云計算的深入發展，數據中心的復雜性越來越高，節點面臨的壓力也越來越大，傳統的監控模式難以有效應對越來越復雜的安全環境。如若采用固定監控頻率，當監控頻率較低時，則可能難以及時發現負載威脅，遲一刻發現則意味著對系統更大的威脅；而當監控頻率長期處于較高狀態時，監控任務占據大量負載資源的同時產生海量的監控數據。因此，應該采取措施提高對云服務的監控效率。

發明內容

本發明提供了一種用于Zabbix監控的動態數據采集方法，能夠根據監控數據當前的波動程度以及節點的負載狀態來動態調整數據采集周期，通過對Zabbix監控進行接口擴展，以在數據采集和系統負載之間達到平衡。

本發明解決技術的方案是：

一種基于Zabbix監控系統的高效動態采集方法，該方法的步驟包括：

步驟1.通過從Zabbix-Agent采集各個監控節點的監控數據，并上傳到Zabbix-Server后端對應的數據庫中進行保存；

步驟2.根據各Zabbix-Agent監控節點的系統負載數據特征，選用對應的負載評估模型和負載評估指標，對存儲在數據庫的中對應監控數據進行負載評估，同時將評估后的各Zabbix監控節點的負載狀態保存在數據庫中；

步驟3.根據各Zabbix-Agent節點負載狀態值，采用三種顏色代表三種節點負載狀態狀態，其中綠色代表節點負載正常、黃色代表負載正常但值偏高、紅色代表節點負載壓力過大；

當節點負載狀態處于綠色時，執行以下操作：

步驟3-1.根據具體監控項連續相鄰采集點的差值，維護一個描述數據項波動程度長度為N的環形隊列；

步驟3-1.構建含有一個隱層的三層多輸入單輸出的BP神經網絡波動預測模型，設定網絡隱層和輸出層激勵函數，初始化參數：最大迭代次數、期望誤差、學習速率；

步驟3-3.以輸入Zabbix數據庫中具體一監控項歷史數據為訓練數據，利用三層BP神經網絡算法逐層迭代，更新權值閾值，判斷是否到達最大循環次數或適應度值達到目標值，若是則BP神經網絡波動預測模型訓練完成進入步驟3-4，否則循環步驟3-3；