[發明專利]一種基于大數據可視化監控平臺的數據抽取方法

在審

• 申請號: 201711399299.2
• 申請日: 2017-12-22
• 公開（公告）號: CN109960621A
• 公開（公告）日: 2019-07-02
• 發明（設計）人: 石光捷;張良;付飛龍;張曉莉
• 申請（專利權）人: 南京欣網互聯網絡科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/32
• 代理公司: 南京源古知識產權代理事務所(普通合伙) 32300
• 代理人: 馬曉輝

本發明具體涉及一種對可視化監控平臺的數據抽取方法，包括：S1：對JEE中間件系統運行信息抽取。S2：Zabbix環境采集的各類軟硬件運行信息：S3：對App客戶端狀態信息的抽取，通過在客戶端App中代碼埋點的方式來完成。S4：服務接口方法調用信息：采用在服務端代碼埋點的方式采集服務執行情況信息的抽取。（1）本方法在對JEE中間件系統運行信息抽取采用組件dropwizard.metrics定時生成日志文件的方式，能夠兼容不同的廠商的標準和不同的版本。本方法使用metricbeat采集程序機器和中間件信息，定時向Redis發送信息，logstash處理消息后存儲數據，采集速度快，緩解處理器的運行壓力。

技術領域

本發明屬于電信運營商電子渠道與互聯網通信軟件領域，具體涉及一種基于大數據可視化監控平臺的數據抽取方法。

背景技術

可視化監控平臺是通過系統的監控日志，分析并展現當前系統各種狀態的平臺環境，通過從系統的運行節點獲取的日志信息，并對其進行收集清洗、匯總并轉換后，將這些信息存儲在分布式的搜索引擎環境中，然后通過對這些信息進行分析，最終以圖表等方式展現或通知給運維以及系統開發人員，從而為提升系統穩定性、高可用性等指標提供有效的參考依據。在監控過程中首先涉及到對數據的抽取，完整準確全面的數據抽取是監控的基礎。因此需要一種能針對監控平臺數據抽取方法。

發明內容

1、所要解決的技術問題：

本發明提供一種基于大數據可視化監控平臺的數據抽取方法。所述數據抽取又稱為數據收集，是可視化監控平臺中，用于從最終監控目標點獲取原始狀態及監控信息的環節，該環節通過使用第三方監控工具以及主動埋點采集相結合的方式，將監控節點的狀態以及各種運行信息記錄到相應結構的監控日志中，從而完成監控信息抽取的過程。

2、技術方案：

一種基于大數據可視化監控平臺的數據抽取方法，其特征在于：包括：

S1：對JEE中間件系統運行信息抽取：采用組件dropwizard.metrics定時生成日志文件的方式進行抽取。常用的JEE中間件包括：Oracle Weblogic、IBM Websphere和ApacheTomcat等。一般采取的收集的方式主要是采用各廠商提供的Mbean來獲取，但是由于各廠商的標準和版本問題，這樣可能需要針對不同服務器和不同的版本寫不同的針對，所以本方法采用能夠兼容不同中間件的組件dropwizard.metrics定時生成日志文件的方式。