[發明專利]一種基于網絡設備的數據采集系統及方法

有效

• 申請號: 201710199399.4
• 申請日: 2017-03-30
• 公開（公告）號: CN106992903B
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 李宏發;陳震亦;吳樹霖;李舒婷;姚文杰;林彧茜
• 申請（專利權）人: 國網福建省電力有限公司;國家電網公司;國網福建省電力有限公司信息通信分公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L12/24;H04L29/08
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 蔡學俊;薛金才

本發明提供一種基于網絡設備的數據采集系統及方法，該系統包括采集引擎及規則引擎；所述采集引擎包括采集控制器、定時調度框架、消息服務接口、命令控制插件、設備發現插件、設備采集插件以及規則引擎；當采集系統啟動時，自動加載定時框架，到達指定時間后，由定時框架啟動插件進行設備數據采集；采集控制器用于接收系統監控控制命令；設備采集插件安裝完畢后，采集控制器按照安裝順序依次啟動設備采集插件，在啟動過程中為設備采集插件分配調度作業以及數據上報；設備采集插件啟動后按照之前分配的調度作業依據對應的監控協議工具獲取設備數據，通過消息服務接口將數據上報給規則引擎。其應用實現實時檢測，跨地區靈活部署，監控代理熱部署。

技術領域

本發明屬于數據采集領域，具體涉及一種基于網絡設備的數據采集系統及方法。

背景技術

隨著信息化應用的不斷加深，企業對信息系統的依賴程度越發緊密。任何應用設備的故障都會對業務的正常運行造成非常大的影響。因此，采集網絡資源（防火墻、交換機、路由器、主機、中間件及數據庫等）的配置、運行、性能等數據，為有效判斷設備運行情況提供依據。然而市場上的類似工具多以使用線程池與系統集成運行的運行方式。

基于J2EE和.NET為基礎技術平臺，采用SNMP、SSH、PING、JDBC等協議進行網絡設備、主機、數據庫、中間件運行狀態和配置信息的采集、展示和管理的自有開發技術。

發明內容

有鑒于此，本發明提供一種基于網絡設備的數據采集系統及方法。

本發明采用以下技術方案：一種基于網絡設備的數據采集系統，其包括采集引擎及規則引擎；所述采集引擎包括采集控制器、定時框架、消息服務接口、命令控制插件、設備發現插件和設備采集插件；當采集系統啟動時，自動加載定時框架，到達指定時間后，由定時框架啟動插件進行設備數據采集；所述采集控制器用于接收系統監控控制命令；設備采集插件安裝完畢后，采集控制器按照安裝順序依次啟動設備采集插件，在啟動過程中為設備采集插件分配調度作業以及數據上報；設備采集插件啟動后按照之前分配的調度作業依據對應的監控協議工具獲取設備數據，通過消息服務接口將數據上報給規則引擎。

進一步的，還包括用于監控、處理采集數據的監控引擎。

較佳的，所述監控引擎運行框架使用Apache Felix框架，主控器接收系統控制臺命令進行監控引擎的安裝、啟停和卸載操作，監控引擎啟動后由工具服務提供定時的協議操作與消息數據處理操作接口完成監控任務。

本發明還提供一種基于網絡設備的數據采集方法，其包括以下步驟：S1：當采集器啟動時，自動加載定時框架，到達指定時間后，由定時框架啟動插件進行設備數據采集；S2：設備采集插件采集基礎指標時首先判斷采集是否為性能數據，若基礎指標為性能數據則直接采集，將數據存入內存中，并進入S4；若基礎指標非性能指標則執行S3；S3：采集關于此指標的數據并與嵌入式數據庫中的信息進行對比；若數據庫中取值為空或者兩者數據不一致，則將其指標數據存入內存中并更新數據庫中的信息，最終將這些基礎指標數據傳送至規則引擎；S4：規則引擎對基礎指標數據根據相關策略進行加工處理，并將處理之后的數據通過消息服務接口將這些設備數據上報至上一級MQ，由監控引擎進行監控。

進一步的，S4中監控引擎對數據的監控包括以下步驟：S41： 監控引擎啟動時向消息服務器發送啟動信息，其中包括監控代理ID、安裝位置和內置采集代理信息；S42：系統控制臺通過監聽消息服務隊列收到監控引擎啟動信息；S43：系統控制臺將監控引擎啟動信息存儲在數據庫引擎運行信息表中；S44：系統控制臺讀取監控引擎信息；S45：系統控制臺下發監控引擎同步命令；S46：監控引擎中的引擎控制器接收引擎同步命令，通過廣播命令中引擎ID判斷是否為自己的命令信息；S47：監控引擎確認命令信息后，向系統控制臺通過HTTP請求方式下載引擎關聯的監控代理；S48：監控引擎控制器將下載到引擎安裝目錄下的監控代理解壓并安裝啟動，開始執行監控任務。