[發明專利]一種分布式海量數據匯聚方法

無效

• 申請號: 201110154117.1
• 申請日: 2011-06-10
• 公開（公告）號: CN102209118A
• 公開（公告）日: 2011-10-05
• 發明（設計）人: 周關力
• 申請（專利權）人: 成都勤智數碼科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及數據倉庫及數據挖掘技術。

背景技術

隨著信息化建設的大力發展，各大企業開始啟用網絡服務來管理企業信息，隨著業務的發展網絡服務所需的設備也日益增多；為了確保網絡服務的可用就需要對所有設備進行自動監控；同時為了確保監控數據的健全性各大企業基本采用多種專項監控設備對整個網絡進行全方面、實時的監控。

隨著監控設備的長時間運行，獲得了龐大的監控數據，就需要對數據進行匯聚提高監控數據的查看效率；同時隨著多廠商多種監控設備的啟用，就需要對所有監控數據的集中分析，剔除無效、重疊數據，監控數據以統計數據結構進行存儲。傳統方法為：1）建立一個數據中心機手動安裝和創建數據庫；2）手動將各監控系統的數據拷貝至數據中心機，在數據中心機上保持源數據數據結構和原始數據；3）人工編寫數據庫腳本將數據結構相同的數據存儲在同一個存儲設備當中，需要手動或半自動設置唯一標識；4）在獲取綜合統計信息時需要根據不同的數據結構采用不同的查詢命令，將所需數據一一獲取后再進行統計。所以需要一個方法來解決或優化上述問題。

發明內容

本發明的目的針對現技術下網絡監控數據存在數據龐大檢索困難，監控系統多元化、數據結構多元化下監控數據整合困難等問題提出一種分布式海量數據匯聚方法，以提高對監控數據的查看、分類的效率。

為了實現上述目的，本發明公開了一種分布式海量數據匯聚方法,該方法包括以下步驟:

A、用戶在中心機上配置采集機連接信息；

步驟A連接信息包含以下內容：1）采集機設備連接信息；2）采集機數據獲取方式及調用參數；獲取方式包括兩種：數據庫直連方式和系統接口獲取方式。

根據所選數據獲取方式其對應的參數也不相同；數據庫直連方式參數為：數據庫網絡地址、數據庫端口號、數據庫類型、數據庫名稱、數據庫登陸用戶名、數據庫登陸密碼；系統接口獲取方式參數為：系統服務網絡地址，系統服務端口號、系統權限用戶名、系統權限密碼、接口所述框架或體系。

上述數據庫直連方式參數,所述特征數據庫類型包含如下：?Oracle、MySql、SqlServer、Sybase，DB。

上述系統接口獲取方式參數,所述特征接口所述框架或體系包含如下：webservice、corba、socket、snmp、TL1。

在確保所配置采集機連接信息正確無誤，中心機將進行一次測試連接，當測試通過后，中心機將存儲該采集機的連接信息。

步驟A所述中心機為本方法主導機，可以為單臺中心機也為可中心機集群；所述采集機為各種網絡性能采集設備的中心機；中心機與采集機可以為不同廠商、不同運營商、不同運維商，可以使用不同的數據結構。采集機與采集機可以為不同廠商、不同運營商、不同運維商，可以使用不同的數據結構。

B、設備管理員在中心機上，根據各采集機數據結構差異,配置多組匯聚規則文件；

匯聚規則文件主要描述：數據獲取方式方法，所獲數據在中心機如何解析、如何存儲。

步驟B中所述，規則文件根據數據獲取方式不同主要分為兩種模板：模板一為數據庫直連方式的規則文件，文件主要需要定義如下內容：所需獲取數據的數據結構、查詢命令、所獲取數據對應在中心機上的數據結構位置；模板二為系統接口獲取方式的規則文件，文件主要需要定義如下內容：所需要調用的接口方法名、所需要傳遞的參數、返回數據的格式及解析模板、返回數據中各具體數據所對應在中心機上的數據結構位置。

根據采集機內部數據結構可以配置多個規則文件為一組規則文件。

步驟B為中心機設備管理員或運維人員進行配置。

C、用戶在中心機上為采集機選擇對應的匯聚規則文件；

步驟C：用戶為所配置的采集機選擇其所對應的匯聚規則文件。

一臺采集機可以選擇同一組規則文件中的多個規則文件，同一組規則文件可以被多個相同數據結構的采集機所選。這樣可以有效地對匯聚規則文件進行重用及便于統一修改，提高工作效率。

D、中心機啟動采集定時器根據連接信息自動連接采集機；

步驟D中，中心機將自動調用采集定時器連接采集機，采集定時器將每天執行一次，具體執行時間由設備管理員進行配置。

E、中心機依據采集機所配匯聚規則文件獲取監控數據；

步驟E中心機根據該采集機所選的匯聚規則文件獲取上一天的數據，直接查詢所需數據或者調用采集機系統接口獲得該接口返回數據。

F、中心機依據各采集機所配規則文件，將所獲數據進行壓縮統計并將結果存儲在各存儲模塊；