[發(fā)明專利]一種分布式海量數(shù)據(jù)匯聚方法

無效

• 申請?zhí)枺?/td>: 201110154117.1
• 申請日: 2011-06-10
• 公開（公告）號: CN102209118A
• 公開（公告）日: 2011-10-05
• 發(fā)明（設(shè)計）人: 周關(guān)力
• 申請（專利權(quán)）人: 成都勤智數(shù)碼科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種分布式海量數(shù)據(jù)匯聚方法,該方法包括以下步驟:?

A、用戶在中心機(jī)上配置采集機(jī)連接信息；

B、設(shè)備管理員在中心機(jī)上，根據(jù)各采集機(jī)數(shù)據(jù)結(jié)構(gòu)差異,配置多組匯聚規(guī)則文件；

C、用戶在中心機(jī)上為采集機(jī)選擇對應(yīng)的匯聚規(guī)則文件；

D、中心機(jī)啟動采集定時器根據(jù)連接信息自動連接采集機(jī)；

E、中心機(jī)依據(jù)采集機(jī)所配匯聚規(guī)則文件獲取監(jiān)控數(shù)據(jù)；

F、中心機(jī)依據(jù)各采集機(jī)所配匯聚規(guī)則文件，將所獲數(shù)據(jù)進(jìn)行壓縮統(tǒng)計并將結(jié)果存儲在各存儲模塊；

G、中心機(jī)啟動分級匯聚定時器，定時對存儲模塊中數(shù)據(jù)分級匯聚。

2.根據(jù)權(quán)利要求1所述的一種分布式海量數(shù)據(jù)匯聚方法，其特征在于：所述中心機(jī)為本方法主導(dǎo)機(jī)，可以為單臺中心機(jī)也為可中心機(jī)集群；所述采集機(jī)為各種網(wǎng)絡(luò)性能采集設(shè)備的中心機(jī)；中心機(jī)與采集機(jī)可以為不同廠商、不同運(yùn)營商、不同運(yùn)維商，可以使用不同的數(shù)據(jù)結(jié)構(gòu)；采集機(jī)與采集機(jī)可以為不同廠商、不同運(yùn)營商、不同運(yùn)維商，可以使用不同的數(shù)據(jù)結(jié)構(gòu)。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于：所述步驟A用戶在中心機(jī)上配置采集機(jī)連接信息，連接信息包含以下內(nèi)容：1）采集機(jī)設(shè)備連接信息；2）采集機(jī)數(shù)據(jù)獲取方式及調(diào)用參數(shù)；獲取方式包括兩種：數(shù)據(jù)庫直連方式和系統(tǒng)接口獲取方式。

4.根據(jù)權(quán)利要求3所述的一種分布式海量數(shù)據(jù)匯聚方法，其特征在于：所述步驟B設(shè)備管理員在中心機(jī)上，根據(jù)各采集機(jī)數(shù)據(jù)結(jié)構(gòu)差異,配置多組匯聚規(guī)則文件：匯聚規(guī)則文件主要描述：數(shù)據(jù)獲取方式方法，所獲數(shù)據(jù)在中心機(jī)如何解析、如何存儲；根據(jù)采集機(jī)內(nèi)部數(shù)據(jù)機(jī)構(gòu)可以配置多個規(guī)則文件為一組規(guī)則文件。

5.根據(jù)權(quán)利要求4所述的一種分布式海量數(shù)據(jù)匯聚方法，其特征在于：所述步驟C用戶在中心機(jī)上為采集機(jī)選擇對應(yīng)的匯聚規(guī)則文件：一臺采集機(jī)可以選擇同一組規(guī)則文件中的多個規(guī)則文件，同一組規(guī)則文件可以被多個相同數(shù)據(jù)結(jié)構(gòu)的采集機(jī)所選，用于有效地對匯聚規(guī)則文件進(jìn)行重用及便于統(tǒng)一修改。

6.根據(jù)權(quán)利要求5所述的一種分布式海量數(shù)據(jù)匯聚方法，其特征在于：所述步驟D中心機(jī)啟動采集定時器根據(jù)連接信息自動連接采集機(jī)：中心機(jī)將自動調(diào)用采集定時器連接采集機(jī)，采集定時器將每天執(zhí)行一次，具體執(zhí)行時間由設(shè)備管理員進(jìn)行配置。

7.根據(jù)權(quán)利要求6所述的一種分布式海量數(shù)據(jù)匯聚方法，其特征在于:?所述步驟E中心機(jī)依據(jù)采集機(jī)所配匯聚規(guī)則文件獲取監(jiān)控數(shù)據(jù)；和F中心機(jī)依據(jù)各采集機(jī)所配匯聚規(guī)則文件，將所獲數(shù)據(jù)進(jìn)行壓縮統(tǒng)計并將結(jié)果存儲在各存儲模塊：中心機(jī)根據(jù)該采集機(jī)所選的匯聚規(guī)則文件獲取上一天的數(shù)據(jù)，直接查詢所需數(shù)據(jù)或者調(diào)用采集機(jī)系統(tǒng)接口獲得該接口返回數(shù)據(jù)；中心機(jī)對所獲得數(shù)據(jù)按時間進(jìn)行壓縮統(tǒng)計，將統(tǒng)計后數(shù)據(jù)以統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)存儲至不同的存儲模塊。

8.根據(jù)權(quán)利要求7中所述的一種分布式海量數(shù)據(jù)匯聚方法，其特征在于：所述按時間進(jìn)行壓縮統(tǒng)計：以小時為單位對有效數(shù)據(jù)按時間進(jìn)行壓縮統(tǒng)計，獲得每小時的最大值、平均值、最小值、總值、以及最大值和最小值所在時間點(diǎn)。

9.根據(jù)權(quán)利要求7中所述的一種分布式海量數(shù)據(jù)匯聚方法，其特征在于:?所述步驟G中心機(jī)啟動分級匯聚定時器，定時對存儲模塊中數(shù)據(jù)分級匯聚：分級匯聚定時器會自動對存儲模塊中的數(shù)據(jù)按周、月、年3個級別進(jìn)行匯聚、實(shí)現(xiàn)查詢預(yù)處理功能，在用戶通過中心機(jī)查詢統(tǒng)計各數(shù)據(jù)時，中心機(jī)會自動根據(jù)所查詢的時間范圍查詢不同級別表。