[發(fā)明專利]一種數(shù)據(jù)歸并處理方法

無效

• 申請?zhí)枺?/td>: 201110294675.8
• 申請日: 2011-09-29
• 公開（公告）號: CN102291269A
• 公開（公告）日: 2011-12-21
• 發(fā)明（設計）人: 鄭昌宏
• 申請（專利權）人: 邁普通信技術股份有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/56
• 代理公司: 成都虹橋專利事務所 51124
• 代理人: 李順德

1.一種數(shù)據(jù)歸并處理方法，其特征在于，包括以下步驟：

a.在數(shù)據(jù)庫中創(chuàng)建原始數(shù)據(jù)表及N個歸并數(shù)據(jù)表，所述N個歸并數(shù)據(jù)表用于分別對應存儲N級按照時間粒度粗細劃分的歸并數(shù)據(jù)，各級時間粒度之間成整數(shù)倍關系且最細時間粒度為數(shù)據(jù)采集時間間隔的整數(shù)倍，N為正整數(shù)；

b.網(wǎng)管系統(tǒng)在啟動時開啟與N級時間粒度一一對應的N個定時任務，并采集被管理設備的各監(jiān)測項的指標數(shù)據(jù)；

c.網(wǎng)管系統(tǒng)將采集到的指標數(shù)據(jù)提交給歸并線程進行處理，并在內存中創(chuàng)建與指標數(shù)據(jù)類型個數(shù)相等的緩存隊列，每一個緩存隊列用于對一類指標數(shù)據(jù)進行緩存且包括一個原始數(shù)據(jù)緩存對象及N級按照時間粒度粗細劃分的歸并數(shù)據(jù)緩存對象；

d.將采集到的指標數(shù)據(jù)緩存在內存中與該指標類型相對應的緩存隊列的原始數(shù)據(jù)緩存對象中，直至第一個定時任務觸發(fā)，則對原始數(shù)據(jù)緩存對象中的所有指標數(shù)據(jù)求取平均值，并將求取平均值的結果緩存至第一級歸并數(shù)據(jù)緩存對象中，直至第二個定時任務觸發(fā)，則對第一級歸并數(shù)據(jù)緩存對象中的數(shù)據(jù)求取平均值，并將求取平均值的結果緩存至第二級歸并數(shù)據(jù)緩存對象中……如此類推，直至第N個定時任務觸發(fā)時，則對第(N-1)級歸并數(shù)據(jù)緩存對象中的數(shù)據(jù)求取平均值，并將求取平均值的結果緩存至第N級歸并數(shù)據(jù)緩存對象中；

e.在滿足預定條件后，將內存中的各緩存隊列中的數(shù)據(jù)對應存儲至數(shù)據(jù)庫的原始數(shù)據(jù)表及N個歸并數(shù)據(jù)表中。

2.如權利要求1所述的一種數(shù)據(jù)歸并處理方法，其特征在于，步驟c中，所述指標數(shù)據(jù)的類型根據(jù)指標數(shù)據(jù)的關鍵字來區(qū)分，關鍵字中包含測量實例ID和測量指標ID。

3.如權利要求1或2所述的一種數(shù)據(jù)歸并處理方法，其特征在于，步驟e中，所述預定條件為緩存隊列長度≥m，或者，從網(wǎng)管系統(tǒng)啟動至當前等待時間≥n，其中，m和n的取值在網(wǎng)管系統(tǒng)的配置文件中預先設置。

4.如權利要求3所述的一種數(shù)據(jù)歸并處理方法，其特征在于，步驟a中，在數(shù)據(jù)庫中創(chuàng)建原始數(shù)據(jù)表及3個歸并數(shù)據(jù)表，這3個歸并數(shù)據(jù)表分別為2小時表、6小時表、24小時表，分別用于存儲按照2小時時間粒度劃分的歸并數(shù)據(jù)、按照6小時時間粒度劃分的歸并數(shù)據(jù)、按照24小時時間粒度劃分的歸并數(shù)據(jù)；

步驟b中，網(wǎng)管系統(tǒng)開啟與3級時間粒度一一對應的3個定時任務，這3個定時任務分別為2小時定時任務、6小時定時任務、24小時定時任務，其觸發(fā)時間間隔分別為2小時、6小時、24小時；

步驟c中，每一個緩存隊列用于對一類指標數(shù)據(jù)進行緩存且包括一個原始數(shù)據(jù)緩存對象及3級按照時間粒度粗細劃分的歸并數(shù)據(jù)緩存對象，這3級按照時間粒度粗細劃分的歸并數(shù)據(jù)緩存對象分別為2小時歸并數(shù)據(jù)緩存對象、6小時歸并數(shù)據(jù)緩存對象、24小時歸并數(shù)據(jù)緩存對象；

步驟d中，將采集到的指標數(shù)據(jù)緩存在內存中與該指標類型相對應的緩存隊列的原始數(shù)據(jù)緩存對象中，直至2小時定時任務觸發(fā)，則對原始數(shù)據(jù)緩存對象中的所有指標數(shù)據(jù)求取平均值，并將求取平均值的結果緩存至2小時歸并數(shù)據(jù)緩存對象中，直至6小時定時任務觸發(fā)，則對2小時歸并數(shù)據(jù)緩存對象中的數(shù)據(jù)求取平均值，并將求取平均值的結果緩存至6小時歸并數(shù)據(jù)緩存對象中，直至24小時定時任務觸發(fā)，則對6小時歸并數(shù)據(jù)緩存對象中的數(shù)據(jù)求取平均值，并將求取平均值的結果緩存中24小時歸并數(shù)據(jù)緩存對象中；

步驟e中，在滿足預定條件后，將內存中的各緩存隊列中的數(shù)據(jù)對應存儲至數(shù)據(jù)庫的原始數(shù)據(jù)表及3個歸并數(shù)據(jù)表中，即將各緩存隊列中的原始數(shù)據(jù)緩存對象中的數(shù)據(jù)存儲至原始數(shù)據(jù)表中，將各緩存隊列中的2小時歸并數(shù)據(jù)緩存對象中的數(shù)據(jù)存儲至2小時表中，將各緩存隊列中的6小時歸并數(shù)據(jù)緩存對象中的數(shù)據(jù)存儲至6小時表中，將各緩存隊列中的24小時歸并數(shù)據(jù)緩存對象中的數(shù)據(jù)存儲至24小時表中。

5.如權利要求4所述的一種數(shù)據(jù)歸并處理方法，其特征在于，步驟c中，所述緩存隊列的結構為：(測量實例ID_測量指標ID)：原始數(shù)據(jù)緩存對象，2小時歸并數(shù)據(jù)緩存對象，6小時歸并數(shù)據(jù)緩存對象，24小時歸并數(shù)據(jù)緩存對象。