[發明專利]一種數據歸并處理方法

無效

• 申請號: 201110294675.8
• 申請日: 2011-09-29
• 公開（公告）號: CN102291269A
• 公開（公告）日: 2011-12-21
• 發明（設計）人: 鄭昌宏
• 申請（專利權）人: 邁普通信技術股份有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/56
• 代理公司: 成都虹橋專利事務所 51124
• 代理人: 李順德

技術領域

本發明涉及數據處理技術，特別涉及在網絡管理中，對采集到的被管理設備的各類型指標數據進行歸并處理的方法。

背景技術

在進行網絡管理時，網管系統通常都需要對被管理設備的運行情況和一些重要性能指標進行定時的檢測，并記錄下這些檢測數據，供網管系統分析這些被管理設備在某個時間段的運行狀態。然而，對于大中型網絡而言，被管理設備數量眾多，并且每一類型設備可能有若干種需要被監控的性能指標項，導致針對整個網絡中的被管理設備的性能檢測數據規模變得非常巨大，查詢數據非常耗時，甚至可能導致系統崩潰。

為解決上述問題，目前通常的做法是選擇性能更好的數據庫服務器，或者改善數據庫服務器的硬件配置，但其在提高服務性能的同時會帶來增加成本的問題。

由于這些數據被存儲在數據庫服務器中，這種情況下要么選擇更好的數據庫服務器，從硬件上提高服務性能，或者從軟件上對原始數據進行有效的數據歸并，將數據規模有效降低，滿足數據查詢的需要。

發明內容

本發明所要解決的技術問題是：提出一種數據歸并處理方法，從軟件上對原始數據進行有效的數據歸并，減少數據規模，同時避免硬件成本的增加。

本發明解決上述技術問題所采用的方案是：一種數據歸并處理方法，包括以下步驟：

a.在數據庫中創建原始數據表及N個歸并數據表，所述N個歸并數據表用于分別對應存儲N級按照時間粒度粗細劃分的歸并數據，各級時間粒度之間成整數倍關系且最細時間粒度為數據采集時間間隔的整數倍，N為正整數；

b.網管系統在啟動時開啟與N級時間粒度一一對應的N個定時任務，并采集被管理設備的各監測項的指標數據；

c.網管系統將采集到的指標數據提交給歸并線程進行處理，并在內存中創建與指標數據類型個數相等的緩存隊列，每一個緩存隊列用于對一類指標數據進行緩存且包括一個原始數據緩存對象及N級按照時間粒度粗細劃分的歸并數據緩存對象；

d.將采集到的指標數據緩存在內存中與該指標類型相對應的緩存隊列的原始數據緩存對象中，直至第一個定時任務觸發，則對原始數據緩存對象中的所有指標數據求取平均值，并將求取平均值的結果緩存至第一級歸并數據緩存對象中，直至第二個定時任務觸發，則對第一級歸并數據緩存對象中的數據求取平均值，并將求取平均值的結果緩存至第二級歸并數據緩存對象中……如此類推，直至第N個定時任務觸發時，則對第(N-1)級歸并數據緩存對象中的數據求取平均值，并將求取平均值的結果緩存至第N級歸并數據緩存對象中；

e.在滿足預定條件后，將內存中的各緩存隊列中的數據對應存儲至數據庫的原始數據表及N個歸并數據表中。

進一步，步驟a中，在數據庫中創建原始數據表及3個歸并數據表，這3個歸并數據表分別為2小時表、6小時表、24小時表，分別用于存儲按照2小時時間粒度劃分的歸并數據、按照6小時時間粒度劃分的歸并數據、按照24小時時間粒度劃分的歸并數據；

步驟b中，網管系統開啟與3級時間粒度一一對應的3個定時任務，這3個定時任務分別為2小時定時任務、6小時定時任務、24小時定時任務，其觸發時間間隔分別為2小時、6小時、24小時；

步驟c中，每一個緩存隊列用于對一類指標數據進行緩存且包括一個原始數據緩存對象及3級按照時間粒度粗細劃分的歸并數據緩存對象，這3級按照時間粒度粗細劃分的歸并數據緩存對象分別為2小時歸并數據緩存對象、6小時歸并數據緩存對象、24小時歸并數據緩存對象；

步驟d中，將采集到的指標數據緩存在內存中與該指標類型相對應的緩存隊列的原始數據緩存對象中，直至2小時定時任務觸發，則對原始數據緩存對象中的所有指標數據求取平均值，并將求取平均值的結果緩存至2小時歸并數據緩存對象中，直至6小時定時任務觸發，則對2小時歸并數據緩存對象中的數據求取平均值，并將求取平均值的結果緩存至6小時歸并數據緩存對象中，直至24小時定時任務觸發，則對6小時歸并數據緩存對象中的數據求取平均值，并將求取平均值的結果緩存中24小時歸并數據緩存對象中；

步驟e中，在滿足預定條件后，將內存中的各緩存隊列中的數據對應存儲至數據庫的原始數據表及3個歸并數據表中，即將各緩存隊列中的原始數據緩存對象中的數據存儲至原始數據表中，將各緩存隊列中的2小時歸并數據緩存對象中的數據存儲至2小時表中，將各緩存隊列中的6小時歸并數據緩存對象中的數據存儲至6小時表中，將各緩存隊列中的24小時歸并數據緩存對象中的數據存儲至24小時表中。