[發明專利]一種網管海量歷史數據管理方法

有效

• 申請號: 201210401421.6
• 申請日: 2012-10-19
• 公開（公告）號: CN102867071A
• 公開（公告）日: 2013-01-09
• 發明（設計）人: 鄒昊
• 申請（專利權）人: 烽火通信科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京捷誠信通專利事務所(普通合伙) 11221
• 代理人: 魏殿紳;龐炳良

技術領域

本發明涉及網管管理系統中歷史數據的管理，具體說是一種網管海量歷史數據管理方法。

背景技術

目前網絡技術日新月異，寬帶用戶規模不斷擴大，電信網管系統管理的設備數量也在不斷增長，電信網管系統日常管理的日志、設備的告警數據等數據都需要保存在數據庫中，電信網管系統對這些數據的使用方式為記錄數據、查詢分析數據。經過日積月累，這些數據越來越龐大，如果不對這些數據進行有效的管理，無論是數據的插入或者是數據的查詢，性能都會急劇下降，從而影響網管軟件的正常使用。數據庫使用硬盤空間來保存其中的數據，如果歷史數據無限增長，最終將耗盡所有磁盤空間，所以需要定期對歷史數據進行清理，將數據庫中的一部分不常使用的數據轉儲到其它位置進行保存、歸檔。而在數據轉移的過程中，網管則無法使用這些數據，如果轉儲的效率低下則影響網管系統的可用性，必須提供一種高效的數據轉移方案。

發明內容

針對現有技術中存在的缺陷，本發明的目的在于提供一種網管海量歷史數據管理方法，能保存海量歷史數據，并能高效的進行數據的插入、查詢、轉移而不影響網管軟件的正常使用。

為達到以上目的，本發明采取的技術方案是：

一種網管海量歷史數據管理方法，其特征在于：通過二級分表規則實現數據庫分表，把保存有網管海量歷史數據的單個表保存的數據，切分后保存到多個結構相同的分表中，減少單表的容量，從而提高單表的處理效率，并對各個分表進行以下管理：

A歷史數據分表管理，

B歷史數據插入管理，

C歷史數據查詢管理，

D歷史數據轉移管理。

在上述技術方案的基礎上，二級分表規則用xml格式的文件紀錄，其中：

歷史數據類型data_type，表示數據表保存數據的類型，

分組總數group_count，表示對這種數據表分組的總數，

分組內分表總數split_count，表示每個分組內分表數最大值，

分表內行總數row_count，表示分表內行總數，當一個分表的數據量超過這個值的時候，就需要創建一個新的分表。

在上述技術方案的基礎上，所述歷史數據分表管理的處理流程包括以下步驟：

A1、讀取記載有數據表的二級分表規則的文件，獲取歷史數據類型data_type、分組總數group_count、分組內分表總數split_count和分表內行總數row_count；

讀取數據庫分表信息表，獲取所有分表的分組號group_no、分表序號table_no、當前正在使用標記current_flag和已使用標記in_use_flag，將這些信息保存到一個分組號為鍵，分表信息列表為值的map對象中，所述分表信息列表包括分表序號table_no、當前正在使用標記current_flag和已使用標記in_use_flag，其中map的鍵的取值范圍從1到分組總數group_count，如果在數據庫分表信息表中沒有某個鍵對應的分表信息，那么在map中該鍵對應的分表信息列表就為空；

A2、遍歷A1得到的map對象；

A3、根據遍歷的結果，如果map對象中當前分組號對應的分表信息列表為空，則轉至步驟A4，否則，轉至步驟A5；

A4、在當前分組號的分組中創建一個可用的分表，分配分表序號為1，設置分表當前正在使用標記為1，已使用標記為1，將該分表的信息插入數據庫分表信息表后轉至步驟A5；

A5、將數據庫分表信息表中記載的分表信息，按分組號為鍵，逐條插入到分組分表信息緩存中，該緩存用于記錄所有分組中已創建的分表的信息，

將當前正在使用標記為1的分表信息，按分組號為鍵，將分表序號插入分組當前分表序號緩存，該緩存記錄每個分組中current_flag為1的分表的分表序號，轉步驟A6；

分組當前分表序號緩存內的分表，需要檢查其是否超過分表內行總數；

A6、使用定時器并等待，如果定時器未超時則一直等待，當定時器超時后，如果接收到應用程序退出的信號，則退出歷史數據分表管理的處理流程；否則，轉入步驟A7；

A7、遍歷分組當前分表序號緩存，如果未遍歷完則轉步驟A8，若遍歷完則轉步驟A6；

A8、讀取當前分組中分表序號，根據當前分組的組號和分表序號構造分表的名稱，獲取分表數據行數；

A9、如果分表數據行數大于分表規則中分表內行總數row_count，則轉步驟A10、否則轉步驟A7；