[發明專利]一種在線數據生命周期管理方法和裝置

無效

• 申請號: 201010623629.3
• 申請日: 2010-12-30
• 公開（公告）號: CN102567428A
• 公開（公告）日: 2012-07-11
• 發明（設計）人: 王曉征;肖愛元;李杰毅
• 申請（專利權）人: 中國移動通信集團浙江有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 張馳;宋志強

技術領域

本發明涉及數據庫技術領域，尤其涉及一種在線數據生命周期管理方法和裝置。

背景技術

在目前的業務系統中，隨著融合，割接，集中等等項目的實施，業務系統的數據庫變得日益龐大。尤其是營帳系統，計費系統，經分系統等，隨著時間的推移以及業務量的增長，數據量日漸臃腫；同時，數據的時效性問題越來越被關注，需要針對不同系統，制定合適的數據生命周期管理機制，否則如果任由其發展，數據庫將最終不堪重負。因此，如何對過期歷史數據進行有效處理，成為一個尤為重要問題。

絕大部分現有的系統中，在對過期歷史數據的處理方式上，主要有以下幾種方式：

第一種，以時間維度為衡量標準，按照一定的時間間隔(日，周，月等)，制定數據生命周期規則，對符合條件的過期歷史數據進行刪除(DELETE)操作，從而保證數據庫總體數據量的基本穩定。

第二種，使用分區表模式，按照一定的時間維度進行分區(日，周，月等)，制定數據生命周期規則，對符合條件的過期數據分區進行截短(TRUNCATE)操作。

第三者，使用歷史表，對當前表中過期數據，通過插入(INSERT)操作遷移到歷史表中，然后在當前表中使用DELETE或TRUNCATE等手段清理過期數據。

上述方式中的DELETE、INSERT和TRUNCATE都是結構化查詢語言(SQL)中的基本語句，其中，DELETE語句執行刪除的過程是每次從表中刪除一行，并且同時將該行的的刪除操作作為事務記錄在日志中保存以便進行進行回滾操作，其執行速度較慢；TRUNCATE語句則一次性地從表中刪除所有的數據頁而并不把單獨的刪除操作記錄記入日志保存，刪除行是不能恢復的，其執行速度快；INSERT語句用來在數據表或視圖中插入一行數據。

當前數據庫系統，需要處理的數據量，信息量越來越龐大，應用系統的結構設計越來越復雜，數據庫規模也隨之與日俱增，現有技術方案逐漸顯露出多種欠缺和不足。

第一種技術，使用DELETE方式，適用于所有業務類型的數據對象，包括分區表，非分區表等等。但是，該作業方式對數據庫的資源消耗很大，當需要處理的數據量較大時，數據庫因為過期數據處理需要承擔的負載量將無法承受。

第二種技術，基于分區表技術，使用TRUNCATE技術，該技術手段比DELETE方式簡單高效。但是，首先在實際生產中，數據的區隔度往往不止時間維度，例如賬單數據，存在動態的已結清和未結清數據，不能僅僅依靠時間維度，對其進行TRUNCATE，其次，在高并發訪問的系統中，對頻繁訪問的表表進行TRUNCATE操作，容易產生閉鎖，造成業務中止，影響業務系統的連貫性。

第三種技術，從本質上說沒有脫離第一與第二種技術的范疇，存在與第一、二種技術手段相同的問題。

可見，現有的管理數據生命周期的技術手段均沒有真正解決在線數據生命周期管理問題，在實際生產環境中使用均存在著大量的不適應性，同時對生產系統的影響也處于較高的風險水平。

發明內容

本發明提供了一種在線數據生命周期管理方法，能夠高效低耗地管理數據生命周期，從而保證數據庫的資源高效性。

本發明還提供了一種在線數據生命周期管理裝置，能夠高效低耗地管理數據生命周期，從而保證數據庫的資源高效性。

本發明的技術方案是這樣實現的：

一種在線數據生命周期管理方法，包括：預先設置多個主表分區，并為每個主表分區分別設置一個對應的歷史動態數據分區和一個對應的歷史子表；

將數據按照時間維度進行劃分，將劃分后的數據分別保存在各個主表分區中；

當一個主表分區中的數據到達生命周期末端時，將所述數據進行靜動態數據分離，將分離出的動態數據復制并保存入所述主表分區對應的歷史動態數據分區，并將所述主表分區中的數據轉移至所述主表分區對應的歷史子表中，對所述歷史子表中的數據進行刪除操作。

一種在線數據生命周期管理裝置，包括：

分區模塊，用于預先設置多個主表分區，并為每個主表分區分別設置一個對應的歷史動態數據分區和一個對應的歷史子表；

劃分模塊，用于將數據按照時間維度進行劃分，將劃分后的數據分別保存在各個主表分區中；

靜動態分離模塊，用于當一個主表分區中的數據到達生命周期末端時，將所述數據進行靜動態數據分離，將分離出的動態數據復制并保存入所述主表分區對應的歷史動態數據分區；