[發明專利]定期清除數據庫數據的方法和系統和計算機可讀存儲介質

有效

• 申請號: 201610363451.0
• 申請日: 2016-05-27
• 公開（公告）號: CN107436898B
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 何剛
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 倪斌

提供了一種定期清除數據庫數據的系統，所述系統包括：雙寫管理模塊，配置為將數據寫入第一和第二數據源；數據源管理模塊，配置針對數據讀取操作分配第一和第二數據源之一，并在第一和第二數據源之間進行切換；定期切換模塊，配置為根據設定周期來請求數據源管理模塊在第一和第二數據源之間進行切換；以及數據清理模塊，配置為響應于數據源管理模塊將第一數據源切換到第二數據源，清空所述第一數據源中的數據。

技術領域

本發明涉及計算機領域，具體地，涉及一種定期清除數據庫數據的方法和系統。

背景技術

隨著互聯網技術的發展，很多行業都已經進入了海量數據時代。在互聯網應用中，業務數據的量級通常達到千萬級、甚至億級數據量。然而，互聯網應用的特點是往往不需要訪問過期的數據，比如，一年前的數據，幾個月前的數據，甚至是無需訪問幾個星期前的數據?；ヂ摼W應用所記錄的數據量往往很大，即使分表之后，也需要將歷史數據歸檔后刪除掉。

現在通常通過不斷刪除歷史數據的方法來清除數據庫。然而，采用delete來刪除歷史數據的方法往往效率低下，且不會釋放空間，還會導致磁盤碎片。這種使用delete來刪除數據的方法效率極低，且容易導致數據庫負載上升，影響正常讀寫操作。此外，在不斷delete的操作中，如果自增主鍵，則主鍵持續遞增，長期很容易越界，且在刪除數據之后不釋放空間。

鑒于此，本申請提供了一種定期清除數據庫數據的方法和系統，可以大大提高刪除效率，既能在刪除后釋放空間，又能避免頻繁delete導致的磁盤碎片問題，并且不會影響應用的正常讀寫。

發明內容

為了至少解決上述問題，本發明提供了一種定期清除數據庫數據的方法和系統。

根據本發明的第一方面，提供了一種定期清除數據庫數據的系統，可以包括：雙寫管理模塊，配置為將數據寫入第一和第二數據源；數據源管理模塊，配置針對數據讀取操作分配第一和第二數據源之一，并在第一和第二數據源之間進行切換；定期切換模塊，配置為根據設定周期來請求數據源管理模塊在第一和第二數據源之間進行切換；數據清理模塊，配置為響應于數據源管理模塊將第一數據源切換到第二數據源，清空所述第一數據源中的數據。

優選地，所述系統還可以包括：數據歸檔模塊，配置為對數據進行歸檔。

優選地，所述系統還可以包括：索引管理模塊，配置為管理針對第一和第二數據源的索引。

優選地，所述數據清理模塊可以配置為響應于數據源管理模塊將第一數據源切換到第二數據源，對所述第一數據源執行truncate清空。

優選地，所述索引管理模塊可以配置為在清空所述第一數據源中的數據之后，重建所述第一數據源的索引。

優選地，所述雙寫管理模塊可以配置為同步地或異步地將數據寫入第一和第二數據源。

優選地，所述雙寫管理模塊可以配置為如果將數據寫入第一和第二數據源失敗，則分別將寫入失敗的數據存放至對應緩存隊列；以及通過獨立的入庫線程來將所述寫入失敗的數據再次寫入相應數據源，直到將所述寫入失敗的數據寫入所述第一和第二數據源為止。

優選地，所述雙寫管理模塊還可以配置為響應于寫入失敗的次數超過預定次數，則進行報警以便確保將所有數據寫入第一和第二數據源。

根據本發明的第二方面，還提供了一種定期清除數據庫數據的方法，可以包括：將數據寫入第一和第二數據源；針對數據讀取操作分配第一和第二數據源之一；以及在第一和第二數據源之間進行切換，其中所述切換包括：根據設定周期，在第一和第二數據源之間進行切換；以及響應于將第一數據源切換至第二數據源，清空所述第一數據源中的數據。

優選地，所述方法可以包括：響應于將第一數據源切換到第二數據源，對所述第一數據源執行truncate清空。