[發明專利]一種通過元數據庫集中化管理分表的數據歸檔方法

有效

• 申請號: 202110579525.5
• 申請日: 2021-05-26
• 公開（公告）號: CN113032406B
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 茍李平;馮釗;朱小容;謝明陽
• 申請（專利權）人: 四川新網銀行股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27;G06F16/23
• 代理公司: 成都智言知識產權代理有限公司 51282
• 代理人: 胡文莉

本發明屬于數據處理技術領域，尤其涉及一種通過元數據庫集中化管理分表的數據歸檔方法，擬解決現有技術中提到現有歸檔方式無法實現自動校驗，且分批次并發難的問題；解決上述問題采用如下步驟：步驟1：在元數據庫中插入元數據；步驟2：對操作系統添加定時任務，得到調用頻率；步驟3：對元數據進行導入導出，并進行校驗歸檔，校驗歸檔結束后進行郵件發送，歸檔任務結束。實現了分批次來達到不同任務的分批以及同時并發功能，實現自動校驗，無需人工進行操作。

技術領域

本發明屬于數據處理技術領域，尤其涉及一種通過元數據庫集中化管理分表的數據歸檔方法。

背景技術

數據庫歸檔技術是一種數據庫管理常見的管理技術，用于將歷史數據進行歸檔，并存放到特定歸檔庫或者介質，以到達對生產數據庫的空間和性能的優化。數據庫分表也是一種數據庫管理的常見技術，一般是指分區表或水平拆分表，例如按照年、月、日等維度進行拆分成不同的分區表，或者是將一個大表進行水平拆分為不同庫下同名的表，后端用中間件或者自定義路由的方式再進行統一查詢。

目前，MySQL數據庫的歸檔技術主要分為兩種方式，一種是依賴社區開源工具，一種是手工處理查詢數據導出到歸檔庫或其他介質的操作方式，但是基本需要人工操作，并且分批次并發難，歸檔校驗均需要人工進行處理。

發明內容

本發明提供了一種通過元數據集中化管理分表的數據歸檔方法，擬實現元數據集中化管理，并且解決現有技術中提到現有歸檔方式無法實現自動校驗，且分批次并發難的問題。

為實現上述目的，本發明提供如下技術方案：

一種通過元數據集中化管理分表的數據歸檔方法，包括以下步驟：

步驟1：在元數據庫中插入元數據；

步驟2：對操作系統添加定時任務，得到調用頻率；

步驟3：對元數據進行導入導出，并進行校驗歸檔，校驗歸檔結束后進行郵件發送，歸檔任務結束。

優選的，所述步驟1還包括以下步驟：步驟1.1：對元數據庫進行表結構建立，得到元數據庫表；

步驟1.2：對不同歸檔要求向元數據庫插入不同的元數據，得到元數據插入結果。

優選的，所述步驟2通過編輯crontab輸入新的定時任務，匹配批次號，定義執行時間和頻率。

優選的，所述步驟3包括以下步驟，步驟3.1：被步驟2的定時任務自動調用，對元數據進行查詢，得到匹配下一次運行時間是今日的數據，且該數據的批次號需要對應被步驟2調用的批次號；

步驟3.2：對步驟3.1查詢的元數據進行提前檢測，檢測結果通過后進行步驟3.2；檢測結果不通過的報錯退出并發送失敗郵件；

步驟3.3：對步驟3.1查詢的元數據進行中間結果的處理，并基于中間結果的處理導出臨時文件到中轉目錄，中轉目錄為元數據庫查詢出來的中轉目錄列中的內容，臨時文件導出成功的執行步驟3.4；臨時文件導出失敗的報錯退出并發送失敗郵件；

步驟3.4：將臨時文件導入歸檔目標數據庫，得到臨時文件導入成功結果的執行步驟3.5；臨時文件導入失敗的，報錯退出并發送失敗郵件；

步驟3.5：響應步驟3.4的導入成功結果并對臨時文件做數據校驗，校驗成功后根據查詢的保留元數據對下一次運行時間進行不同的更新，更新成功后執行步驟3.6；校驗失敗或更新失敗的，報錯退出并發送失敗郵件；

步驟3.6：根據查詢的元數據中的是否清理策略運行清理策略對源端數據庫中的源數據進行清理，并對源端數據庫中的源數據進行清理；清理成功后根據歸檔后是否重命名操作列的結果來重命名歸檔表；再執行步驟3.7；若清理失敗的或重命名失敗的則報錯退出發送失敗郵件；