[發(fā)明專利]一種通過元數(shù)據(jù)庫集中化管理分表的數(shù)據(jù)歸檔方法

有效

• 申請?zhí)枺?/td>: 202110579525.5
• 申請日: 2021-05-26
• 公開（公告）號: CN113032406B
• 公開（公告）日: 2022-04-15
• 發(fā)明（設(shè)計）人: 茍李平;馮釗;朱小容;謝明陽
• 申請（專利權(quán)）人: 四川新網(wǎng)銀行股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27;G06F16/23
• 代理公司: 成都智言知識產(chǎn)權(quán)代理有限公司 51282
• 代理人: 胡文莉

1.一種通過元數(shù)據(jù)庫集中化管理分表的數(shù)據(jù)歸檔方法，其特征在于：包括以下步驟：

步驟1：在元數(shù)據(jù)庫中插入元數(shù)據(jù)；

步驟2：對操作系統(tǒng)添加定時任務(wù)，得到調(diào)用頻率；

步驟3：對元數(shù)據(jù)進(jìn)行導(dǎo)入導(dǎo)出，并進(jìn)行校驗(yàn)歸檔，校驗(yàn)歸檔結(jié)束后進(jìn)行郵件發(fā)送，歸檔任務(wù)結(jié)束；

所述步驟3包括以下步驟，步驟3.1：被步驟2的定時任務(wù)自動調(diào)用，對元數(shù)據(jù)進(jìn)行查詢，得到匹配下一次運(yùn)行時間是今日的數(shù)據(jù)，且該數(shù)據(jù)的批次號需要對應(yīng)被步驟2調(diào)用的批次號；

步驟3.2：對步驟3.1查詢的元數(shù)據(jù)進(jìn)行提前檢測，檢測結(jié)果通過后進(jìn)行步驟3.2；檢測結(jié)果不通過的報錯退出并發(fā)送失敗郵件；

步驟3.3：對步驟3.1查詢的元數(shù)據(jù)進(jìn)行中間結(jié)果的處理，并基于中間結(jié)果的處理導(dǎo)出臨時文件到中轉(zhuǎn)目錄，中轉(zhuǎn)目錄為元數(shù)據(jù)庫查詢出來的中轉(zhuǎn)目錄列中的內(nèi)容，臨時文件導(dǎo)出成功的執(zhí)行步驟3.4；臨時文件導(dǎo)出失敗的報錯退出并發(fā)送失敗郵件；

步驟3.4：將臨時文件導(dǎo)入歸檔目標(biāo)數(shù)據(jù)庫，得到臨時文件導(dǎo)入成功結(jié)果的執(zhí)行步驟3.5；臨時文件導(dǎo)入失敗的，報錯退出并發(fā)送失敗郵件；

步驟3.5：響應(yīng)步驟3.4的導(dǎo)入成功結(jié)果并對臨時文件做數(shù)據(jù)校驗(yàn)，校驗(yàn)成功后根據(jù)查詢的保留元數(shù)據(jù)對下一次運(yùn)行時間進(jìn)行不同的更新，更新成功后執(zhí)行步驟3.6；校驗(yàn)失敗或更新失敗的，報錯退出并發(fā)送失敗郵件；

步驟3.6：根據(jù)查詢的元數(shù)據(jù)中的是否清理策略運(yùn)行清理策略對源端數(shù)據(jù)庫中的源數(shù)據(jù)進(jìn)行清理，并對源端數(shù)據(jù)庫中的源數(shù)據(jù)進(jìn)行清理；清理成功后根據(jù)歸檔后是否重命名操作列的結(jié)果來重命名歸檔表；再執(zhí)行步驟3.7；若清理失敗的或重命名失敗的則報錯退出發(fā)送失敗郵件；

步驟3.7：所有操作檢驗(yàn)完畢，得到最終返回結(jié)果，判定成功，發(fā)送成功郵件。

2.根據(jù)權(quán)利要求1所述的一種通過元數(shù)據(jù)庫集中化管理分表的數(shù)據(jù)歸檔方法，其特征在于：步驟3所述的元數(shù)據(jù)通過使用mysqldump工具導(dǎo)入導(dǎo)出。

3.根據(jù)權(quán)利要求1所述的一種通過元數(shù)據(jù)庫集中化管理分表的數(shù)據(jù)歸檔方法，其特征在于：所述步驟1包括以下步驟，步驟1.1：對元數(shù)據(jù)庫進(jìn)行表結(jié)構(gòu)建立，得到元數(shù)據(jù)表；

步驟1.2：基于不同的歸檔要求向元數(shù)據(jù)庫插入不同的元數(shù)據(jù)，得到元數(shù)據(jù)插入結(jié)果。

4.根據(jù)權(quán)利要求1所述的一種通過元數(shù)據(jù)庫集中化管理分表的數(shù)據(jù)歸檔方法，其特征在于：所述步驟2通過編輯crontab輸入新的定時任務(wù)，匹配批次號，定義執(zhí)行時間和調(diào)用頻率。

5.根據(jù)權(quán)利要求1所述的一種通過元數(shù)據(jù)庫集中化管理分表的數(shù)據(jù)歸檔方法，其特征在于：步驟3.2中所述的檢測包括以下檢測步驟，步驟3.2.1：檢測源端數(shù)據(jù)庫導(dǎo)出表是否能夠被訪問和是否存在，源端數(shù)據(jù)庫導(dǎo)出表能夠被訪問的且存在的執(zhí)行步驟3.2.2；源端數(shù)據(jù)庫導(dǎo)出表不能被訪問或不存在的則報錯退出并發(fā)送失敗郵件；

步驟3.2.2：檢測目標(biāo)端數(shù)據(jù)庫是否能夠被訪問，目標(biāo)端數(shù)據(jù)庫能夠被訪問的則執(zhí)行步驟3.2.3，目標(biāo)端數(shù)據(jù)庫不能夠被訪問的，則報錯退出并發(fā)送失敗郵件；

步驟3.2.3：檢測目標(biāo)端數(shù)據(jù)庫中是否存在與步驟3.2.1中元數(shù)據(jù)庫導(dǎo)出表相同的歸檔表，不存在的則執(zhí)行步驟3.3，存在的則報錯退出并發(fā)送失敗郵件。

6.根據(jù)權(quán)利要求1所述的一種通過元數(shù)據(jù)庫集中化管理分表的數(shù)據(jù)歸檔方法，其特征在于：步驟3.3中所述的中間結(jié)果的處理包括根據(jù)保留數(shù)列和分區(qū)類型列結(jié)合產(chǎn)生的分表保留規(guī)則，根據(jù)歸檔where條件列產(chǎn)生處理的處理策略。

7.根據(jù)權(quán)利要求1所述的一種通過元數(shù)據(jù)庫集中化管理分表的數(shù)據(jù)歸檔方法，其特征在于：步驟3.5中所述的數(shù)據(jù)校驗(yàn)包括源端數(shù)據(jù)庫是否能夠被訪問和目標(biāo)端數(shù)據(jù)庫是否能夠被訪問，以及源端數(shù)據(jù)庫和目標(biāo)端數(shù)據(jù)庫的數(shù)據(jù)行數(shù)是否一致。

8.根據(jù)權(quán)利要求1所述的一種通過元數(shù)據(jù)庫集中化管理分表的數(shù)據(jù)歸檔方法，其特征在于：步驟3.6中所述的是否清理策略根據(jù)元數(shù)據(jù)表中刪除列中的內(nèi)容確定；清理策略則根據(jù)刪除類型列來執(zhí)行清理方式。

9.根據(jù)權(quán)利要求1所述的一種通過元數(shù)據(jù)庫集中化管理分表的數(shù)據(jù)歸檔方法，其特征在于：步驟3.5中所述的保留元數(shù)據(jù)為元數(shù)據(jù)表中的保留數(shù)據(jù)列和執(zhí)行頻率列組合得到的結(jié)果。