[發(fā)明專利]一種數(shù)據(jù)歸檔方法及裝置

有效

• 申請?zhí)枺?/td>: 201710201729.9
• 申請日: 2017-03-30
• 公開（公告）號: CN108664503B
• 公開（公告）日: 2021-01-26
• 發(fā)明（設(shè)計）人: 趙明
• 申請（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀貿(mào)易有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/242
• 代理公司: 中原信達知識產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 張一軍;姜勁

本發(fā)明提供了一種數(shù)據(jù)歸檔方法及裝置，該方法用于將業(yè)務(wù)表中已處理完成的數(shù)據(jù)遷移到歷史表中對數(shù)據(jù)進行實時歸檔，其中，在接收用戶發(fā)出的根據(jù)業(yè)務(wù)需求的業(yè)務(wù)操作請求之后，所述方法執(zhí)行如下步驟：創(chuàng)建與業(yè)務(wù)表結(jié)構(gòu)相同的歷史表，并在所述業(yè)務(wù)表的頭部添加對所述歷史表的數(shù)據(jù)歸檔注解；實時監(jiān)聽對包含所述數(shù)據(jù)歸檔注解的所述業(yè)務(wù)表的操作請求，并收集與執(zhí)行所述業(yè)務(wù)表的數(shù)據(jù)操作有關(guān)的操作參數(shù)；根據(jù)收集的所述操作參數(shù)生成執(zhí)行對所述歷史表進行數(shù)據(jù)操作的SQL語句。本發(fā)明通過監(jiān)聽注解的方式，攔截器在攔截之后執(zhí)行數(shù)據(jù)歸檔流程，實現(xiàn)通用的數(shù)據(jù)實時歸檔方案，通過對業(yè)務(wù)表運行時數(shù)據(jù)與歷史數(shù)據(jù)的解耦，提高了業(yè)務(wù)數(shù)據(jù)表的讀寫性能。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機領(lǐng)域，具體涉及一種數(shù)據(jù)歸檔方法及裝置。

背景技術(shù)

在大型應(yīng)用系統(tǒng)中，部分業(yè)務(wù)表的數(shù)據(jù)量會隨著業(yè)務(wù)發(fā)展而逐漸增長，這樣就逐漸嚴重影響業(yè)務(wù)表的讀寫效率。由于已處理完成的數(shù)據(jù)不會再有寫的操作請求，而只需滿足用戶由于具體業(yè)務(wù)對業(yè)務(wù)表的查詢需求，因此可以將業(yè)務(wù)表中已處理完成的數(shù)據(jù)遷移至歷史表中。

在現(xiàn)有技術(shù)中，對遷移數(shù)據(jù)進行實時歸檔是根據(jù)業(yè)務(wù)表的數(shù)據(jù)量決定對業(yè)務(wù)表的歸檔方式，從而實現(xiàn)運行數(shù)據(jù)與歷史數(shù)據(jù)的分離。具體來說，歸檔方案為如下兩個步驟：

第一步：配置調(diào)度計劃，定時觸發(fā)執(zhí)行數(shù)據(jù)歸檔任務(wù)；

第二步：在數(shù)據(jù)歸檔任務(wù)中，實時輪詢業(yè)務(wù)表中滿足歸檔條件的數(shù)據(jù)，并將讀取的數(shù)據(jù)遷移至歷史表中，然后清除業(yè)務(wù)表中已遷移的數(shù)據(jù)。

雖然這種方式不僅極大地減少了業(yè)務(wù)表的數(shù)據(jù)量，而且能夠提高應(yīng)用系統(tǒng)對業(yè)務(wù)表的讀寫效率，給用戶帶來良好的操作體驗，但是在實現(xiàn)本發(fā)明過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中上述的業(yè)務(wù)數(shù)據(jù)歸檔方法至少存在如下問題：

1.根據(jù)業(yè)務(wù)表中的內(nèi)容，用戶需要定制針對各種不同數(shù)據(jù)的歸檔任務(wù)，因此該數(shù)據(jù)歸檔方法的通用性較差。

2.當(dāng)業(yè)務(wù)表變更時，歷史表與數(shù)據(jù)歸檔任務(wù)也需要同時變化，因此對應(yīng)用系統(tǒng)的維護成本較高。

3.由于需要實時輪詢業(yè)務(wù)表中待歸檔的數(shù)據(jù)，因此對應(yīng)用系統(tǒng)的業(yè)務(wù)表的讀寫性能影響較大。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實施例提供一種數(shù)據(jù)歸檔方法及裝置，能夠通過注解聲明和監(jiān)聽注解的方式，執(zhí)行數(shù)據(jù)歸檔流程，實現(xiàn)通用的數(shù)據(jù)實時歸檔。

為實現(xiàn)上述目的，根據(jù)本發(fā)明的一個方面，提供了一種數(shù)據(jù)歸檔方法，所述方法用于將業(yè)務(wù)表中已處理完成的數(shù)據(jù)遷移到歷史表中對數(shù)據(jù)進行實時歸檔，其中，在接收用戶發(fā)出的根據(jù)業(yè)務(wù)需求的業(yè)務(wù)操作請求之后，所述方法執(zhí)行如下步驟：

創(chuàng)建與業(yè)務(wù)表結(jié)構(gòu)相同的歷史表，并在所述業(yè)務(wù)表的頭部添加對所述歷史表的數(shù)據(jù)歸檔注解；

實時監(jiān)聽對包含所述數(shù)據(jù)歸檔注解的所述業(yè)務(wù)表的操作請求，并收集與執(zhí)行所述業(yè)務(wù)表的數(shù)據(jù)操作有關(guān)的操作參數(shù)；

根據(jù)收集的所述操作參數(shù)生成執(zhí)行對所述歷史表進行數(shù)據(jù)操作的SQL語句。

可選地，該方法還包括：在所述業(yè)務(wù)表的頭部添加對所述歷史表的數(shù)據(jù)歸檔注解之后，將操作所述業(yè)務(wù)表和所述歷史表的SQL語句放在同一數(shù)據(jù)庫事務(wù)中，當(dāng)出現(xiàn)執(zhí)行異常時，放棄執(zhí)行所述數(shù)據(jù)庫事務(wù)。

可選地，所述數(shù)據(jù)歸檔注解包括：歷史實體注解、數(shù)據(jù)歸檔注解；

所述操作參數(shù)包括：業(yè)務(wù)數(shù)據(jù)副本、命名空間、業(yè)務(wù)操作類型。

本發(fā)明實施例還提供一種數(shù)據(jù)歸檔裝置，所述裝置用于將業(yè)務(wù)表中已處理完成的數(shù)據(jù)遷移到歷史表中對數(shù)據(jù)進行實時歸檔，所述裝置包括：

數(shù)據(jù)注解模塊，用于創(chuàng)建與業(yè)務(wù)表結(jié)構(gòu)相同的歷史表，并在所述業(yè)務(wù)表的頭部添加對所述歷史表的數(shù)據(jù)歸檔注解；