[發明專利]基于日志解析的增量數據比對方法、裝置和電子設備

在審

• 申請號: 202011192747.3
• 申請日: 2020-10-30
• 公開（公告）號: CN112363995A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 李超德;楊小華;朱浩;連梓濱;張鐸;胡東冬
• 申請（專利權）人: 北京新數科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/23;G06F16/27
• 代理公司: 北京知呱呱知識產權代理有限公司 11577
• 代理人: 朱芳

本發明實施例公開了基于日志解析的增量數據比對方法、裝置和電子設備，該方法包括：對源數據庫進行全量復制得到目標數據庫；對源數據庫和目標數據庫進行全量比對；如果源數據庫和目標數據庫存儲的數據完全相同，則以開始全量復制的時間點開始對源數據庫和目標數據庫進行數據同步；獲取源數據庫的日志數據；對源數據庫的日志數據使用日志解析工具進行解析得到源數據庫的增量數據；對源數據庫的增量數據和目標數據庫進行數據校驗；如果源數據庫的增量數據和目標數據庫增量數據不完全相同，則進行報警。本發明可以進行比對時，不影響業務系統運行，且比對效率高，滿足實時性要求高的遷移場景。

技術領域

本發明實施例涉及信息技術和數據庫遷移領域，具體涉及基于日志解析的增量數據比對方法、裝置和電子設備。

背景技術

隨著信息系統數據量急劇增長，硬件成了性能瓶頸，傳統的集中式架構已經很難滿足系統的性能需求，數據庫軟件逐漸從集中式轉向分布式架構；同時隨著技術發展和進步，企業對于數據庫的選型也不再局限于傳統的商業大型關系數據庫，開源數據庫和國產數據庫逐漸受到了企業用戶的青睞，不僅新開發的應用開始使用開源或者國產數據庫，越來越多的遺留應用也逐漸遷移到新的數據庫平臺之上。

基于以上需求，數據庫遷移成為越來越多企業的強烈需求,也出現了各種類型的遷移工具。數據庫遷移最重要的是數據的完整性和一致性，因此數據遷移完成后的數據比對和校驗就顯得尤為重要。

傳統的比對和校驗方式直接使用SQL語句從源數據庫和目標數據庫查詢數據,然后在內存中進行比對，具有如下缺點：

1.全量查詢源數據庫和目標數據庫的所有數據，數據量大，對比效率低；定制化比對部分內容，無法嚴格做到數據完整性和一致性的驗證。

2.使用SQL語句直接查詢數據庫，對于數據庫性能影響較大，比對和校驗過程會影響系統業務的處理。

3.由于需要比對的數據量大，對于網絡帶寬，主機內存，CPU等提出了較高的要求。

4.數據比對和校驗時間較長。

發明內容

本發明實施例的目的在于提供基于日志解析的增量數據比對方法、裝置和電子設備，用以解決現有數據庫遷移時數據一致性和完整性驗證效率低，影響業務系統運行的問題。

為實現上述目的，本發明實施例主要提供如下技術方案：

第一方面，本發明實施例提供了一種基于日志解析的增量數據比對方法，包括：

對所述源數據庫進行全量復制得到目標數據庫；

對所述源數據庫和所述目標數據庫進行全量比對，以檢測所述源數據庫和所述目標數據庫存儲的數據是否完全相同；

如果所述源數據庫和所述目標數據庫存儲的數據完全相同，則以開始全量復制的時間點開始對所述源數據庫和所述目標數據庫進行數據同步；

以開始全量復制的時間點開始，獲取所述源數據庫的日志數據；

對所述源數據庫的日志數據使用日志解析工具進行解析得到所述源數據庫的增量數據；

對所述源數據庫的增量數據和所述目標數據庫進行數據校驗，以校驗所述源數據庫的增量數據和所述目標數據庫的增量數據是否完全相同；

如果所述源數據庫的增量數據和所述目標數據庫的增量數據不完全相同，則進行報警。

根據本發明的一個實施例，所述源數據庫的增量數據包括增加數據、修改數據和刪除數據；所述目標數據庫的增量數據包括增加數據、修改數據和刪除數據。

根據本發明的一個實施例，對所述源數據庫的增量數據和所述目標數據庫進行數據校驗，包括：