[發明專利]基于日志解析的增量數據比對方法、裝置和電子設備

在審

• 申請號: 202011192747.3
• 申請日: 2020-10-30
• 公開（公告）號: CN112363995A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 李超德;楊小華;朱浩;連梓濱;張鐸;胡東冬
• 申請（專利權）人: 北京新數科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/23;G06F16/27
• 代理公司: 北京知呱呱知識產權代理有限公司 11577
• 代理人: 朱芳

1.一種基于日志解析的增量數據比對方法，其特征在于，包括：

對所述源數據庫進行全量復制得到目標數據庫；

對所述源數據庫和所述目標數據庫進行全量比對，以檢測所述源數據庫和所述目標數據庫存儲的數據是否完全相同；

如果所述源數據庫和所述目標數據庫存儲的數據完全相同，則以開始全量復制的時間點開始對所述源數據庫和所述目標數據庫進行數據同步；

以開始全量復制的時間點開始，獲取所述源數據庫的日志數據；

對所述源數據庫的日志數據使用日志解析工具進行解析得到所述源數據庫的增量數據；

對所述源數據庫的增量數據和所述目標數據庫進行數據校驗，以校驗所述源數據庫的增量數據和所述目標數據庫的增量數據是否完全相同；

如果所述源數據庫的增量數據和所述目標數據庫的增量數據不完全相同，則進行報警。

2.根據權利要求1所述的基于日志解析的增量數據比對方法，其特征在于，所述源數據庫的增量數據包括增加數據、修改數據和刪除數據；所述目標數據庫的增量數據包括增加數據、修改數據和刪除數據。

3.根據權利要求2所述的基于日志解析的增量數據比對方法，其特征在于，對所述源數據庫的增量數據和所述目標數據庫進行數據校驗，包括：

對所述源數據庫的每個增量數據使用SQL方式在所述目標數據庫中進行查詢，檢測所述目標數據庫是否對所述源數據庫的每個增量數據進行了對應的增量處理。

4.根據權利要求3所述的基于日志解析的增量數據比對方法，其特征在于，所述源數據庫的增量數據使用數據隊列進行存儲。

5.一種基于日志解析的增量數據比對裝置，其特征在于，包括：

全量數據處理模塊，用于對所述源數據庫進行全量復制得到目標數據庫，并對所述源數據庫和所述目標數據庫進行全量比對，以檢測所述源數據庫和所述目標數據庫存儲的數據是否完全相同；

增量數據處理模塊，用于如果所述源數據庫和所述目標數據庫存儲的數據完全相同，則以開始全量復制的時間點開始對所述源數據庫和所述目標數據庫進行數據同步；所述增量處理模塊還用于以所述全量復制的時間點開始，獲取所述源數據庫的日志數據，然后對所述源數據庫的日志數據使用日志解析工具進行解析得到所述源數據庫的增量數據，進而對所述源數據庫的增量數據和所述目標數據庫進行數據校驗，以校驗所述源數據庫的增量數據和所述目標數據庫的增量數據是否完全相同；

報警模塊，用于在所述源數據庫的增量數據和所述目標數據庫的增量數據不完全相同時，進行報警。

6.根據權利要求5所述的基于日志解析的增量數據比對裝置，其特征在于，所述源數據庫的增量數據包括增加數據、修改數據和刪除數據；所述目標數據庫的增量數據包括增加數據、修改數據和刪除數據。

7.根據權利要求6所述的基于日志解析的增量數據比對裝置，其特征在于，所述增量數據處理模塊用于對所述源數據庫的每個增量數據使用SQL方式在所述目標數據庫中進行查詢，檢測所述目標數據庫是否對所述源數據庫的每個增量數據進行了對應的增量處理。

8.根據權利要求7所述的基于日志解析的增量數據比對裝置，其特征在于，所述源數據庫的增量數據使用數據隊列進行存儲。

9.一種電子設備，其特征在于，所述電子設備包括：至少一個處理器和至少一個存儲器；

所述存儲器用于存儲一個或多個程序指令；

所述處理器，用于運行一個或多個程序指令，用以執行如權利要求1-4任一項所述的基于日志解析的增量數據比對方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質中包含一個或多個程序指令，所述一個或多個程序指令用于執行如權利要求1-4任一項所述的基于日志解析的增量數據比對方法。