[發明專利]數據同步方法及裝置

有效

• 申請號: 201710555263.2
• 申請日: 2017-06-30
• 公開（公告）號: CN107391628B
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 劉暢;楊挺
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

1.一種數據同步方法，包括：

獲取與原數據庫相對應的備份數據，在目標數據庫中創建與所述備份數據相對應的全量數據；

確定所述備份數據的備份時間點，根據所述原數據庫對應的日志文件確定與所述備份時間點相對應的日志點位信息；

從所述日志文件中獲取在所述日志點位信息之后產生的日志記錄，確定與所述日志記錄相對應的數據操作；

針對所述目標數據庫中存儲的全量數據執行所述數據操作，直至所述目標數據庫與所述原數據庫中的數據同步；

當所述目標數據庫包含多個存儲節點的分布式數據庫時，所述在目標數據庫中創建與所述備份數據相對應的全量數據之后，還包括：

為全量數據中的各條數據記錄設置分布列，并根據所述分布列確定全量數據中的每條數據記錄中包含的分布鍵；

按照預設的分布規則確定目所述目標數據庫中與所述分布鍵相對應的存儲節點，以將每一條所述數據記錄遷移到目標數據庫中與所述所述分布鍵對應的存儲節點中；

所述原數據庫中包括多個數據表，且所述原數據庫對應的日志文件的數量為多個；則所述從所述日志文件中獲取在所述日志點位信息之后產生的日志記錄，確定與所述日志記錄相對應的數據操作；針對所述目標數據庫中存儲的全量數據執行所述數據操作的步驟具體包括：

創建多個并行執行的進程，每個進程分別對應于至少一個日志文件；

每個進程從該進程對應的日志文件中獲取在所述日志點位信息之后產生的日志記錄，確定與所述日志記錄相對應的數據操作；針對所述目標數據庫中存儲的全量數據執行所述數據操作；

所述從所述日志文件中獲取在所述日志點位信息之后產生的日志記錄的步驟具體包括：

將當前已獲取的日志記錄在所述日志文件中對應的日志點位信息記錄在預設的進度表中；

當獲取在所述日志點位信息之后產生的日志記錄的過程中斷后再次執行時，根據所述進度表中記錄的日志點位信息從所述日志文件中獲取日志記錄。

2.根據權利要求1所述的方法，其中，所述根據所述原數據庫對應的日志文件確定與所述備份時間點相對應的日志點位信息的步驟具體包括：

分別針對每個日志文件，確定該日志文件中與所述備份時間點相對應的日志點位信息；

將該日志文件中與所述備份時間點相對應的日志點位信息提供給與該日志文件相對應的進程。

3.根據權利要求1或2所述的方法，其中，所述多個并行執行的進程的數量根據以下中的至少一個確定：

所述原數據庫對應的日志文件的數量和/或大小、以及同步完成時間。

4.根據權利要求1所述的方法，其中，所述針對所述目標數據庫中存儲的全量數據執行所述數據操作，直至所述目標數據庫與所述原數據庫中的數據同步的步驟進一步包括：

根據預設的同步判斷條件確定所述目標數據庫與所述原數據庫中的數據是否同步。

5.根據權利要求4所述的方法，其中，所述預設的同步判斷條件包括：

將當前執行的數據操作所對應的日志記錄在日志文件中的日志點位信息確定為第一日志點位信息；

將當前產生時間最晚的日志記錄在所述日志文件中的日志點位信息確定為第二日志點位信息；

若所述第一日志點位信息與所述第二日志點位信息之間的間隔小于預設閾值，則確定所述目標數據庫與所述原數據庫中的數據同步。

6.根據權利要求4所述的方法，其中，所述預設的同步判斷條件包括：

將當前執行的數據操作所對應的日志記錄在日志文件中的日志點位信息確定為第一日志點位信息；

若所述第一日志點位信息與預設的同步點位信息相同，則確定所述目標數據庫與所述原數據庫中的數據同步；

其中，所述預設的同步點位信息根據以下中的至少一項確定：所述原數據庫對應的日志文件的文件大小、與所述備份時間點相對應的日志點位信息、以及獲取與原數據庫相對應的備份數據時產生時間最晚的日志記錄在所述日志文件中的日志點位信息。