[發明專利]基于GTID的長距離數據同步方法、裝置及計算設備

有效

• 申請號: 201911349579.1
• 申請日: 2019-12-24
• 公開（公告）號: CN113032477B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 劉閻;趙偉峰;王印森;樊宇
• 申請（專利權）人: 中移在線服務有限公司;中國移動通信集團有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 北京市浩天知識產權代理事務所(普通合伙) 11276
• 代理人: 王廣濤

本發明實施例涉及大數據技術領域，公開了一種基于GTID的長距離數據同步方法、裝置及計算設備，該方法包括：從當前的第一數據中心的Zookeeper集群中訂閱存儲有需要進行稽核的元數據信息的數據節點觸發稽核；對所述第一數據中心數據庫和第二數據中心數據庫的數據按數據塊分別計算校驗和，并進行比較查找存在數據差異的所述數據塊；持續調整存在數據差異的所述數據塊的大小并重復計算比較校驗和，直至查找到校驗和不一致的差異數據；對校驗和不一致的所述差異數據進一步比較校驗和，獲取稽核結果。通過上述方式，本發明實施例能夠有效檢測海量同步數據差異，實現高效地跨中心數據差異對比，極大地提升了數據稽核效率。

技術領域

本發明實施例涉及大數據技術領域，具體涉及一種基于GTID的長距離數據同步方法、裝置及計算設備。

背景技術

在現有互聯網架構演進過程中，應用服務的高可用保障是互聯網架構建設的核心。異地災備、異地雙活是保障應用服務高可用建設的重要手段。然而，異地災備、異地雙活架構需要解決的核心問題是如何保障跨中心應用數據一致性。跨中心數據同步是多數據中心數據一致性有效解決方案，跨中心數據同步可以分為兩種方式：一種是存儲復制，另一種是數據復制。存儲復制是通過存儲復制技術，將磁盤同步或者異步復制到不同數據中心。數據復制是通過數據庫技術或者第三方軟件實現數據中心間的數據同步。

現有已知開源數據庫同步系統及商業的跨中心數據同步服務主要解決的問題集中在跨中心單向主備模式的數據同步場景。對于異地災備、異地雙活的應用場景，由于數據同步平臺是整個異地災備、異地雙活架構的核心，如何實現數據同步系統自身的高可用建設是數據同步平臺在生產環境部署應用的重要考量。

現有的開源軟件或系統未提供高可靠，可擴展的數據同步平臺架構，缺乏有效的監控管理手段，不能滿足實際生產環境的需要，未提供高效準確的數據稽核方案，及時發現多中心數據同步差值，反饋多中心業務數據不一致。

發明內容

鑒于上述問題，本發明實施例提供了一種基于GTID的長距離數據同步方法、裝置及計算設備，克服了上述問題或者至少部分地解決了上述問題。

根據本發明實施例的一個方面，提供了一種基于GTID的長距離數據同步方法，所述方法包括：從當前的第一數據中心的Zookeeper集群中訂閱存儲有需要進行稽核的元數據信息的數據節點觸發稽核；對所述第一數據中心數據庫和第二數據中心數據庫的數據按數據塊分別計算校驗和，并進行比較查找存在數據差異的所述數據塊；持續調整存在數據差異的所述數據塊的大小并重復計算比較校驗和，直至查找到校驗和不一致的差異數據；對校驗和不一致的所述差異數據進一步比較校驗和，獲取稽核結果。

在一種可選的方式中，所述對所述第一數據中心數據庫和第二數據中心數據庫的數據按數據塊分別計算校驗和，并進行比較查找存在數據差異的所述數據塊，包括：對第二數據中心數據庫的數據按數據塊進行CRC32校驗，計算第一校驗和并取出數據塊邊界；對所述第一數據中心數據庫的數據根據所述數據塊邊界進行CRC32校驗，計算第二校驗和；比較所述第一校驗和與所述第二校驗和，如果所述第一校驗和與所述第二校驗和一致，則說明所述數據塊在第一數據中心數據庫與第二數據中心數據庫中數據同步；如果所述第一校驗和與所述第二校驗和不一致，則說明所述數據塊在第一數據中心數據庫與第二數據中心數據庫中存在數據差異。

在一種可選的方式中，所述持續調整存在數據差異的所述數據塊的大小并重復計算比較校驗和，直至查找到校驗和不一致的差異數據，包括：縮小所述數據塊的大?。粚s小的所述數據塊分別計算校驗和并進行比較，查找存在數據差異的所述數據塊；重復縮小存在數據差異的所述數據塊的大小并計算和比較校驗和，直至存在數據差異的所述數據塊中只包括校驗和不一致的所述差異數據。