[發明專利]一種異構數據實時同步方法、裝置、設備和存儲介質

在審

• 申請號: 202011095864.8
• 申請日: 2020-10-14
• 公開（公告）號: CN112231402A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 劉海忠;張雷;司徒達擎;張偉;何廣柏;張偉濤;張文熙
• 申請（專利權）人: 廣東億迅科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 楊小紅

本發明公開了一種異構數據實時同步方法、裝置、設備和存儲介質，涉及抽取線程、寫入線程和多個源數據庫，所述方法包括：響應于用戶輸入的數據同步請求，通過所述抽取線程從所述源數據庫中并行提取增量數據；通過所述抽取線程對所述增量數據執行序列化解析操作，生成中間數據并寫入中間數據庫；通過所述寫入線程從所述中間數據庫中并行獲取所述中間數據；通過所述寫入線程對所述中間數據執行反序列化解析操作和冪等操作，得到待寫入數據；通過所述寫入線程將所述待寫入數據串行寫入到目標數據庫，從而提供具備通用性的數據同步方式，有效提高異構數據同步的效率，同時實現快速斷點續存。

技術領域

本發明涉及數據同步技術領域，尤其涉及一種異構數據實時同步方法、裝置、設備和存儲介質。

背景技術

隨著科技發展的不斷進步，人們對數據的需求日漸增加，從傳統單機數據庫到分布式數據庫，當前數據庫產品可謂百花齊放：開源數據庫(mysql、PostgreSQL)，商業數據庫(oracle、DB2)以及國產數據庫(達夢、TiDB)應用于各領域行業；企業內部由于場景的多元化，也存在不同的結構化和非結構化數據存儲。在去IOE、國產自主的潮流之下，基于不用的應用場景，如多區域數據庫匯聚分析、跨idc數據同步、異構數據分發與遷移，誕生了各種數據實時同步的需求，以求解決表和數據對象的同步問題。

為此，現有的數據同步工具在功能上通常是支持多種源端轉換為單個目標端，或者從一個源端轉換為多個目標端，缺乏通用性；在處理性能上通常是處理小業務量的數據同步，在業務量稍大的情況下會導致同步進程堵塞，導致后續同步效率降低，無法適用于電信等龐大業務量的實時同步場景；在可用性上的容錯機制通常較差，無法在同步異常中斷的情況下快速實現續存。

發明內容

本發明提供了一種異構數據實時同步方法、裝置、設備和存儲介質，解決了現有技術中的數據同步方式缺乏通用性，同步效率較低，且無法實現快速續存的技術問題。

本發明提供的一種異構數據實時同步方法，涉及抽取線程、寫入線程和多個源數據庫，所述方法包括：

響應于用戶輸入的數據同步請求，通過所述抽取線程從所述源數據庫中并行提取增量數據；

通過所述抽取線程對所述增量數據執行序列化解析操作，生成中間數據并寫入中間數據庫；

通過所述寫入線程從所述中間數據庫中并行獲取所述中間數據；

通過所述寫入線程對所述中間數據執行反序列化解析操作和冪等操作，得到待寫入數據；

通過所述寫入線程將所述待寫入數據串行寫入到目標數據庫。

可選地，所述響應于用戶輸入的數據同步請求，通過所述抽取線程從所述源數據庫中并行提取增量數據的步驟，包括：

響應于用戶輸入的數據同步請求，通過所述抽取線程實時監聽所述源數據庫是否產生增量日志；

當所述源數據庫產生增量日志時，通過所述抽取線程從所述源數據庫中并行提取所述增量日志對應的待過濾數據；

對所述待過濾數據按照預定過濾規則執行數據過濾操作，得到所述增量數據。

可選地，還包括：

當所述待過濾數據提取中斷時，通過所述抽取線程檢測所述待過濾數據的數據傳輸斷點；

以所述數據傳輸斷點為起點，通過所述抽取線程從所述源數據庫中重新提取所述待過濾數據。

可選地，所述中間數據庫為Kafka數據庫，所述中間數據攜帶有遞增標識，所述通過所述抽取線程對所述增量數據執行序列化解析操作，生成中間數據并寫入中間數據庫的步驟，包括：

通過所述抽取線程將所述增量數據的原始數據格式轉換為JSON格式，得到中間數據；