[發明專利]數據同步方法、系統及計算機可讀介質

在審

• 申請號: 202111571164.6
• 申請日: 2021-12-21
• 公開（公告）號: CN114238516A
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 王仕凱;陳誠;戴橙
• 申請（專利權）人: 浙江太美醫療科技股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/25
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 朱方杰;駱希聰

本發明提供一種數據同步方法、系統及計算機可讀介質。方法包括：在全量數據同步階段，通過第一計算框架對應的第一流式計算程序從第一數據庫中抽取數據，形成第一數據存儲消息隊列；在全量數據同步階段完成后的增量數據同步階段，通過第一流式計算程序確定增量數據同步的數據起始點，從數據起始點開始抽取數據，形成第二數據存儲消息隊列；通過第二流式計算程序從第一數據存儲消息隊列或第二數據存儲消息隊列中抽取數據；對從第一數據存儲消息隊列或第二數據存儲消息隊列中抽取的數據進行數據篩選和格式轉換操作，形成處理后數據；將處理后數據存儲至第二數據庫。本發明增量同步和全量同步在同一個程序進行，減少了維護成本。

技術領域

本發明主要涉及數據處理領域，尤其涉及一種數據同步方法、系統及計算機可讀介質。

背景技術

當一個數據需要存儲多份時，會出現一致性問題，所以就需要進行同步。同步分為兩種：全量同步和增量同步。全量同步是指定時或周期性把全部數據存儲到目標系統中。增量同步是在全量同步的基礎上，抓取某個時刻或者檢查點以后的差異數據同步到目標系統中。決定增量同步觸發同步過程的時刻或者檢查點稱為更新點。

當前常用的同步方法是在增量同步階段通過Spark來同步，而增量同步階段則是通過canal讀取MySQL數據庫的Binlog日志來同步。兩者之間是分開執行的，在全量同步完成之后，增量同步階段無法確定Binlog的更新點，進而需要一個單獨的canal client來維護日志，增加了維護成本。同時canal也需要搭建集群，增加了開發成本。而且canal在語義上也無法保證數據能夠不丟失。

因此，亟需一種低維護成本和開發成本的數據同步方法、系統及計算機可讀介質。

發明內容

本發明要解決的技術問題是提供一種數據同步方法、系統及計算機可讀介質，解決數據同步方法維護成本和開發成本高的問題。

為解決上述技術問題，本發明提供了一種數據同步方法。包括以下步驟：在全量數據同步階段，通過第一計算框架對應的第一流式計算程序從第一數據庫中抽取數據，形成第一數據存儲消息隊列；在全量數據同步階段完成后的增量數據同步階段，通過所述第一計算框架對應的第一流式計算程序確定增量數據同步的數據起始點，從所述數據起始點開始抽取數據，形成第二數據存儲消息隊列；在所述全量數據同步階段和所述增量數據同步階段，通過第一計算框架對應的第二流式計算程序從所述第一數據存儲消息隊列或第二數據存儲消息隊列中抽取數據；對從所述第一數據存儲消息隊列或第二數據存儲消息隊列中抽取的數據進行數據篩選和格式轉換操作，形成處理后數據；將所述處理后數據存儲至第二數據庫。

在本發明的一實施例中，方法還包括：對通過第一計算框架對應的第一流式計算程序從第一數據庫中抽取數據的操作時間進行監測，得到操作延時數值；將所述操作延時數值與設定的第一閾值比較，得到判斷結果；基于所述判斷結果確定是否請求新的運行資源，用于所述抽取數據操作。

在本發明的一實施例中，對通過第一計算框架對應的第一流式計算程序從第一數據庫中抽取數據的操作時間進行監測，得到操作延時數值包括：以設定的第一時間間隔為單位，獲取所述抽取操作對應的數據條數；基于所述數據條數和所述第一時間間隔，得到每一條數據的抽取操作的平均值；將所述每一條數據的抽取操作的平均值作為所述操作延時數值。

在本發明的一實施例中，所述運行資源包括處理資源和存儲資源。

在本發明的一實施例中，所述第一計算框架包括flink計算框架，所述第一流式計算程序包括flink-cdc流式計算程序，所述第二流計算式程序包括flink流式計算程序。

在本發明的一實施例中，抽取的所述數據包括Binlog數據。

在本發明的一實施例中，所述第一數據存儲消息隊列和第二數據存儲消息隊列包括kafka消息隊列。

在本發明的一實施例中，所述第一數據庫包括MySQL數據庫，所述第二數據庫包括KUDU數據庫。