[發明專利]數據同步方法、系統及計算機可讀介質

在審

• 申請號: 202111571164.6
• 申請日: 2021-12-21
• 公開（公告）號: CN114238516A
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 王仕凱;陳誠;戴橙
• 申請（專利權）人: 浙江太美醫療科技股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/25
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 朱方杰;駱希聰

1.一種數據同步方法，包括以下步驟：

在全量數據同步階段，通過第一計算框架對應的第一流式計算程序從第一數據庫中抽取數據，形成第一數據存儲消息隊列；

在全量數據同步階段完成后的增量數據同步階段，通過所述第一計算框架對應的第一流式計算程序確定增量數據同步的數據起始點，從所述數據起始點開始抽取數據，形成第二數據存儲消息隊列；

在所述全量數據同步階段和所述增量數據同步階段，通過第一計算框架對應的第二流式計算程序從所述第一數據存儲消息隊列或第二數據存儲消息隊列中抽取數據；

對從所述第一數據存儲消息隊列或第二數據存儲消息隊列中抽取的數據進行數據篩選和格式轉換操作，形成處理后數據；

將所述處理后數據存儲至第二數據庫。

2.根據權利要求1所述的數據同步方法，其特征在于，還包括：

對通過第一計算框架對應的第一流式計算程序從第一數據庫中抽取數據的操作時間進行監測，得到操作延時數值；

將所述操作延時數值與設定的第一閾值比較，得到判斷結果；

基于所述判斷結果確定是否請求新的運行資源，用于所述抽取數據操作。

3.根據權利要求2所述的數據同步方法，其特征在于，對通過第一計算框架對應的第一流式計算程序從第一數據庫中抽取數據的操作時間進行監測，得到操作延時數值包括：

以設定的第一時間間隔為單位，獲取所述抽取操作對應的數據條數；

基于所述數據條數和所述第一時間間隔，得到每一條數據的抽取操作的平均值；

將所述每一條數據的抽取操作的平均值作為所述操作延時數值。

4.根據權利要求2所述的數據同步方法，其特征在于，所述運行資源包括處理資源和存儲資源。

5.根據權利要求1所述的數據同步方法，其特征在于，所述第一計算框架包括flink計算框架，所述第一流式計算程序包括flink-cdc流式計算程序，所述第二流計算式程序包括flink流式計算程序。

6.根據權利要求1所述的數據同步方法，其特征在于，抽取的所述數據包括Binlog數據。

7.根據權利要求1所述的數據同步方法，其特征在于，所述第一數據存儲消息隊列和第二數據存儲消息隊列包括kafka消息隊列。

8.根據權利要求1所述的數據同步方法，其特征在于，所述第一數據庫包括MySQL數據庫，所述第二數據庫包括KUDU數據庫。

9.一種數據同步系統，包括：

存儲器，用于存儲可由處理器執行的指令；以及

處理器，用于執行所述指令以實現如權利要求1-8任一項所述的方法。

10.一種存儲有計算機程序代碼的計算機可讀介質，所述計算機程序代碼在由處理器執行時實現如權利要求1-8任一項所述的方法。