[發明專利]一種數據同步方法和數據同步系統

在審

• 申請號: 202210216652.3
• 申請日: 2022-03-07
• 公開（公告）號: CN114547206A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 張玉良;王雷;趙浩雲;鄭成龍
• 申請（專利權）人: 牧原食品股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 北京維昊知識產權代理事務所(普通合伙) 11804
• 代理人: 孫寧;孫新國

本發明涉及一種數據同步方法和數據同步系統，包括獲取待同步的源端的數據源參數信息和目標端的數據源參數信息；根據源端的數據源參數信息和目標端的數據源參數信息和同步任務模板建立同步任務，所述同步任務模板為預設的同步任務模板；以及響應于獲取到所述同步任務的觸發信號，將所述同步任務發送至執行器集群，以進行遠端和目標端之間的數據同步操作。利用本發明的技術方案，解決了傳統的由專業技術人員使用專業數據同步工具進行數據同步的方式存在使用門檻高、時效差的問題。

技術領域

本發明一般地涉及大數據技術數據處理技術領域。更具體地，本發明涉及一種數據同步方法和數據同步系統。

背景技術

在移動互聯網領域，數據生產的速度及規模不斷提升。在進行數據交互過程中，海量數據同步和快速傳輸成為一大挑戰。如何快速地同步大規模海量的數據，對傳統的單機應用來說也是一個技術挑戰。數據同步就是將數據從源數據庫遷移到目的數據庫。這里所說的數據庫既包括傳統的關系型數據庫，如MySQL、Oracle、SQLServer等，也包括分布式的非關系型數據庫，如Hive、HDFS、HBase等，只要是按照一定格式存放數據的實體都可以被視為數據庫。目前現有的數據同步技術分為專用數據同步、通用數據同步和基于編程的數據同步三類。

其中，專用數據同步是利用MySQL提供從CSV文件導入MySQL表的命令行工具，開源工具Sqoop可以將完成HDFS和關系型數據庫之間數據同步，但是該數據同步方法局限于特定的數據源，無法擴展支持新增數據源。

通用數據同步是利用專業的數據同步工具實現。數據同步工具DataX是一套可擴展的通用數據同步工具，可以支持多種數據源之間的數據同步，對于每種數據庫的讀寫提供的插件，同時用戶可以根據需要編寫新的插件，以支持其他類型的數據庫的讀寫。但是，該工具只支持單機運行，無法分布式的執行，這樣就不適用于大規模的數據遷移，并且該同步方式主要用于離線數據同步，不支持實時同步。另外，該同步方式還需要開發配置文件，不適用于非專業技術人員使用。

基于編程的數據同步的方式中，Flink是一個面向分布式數據流處理和批量數據處理的開源計算平臺，它主要由Java代碼實現，具有高吞吐量和低延遲的特性。Flink作為當前流行的高性能流批一體計算框架，用于做海量數據同步有很大的實用價值及實時性。但是該方式必須借助編程實現Flink任務，非專業人員難以掌握。

因此，如何使得數據同步方式擺脫專業技術的限制，以便于更多的工作人員進行應用，對于提升數據處理效率具有重要作用。

發明內容

為解決上述一個或多個技術問題，本發明提出用戶通過web界面直接配置待同步的遠端和目標端信息，并自動生成同步任務，從而有效降低了數據同步對工作人員的要求，簡化數據同步作業的流程，并有效提升了數據同步工作的效率。為此，本發明在如下的多個方面中提供方案。

在第一方面中，本發明提供了一種數據同步方法，包括：獲取待同步的源端的數據源參數信息和目標端的數據源參數信息；根據源端的數據源參數信息和目標端的數據源參數信息和同步任務模板建立同步任務，所述同步任務模板為預設的同步任務模板；以及響應于獲取到所述同步任務的觸發信號，將所述同步任務發送至執行器集群，以進行遠端和目標端之間的數據同步操作。

在一個實施例中，所述獲取待同步的源端和目標端的數據源參數信息包括：接收用戶選擇的待同步的源端的數據源參數信息和目標端的數據源參數信息；或接收用戶自定義的選擇條件，解析所述選擇條件以確定待同步的源端和目標端的數據源參數信息。

在一個實施例中，所述根據源端和目標端的數據源參數信息和預設的同步任務模板生成同步任務包括：建立源端和目標端的數據源參數信息之間的映射關系；將源端的數據源參數信息、目標端的數據源參數信息和所述映射關系與所述預設的同步任務模板關聯，以生成同步任務。