[發(fā)明專利]一種數(shù)據(jù)同步方法和數(shù)據(jù)同步系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210216652.3
• 申請(qǐng)日: 2022-03-07
• 公開（公告）號(hào): CN114547206A
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計(jì)）人: 張玉良;王雷;趙浩雲(yún);鄭成龍
• 申請(qǐng)（專利權(quán)）人: 牧原食品股份有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27
• 代理公司: 北京維昊知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11804
• 代理人: 孫寧;孫新國(guó)

1.一種數(shù)據(jù)同步方法，其特征在于，包括：

獲取待同步的源端的數(shù)據(jù)源參數(shù)信息和目標(biāo)端的數(shù)據(jù)源參數(shù)信息；

根據(jù)源端的數(shù)據(jù)源參數(shù)信息和目標(biāo)端的數(shù)據(jù)源參數(shù)信息和同步任務(wù)模板建立同步任務(wù)，所述同步任務(wù)模板為預(yù)設(shè)的同步任務(wù)模板；以及

響應(yīng)于獲取到所述同步任務(wù)的觸發(fā)信號(hào)，將所述同步任務(wù)發(fā)送至執(zhí)行器集群，以進(jìn)行遠(yuǎn)端和目標(biāo)端之間的數(shù)據(jù)同步操作。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)同步方法，其特征在于，所述獲取待同步的源端和目標(biāo)端的數(shù)據(jù)源參數(shù)信息包括：

接收用戶選擇的待同步的源端的數(shù)據(jù)源參數(shù)信息和目標(biāo)端的數(shù)據(jù)源參數(shù)信息；或

接收用戶自定義的選擇條件，解析所述選擇條件以確定待同步的源端和目標(biāo)端的數(shù)據(jù)源參數(shù)信息。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)同步方法，其特征在于，所述根據(jù)源端和目標(biāo)端的數(shù)據(jù)源參數(shù)信息和預(yù)設(shè)的同步任務(wù)模板生成同步任務(wù)包括：

建立源端和目標(biāo)端的數(shù)據(jù)源參數(shù)信息之間的映射關(guān)系；

將源端的數(shù)據(jù)源參數(shù)信息、目標(biāo)端的數(shù)據(jù)源參數(shù)信息和所述映射關(guān)系與所述預(yù)設(shè)的同步任務(wù)模板關(guān)聯(lián)，以生成同步任務(wù)。

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)同步方法，其特征在于，所述同步任務(wù)的觸發(fā)信號(hào)包括實(shí)時(shí)觸發(fā)信號(hào)或定時(shí)觸發(fā)信號(hào)，其中將所述同步任務(wù)發(fā)送至執(zhí)行器集群包括：

根據(jù)所述同步任務(wù)的觸發(fā)信號(hào)實(shí)時(shí)或定時(shí)將所述同步任務(wù)發(fā)送至執(zhí)行器集群。

5.根據(jù)權(quán)利要求1至4任意一項(xiàng)所述的數(shù)據(jù)同步方法，其特征在于，所述數(shù)據(jù)源參數(shù)信息包括數(shù)據(jù)源名稱和數(shù)據(jù)源地址，以及以下中的一種或多種：

數(shù)據(jù)源分組、數(shù)據(jù)源類型、用戶名稱和用戶密碼。

6.根據(jù)權(quán)利要求1至4任意一項(xiàng)所述的數(shù)據(jù)同步方法，其特征在于，其中預(yù)設(shè)的同步任務(wù)模板中包括以下中的一種或多種：

同步任務(wù)的觸發(fā)時(shí)間、周期、路由策略、阻塞策略、執(zhí)行器類型、同步任務(wù)描述和超時(shí)時(shí)間。

7.一種用于執(zhí)行器集群的數(shù)據(jù)同步方法，其特征在于，包括：

接收服務(wù)終端發(fā)送的同步任務(wù)；

根據(jù)所述同步任務(wù)調(diào)用Flink任務(wù)生成器生成Flink作業(yè)任務(wù)；以及

將所述Flink作業(yè)任務(wù)發(fā)送至所述Flink集群，以執(zhí)行數(shù)據(jù)同步操作。

8.根據(jù)權(quán)利要求7所述的用于執(zhí)行器集群的數(shù)據(jù)同步方法，其特征在于，所述根據(jù)所述同步任務(wù)調(diào)用Flink任務(wù)生成器生成Flink作業(yè)任務(wù)包括：

從所述同步任務(wù)中解析出包含的配置信息；

根據(jù)所述同步任務(wù)中包含的配置信息生成Flink作業(yè)任務(wù)，所述Flink作業(yè)任務(wù)包括Flink作業(yè)腳本。

9.根據(jù)權(quán)利要求7所述的用于執(zhí)行器集群的數(shù)據(jù)同步方法，其特征在于，所述將所述Flink作業(yè)任務(wù)發(fā)送至所述Flink集群，以執(zhí)行數(shù)據(jù)同步操作包括：

根據(jù)所述Flink集群中Flink執(zhí)行器的作業(yè)狀態(tài)確定可用的執(zhí)行器列表；

從所述可用的Flink執(zhí)行器列表中選擇一個(gè)或多個(gè)Flink執(zhí)行器執(zhí)行所述Flink作業(yè)任務(wù)。

10.一種數(shù)據(jù)同步系統(tǒng)，其特征在于，包括：

服務(wù)終端，其用于執(zhí)行根據(jù)權(quán)利要求1-5的任意一項(xiàng)所述的數(shù)據(jù)同步方法；

執(zhí)行器集群，其與所述服務(wù)終端連接，用于執(zhí)行根據(jù)權(quán)利要求6-8的任意一項(xiàng)所述的用于執(zhí)行器集群的數(shù)據(jù)同步方法。