[發(fā)明專利]數(shù)據(jù)同步系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210856315.0
• 申請日: 2022-07-21
• 公開（公告）號: CN114925140A
• 公開（公告）日: 2022-08-19
• 發(fā)明（設(shè)計）人: 張穎;狄玉坤
• 申請（專利權(quán)）人: 中化現(xiàn)代農(nóng)業(yè)有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/25
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 李文清

1.一種數(shù)據(jù)同步系統(tǒng)，其特征在于，包括：順次連接的外部接口、獲取模塊以及數(shù)據(jù)同步模塊；其中，

所述外部接口用于接收目標(biāo)用戶選擇的需求數(shù)據(jù)源以及輸入的目標(biāo)地址；

所述獲取模塊用于獲取所述需求數(shù)據(jù)源的需求源數(shù)據(jù)，并確定所述目標(biāo)地址對應(yīng)的目標(biāo)數(shù)據(jù)格式；

所述數(shù)據(jù)同步模塊用于基于所述目標(biāo)數(shù)據(jù)格式，確定所述需求源數(shù)據(jù)對應(yīng)的待同步數(shù)據(jù)，并將所述待同步數(shù)據(jù)同步至所述目標(biāo)地址。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)同步系統(tǒng)，其特征在于，所述需求數(shù)據(jù)源為所述目標(biāo)用戶具有訪問權(quán)限的指定數(shù)據(jù)源；

所述數(shù)據(jù)同步系統(tǒng)還包括：配置模塊；

所述配置模塊用于獲取所述指定數(shù)據(jù)源的數(shù)據(jù)信息，并基于所述數(shù)據(jù)信息，配置所述指定數(shù)據(jù)源中指定源數(shù)據(jù)的獲取方式；所述數(shù)據(jù)信息包括所述指定數(shù)據(jù)源的數(shù)據(jù)體量信息和/或數(shù)據(jù)增量信息；

所述獲取模塊具體用于基于所述獲取方式，獲取所述需求源數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)同步系統(tǒng)，其特征在于，所述配置模塊具體用于：若所述數(shù)據(jù)體量信息大于第一閾值，和/或，所述數(shù)據(jù)增量信息大于第二閾值，則確定所述獲取方式包括從大數(shù)據(jù)平臺獲取所述指定源數(shù)據(jù)，所述大數(shù)據(jù)平臺與所述指定數(shù)據(jù)源數(shù)據(jù)同步。

4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)同步系統(tǒng)，其特征在于，所述配置模塊還用于：

若所述數(shù)據(jù)體量信息不大于所述第一閾值，和/或，所述數(shù)據(jù)增量信息不大于所述第二閾值，則確定所述獲取方式包括從所述指定數(shù)據(jù)源處獲取所述指定源數(shù)據(jù)。

5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)同步系統(tǒng)，其特征在于，所述外部接口還用于接收所述目標(biāo)用戶的定時調(diào)度設(shè)置請求；

所述獲取模塊還用于基于所述定時調(diào)度設(shè)置請求，向所述目標(biāo)用戶展示定時調(diào)度設(shè)置項；

所述外部接口還用于接收所述目標(biāo)用戶基于所述定時調(diào)度設(shè)置項反饋的定時調(diào)度信息；

所述數(shù)據(jù)同步模塊具體用于基于所述定時調(diào)度信息，將所述待同步數(shù)據(jù)同步至所述目標(biāo)地址。

6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)同步系統(tǒng)，其特征在于，所述需求數(shù)據(jù)源包括多個；所述數(shù)據(jù)同步模塊具體用于：

若多個所述需求數(shù)據(jù)源的需求源數(shù)據(jù)的數(shù)據(jù)格式不同，則對各需求源數(shù)據(jù)進行格式統(tǒng)一，并將格式統(tǒng)一后的各需求源數(shù)據(jù)進行合并，得到第一結(jié)果；

若所述第一結(jié)果的數(shù)據(jù)格式為所述目標(biāo)數(shù)據(jù)格式，則將所述第一結(jié)果作為所述待同步數(shù)據(jù)；

否則，將所述第一結(jié)果的數(shù)據(jù)格式轉(zhuǎn)換為所述目標(biāo)數(shù)據(jù)格式，得到第二結(jié)果，并將所述第二結(jié)果作為所述待同步數(shù)據(jù)。

7.根據(jù)權(quán)利要求1所述的數(shù)據(jù)同步系統(tǒng)，其特征在于，所述外部接口還用于接收所述目標(biāo)用戶選擇的需求數(shù)據(jù)類型信息；

所述獲取模塊還用于基于所述需求數(shù)據(jù)類型信息，獲取所述需求數(shù)據(jù)類型信息對應(yīng)的目標(biāo)源數(shù)據(jù)；所述目標(biāo)源數(shù)據(jù)包括離線源數(shù)據(jù)和實時源數(shù)據(jù)；

所述數(shù)據(jù)同步模塊具體用于：基于所述目標(biāo)數(shù)據(jù)格式，確定所述離線源數(shù)據(jù)對應(yīng)的離線待同步數(shù)據(jù)，并將所述離線待同步數(shù)據(jù)以增量同步方式或全量同步方式同步至所述目標(biāo)地址；

所述數(shù)據(jù)同步模塊還具體用于：基于所述目標(biāo)數(shù)據(jù)格式，確定所述實時源數(shù)據(jù)對應(yīng)的實時待同步數(shù)據(jù)，并將所述實時待同步數(shù)據(jù)以流計算方式同步至所述目標(biāo)地址。

8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)同步系統(tǒng)，其特征在于，所述數(shù)據(jù)同步模塊具體用于：

檢測所述實時待同步數(shù)據(jù)的同步狀態(tài)；

若所述同步狀態(tài)為出現(xiàn)異常，則自動進行故障恢復(fù)，重新將所述實時待同步數(shù)據(jù)以流計算方式同步至所述目標(biāo)地址。

9.根據(jù)權(quán)利要求1-8中任一項所述的數(shù)據(jù)同步系統(tǒng)，其特征在于，所述數(shù)據(jù)同步模塊具體用于：

將所述待同步數(shù)據(jù)寫入臨時文件；

若寫入過程中出現(xiàn)異常，則刪除所述臨時文件，重新將所述待同步數(shù)據(jù)寫入新的臨時文件；

若寫入過程未出現(xiàn)異常，則將所述臨時文件作為正式文件同步至所述目標(biāo)地址。

10.根據(jù)權(quán)利要求1-8中任一項所述的數(shù)據(jù)同步系統(tǒng)，其特征在于，所述目標(biāo)地址包括目標(biāo)數(shù)據(jù)源地址、郵件地址以及目標(biāo)客戶端地址中的至少一項，所述目標(biāo)數(shù)據(jù)格式包括所述目標(biāo)數(shù)據(jù)源地址對應(yīng)的字段格式和數(shù)據(jù)格式、所述郵件地址對應(yīng)的文件格式以及所述目標(biāo)客戶端地址對應(yīng)的文件格式中的至少一項。