[發明專利]一種數據同步的方法及裝置

在審

• 申請號: 202010101450.5
• 申請日: 2020-02-19
• 公開（公告）號: CN111324610A
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 鄧靜茹
• 申請（專利權）人: 深圳市融壹買信息科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 李娟

本申請適用于計算機技術領域，提供了一種數據同步的方法，包括：獲取數據同步指令；基于所述數據庫地址信息、所述數據庫權限信息和所述表名信息，確定所述目標數據對應的字段信息和字段類型；基于所述字段信息、所述字段類型、所述目標同步地址信息和預設分布式數據庫工具，在分布式數據庫中建立目標表；基于所述數據同步指令確定所述目標數據對應的同步腳本；基于所述同步腳本將所述目標數據同步至所述分布式數據庫中的目標表。上述方法，通過生成同步腳本，把原本手動編寫的腳本通過自動化實現，提高了數據同步的效率，并且減少了出錯的可能。

技術領域

本申請屬于計算機技術領域，尤其涉及一種數據同步的方法及裝置。

背景技術

大數據開發中的第一個環節是將海量數據導入平臺之中，供數據分析或算法建模，現有技術中針對存儲在不同類型數據庫的數據，導入的方式是手動編寫對應的腳本，從而實現數據同步。但是現有的大批量數據導入的方式效率過低，并且容易在同步時出現錯誤。

發明內容

本申請實施例提供了一種數據同步的方法及裝置，可以解決現有的大批量數據導入的方式效率過低，并且容易在同步時出現錯誤的問題。

第一方面，本申請實施例提供了一種數據同步的方法，包括：

獲取數據同步指令；所述數據同步指令包括待同步的目標數據所屬的關系數據庫的數據庫地址信息、數據庫權限信息、所述目標數據在所述關系數據庫中對應的表的表名信息、目標同步地址信息；

基于所述數據庫地址信息、所述數據庫權限信息和所述表名信息，確定所述目標數據對應的字段信息和字段類型；

基于所述字段信息、所述字段類型、所述目標同步地址信息和預設分布式數據庫工具，在分布式數據庫中建立目標表；所述分布式數據庫為所述目標數據進行數據同步的目標數據庫；所述目標表用于存儲所述目標數據；

基于所述數據同步指令確定所述目標數據對應的同步腳本；

基于所述同步腳本將所述目標數據同步至所述分布式數據庫中的目標表。

進一步地，所述基于所述字段信息、所述字段類型和預設分布式數據庫工具，在分布式數據庫中建立目標表，包括：

基于所述字段信息、所述字段類型和預設分布式數據庫工具，確定元數據；所述元數據包括所述目標表的表信息；

基于所述元數據在分布式數據庫中建立目標表。

進一步地，所述基于所述數據同步指令確定所述目標數據對應的同步腳本，包括：

基于預設生成策略和所述數據同步指令，生成所述目標數據對應的Apache Spark提交腳本。

進一步地，所述數據同步指令還包括所述關系數據庫的數據庫類型；

所述基于所述同步腳本將所述目標數據同步至所述分布式數據庫中的目標表，包括：

根據所述數據庫類型確定關系數據庫的驅動信息；

基于所述同步腳本和所述驅動信息，確定可執行任務文件；

基于所述可執行任務文件進行任務調度，將所述目標數據同步至所述分布式數據庫中的目標表。

進一步地，在所述基于所述可執行任務文件進行任務調度，將所述目標數據同步至所述分布式數據庫中的目標表之后，還包括：

當檢測到所述可執行任務文件調度失敗時，再次基于所述可執行任務文件進行任務調度。

第二方面，本申請實施例提供了一種數據同步的裝置，包括：