[發明專利]數據同步方法、裝置、設備、系統及計算機可讀存儲介質

有效

• 申請號: 201811527177.1
• 申請日: 2018-12-13
• 公開（公告）號: CN109857803B
• 公開（公告）日: 2020-09-08
• 發明（設計）人: 章海怒;周一帆;鄭艷濤
• 申請（專利權）人: 杭州數夢工場科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

本申請公開了一種數據同步方法，包括Spark根據數據獲取指令在源數據端獲取源數據；對所述源數據進行標簽化處理，獲得分區模板；在基于所述分區模板完成對所述源數據的分區后，按預設規則在分區后的源數據中抽取目標同步數據；將所述目標同步數據寫入目標數據端；該數據同步方法可在降低流量浪費和性能損耗的同時，有效提高數據同步雙方之間數據的同步效率，降低數據同步的復雜度。本申請還公開了一種數據同步裝置、設備、系統以及計算機可讀存儲介質，均具有上述有益效果。

技術領域

本申請涉及大數據技術領域，特別涉及一種數據同步方法，還涉及一種數據同步裝置、設備、系統以及計算機可讀存儲介質。

背景技術

在已有技術中，當需要在兩個數據端之間實現數據同步時，通常有兩種方式，分別是基于外部工具的數據導入與導出，和基于緩存的數據導入與導出。其中，利用第三方工具的實現方式需要將數據序列化成第三方工具可讀的內容，并重新序列化回待同步數據端對應的數據格式，其間需要經歷一次網絡傳輸，存在數據落盤的可能；利用緩存的實現方案則會犧牲額外的磁盤資源，且數據同樣會經歷多次落盤與序列化，在性能上存在較大的損耗。此外，無論哪種方式，均是通過數據先出集群，再入集群的方式來完成導入導出的任務，存在流量上的浪費，且數據同步效率極低。

因此，如何在降低流量浪費和性能損耗的同時，有效提高數據同步雙方之間數據的同步效率是本領域技術人員亟待解決的問題。

發明內容

本申請的目的是提供一種數據同步方法，該數據同步方法可在降低流量浪費和性能損耗的同時，有效提高數據同步雙方之間數據的同步效率；本申請的另一目的是提供一種數據同步裝置、設備、系統以及計算機可讀存儲介質，也具有上述有益效果。

為解決上述技術問題，本申請提供了一種數據同步方法，所述數據同步方法包括：

Spark根據數據獲取指令在源數據端獲取源數據；

對所述源數據進行標簽化處理，獲得分區模板；

在基于所述分區模板完成對所述源數據的分區后，按預設規則在分區后的源數據中抽取目標同步數據；

將所述目標同步數據寫入目標數據端。

優選的，所述源數據端為Hive，所述目標數據端為HBase。

優選的，所述對所述源數據進行標簽化處理，獲得分區模板，包括：

對所述源數據進行數據類型匹配，獲得類型匹配后的源數據；

對所述類型匹配后的源數據進行列描述分析，獲得分區列和分區值；

根據所述分區列和所述分區值生成所述分區模板。

優選的，所述按預設規則在分區后的源數據中抽取目標同步數據，包括：

在分區后的源數據中抽取對應于HBase主鍵的源數據作為所述目標同步數據。

優選的，所述數據同步方法還包括：

在所述HBase上創建數據映射表；其中，所述數據映射表中包括預定數量個所述HBase主鍵。

優選的，所述數據同步方法還包括：

在所述HBase中讀取HBase數據；

將所述HBase數據寫入所述Hive。

為解決上述技術問題，本申請提供了一種數據同步裝置，所述數據同步裝置包括：

數據獲取模塊，用于根據數據獲取指令在源數據端獲取源數據；

數據處理模塊，用于對所述源數據進行標簽化處理，獲得分區模板；