[發明專利]數據同步方法、裝置、設備、系統及計算機可讀存儲介質

有效

• 申請號: 201811527177.1
• 申請日: 2018-12-13
• 公開（公告）號: CN109857803B
• 公開（公告）日: 2020-09-08
• 發明（設計）人: 章海怒;周一帆;鄭艷濤
• 申請（專利權）人: 杭州數夢工場科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

1.一種數據同步方法，其特征在于，包括：

Spark根據數據獲取指令在源數據端獲取源數據；

對所述源數據進行數據類型匹配，獲得類型匹配后的源數據；

對所述類型匹配后的源數據進行列描述分析，獲得分區列和分區值；

根據所述分區列和所述分區值生成分區模板；

在基于所述分區模板完成對所述源數據的分區后，按預設規則在分區后的源數據中抽取目標同步數據；

將所述目標同步數據寫入目標數據端。

2.如權利要求1所述的數據同步方法，其特征在于，所述源數據端為Hive，所述目標數據端為HBase。

3.如權利要求2所述的數據同步方法，其特征在于，所述按預設規則在分區后的源數據中抽取目標同步數據，包括：

在分區后的源數據中抽取對應于HBase主鍵的源數據作為所述目標同步數據。

4.如權利要求3所述的數據同步方法，其特征在于，還包括：

在所述HBase上創建數據映射表；其中，所述數據映射表中包括預定數量個所述HBase主鍵。

5.如權利要求2所述的數據同步方法，其特征在于，還包括：

在所述HBase中讀取HBase數據；

將所述HBase寫入所述Hive。

6.一種數據同步裝置，其特征在于，包括：

數據獲取模塊，用于根據數據獲取指令在源數據端獲取源數據；

數據處理模塊，用于對所述源數據進行數據類型匹配，獲得類型匹配后的源數據；對所述類型匹配后的源數據進行列描述分析，獲得分區列和分區值；根據所述分區列和所述分區值生成分區模板；

數據抽取模塊，用于在基于所述分區模板完成對所述源數據的分區后，按預設規則在分區后的源數據中抽取目標同步數據；

數據同步模塊，用于將所述目標同步數據寫入目標數據端。

7.一種數據同步設備，其特征在于，包括：

存儲器，用于存儲計算機程序；

處理器，用于執行所述計算機程序時實現如權利要求1至5任意一項所述的數據同步方法的步驟。

8.一種數據同步系統，其特征在于，包括：

如權利要求7所述的數據同步設備，用于根據數據獲取指令在源數據端獲取源數據；對所述源數據進行數據類型匹配，獲得類型匹配后的源數據；對所述類型匹配后的源數據進行列描述分析，獲得分區列和分區值；根據所述分區列和所述分區值生成分區模板；在基于所述分區模板完成對所述源數據的分區后，按預設規則在分區后的源數據中抽取目標同步數據；將所述目標同步數據寫入目標數據端；

所述源數據端，用于提供所述源數據；

所述目標數據端，用于存儲所述源數據。

9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1至5任意一項所述的數據同步方法的步驟。