[發明專利]基于Spark Streaming的數據同步方法及系統

在審

• 申請號: 202010890529.0
• 申請日: 2020-08-29
• 公開（公告）號: CN112069240A
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 喬智;劉建輝;孫軍鋒;李亞飛;汪月
• 申請（專利權）人: 北京明略昭輝科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/27
• 代理公司: 青島清泰聯信知識產權代理有限公司 37256
• 代理人: 李祺

1.一種基于Spark Streaming的數據同步方法，其特征在于，包括：

增量數據獲取步驟，用于基于Spark Streaming獲取HBase增量數據并存儲至一離散數據流DStream；

數據規整化步驟，用于根據HBase的字段映射關系及其規整規則通過ETL處理所述離散數據流DStream中的數據，得到規整后數據；

數據寫入步驟，用于將所述規整后數據寫入至HDFS對應目錄中，實現數據同步。

2.根據權利要求1所述的基于Spark Streaming的數據同步方法，其特征在于，所述增量數據獲取步驟進一步包括：

創建數據接收器步驟，用于創建一用于查詢HBase數據類的數據接收器；

數據獲取步驟，用于獲取增量數據并存儲所述增量數據至所述離散數據流DStream。

3.根據權利要求2所述的基于Spark Streaming的數據同步方法，其特征在于，所述數據寫入步驟進一步包括：

單目錄數據輸出步驟，用于通過創建一數據輸出類將規整后數據寫入到對應目錄中；

多目錄數據輸出步驟，用于通過創建一多目錄數據輸出類將規整后數據寫入到對應的多個目錄中。

4.根據權利要求1所述的基于Spark Streaming的數據同步方法，其特征在于，所述增量數據獲取步驟基于一作業限流規則獲取HBase獲取增量數據，所述作業限流規則設定一最大提取條數，若當前需提取數據條數大于所述最大提取條數，則超過所述最大提取條數的數據延時一設定時間后再提取。

5.根據權利要求4所述的基于Spark Streaming的數據同步方法，其特征在于，所述增量數據獲取步驟中，設定所述數據接收器的啟動時間間隔和Spark的窗口滑動時間間隔，其中，所述啟動時間間隔小于所述窗口滑動時間間隔。

6.一種基于Spark Streaming的數據同步系統，其特征在于，包括：

增量數據獲取模塊，用于基于Spark Streaming獲取HBase增量數據并存儲至一離散數據流DStream；

數據規整化模塊，用于根據HBase的字段映射關系及其規整規則通過ETL處理所述離散數據流DStream中的數據，得到規整后數據；

數據寫入模塊，用于將所述規整后數據寫入至HDFS對應目錄中，實現數據同步。

7.根據權利要求6所述的基于Spark Streaming的數據同步系統，其特征在于，所述增量數據獲取模塊進一步包括：

創建數據接收器模塊，用于創建一用于查詢HBase數據類的數據接收器；

數據獲取模塊，用于獲取增量數據并存儲所述增量數據至所述離散數據流DStream。

8.根據權利要求7所述的基于Spark Streaming的數據同步系統，其特征在于，所述數據寫入模塊進一步包括：

單目錄數據輸出模塊，用于通過創建一數據輸出類將規整后數據寫入到對應目錄中；

多目錄數據輸出模塊，用于通過創建一多目錄數據輸出類將規整后數據寫入到對應的多個目錄中。

9.根據權利要求6所述的基于Spark Streaming的數據同步系統，其特征在于，所述增量數據獲取模塊基于一作業限流規則獲取HBase獲取增量數據，所述作業限流規則設定一最大提取條數，若當前需提取數據條數大于所述最大提取條數，則超過所述最大提取條數的數據延時一設定時間后再提取。

10.根據權利要求9所述的基于Spark Streaming的數據同步系統，其特征在于，所述增量數據獲取模塊中，設定所述數據接收器的啟動時間間隔和Spark的窗口滑動時間間隔，其中，所述啟動時間間隔小于所述窗口滑動時間間隔。