[發明專利]hive表增量數據同步方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202011314157.3
• 申請日: 2020-11-20
• 公開（公告）號: CN112416934A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 趙鵬;徐淑華
• 申請（專利權）人: 平安普惠企業管理有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/27
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 汪琳琳

1.一種hive表增量數據同步方法，其特征在于，包括下述步驟：

根據觸發的數據同步指令，從目標數據表讀取待同步增量數據；

對于每條待同步增量數據，確定待同步增量數據對應的已存數據在hive表中的分區目錄，并將所述分區目錄標記為變動目錄；

對于每個變動目錄，調用對應的spark進程提取變動目錄中的已存數據；

在提取到的已存數據中確定保留數據；

將所述待同步增量數據和所述保留數據進行合并得到待存儲文件；

通過各spark進程并行將各變動目錄中的已存數據替換為待存儲文件。

2.根據權利要求1所述的hive表增量數據同步方法，其特征在于，在所述根據觸發的數據同步指令，從目標數據表讀取待同步增量數據的步驟之前，還包括：

向設置有數據庫的存儲服務器發送數據查詢指令；

獲取所述存儲服務器根據所述數據查詢指令返回的所述數據庫的數據統計信息；

當所述數據統計信息未達到預設閾值時，將所述數據庫中的數據表設置為目標數據表。

3.根據權利要求2所述的hive表增量數據同步方法，其特征在于，所述獲取所述存儲服務器根據所述數據查詢指令返回的所述數據庫的數據統計信息的步驟之后，還包括：

當所述數據統計信息達到預設閾值時，對所述數據庫進行監測；

當監測到所述目標數據庫發生數據變動時，將變動的數據作為待同步增量數據存儲到目標數據表中。

4.根據權利要求1所述的hive表增量數據同步方法，其特征在于，所述對于每條待同步增量數據，確定待同步增量數據對應的已存數據在hive表中的分區目錄，并將所述分區目錄標記為變動目錄的步驟包括：

對于每條待同步增量數據，獲取待同步增量數據的創建時間；

在hive表中查詢所述創建時間所對應的分區目錄；

將查詢到的分區目錄標記為變動目錄，其中，所述變動目錄存儲有所述待同步增量數據的已存數據。

5.根據權利要求1所述的hive表增量數據同步方法，其特征在于，所述對于每個變動目錄，調用對應的spark進程提取變動目錄中的已存數據的步驟之前，還包括：

獲取標記的變動目錄的目錄數量；

創建與所述目錄數量匹配的spark進程，并將所述標記的變動目錄與創建的spark進程相關聯。

6.根據權利要求1所述的hive表增量數據同步方法，其特征在于，所述將所述待同步增量數據和所述保留數據進行合并得到待存儲文件的步驟包括：

查詢所述變動目錄所對應的數據格式；

根據所述數據格式對所述待同步增量數據進行格式轉換；

將格式轉換后的待同步增量數據與所述保留數據進行合并，得到待存儲文件；

在HDFS的臨時目錄中創建待存儲目錄，并將所述待存儲文件添加到所述待存儲目錄中。

7.根據權利要求6所述的hive表增量數據同步方法，其特征在于，所述通過各spark進程并行將各變動目錄中的已存數據替換為待存儲文件的步驟包括：

從所述hive表中刪除各變動目錄，并通過各spark進程將生成的待存儲目錄并行移動到所述hive表。

8.一種hive表增量數據同步裝置，其特征在于，包括：

數據讀取模塊，用于根據觸發的數據同步指令，從目標數據表讀取待同步增量數據；

目錄確定模塊，用于對于每條待同步增量數據，確定待同步增量數據對應的已存數據在hive表中的分區目錄，并將所述分區目錄標記為變動目錄；

數據提取模塊，用于對于每個變動目錄，調用對應的spark進程提取變動目錄中的已存數據；

數據確定模塊，用于在提取到的已存數據中確定保留數據；

數據合并模塊，用于將所述待同步增量數據和所述保留數據進行合并得到待存儲文件；

數據替換模塊，用于通過各spark進程并行將各變動目錄中的已存數據替換為待存儲文件。