[發明專利]一種數據合并方法及系統

在審

• 申請號: 201811132215.3
• 申請日: 2018-09-27
• 公開（公告）號: CN109241063A
• 公開（公告）日: 2019-01-18
• 發明（設計）人: 李英軍;余春祖;王娟娟
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/215
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 古利蘭;王寶筠

1.一種數據合并方法，其特征在于，所述方法包括：

對數據進行壓縮處理；

基于壓縮后表的數據量大小設置分區個數；

通過對增量數據層和全量數據層的主鍵哈希，按照分區個數取模，將增量數據和全量數據分別拆分到不同的臨時目錄；

對增量數據層和全量數據層對應分區下的文件執行相應的合并操作；

將合并操作結果輸出到臨時目錄和全量數據目錄。

2.根據權利要求1所述的方法，其特征在于，所述對數據進行壓縮處理包括：

采用ORC格式對數據進行壓縮處理。

3.根據權利要求1所述的方法，其特征在于，所述對增量數據層和全量數據層對應分區下的文件執行相應的合并操作包括：

增量數據層T+1日對應的臨時目錄下每個分區下和全量數據層T日對應臨時目錄下每個分區下，相同主鍵的，取增量數據層臨時目錄對應的記錄。

4.根據權利要求1所述的方法，其特征在于，所述對增量數據層和全量數據層對應分區下的文件執行相應的合并操作包括：

增量數據層T+1日對應的臨時目錄下每個分區下和全量數據層T日對應臨時目錄下每個分區下，增量數據層有記錄，全量數據層無記錄的，取增量數據層臨時目錄下的記錄。

5.根據權利要求1所述的方法，其特征在于，所述對增量數據層和全量數據層對應分區下的文件執行相應的合并操作包括：

增量數據層T+1日對應的臨時目錄下每個分區下和全量數據層T日對應臨時目錄下每個分區下，增量數據層無記錄，全量數據層有記錄的，取全量數據層臨時目錄下的記錄。

6.一種數據合并系統，其特征在于，包括：

處理模塊，用于對數據進行壓縮處理；

設置模塊，用于基于壓縮后表的數據量大小設置分區個數；

拆分模塊，用于通過對增量數據層和全量數據層的主鍵哈希，按照分區個數取模，將增量數據和全量數據分別拆分到不同的臨時目錄；

合并處理模塊，用于對增量數據層和全量數據層對應分區下的文件執行相應的合并操作；

輸出模塊，用于將合并操作結果輸出到臨時目錄和全量數據目錄。

7.根據權利要求6所述的系統，其特征在于，所述處理模塊具體用于：

采用ORC格式對數據進行壓縮處理。

8.根據權利要求6所述的系統，其特征在于，所述合并處理模塊具體用于：

增量數據層T+1日對應的臨時目錄下每個分區下和全量數據層T日對應臨時目錄下每個分區下，相同主鍵的，取增量數據層臨時目錄對應的記錄。

9.根據權利要求6所述的系統，其特征在于，所述合并處理模塊具體用于：

增量數據層T+1日對應的臨時目錄下每個分區下和全量數據層T日對應臨時目錄下每個分區下，增量數據層有記錄，全量數據層無記錄的，取增量數據層臨時目錄下的記錄。

10.根據權利要求6所述的系統，其特征在于，所述合并處理模塊具體用于：

增量數據層T+1日對應的臨時目錄下每個分區下和全量數據層T日對應臨時目錄下每個分區下，增量數據層無記錄，全量數據層有記錄的，取全量數據層臨時目錄下的記錄。