[發明專利]一種數據增量合并的方法及其裝置

在審

• 申請號: 201210350470.1
• 申請日: 2012-09-20
• 公開（公告）號: CN103678392A
• 公開（公告）日: 2014-03-26
• 發明（設計）人: 朱曉克
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 楊天嬌

1.一種數據增量合并的方法，用于對擁有海量數據的數據倉庫全量表做增量合并，包括步驟：

設置分區字段；

抽取當前的增量數據；

對抽取的增量數據的分區字段進行規整，確定具體的分區標識；

根據所述的分區標識，對全量表進行分區過濾，抽取出所述分區對應的分區數據表；

將所述增量數據與所述的分區數據表合并，得到更新后的分區數據表，并將更新后的分區數據表重新插回到全量表。

2.根據權利要求1所述的數據增量合并的方法，其特征在于，所述的抽取當前的增量數據的方法還包括步驟：

確定抽取規則，按照抽取規則抽取當前的增量數據。

3.根據權利要求1所述的數據增量合并的方法，其特征在于，所述的分區字段為固定不變的日期字段。

4.根據權利要求3所述的數據增量合并的方法，其特征在于，所述的分區標識為所述增量數據固定不變的日期字段對應的日期。

5.一種數據增量合并的方法，用于數據倉庫拉鏈表增量合并，所述的拉鏈表包括記錄生效時間字段和記錄失效時間字段，其特征在于，所述的拉鏈表分為拉鏈表當前分區和拉鏈表歷史分區，所述拉鏈表增量合并的方法包括步驟：

抽取增量數據；

將抽取的增量數據與所述拉鏈表當前分區進行比較；

將拉鏈表當前分區和增量數據中，在增量數據中存在最新更新的非最新數據，插入到拉鏈表歷史分區中；

將增量數據中新增和最新更新的數據插入到拉鏈表當前分區中。

6.根據權利要求5所述的數據增量合并的方法，其特征在于，所述的抽取增量數據的方法還包括步驟：

確定抽取規則，按照抽取規則抽取增量數據。

7.一種數據增量合并裝置，用于對擁有海量數據的數據倉庫全量表做增量合并，包括：

設置模塊，用于設置分區字段；

增量數據抽取模塊，用于抽取當前的增量數據；

分區標識模塊，用于根據增量數據，確定具體的分區標識；

分區數據抽取模塊，用于根據分區標識，從全量表中抽取所述分區標識對應的分區數據表；

增量合并模塊，用于將增量數據與所述的分區數據表合并，并將更新后的分區數據表重新插回到全量表。

8.根據權利要求7所述的數據增量合并的裝置，其特征在于，所述增量數據抽取模塊還設置有抽取規則設置單元，用于設定抽取規則。

9.根據權利要求7所述的數據增量合并的裝置，其特征在于，所述的分區字段為固定不變的日期字段。

10.一種數據增量合并的裝置，用于數據倉庫拉鏈表增量合并，所述的拉鏈表包括記錄生效時間字段和記錄失效時間字段，其特征在于，所述的拉鏈表分為拉鏈表當前分區和拉鏈表歷史分區，所述的拉鏈表增量合并的裝置包括：

增量數據抽取模塊，用于抽取增量數據；

比較模塊，用于將增量數據與拉鏈表當前分區進行比對；

歷史分區合并模塊，用于將拉鏈表當前分區和增量數據中，在增量數據中存在最新更新的非最新數據，插入到拉鏈表歷史分區中；

當前分區合并模塊，用于將增量數據中新增和最新更新的數據插入到拉鏈表當前分區中。