[發明專利]一種數據倉庫的存儲方法及裝置

有效

• 申請號: 201611056644.8
• 申請日: 2016-11-25
• 公開（公告）號: CN108108374B
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 李歡;崔寶宏
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/28
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 楊澤;劉芳

1.一種數據倉庫的存儲方法，包括：

將所述數據倉庫中的操作性數據以預定周期為間隔保存為快照存儲；

將每個所述快照存儲以拉鏈方式整合生成細節數據層并進行存儲；

將每個所述快照存儲以拉鏈方式整合生成細節數據層并進行存儲的步驟包括：

將所述快照存儲分別存儲在用于區分閉鏈數據和有效數據的pdata_status物理分區以及用于文件裁剪的pend_date物理分區。

2.根據權利要求1所述的方法，將所述數據倉庫中的操作性數據以預定周期為間隔保存為快照存儲包括：

根據業務特點對于面向業務的操作性數據采取增量或全量的抽取方式。

3.根據權利要求1所述的方法，將每個所述快照存儲以拉鏈方式整合生成細節數據層并進行存儲的步驟還包括：

通過全量拉鏈、增量拉鏈或增量流水的拉鏈方式將每個所述快照存儲整合生成細節數據層并進行存儲。

4.根據權利要求3所述的方法，所述通過全量拉鏈的拉鏈方式將每個所述快照存儲整合生成細節數據層的步驟包括：

將所述預定周期內全量抽取的數據與歷史數據作為主鍵索引；

將更新前的過期數據閉鏈處理存入所述pdata_status物理分區的expired分區中，并且將所述pend_date物理分區的值設為所述預定周期；其中，所述expired分區用于存儲更新前的過期數據；

將更新后或者無更新的數據存入所述pdata_status物理分區的active 分區中，并且將所述pend_date物理分區的值設為最大；其中，active分區用于存儲當前的有效數據；

將所述active分區寫入bkt庫，所述bkt庫為備份數據庫，用于存儲每日全量有效數據，以及用于和第二天重新拉取的數據關聯，還用于拉鏈表本身的回溯。

5.根據權利要求3所述的方法，所述通過增量拉鏈的拉鏈方式將每個所述快照存儲整合生成細節數據層的步驟包括：

將所述預定周期內增量抽取的數據與歷史數據作為全主鍵索引；

若所述主鍵在歷史表和所述預定周期的快照表中均存在，則將所述歷史表中的記錄寫入所述pdata_status物理分區的expired分區中，并且將所述pend_date物理分區的值設為所述預定周期；其中，所述expired分區用于存儲更新前的過期數據；將未寫入所述pdata_status物理分區的expired分區中的數據寫入所述pdata_status物理分區的active分區中，并且將所述pend_date物理分區的值設為最大；其中，active分區用于存儲當前的有效數據；將所述active分區寫入bkt庫，所述bkt庫為備份數據庫，用于存儲每日全量有效數據，以及用于和第二天重新拉取的數據關聯，還用于拉鏈表本身的回溯。

6.根據權利要求3所述的方法，所述通過增量流水的拉鏈方式將每個所述快照存儲整合生成細節數據層的步驟包括：

將所述預定周期內增量抽取的數據保存為快照存儲。

7.一種數據倉庫的存儲裝置，包括：

用于將所述數據倉庫中的操作性數據以預定周期為間隔保存為快照存儲的裝置；

用于將每個所述快照存儲以拉鏈方式整合生成細節數據層并進行存儲的裝置；

所述用于將每個所述快照存儲以拉鏈方式整合生成細節數據層并進行存儲的裝置包括：

用于將所述快照存儲分別存儲在用于區分閉鏈數據和有效數據的pdata_status物理分區以及用于文件裁剪的pend_date物理分區的裝置。

8.根據權利要求7所述的裝置，所述用于將所述數據倉庫中的操作性數據以預定周期為間隔保存為快照存儲的裝置包括：

用于根據業務特點對于面向業務的操作性數據采取增量或全量的抽取方式的裝置。