[發明專利]數據抽取裝置和方法

有效

• 申請號: 201410750223.X
• 申請日: 2014-12-10
• 公開（公告）號: CN104361133B
• 公開（公告）日: 2019-06-21
• 發明（設計）人: 姜亞健;胡沛蘭
• 申請（專利權）人: 用友網絡科技股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京中恒高博知識產權代理有限公司 11249
• 代理人: 劉洪京

1.一種數據抽取裝置，其特征在于，包括：

開關狀態載入單元，用于載入控制開關在本次抽取數據時的開關狀態，并保存控制開關在上次抽取數據時的開關狀態；

數據抽取控制器，用于根據載入的開關狀態，判斷本次抽取數據的類型是全量抽取類型還是增量抽取類型；當本次抽取數據的類型是增量抽取類型時，分別計算需要抽取、篩選與歸檔指定的數據；

所述數據抽取控制器，具體包括：

抽取類型判斷模塊，用于根據載入的開關狀態，判斷本次抽取數據的類型是全量抽取類型還是增量抽取類型；

數據計算模塊，用于當本次抽取數據的類型是增量抽取類型時，分別計算需要抽取、篩選與歸檔指定的數據；

數據抽取單元，用于根據計算得到的需要抽取、過濾和歸檔指定的數據，進行數據抽取；

所述數據抽取單元，具體包括：

初始化全量抽取模塊，用于根據計算得到的需要抽取、過濾和歸檔指定的數據，進行數據的初始化全量抽取；

日常增量抽取模塊，用于根據初始化全量抽取的數據，進行數據的日常增量抽取；

所述初始化全量抽取模塊進行數據的初始化全量抽取的操作，進一步包括：

⑴裝載開關的當前狀態到上次抽取狀態；

⑵按全量方式控制數據抽取；

⑶全量抽取業務數據，做數據倉庫的初始化操作；

和/或，

所述日常增量抽取模塊進行數據的日常增量抽取的操作，進一步包括：

(1)裝載本次開關狀態到本次抽取狀態位；

⑵通過本次與上次抽取的狀態計算出需要增量數據抽取的時間點，其中比對原則如下：本次開關打開，數據需要重新對應抽取和歸檔；本次開關關閉，當上次開關是打開的，需要重新抽取對應數據并歸檔；本次開關關閉，上次也關閉，但中間曾經打開過，需要重新抽取對應數據并歸檔；

或當開關在打開、最新關閉或被重新打開后又被關閉的三種情況下對對應的數據做重新抽取，篩選與歸檔；

⑶根據計算得到的數據抽取時間，增量抽取、過濾裝載數據；

⑷將當前開關狀態數據轉存到上次抽取狀態位置，方便下次抽取時使用。

2.根據權利要求1所述的數據抽取裝置，其特征在于，所述開關狀態載入單元，具體包括：

狀態載入模塊，用于載入控制開關在本次抽取數據時的開關狀態；

狀態保存模塊，用于基于載入的控制開關在本次抽取數據時的開關狀態，調取并保存控制開關在上次抽取數據時的開關狀態。

3.一種數據抽取方法，其特征在于，包括：

步驟202：載入控制開關在本次抽取數據時的開關狀態，并保存控制開關在上次抽取數據時的開關狀態；

步驟204：根據載入的開關狀態，判斷本次抽取數據的類型是全量抽取類型還是增量抽取類型；當本次抽取數據的類型是增量抽取類型時，分別計算需要抽取、篩選與歸檔指定的數據；

步驟206：根據計算得到的需要抽取、過濾和歸檔指定的數據，進行數據抽取；

所述步驟206，具體包括：

步驟502：根據計算得到的需要抽取、過濾和歸檔指定的數據，進行數據的初始化全量抽取；

步驟504：根據初始化全量抽取的數據，進行數據的日常增量抽取；

所述步驟502進行數據的初始化全量抽取的操作，進一步包括：

⑴裝載開關的當前狀態到上次抽取狀態；

⑵按全量方式控制數據抽取；

⑶全量抽取業務數據，做數據倉庫的初始化操作；

和/或，

所述步驟504進行數據的日常增量抽取的操作，進一步包括：

(1)裝載本次開關狀態到本次抽取狀態位；

⑵通過本次與上次抽取的狀態計算出需要增量數據抽取的時間點，其中比對原則如下：本次開關打開，數據需要重新對應抽取和歸檔；本次開關關閉，當上次開關是打開的，需要重新抽取對應數據并歸檔；本次開關關閉，上次也關閉，但中間曾經打開過，需要重新抽取對應數據并歸檔；

或當開關在打開、最新關閉或被重新打開后又被關閉的三種情況下對對應的數據做重新抽取，篩選與歸檔；

⑶根據計算得到的數據抽取時間，增量抽取、過濾裝載數據；

⑷將當前開關狀態數據轉存到上次抽取狀態位置，方便下次抽取時使用。