[發明專利]一種基于時間戳且支持刪除操作的增量數據捕獲方法

在審

• 申請號: 201410447926.5
• 申請日: 2014-09-04
• 公開（公告）號: CN104216987A
• 公開（公告）日: 2014-12-17
• 發明（設計）人: 岳現國
• 申請（專利權）人: 浪潮通用軟件有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

技術領域

本發明涉及一種數據庫機場領域，尤其涉及一種基于時間戳且支持刪除操作的增量數據捕獲方法。

背景技術

在數據集成領域，為提升數據處理效率，增量數據捕獲已成為其中不可缺少的關鍵技術。目前業界比較常用的增量捕獲方式主要有基于時間戳的方式、基于數據庫觸發器的方式、基于數據庫日志的方式、快照表比對方式。其中，時間戳方式，因對源系統的業務處理性能影響較小、捕獲性能較好、實現成本小，受到業界的推崇。

但是，由于傳統的時間戳方式無法捕獲被物理刪除的數據，導致這種技術無法推廣使用。

發明內容

本發明的目的是提供一種基于時間戳且支持刪除操作的增量數據捕獲方法。

本發明的目的是按以下方式實現的，包括1）配置基于時間戳的增量數據捕獲規則；2）按照增量捕獲規則捕獲增量數據；其中：

1）配置基于時間戳的增量數據捕獲規則包括以下步驟：

（1）在源數據表中配置“創建時間戳”與“最后修改時間戳”字段；

（2）配置源數據表對應的刪除記錄表；

（3）配置增量捕獲規則，包括增量捕獲的結構、時間戳標識以及刪除記錄表配置；

2）按照增量捕獲規則捕獲增量數據，為實現基于時間戳的增量捕獲，包括以下步驟：

（1）比較源數據表中的創建時間戳字段的值與上次捕獲時間，創建時間戳大于上次捕獲時間的數據即為增加Insert操作的數據；

（2）?比較刪除記錄表中的刪除時間戳字段的值與上次捕獲時間，刪除時間戳大于上次捕獲時間的數據即為刪除Delete操作的數據；

（3）?比較源數據表中的最后修改時間戳字段的值與上次捕獲時間，最后修改時間戳大于上次捕獲時間的數據即為修改（Update）操作的數據。

本發明的優異效果：是通過配置刪除記錄表的方式，支持了被物理刪除數據的增量捕獲。

附圖說明

圖1是刪除記錄表的數據結構的示意圖；

圖2是源表與刪除記錄表的配置關系的數據表結構的示意圖。

具體實施方式

????參照說明書附圖對本發明的一種基于時間戳且支持刪除操作的增量數據捕獲方法作以下詳細地說明。

為了解決上述問題，本發明公開了一種基于時間戳且支持刪除操作的增量數據捕獲方法，其特征在于包括以下三個步驟：

S10:配置基于時間戳的增量數據捕獲規則；

S11:按照增量捕獲規則捕獲增量數據。

在步驟S10中，配置基于時間戳的增量數據捕獲規則。進一步說明，包括以下步驟：?

S100:在源數據表中配置“創建時間戳”與“最后修改時間戳”字段，并且要求字段類型是時間類型，精度精確到毫秒；

S101:配置源數據表對應的刪除記錄表，允許多個源數據表共用一個刪除記錄表，刪除記錄表中至少要記錄被刪除數據的主鍵值以及刪除時間，同時要求字段類型是時間類型，精度精確到毫秒；當對數據進行物理刪除時，被刪除的數據要記錄到刪除記錄表中。

S102:配置增量捕獲規則，包括增量捕獲的結構、時間戳標識以及刪除記錄表配置。

在步驟S11中，按照增量捕獲規則捕獲增量數據，它包括以下的步驟：

S110:?捕獲增加（Insert）操作類型的數據。進一步說，比較源數據表中的創建時間戳字段的值與上次捕獲時間，創建時間戳大于上次捕獲時間的數據即為增加（Insert）操作的數據；

S111:?捕獲刪除（Delete）操作類型的數據。進一步說，比較刪除記錄表中的刪除時間戳字段的值與上次捕獲時間，刪除時間戳大于上次捕獲時間的數據即為刪除（Delete）操作的數據；

S112:?捕獲修改（Update）操作類型的數據。進一步說，比較源數據表中的最后修改時間戳字段的值與上次捕獲時間，最后修改時間戳大于上次捕獲時間的數據即為修改（Update）操作的數據。

實施例

為使本發明的意圖、特征和優點更通俗易懂，下面將結合附圖和具體實施方式對本發明作進一步詳細的說明。

實施實例說明：獲取某HR系統中HREmployee數據表中的增量數據，其中HREmployee的主鍵字段是ID。表結構如下所示：