[發明專利]增量數據采集的方法和裝置

無效

• 申請號: 201010122947.1
• 申請日: 2010-03-01
• 公開（公告）號: CN102193938A
• 公開（公告）日: 2011-09-21
• 發明（設計）人: 陳慕冰
• 申請（專利權）人: 深圳市金蝶中間件有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 何文彬

技術領域

本發明涉及數據庫領域，特別涉及一種增量數據采集的方法和裝置。

背景技術

在數據庫中，經常會對原始數據進行插入、刪除或更新等操作，進行這些操作的對象可稱為增量數據，在某些情況下，需要將一些原始表的增量數據同步到其它一些表中，使這些表的數據保持一致；還有一些情況，需要詳細了解一些原始表的變化，用于數據分析和挖掘，在上述情況下一般會進行增量數據采集。

現有技術中的增量數據采集一般使用以下兩種方法：

第一種方法是基于Trigger的增量數據采集，當數據庫中發生插入、更新或刪除的操作時，數據庫會自動執行預定義的預存程序，侵入原始表，將原始表中的增量數據采集到備份表中；

第二種方法是基于時間戳字段的增量數據采集，是查詢原始表數據中代表被操作時間的時間戳字段，將指定時間段中產生的增量數據采集到備份表中。

在對現有技術進行分析后，發明人發現現有技術至少具有如下缺點：

上述兩種方式都是對數據庫中的原始表進行直接操作，需要侵入原始表進行采集，影響系統的進程，用戶體驗差，

其中，第一種方式在操作頻繁時會增加數據庫負荷，對系統造成性能影響。

第二種方式要求原始表必須具有時間戳字段，局限性大，并且對進行了刪除操作的增量無法進行記錄。

發明內容

本發明實施例提供了一種增量數據采集的方法和裝置。所述技術方案如下：

一種增量數據采集的方法，包括：

每隔預設時間檢查緩存中與所述原始表相應的信息；

如果所述數據中存在進行過預設目標操作的增量數據，則記錄所述增量數據。

每隔預設時間檢查緩存中與所述原始表相應的信息具體包括：

每隔預設時間檢查緩存中與所述原始表相應的版本信息，所述版本信息中包含所述預設時間內所做的操作和所述操作發生的時間。

所述檢查通過調用flashback?query完成。

記錄所述增量數據之后還包括：

將所述增量存儲到所述增量數據備份表中。

將所述增量存儲到所述增量數據備份表中之前還包括：根據原始表和預設的目標操作建立增量數據備份表。

一種增量數據采集的裝置，包括：

檢查模塊，用于每隔預設時間檢查緩存中與所述原始表相應的信息；

記錄模塊，用于如果所述數據中存在進行過預設目標操作的增量數據，則記錄所述增量數據。

所述檢查模塊具體用于每隔預設時間檢查緩存中與所述原始表相應的版本信息，所述版本信息中包含所述預設時間內所做的操作和所述操作發生的時間。

所述檢查通過調用flashback?query完成。

所述裝置還包括：

存儲模塊，用于將所述增量存儲到所述增量數據備份表中。

所述裝置還包括：

建立模塊，用于根據原始表和預設的目標操作建立增量數據備份表。

本發明實施例提供的技術方案的有益效果是：

通過對緩存中的數據進行監控以對原始表進行增量數據采集，不需要侵入原始表即可進行增量數據采集，節省數據庫的資源，且當數據庫操作頻繁時，由于系統可以根據運行情況預設增量數據采集的間隔時間，使得系統可自行選擇時機進行增量數據采集，可均衡數據庫負載，提高了用戶體驗。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。

圖1是本發明實施例1提供的一種增量數據采集的方法的流程圖；

圖2是本發明實施例2提供的一種增量數據采集的方法的流程圖；

圖3是本發明實施例3提供的一種增量數據采集的裝置的示意圖。

具體實施方式

為使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明實施方式作進一步地詳細描述。

實施例1

為了在進行增量數據采集時提高系統性能，節省數據庫資源，本發明提供了一種增量數據采集的方法，包括：

101：每隔預設時間檢查緩存中與該原始表相應的信息；

102：如果該數據中存在進行過預設目標操作的增量數據，則記錄該增量數據。