[發明專利]增量數據抽取方法、裝置及服務器

有效

• 申請號: 201810910145.3
• 申請日: 2018-08-10
• 公開（公告）號: CN109213817B
• 公開（公告）日: 2019-09-06
• 發明（設計）人: 褚占峰;王建毅;徐輝;王俊皓
• 申請（專利權）人: 杭州數夢工場科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/27
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

1.一種增量數據抽取方法，其特征在于，所述方法應用于能夠訪問源數據庫系統的服務器，所述方法包括：

從所述源數據庫系統中獲取最新產生的增量數據對應的標識；

依據獲取的標識和本地已抽取的最后一條增量數據的標識，確定待抽取增量數據的標識范圍；

從所述源數據庫系統中抽取并存儲所述標識范圍對應的增量數據；

其中，從所述源數據庫系統中獲取最新產生的增量數據對應的標識，包括：

查詢所述源數據庫系統中重做日志最新記錄的增量數據對應的標識，并將查詢到的標識確定為最新產生的增量數據對應的標識，所述標識指的是為源數據庫中數據發生變化產生的增量數據所添加的編號。

2.根據權利要求1所述的方法，其特征在于，從所述源數據庫系統中抽取并存儲所述標識范圍對應的增量數據，包括：

將所述標識范圍劃分為多段標識；

通過運行各個抽取線程，并行從源數據庫系統中抽取每段標識對應的增量數據；

將抽取的增量數據按照標識從小到大進行排序，并將排序后的增量數據存入緩存。

3.根據權利要求2所述的方法，其特征在于，并行從源數據庫系統中抽取每段標識對應的增量數據，包括

從所述源數據庫系統中，獲取每個重做日志組記錄的增量數據的起止標識；

針對每段標識，依據所述起止標識判斷該段標識中是否存在重做日志組未記錄的標識；

若存在，則從歸檔日志中抽取所述重做日志組未記錄的標識對應的增量數據，并確定該段標識除所述重做日志組未記錄的標識之外其它標識所在的重做日志組，并從確定的重做日志組中抽取其它標識對應的增量數據；

若不存在，則直接確定該段標識所在的重做日志組，并從確定的重做日志組中抽取該段標識對應的增量數據。

4.根據權利要求2所述的方法，其特征在于，將排序后的增量數據存入緩存之后，所述方法還包括：

從所述緩存中讀取所述增量數據；

通過運行各個處理線程，并行處理讀取到的增量數據；其中，每個處理線程每次處理預設數量的增量數據；

將處理后的增量數據按照標識從小到大進行排序之后，依次存儲到預設消息隊列中。

5.一種增量數據抽取裝置，其特征在于，所述裝置應用于能夠訪問源數據庫系統的服務器，所述裝置包括：

獲取模塊，用于從所述源數據庫系統中獲取最新產生的增量數據對應的標識；

確定模塊，用于依據獲取的標識和本地已抽取的最后一條增量數據的標識，確定待抽取增量數據的標識范圍；

抽取模塊，用于從所述源數據庫系統中抽取并存儲所述標識范圍對應的增量數據；

其中，所述獲取模塊，具體用于查詢所述源數據庫系統中重做日志最新記錄的增量數據對應的標識，并將查詢到的標識確定為最新產生的增量數據對應的標識，所述標識指的是為源數據庫中數據發生變化產生的增量數據所添加的編號。

6.根據權利要求5所述的裝置，其特征在于，所述抽取模塊，具體用于將所述標識范圍劃分為多段標識；通過運行各個抽取線程，并行從源數據庫系統中抽取每段標識對應的增量數據；將抽取的增量數據按照標識從小到大進行排序，并將排序后的增量數據存入緩存。

7.根據權利要求6所述的裝置，其特征在于，所述抽取模塊，還具體用于在并行從源數據庫系統中抽取每段標識對應的增量數據過程中，從所述源數據庫系統中，獲取每個重做日志組記錄的增量數據的起止標識；針對每段標識，依據所述起止標識判斷該段標識中是否存在重做日志組未記錄的標識；若存在，則從歸檔日志中抽取所述重做日志組未記錄的標識對應的增量數據，并確定該段標識除所述重做日志組未記錄的標識之外其它標識所在的重做日志組，并從確定的重做日志組中抽取其它標識對應的增量數據；若不存在，則直接確定該段標識所在的重做日志組，并從確定的重做日志組中抽取該段標識對應的增量數據。