[發明專利]一種基于數據庫的數據采集方法及裝置

在審

• 申請號: 201911237772.6
• 申請日: 2019-12-05
• 公開（公告）號: CN110909064A
• 公開（公告）日: 2020-03-24
• 發明（設計）人: 李龍飛
• 申請（專利權）人: 北京明略軟件系統有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/22;G06F16/2453
• 代理公司: 北京超成律師事務所 11646
• 代理人: 孔默

本申請實施例提供一種基于數據庫的數據采集方法及裝置，涉及數據處理技術領域，該方法包括：對待采集數據庫進行探查，得到待采集數據庫的數據庫信息；根據數據庫信息獲取與待采集數據庫對應的目標數據采集方式；根據目標數據采集方式對待采集數據庫進行數據采集。可見，實施這種實施方式，能夠提高數據采集的穩定性，避免對數據庫性能造成影響。

技術領域

本申請涉及數據處理技術領域，具體而言，涉及一種基于數據庫的數據采集方法及裝置。

背景技術

目前，雖然各行業IT發展成熟度不一致，但經過了大批量業務系統建設階段和業務系統運轉階段，其積累的數據資源數量也變得非常巨大。然而，在實踐中發現，該數量級的數據采集會存在較多的問題，如對數據庫性能造成的影響以及對數據采集穩定性造成的影響等等。

發明內容

本申請實施例的目的在于提供一種基于數據庫的數據采集方法及裝置，能夠提高數據采集的穩定性，避免對數據庫性能造成影響。

本申請實施例第一方面提供了一種基于數據庫的數據采集方法，包括：

對待采集數據庫進行探查，得到所述待采集數據庫的數據庫信息；

根據所述數據庫信息獲取與所述待采集數據庫對應的目標數據采集方式；

根據所述目標數據采集方式對所述待采集數據庫進行數據采集。

在上述實現過程中，該方法可以優先對待采集數據庫進行探查，得到待采集數據庫的數據庫信息，并根據該數據信息獲取與待采集數據庫對應的目標數據采集方式；最后，在獲取到目標數據的采集方式之后，根據目標數據采集方式對帶刺激數據庫進行數據采集。可見，實施這種實施方式，能夠根據待采集數據的數據庫類型確定特定的數據采集方式，從而使得數據的采集可以使用最佳的數據采集方式，進而提高數據采集的穩定性，避免數據采集對數據庫造成相關的影響。

進一步地，所述數據庫信息包括所述待采集數據庫的分區信息、所述待采集數據庫的表信息、所述待采集數據庫的索引信息中的一種或多種。

在上述實現過程中，該數據庫信息可以包括待采集數據庫的分區信息、待采集數據庫的表信息、待采集數據庫的索引信息中的一種或多種。可見，實施這種實施方式，可以具體化數據庫信息，從而便于對數據信息進行具體化的識別與目標采集方式的匹配，進而提高數據采集的效果。

進一步地，所述根據所述數據庫信息獲取與所述待采集數據庫對應的目標數據采集方式的步驟包括：

根據所述數據庫信息獲取與所述待采集數據庫相匹配的至少一種數據采集方式；

根據預設的采集方式優先級在所述至少一種數據采集方式中確定出目標數據采集方式。

在上述實現過程中，該方法在獲取目標數據采集方式時，可以優先根據數據庫信息獲取待采集數據庫對應的至少一種采集方式，然后再根據預設的采集方式優先級在至少一種數據采集方式中進行目標數據采集方式的確定，得到目標數據采集方式；其中，采集方式優先級可以根據數據庫信息的類型或多寡來進行預設。可見，實施這種實施方式，能夠通過采集方式優先級來確定出最優的目標數據采集方式，從而便于后續步驟根據該目標數據采集方式進行高效、穩定的數據采集。

進一步地，所述數據采集方式為分區分表采集方式、索引采集方式、全量導出采集方式、導出文件采集方式、并行查詢采集方式中的一種。

在上述實現過程中，數據采集方式包括分區分表采集方式、索引采集方式、全量導出采集方式、導出文件采集方式以及并行查詢采集方式等種類的采集方式，其中，每種數據采集方式具有其特點以及最佳使用場景。可見，實施這種實施方式，該方法能夠在上述多種數據采集方式中獲取最優的采集方式，從而能夠避免在大量數據采集方式中進行目標數據采集方式的低效確定，并避免其他數據采集方式造成的無謂影響，進而提高該方法的數據采集效率以及數據采集穩定性。