[發明專利]數據采集方法、裝置及系統

有效

• 申請號: 201611032873.6
• 申請日: 2016-11-14
• 公開（公告）號: CN106776754B
• 公開（公告）日: 2020-05-15
• 發明（設計）人: 李東鴿;牟曉光
• 申請（專利權）人: 東軟集團股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F11/14;G06F11/30
• 代理公司: 北京鼎佳達知識產權代理事務所(普通合伙) 11348
• 代理人: 劉喆;劉鐵生

本發明公開了一種數據采集方法、裝置及系統，涉及互聯網技術領域，能夠在避免操作權限的基礎上，減少對源數據庫性能的影響。本發明的方法主要包括：監聽源數據庫的端口；當有數據請求訪問所述端口時，截獲并備份所述數據請求，其中，截獲的數據請求中包括對所述源數據庫進行更新操作的數據請求；將備份的數據請求發送給采集設備，以便所述采集設備根據所述備份的數據請求，采集變化后的源數據庫中的變化數據并同步至目標數據庫。本發明主要適用于通過數據采集實現數據庫同步的場景中。

技術領域

本發明涉及互聯網技術領域，特別是涉及一種數據采集方法、裝置及系統。

背景技術

在實際應用中，常常需要實現兩個數據庫的同步，即目標數據庫所屬的設備常常需要將源數據庫發生的變化實時采集到目標數據庫中。現有技術中主要有兩種數據采集的方式：(1)通過掃描并分析源數據庫歸檔日志的方式，識別出源數據庫的數據變化，然后采集變化數據至目標數據庫中；(2)通過啟動源數據庫自帶的觸發器的方式，實時監控源數據庫的數據變化，然后采集變化數據至目標數據庫中。

雖然上述兩種數據采集方式都能夠實現兩個數據庫的同步，但是卻存在一定的缺陷。對于第一種方式，由于源數據庫的歸檔操作需要數據庫管理員權限，但是大多數金融機構出于安全考慮，都不愿意給予他人這么高的權限，所以當沒有數據庫管理員權限時，就無法采集到源數據庫中的變化數據；對于第二種方式，由于觸發器設置在源數據庫上，所以啟動觸發器來實時監控數據變化后，會對源數據庫的性能產生較大影響，例如實現增加、刪除或者修改等操作的速度往往會降低一半以上。因此，在采集變化數據的過程中，如何在避免操作權限的基礎上，減少對源數據庫性能的影響是面臨的一大難題。

發明內容

有鑒于此，本發明提供一種數據采集方法、裝置及系統，能夠在避免操作權限的基礎上，減少對源數據庫性能的影響。

第一方面，本發明提供了一種數據采集方法，所述方法包括：

監聽源數據庫的端口；

當有數據請求訪問所述端口時，截獲并備份所述數據請求，其中，截獲的數據請求中包括對所述源數據庫進行更新操作的數據請求；

將備份的數據請求發送給采集設備，以便所述采集設備根據所述備份的數據請求，采集變化后的源數據庫中的變化數據并同步至目標數據庫。

可選的，在截獲并備份所述數據請求之后，所述方法還包括：

監聽所述源數據庫是否接收到提交指令，所述提交指令為用于向所述源數據庫提交所述數據請求的操作指令；

若接收到所述提交指令，則向所述采集設備發送提交通知，以使得所述采集設備根據所述提交通知啟動數據采集。

第二方面，本發明提供了一種數據采集方法，所述方法包括：

接收被采集設備發送的數據請求，所述被采集設備為源數據庫所屬設備，所述數據請求為所述被采集設備通過監聽所述源數據庫的端口獲得的數據；

通過分析所述數據請求中的特定數據位確定所述數據請求的數據操作類型；

若所述數據操作類型為用于更新所述源數據庫的操作類型，則從所述源數據庫中采集所述數據請求中的數據對象對應的變化數據，并根據所述數據操作類型將所述變化數據同步至目標數據庫中。

可選的，若所述數據操作類型為查詢操作，則所述方法還包括：

丟棄所述數據請求。

可選的，從所述源數據庫中采集所述數據請求中的數據對象對應的變化數據包括：

從所述數據請求中解析出數據對象；