[發明專利]數據采集方法、裝置及系統

有效

• 申請號: 201611032873.6
• 申請日: 2016-11-14
• 公開（公告）號: CN106776754B
• 公開（公告）日: 2020-05-15
• 發明（設計）人: 李東鴿;牟曉光
• 申請（專利權）人: 東軟集團股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F11/14;G06F11/30
• 代理公司: 北京鼎佳達知識產權代理事務所(普通合伙) 11348
• 代理人: 劉喆;劉鐵生

1.一種數據采集方法，其特征在于，所述方法包括：

監聽源數據庫的端口；

當有數據請求訪問所述端口時，截獲并備份所述數據請求，其中，截獲的數據請求中包括對所述源數據庫進行更新操作的數據請求；

將備份的數據請求發送給采集設備，以便所述采集設備根據所述備份的數據請求，采集變化后的源數據庫中的變化數據并同步至目標數據庫；

在截獲并備份所述數據請求之后，所述方法還包括：

監聽所述源數據庫是否接收到提交指令，所述提交指令為用于向所述源數據庫提交所述數據請求的操作指令；

若接收到所述提交指令，則向所述采集設備發送提交通知，以使得所述采集設備根據所述提交通知啟動數據采集。

2.一種數據采集方法，其特征在于，所述方法包括：

接收被采集設備發送的數據請求，所述被采集設備為源數據庫所屬設備，所述數據請求為所述被采集設備通過監聽所述源數據庫的端口獲得的數據；

通過分析所述數據請求中的特定數據位確定所述數據請求的數據操作類型；

若所述數據操作類型為用于更新所述源數據庫的操作類型，則從所述源數據庫中采集所述數據請求中的數據對象對應的變化數據，并根據所述數據操作類型將所述變化數據同步至目標數據庫中；

從所述源數據庫中采集所述數據請求中的數據對象對應的變化數據包括：

從所述數據請求中解析出數據對象；

當接收到所述被采集設備發送的、用于指示已接收到提交指令的提交通知后，從所述源數據庫中采集所述數據對象對應的變化數據，所述提交指令為用于向所述源數據庫提交所述數據請求的操作指令。

3.根據權利要求2所述的方法，其特征在于，若所述數據操作類型為查詢操作，則所述方法還包括：

丟棄所述數據請求。

4.根據權利要求2所述的方法，其特征在于，從所述數據請求中解析出數據對象包括：

從所述數據請求中解析出結構化查詢語言SQL語句；

從所述SQL語句中提取所述數據對象。

5.根據權利要求2至4中任一項所述的方法，其特征在于，所述用于更新所述源數據庫的操作類型包括：增加操作、刪除操作以及修改操作。

6.一種數據采集裝置，其特征在于，所述裝置包括：

監聽單元，用于監聽源數據庫的端口；

處理單元，用于當所述監聽單元監聽到有數據請求訪問所述端口時，截獲并備份所述數據請求，其中，截獲的數據請求中包括對所述源數據庫進行更新操作的數據請求；

發送單元，用于將所述處理單元備份的數據請求發送給采集設備，以便所述采集設備根據所述備份的數據請求，采集變化后的源數據庫中的變化數據并同步至目標數據庫；

所述監聽單元還用于在所述處理單元截獲并備份所述數據請求之后，監聽所述源數據庫是否接收到提交指令，所述提交指令為用于向所述源數據庫提交所述數據請求的操作指令；

所述發送單元還用于當所述監聽單元的監聽結果為接收到所述提交指令時，向所述采集設備發送提交通知，以使得所述采集設備根據所述提交通知啟動數據采集。

7.一種數據采集裝置，其特征在于，所述裝置包括：

接收單元，用于接收被采集設備發送的數據請求，所述被采集設備為源數據庫所屬設備，所述數據請求為所述被采集設備通過監聽所述源數據庫的端口獲得的數據；

確定單元，用于通過分析所述接收單元接收到的所述數據請求中的特定數據位確定所述數據請求的數據操作類型；

采集單元，用于當所述確定單元確定所述數據操作類型為用于更新所述源數據庫的操作類型時，從所述源數據庫中采集所述數據請求中的數據對象對應的變化數據；

同步單元，用于根據所述數據操作類型將所述采集單元采集的所述變化數據同步至目標數據庫中；

所述采集單元包括：

解析模塊，用于從所述數據請求中解析出數據對象；

采集模塊，用于當接收到所述被采集設備發送的、用于指示已接收到提交指令的提交通知后，從所述源數據庫中采集所述數據對象對應的變化數據，所述提交指令為用于向所述源數據庫提交所述數據請求的操作指令。