[發明專利]增量數據采集方法、裝置及系統

在審

• 申請號: 201811561133.0
• 申請日: 2018-12-20
• 公開（公告）號: CN109634937A
• 公開（公告）日: 2019-04-16
• 發明（設計）人: 鐘武;王純斌;張永飛;楊堯
• 申請（專利權）人: 成都四方偉業軟件股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/215;G06F16/28
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 鄧超

1.一種增量數據采集方法，其特征在于，應用于增量數據采集設備，所述方法包括：

通過接收預設客戶端發送的對數據存儲設備的增量部署請求，所述增量部署請求包括環境配置請求和數據存儲設備配置請求；

根據所述數據存儲設備配置請求對所述數據存儲設備進行相應配置，使得所述數據存儲設備能夠發送增量數據，所述增量數據為所述數據存儲設備發生變更的數據；

根據所述環境配置請求部署相應增量監聽環境，通過所述增量監聽環境監聽所述增量數據。

2.根據權利要求1所述的增量數據采集方法，其特征在于，所述根據所述環境配置請求部署相應增量監聽環境的步驟包括：

解析所述增量部署請求，獲得增量監聽規則；

根據所述增量監聽規則部署相應的增量監聽環境。

3.根據權利要求2所述的增量數據采集方法，其特征在于，所述增量監聽規則包括目標數據存儲設備、目標數據表和目標字段；所述根據所述增量監聽規則部署相應的增量監聽環境的步驟包括：

根據所述目標數據存儲設備、目標數據表和目標字段部署增量監聽環境。

4.根據權利要求3所述的增量數據采集方法，其特征在于，所述通過所述增量監聽環境監聽所述增量數據的步驟包括：

根據所述增量監聽規則對所述增量數據進行清洗，進而過濾掉不符合規則的數據。

5.根據權利要求4所述的增量數據采集方法，其特征在于，所述方法還包括：

將所述增量數據推送到其他數據處理平臺。

6.一種增量數據采集系統，其特征在于，所述增量數據采集系統包括客戶端、至少一個數據存儲設備和增量數據采集設備；

所述客戶端提供增量配置界面，響應用戶對數據存儲設備增量配置操作，并發送增量部署請求，所述增量部署請求包括環境配置請求和數據存儲設備配置請求；

所述增量數據采集設備根據所述數據存儲設備配置請求對所述數據存儲設備進行相應配置，使得所述數據存儲設備能夠發送增量數據，所述增量數據為所述數據存儲設備發生變更的數據；

所述增量數據采集設備獲取所述增量部署請求，根據所述增量部署請求中的環境配置請求部署相應增量監聽環境，通過所述增量監聽環境監聽所述增量數據。

7.一種增量數據采集裝置，其特征在于，應用于增量數據采集設備，所述增量數據采集設備包括請求獲取模塊、設備配置模塊和環境配置模塊；

所述請求獲取模塊用于通過接收預設客戶端發送的對數據存儲設備的增量部署請求，所述增量部署請求包括環境配置請求和數據存儲設備配置請求；

所述設備配置模塊用于根據所述數據存儲設備配置請求對所述數據存儲設備進行相應配置，使得所述數據存儲設備能夠發送增量數據，所述增量數據為所述數據存儲設備發生變更的數據；

所述環境配置模塊用于根據所述環境配置請求部署相應增量監聽環境，通過所述增量監聽環境監聽所述增量數據。

8.根據權利要求7所述的增量數據采集裝置，其特征在于，所述環境配置模塊通過以下方式部署所述增量監聽環境：

解析所述增量部署請求，獲得增量監聽規則；

根據所述增量監聽規則部署相應的增量監聽環境。

9.根據權利要求8所述的增量數據采集裝置，其特征在于，所述增量監聽規則包括目標數據存儲設備、目標數據表和目標字段；所述環境配置模塊還通過以下方式部署增量監聽環境：

根據所述目標數據存儲設備、目標數據表和目標字段部署增量監聽環境。

10.根據權利要求8所述的增量數據采集裝置，其特征在于，所述增量數據采集裝置還包括數據推送模塊；

所述數據推送模塊用于將所述增量數據推送到其他數據處理平臺。