[發明專利]分布式智能數據采集方法、裝置、設備和存儲介質

在審

• 申請號: 202010303574.1
• 申請日: 2020-04-17
• 公開（公告）號: CN111581170A
• 公開（公告）日: 2020-08-25
• 發明（設計）人: 顧曉健
• 申請（專利權）人: 上海中通吉網絡技術有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/182
• 代理公司: 北京細軟智谷知識產權代理有限責任公司 11471
• 代理人: 岳鳳羽

1.一種分布式智能數據采集方法，其特征在于，包括：

獲取采集參數，所述采集參數包括數據采集類型、采集的文件和數據來源；

根據所述采集參數對數據采集器和數據散出器進行配置，確定策略配置參數，并將所述策略配置參數存儲在配置中心的配置存儲數據庫；

智能采集程序獲取所述數據采集器的宿主機下的策略配置參數；

各個管理器根據所述策略配置參數對應的策略類型創建相應的采集器類型，其中，各個管理器包括數據采集器的管理器、數據散出器的數據管理器和數據通道管理器；

根據所述策略配置參數和所述采集器類型對原始數據進行采集和寫入。

2.根據權利要求1所述的方法，其特征在于，所述智能采集程序獲取所述數據采集器的宿主機下的策略配置參數，包括：

所述智能采集程序啟動加載器，與所述配置中心建立連接，以通過所述加載器獲取所述數據采集器的宿主機下的策略配置參數。

3.根據權利要求1所述的方法，其特征在于，所述各個管理器根據所述策略配置參數對應的策略類型創建相應的采集器類型之前，還包括：

加載器對各個管理器進行初始化。

4.根據權利要求1所述的方法，其特征在于，所述智能采集程序獲取所述數據采集器的宿主機下的策略配置參數之后，還包括：

加載器啟動監聽器線程任務；

監聽器將所述策略配置參數保存在本地磁盤文件進行緩存；

所述監聽器與所述配置中心建立長連接，以實時監聽所述宿主機的策略配置參數變化；

若所述策略配置參數發生變化，則所述監聽器更新所述策略配置參數。

5.根據權利要求1所述的方法，其特征在于，所述根據所述策略配置參數和所述采集器類型對原始數據進行采集和寫入之后，還包括：

若檢測到所述配置中心新增新的采集器，則監聽器獲取對應的變更事件，并將所述變更事件的通知發送給所述數據采集器的管理器或所述數據散出器的管理器；

所述數據采集器的管理器或所述數據散出器的管理器根據新的采集器創建新的數據采集任務，并將所述數據采集任務添加至對應的管理器進行管理；

新的數據采集器采集數據源的數據。

6.根據權利要求1所述的方法，其特征在于，所述根據所述策略配置參數和所述采集器類型對原始數據進行采集和寫入之后，還包括：

若檢測到停止數據采集任務的指令，則在所述配置中心暫停數據采集任務。

7.根據權利要求1-6任一項所述的方法，其特征在于，對所述策略配置參數緩存或者更新之前，校驗所述策略配置參數的數據格式。

8.一種分布式智能數據采集裝置，其特征在于，包括：

參數采集模塊，用于獲取采集參數，所述采集參數包括數據采集類型、采集的文件和數據來源；

配置參數確定模塊，用于根據所述采集參數對數據采集器和數據散出器進行配置，確定策略配置參數，并將所述策略配置參數存儲在配置中心的配置存儲數據庫；

配置參數獲取模塊，用于智能采集程序獲取所述數據采集器的宿主機下的策略配置參數；

采集器類型創建模塊，用于各個管理器根據所述策略配置參數對應的策略類型創建相應的采集器類型，其中，各個管理器包括數據采集器的管理器、數據散出器的數據管理器和數據通道管理器；

數據采集模塊，用于根據所述策略配置參數和所述采集器類型對原始數據進行采集和寫入。

9.一種設備，其特征在于，包括：

處理器，以及與所述處理器相連接的存儲器；

所述存儲器用于存儲計算機程序，所述計算機程序至少用于執行權利要求1-7任一項所述的分布式智能數據采集方法；

所述處理器用于調用并執行所述存儲器中的所述計算機程序。

10.一種存儲介質，其特征在于，所述存儲介質存儲有計算機程序，所述計算機程序被處理器執行時，實現如權利要求1-7任一項所述的分布式智能數據采集方法中各個步驟。