[發(fā)明專利]分布式智能數(shù)據(jù)采集方法、裝置、設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010303574.1
• 申請日: 2020-04-17
• 公開（公告）號: CN111581170A
• 公開（公告）日: 2020-08-25
• 發(fā)明（設(shè)計）人: 顧曉健
• 申請（專利權(quán)）人: 上海中通吉網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/182
• 代理公司: 北京細軟智谷知識產(chǎn)權(quán)代理有限責(zé)任公司 11471
• 代理人: 岳鳳羽

本發(fā)明涉及一種分布式智能數(shù)據(jù)采集方法、裝置、設(shè)備和存儲介質(zhì)，該方法包括：獲取采集參數(shù)，采集參數(shù)包括數(shù)據(jù)采集類型、采集的文件和數(shù)據(jù)來源；根據(jù)采集參數(shù)對數(shù)據(jù)采集器和數(shù)據(jù)散出器進行配置，確定策略配置參數(shù)，并將策略配置參數(shù)存儲在配置中心的配置存儲數(shù)據(jù)庫；智能采集程序獲取數(shù)據(jù)采集器的宿主機下的策略配置參數(shù)；各個管理器根據(jù)策略配置參數(shù)對應(yīng)的策略類型創(chuàng)建相應(yīng)的采集器類型，其中，各個管理器包括數(shù)據(jù)采集器的管理器、數(shù)據(jù)散出器的數(shù)據(jù)管理器和數(shù)據(jù)通道管理器；根據(jù)策略配置參數(shù)和采集器類型對原始數(shù)據(jù)進行采集和寫入。實現(xiàn)了數(shù)據(jù)源和數(shù)據(jù)存儲動態(tài)創(chuàng)建和配置、基于配置中心的采集器的配置管理和策略下發(fā)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)采集領(lǐng)域，具體涉及一種分布式智能數(shù)據(jù)采集方法、裝置、設(shè)備和存儲介質(zhì)。

背景技術(shù)

隨著生產(chǎn)應(yīng)用服務(wù)器的大規(guī)模使用，傳統(tǒng)的Linux上日志或數(shù)據(jù)的采集變得非常麻煩，常用的采集器有Flume-NG、Logstash等，F(xiàn)lume是Apache基金會旗下的一款常用開源數(shù)據(jù)收集工具，Logstash是目前數(shù)據(jù)收集方案ELK中常用的采集器。

這些常用的處理器應(yīng)用廣泛，在生產(chǎn)規(guī)模較小的情況下足夠應(yīng)付日常的生產(chǎn)使用，但面對大集群下的配置維護和管理則存在相應(yīng)問題，例如：配置變更麻煩，無法全局生效；新增數(shù)據(jù)源采集或數(shù)據(jù)存儲需要定制開發(fā)或配置；缺少全局采集器策略的維護和管理。

發(fā)明內(nèi)容

有鑒于此，提供一種分布式智能數(shù)據(jù)采集方法、裝置、設(shè)備和存儲介質(zhì)，以解決現(xiàn)有技術(shù)中大集群下配置維護和管理中存在的配置操作繁瑣等問題。

本發(fā)明采用如下技術(shù)方案：

第一方面，本申請實施例提供了一種分布式智能數(shù)據(jù)采集方法，該方法包括：

獲取采集參數(shù)，所述采集參數(shù)包括數(shù)據(jù)采集類型、采集的文件和數(shù)據(jù)來源；

根據(jù)所述采集參數(shù)對數(shù)據(jù)采集器和數(shù)據(jù)散出器進行配置，確定策略配置參數(shù)，并將所述策略配置參數(shù)存儲在配置中心的配置存儲數(shù)據(jù)庫；

智能采集程序獲取所述數(shù)據(jù)采集器的宿主機下的策略配置參數(shù)；

各個管理器根據(jù)所述策略配置參數(shù)對應(yīng)的策略類型創(chuàng)建相應(yīng)的采集器類型，其中，各個管理器包括數(shù)據(jù)采集器的管理器、數(shù)據(jù)散出器的數(shù)據(jù)管理器和數(shù)據(jù)通道管理器；

根據(jù)所述策略配置參數(shù)和所述采集器類型對原始數(shù)據(jù)進行采集和寫入。

第二方面，本申請實施例提供了一種分布式智能數(shù)據(jù)采集裝置，該裝置包括：

參數(shù)采集模塊，用于獲取采集參數(shù)，所述采集參數(shù)包括數(shù)據(jù)采集類型、采集的文件和數(shù)據(jù)來源；

配置參數(shù)確定模塊，用于根據(jù)所述采集參數(shù)對數(shù)據(jù)采集器和數(shù)據(jù)散出器進行配置，確定策略配置參數(shù)，并將所述策略配置參數(shù)存儲在配置中心的配置存儲數(shù)據(jù)庫；

配置參數(shù)獲取模塊，用于智能采集程序獲取所述數(shù)據(jù)采集器的宿主機下的策略配置參數(shù)；

采集器類型創(chuàng)建模塊，用于各個管理器根據(jù)所述策略配置參數(shù)對應(yīng)的策略類型創(chuàng)建相應(yīng)的采集器類型，其中，各個管理器包括數(shù)據(jù)采集器的管理器、數(shù)據(jù)散出器的數(shù)據(jù)管理器和數(shù)據(jù)通道管理器；

數(shù)據(jù)采集模塊，用于根據(jù)所述策略配置參數(shù)和所述采集器類型對原始數(shù)據(jù)進行采集和寫入。

第三方面，本申請實施例提供了一種設(shè)備，該設(shè)備包括：

處理器，以及與所述處理器相連接的存儲器；

所述存儲器用于存儲計算機程序，所述計算機程序至少用于執(zhí)行本申請實施例第一方面所述的分布式智能數(shù)據(jù)采集方法；

所述處理器用于調(diào)用并執(zhí)行所述存儲器中的所述計算機程序。