[發明專利]日志數據采集系統及方法

在審

• 申請號: 201910022404.3
• 申請日: 2019-01-10
• 公開（公告）號: CN109525448A
• 公開（公告）日: 2019-03-26
• 發明（設計）人: 任彧雄
• 申請（專利權）人: 北京智信未來信息技術有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/26
• 代理公司: 北京市鼎立東審知識產權代理有限公司 11751
• 代理人: 陳佳妹

本發明公開了一種日志數據采集系統，包括flume采集層模塊，用于采集指定服務的日志數據，針對每一條采集數據流生成對應的配置文件，將所述配置文件寫入flume通信頭信息進行傳輸；flume匯聚層模塊，接收所述flume采集層模塊傳輸的日志數據，根據所述flume通信頭信息確定對應的日志數據的傳輸方式和傳輸路徑；Kafka消息隊列層模塊，用于根據所述傳輸方式緩存所述flume匯聚層模塊傳輸的日志數據；數據消費者層模塊，用于針對每一個配置文件對應的日志數據啟動一個數據消費者，并根據所述傳輸路徑存儲至目標介質。同時，本發明還公開一種日志數據采集方法。本方案實現日志數據采集與流式傳輸的標準化，極大地降低操作和管理成本。

技術領域

本發明涉及日志數據采集領域，具體涉及一種日志數據采集系統及一種日志數據采集方法。

背景技術

傳統的日志數據采集，目前主流的方案通過使用flume采集層，flume匯聚層，Kafka消息隊列層和數據消費者層的流式傳輸完成日志數據的采集。其中，flume數據采集層利用flume作為機器節點代理(agent)負責實時采集指定服務的日志數據，并將采集到的日志數據發送至flume匯聚層；flume匯聚層利用flume作為機器節點代理負責接收其他機器節點flume agent采集的日志數據，flume匯聚層的每一個flume agent與采集層的某個服務日志的所有flume agent對應，flume匯聚層接收服務日志數據后，將日志數據發送至Kafka消息隊列層與服務綁定的某個Topic中；Kafka消息隊列層，利用Kafka作為消息隊列，短時間緩存日志數據，同時保證日志數據的一致性；數據消費者層，通過各種類型的Kafka客戶端消費Kafka消息隊列中的日志數據，并進行一定處理，最后存儲到目標介質。

上述方案中，各功能層節點之間的上下游關系完全由人工通過節點配置文件指定，而不同類型節點的配置又是不相同的，上一功能層節點配置屬性無法傳遞至下一功能層節點，從而無法在整個日志數據采集與流式傳輸的過程中實現關系串聯。因此，需要通過手動方式維護各功能層節點的上下游對應關系。而在實際應用中，經常需要對日志采集及流式傳輸的健康狀態進行監控、對數據條目進行校驗、對數據關系進行梳理、新增或刪除日志采集等。使用上述技術方案，這些需求實現起來非常困難，操作與管理成本巨大。

因此，亟需一種各功能層節點之間能夠自動實現上下游關系串聯的日志數據采集系統和方法，以降低操作與管理成本，并進一步能夠實現操作與管理的自動化。

發明內容

本發明提供一種流式傳輸的標準化的數據采集裝置和方法，解決因無法實現功能層節點之間無法串聯導致的成本高和使用實現困難等問題。

根據本發明的一個方面，提供一種日志數據采集系統，包括：

flume采集層模塊，用于采集指定服務的日志數據，針對每一條采集數據流生成對應的配置文件，將所述配置文件寫入flume通信頭信息進行傳輸；

flume匯聚層模塊，接收所述flume采集層模塊傳輸的日志數據，根據所述flume通信頭信息確定對應的日志數據的傳輸方式和傳輸路徑；

Kafka消息隊列層模塊，用于根據所述傳輸方式緩存所述flume匯聚層模塊傳輸的日志數據；

數據消費者層模塊，用于針對每一個配置文件對應的日志數據啟動一個數據消費者，并根據所述傳輸路徑存儲至目標介質。

在其中一個實施例中，flume采集層模塊針對每一條采集數據流生成對應的配置文件，為針對每一條采集數據流生成對應的標識ID，根據所述標識ID生成對應的配置文件。

在其中一個實施例中，所述配置文件包括所述對應采集數據流的關聯服務ID，服務日志路徑，服務日志關聯Kafka Topic，服務日志存儲介質路徑。