[發明專利]基于Kafka消息隊列的MongoDB日志采集和分析系統

在審

• 申請號: 201811015983.0
• 申請日: 2018-09-01
• 公開（公告）號: CN109241187A
• 公開（公告）日: 2019-01-18
• 發明（設計）人: 焦玉乾
• 申請（專利權）人: 山東共達電聲股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F9/54
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 李江

本發明公開了基于Kafka消息隊列的MongoDB日志采集和分析系統，該系統包括5部分：IT自研應用系統日志異步記錄；Kafka消息隊列日志收集；基于Java的消費者日志解析；基于MongoDB的日志數據存儲；可視化日志分析系統；與現有技術相比，解決了高并發的日志記錄對系統的負載影響；提高日志信息查詢效率；解決高并發、高響應要求的IT應用系統的日志信息收集困難的問題；提高日志分析效率，避免去解析大量的日志文件；定期對數據進行清理，保證數據最新。

技術領域

本發明涉及一種日志采集和分析系統，具體涉及一種基于Kafka消息隊列的MongoDB日志采集和分析系統，屬于信息收集和存儲系統領域。

背景技術

目前典型的IT自研系統日志信息收集主要包括兩種模式：第一是通過編寫代碼或者利用很多插件直接記錄在TXT文本，然后直接開發基于TXT文本的日志查看分析工具，或者開發一個將TXT日志信息導入到數據庫的轉換工具，再開發一個日志分析網頁。第二是直接利用很多開源插件將日志記錄到數據庫中，然后開發基于數據庫的日志分析網頁。兩種方案目前使用都非常普及。但是對于高并發和請求交互響應比較高的IT系統，以上兩種方案會有很多弊端，比如，日志量太多，每秒鐘產生上百兆，記錄在TXT太大，分析工具打開、加載和分析效率都很差，有些太大的TXT甚至打不開。日志記錄到數據庫，高并發會對數據庫造成很大性能壓力。

申請人中國銀行股份有限公司于2017年10月19日申請了申請號為CN201710979063.X的發明專利，提供了一種數據統計系統，其特征是，所述系統包括信息采集裝置、數據通道裝置、數據處理裝置以及數據存儲裝置，所述信息采集裝置，用于監聽一目標系統，當所述目標系統有交易時，采集所述交易，并將所述交易發送至所述數據通道裝置；所述數據處理裝置，用于當所述數據通道裝置有交易寫入時，取出所述交易，根據所述交易更新所述數據處理裝置中的時間變量，并將所述交易進行統計計算，將統計結果持續寫入數據存儲裝置。該發明申請的發明目的為提供一種數據統計方法、數據統計系統、計算機設備以及計算機可讀存儲介質，采用流式處理方式，及時取得消息中間件的交易，每秒統計交易量，及時寫入臨時存儲介質及數據存儲裝置，由于在交易發生后的第一時間主動獲取并返回交易，采用了分布式計算和存儲思想，使數據處理速度、吞吐量、存取速度有了大幅提高，節省了時間。

上述方法公開了一種數據處理速度快、吞吐量打、存取速度快的數據統計系統。

發明內容

本發明要解決的技術問題是針對以上不足，提供基于Kafka消息隊列的MongoDB日志采集和分析系統，以實現以下發明目的：

1、解決高并發的日志記錄對系統的負載影響。

2、提高日志信息查詢效率。

3、解決高并發、高響應要求的IT應用系統的日志信息收集困難的問題。

4、提高日志分析效率，避免去解析大量的日志文件。

5、對數據進行定期清理，保證數據最新。

為解決以上技術問題，本發明采用以下技術方案：

基于Kafka消息隊列的MongoDB日志采集和分析系統，該系統包括：IT自研應用系統日志異步記錄。

進一步的方案：所述IT自研應用系統采用.NET自帶的Nlog日志記錄插件，采用異步記錄的配置方式，日志數據源自定義為Kafka消息隊列。

進一步的方案：該系統包括：Kafka消息隊列日志收集系統，IT自研應用系統會異步將日志信息全部丟進Kafka隊里內，進行離線存儲。

進一步的方案：該系統包括：基于Java的消費者日志解析系統，開發基于Java的消費者線程功能。

進一步的方案：該系統包括：基于Java的消費者線程功能用于查找Kafka的日志數據。