[發明專利]一種用于分布式系統的日志采集分析方法

在審

• 申請號: 202110266537.2
• 申請日: 2021-03-10
• 公開（公告）號: CN113014661A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 王海華;桑成剛;李振學
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

本發明公開了一種用于分布式系統的日志采集分析方法，屬于軟件/數據處理技術領域。本發明的用于分布式系統的日志采集分析方法基于rsyslog進行日志的采集和存儲，并通過goaccess進行日志分析，用戶通過互聯網訪問nginx服務負載均衡，負載均衡將請求轉發至后端應用服務，應用服務處理請求產生訪問日志，日志數據通過rsyslog服務集中到一起進行格式化處理和存儲，以既定的格式輸出，由goaccess服務進行日志數據的解析和處理，并產生實時的分析結果。該發明的用于分布式系統的日志采集分析方法資源占用少，磁盤IO占用量低，實時性高，并能支撐1MB/s的日志量，即日億級訪問量，具有很好的推廣應用價值。

技術領域

本發明涉及軟件/數據處理技術領域，具體提供一種用于分布式系統的日志采集分析方法。

背景技術

目前，常用的web應用服務器有tomcat、nginx、Apache等，體量較小的應用一般只運行一個實例，日志的查看工作相對較為簡單，登錄一臺服務器找到固定目錄的一個日志文件查看即可。

但是，當應用的體量較大時，往往一兩個應用服務器很難滿足負載需求，從而會安裝多個web應用服務器同時產生不同目錄下的多個日志文件，甚至分散到不同主機上的不同目錄下，負載均衡往往更多是隨機輪詢web應用服務器，如果為找日志中的有效信息需要在不同主機不同目錄下的多個日志間不斷切換，這就為日志的查看工作帶來了極大的不便。

同時日志的分析工具一般也是基于更加集中的、有規律的日志進行分析，分散的、無規律的日志將很難分析出有效的結果，手工匯聚整理會造成大量人力浪費。

另外，常用的日志采集分析的方案ELK也存在一定的局限性，ELK是Elasticsearch、Logstash、Kibana三個核心組件的集成方案，該方案是生產實踐中常用的組合，Logstash負責日志的搜集、分析、過濾，Elasticsearch提供存儲能力并支持高效的全文檢索，Kibana用圖形化的界面展示日志的分析結果，該方案使用的組件較多，搭建過程較為復雜。特別是Logstash占用的資源較多，而且Logstash是基于定時器進行數據變化的檢測，故而會產生數據采集的延遲，為了減少數據丟失的可能性一般還會引入消息隊列，比如用kafka來緩存數據，這更增加了方案的鏈路和使用難度，不利于較大規模系統的日志采集和分析。而傳統應用的日志往往分散在不同的主機上，不利于日志匯集及分析，并且沒有統一的輪轉切割規范，導致產生的數據分析結果也很難具有參考價值。

發明內容

本發明的技術任務是針對上述存在的問題，提供一種資源占用少，磁盤IO占用量低，實時性高，并能支撐1MB/s的日志量，即日億級訪問量的用于分布式系統的日志采集分析方法。

為實現上述目的，本發明提供了如下技術方案：

一種用于分布式系統的日志采集分析方法，基于rsyslog進行日志的采集和存儲，并通過goaccess進行日志分析，用戶通過互聯網訪問nginx服務負載均衡，負載均衡將請求轉發至后端應用服務，應用服務處理請求產生訪問日志，日志數據通過rsyslog服務集中到一起進行格式化處理和存儲，以既定的格式輸出，由goaccess服務進行日志數據的解析和處理，并產生實時的分析結果。

作為優選，該用于分布式系統的日志采集分析方法具體包括以下步驟：

S1、日志采集：基于rsyslog進行日志的采集；

S2、日志分析：日志經由rsyslog進行日志的采集后匯聚分流產生日志文件，由goaccess進行分析展示；

S3、整體流程展示：通過日志的流轉過程展示整體流程。

作為優選，日志采集過程中，接收來自各種來源的輸入，其中rsyslog支持tcp、udp協議采集nginx、tomcat多種來源不同格式的日志數據。