[發(fā)明專利]一種用于分布式系統(tǒng)的日志采集分析方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110266537.2
• 申請(qǐng)日: 2021-03-10
• 公開(kāi)（公告）號(hào): CN113014661A
• 公開(kāi)（公告）日: 2021-06-22
• 發(fā)明（設(shè)計(jì)）人: 王海華;桑成剛;李振學(xué)
• 申請(qǐng)（專利權(quán)）人: 浪潮云信息技術(shù)股份公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;H04L12/24
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 姜明

1.一種用于分布式系統(tǒng)的日志采集分析方法，其特征在于：基于rsyslog進(jìn)行日志的采集和存儲(chǔ)，并通過(guò)goaccess進(jìn)行日志分析，用戶通過(guò)互聯(lián)網(wǎng)訪問(wèn)nginx服務(wù)負(fù)載均衡，負(fù)載均衡將請(qǐng)求轉(zhuǎn)發(fā)至后端應(yīng)用服務(wù)，應(yīng)用服務(wù)處理請(qǐng)求產(chǎn)生訪問(wèn)日志，日志數(shù)據(jù)通過(guò)rsyslog服務(wù)集中到一起進(jìn)行格式化處理和存儲(chǔ)，以既定的格式輸出，由goaccess服務(wù)進(jìn)行日志數(shù)據(jù)的解析和處理，并產(chǎn)生實(shí)時(shí)的分析結(jié)果。

2.根據(jù)權(quán)利要求1所述的用于分布式系統(tǒng)的日志采集分析方法，其特征在于：具體包括以下步驟：

S1、日志采集：基于rsyslog進(jìn)行日志的采集；

S2、日志分析：日志經(jīng)由rsyslog進(jìn)行日志的采集后匯聚分流產(chǎn)生日志文件，由goaccess進(jìn)行分析展示；

S3、整體流程展示：通過(guò)日志的流轉(zhuǎn)過(guò)程展示整體流程。

3.根據(jù)權(quán)利要求2所述的用于分布式系統(tǒng)的日志采集分析方法，其特征在于：日志采集過(guò)程中，接收來(lái)自各種來(lái)源的輸入，其中rsyslog支持tcp、udp協(xié)議采集nginx、tomcat多種來(lái)源不同格式的日志數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的用于分布式系統(tǒng)的日志采集分析方法，其特征在于：產(chǎn)生日志的應(yīng)用服務(wù)器不存儲(chǔ)日志，日志產(chǎn)生后從內(nèi)存通過(guò)TCP或UDP協(xié)議傳輸?shù)饺罩痉?wù)器，由日志服務(wù)器的rsyslog統(tǒng)一規(guī)劃存儲(chǔ)及輪轉(zhuǎn)。

5.根據(jù)權(quán)利要求4所述的用于分布式系統(tǒng)的日志采集分析方法，其特征在于：日志采集過(guò)程中轉(zhuǎn)換日志數(shù)據(jù)，設(shè)定規(guī)則將采集的日志數(shù)據(jù)進(jìn)行有效的過(guò)濾，保留有效的日志數(shù)據(jù)，并通過(guò)規(guī)則進(jìn)行整理排序。

6.根據(jù)權(quán)利要求5所述的用于分布式系統(tǒng)的日志采集分析方法，其特征在于：日志采集過(guò)程中將轉(zhuǎn)換后的結(jié)果數(shù)據(jù)輸出到不同的目的地，包括數(shù)據(jù)庫(kù)、文本文件和消息隊(duì)列。

7.根據(jù)權(quán)利要求6所述的用于分布式系統(tǒng)的日志采集分析方法，其特征在于：日志分析過(guò)程中，goaccess產(chǎn)生html報(bào)告，支持實(shí)時(shí)日志分析報(bào)告。

8.根據(jù)權(quán)利要求7所述的用于分布式系統(tǒng)的日志采集分析方法，其特征在于：整體流程展示由應(yīng)用服務(wù)器產(chǎn)生，產(chǎn)生的不同格式的日志通過(guò)tcp、udp協(xié)議傳輸?shù)饺罩痉?wù)器，日志服務(wù)器的rsyslog服務(wù)負(fù)責(zé)接收日志，并將日志轉(zhuǎn)換成既定的格式并持久化到日志文件。