[發(fā)明專利]一種日志收集方法、裝置及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111138091.1
• 申請(qǐng)日: 2021-09-27
• 公開(kāi)（公告）號(hào): CN113778810A
• 公開(kāi)（公告）日: 2021-12-10
• 發(fā)明（設(shè)計(jì)）人: 湯少標(biāo);范淵;劉博
• 申請(qǐng)（專利權(quán)）人: 杭州安恒信息技術(shù)股份有限公司
• 主分類號(hào): G06F11/30
• 分類號(hào): G06F11/30;G06F16/18
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 任美玲

本發(fā)明公開(kāi)了一種日志收集方法、裝置及系統(tǒng)，包括：采用Filebeat組件采集目標(biāo)日志文件中的日志信息，并將日志信息發(fā)送至kafka組件中進(jìn)行分類緩存；獲取kafka組件中的每類日志信息，并對(duì)日志信息進(jìn)行處理；將處理后的日志信息進(jìn)行分類存儲(chǔ)；本發(fā)明實(shí)現(xiàn)了對(duì)日志信息的集中管理，方便用戶對(duì)日志進(jìn)行查看，有利于提高日志管理效率，便于對(duì)問(wèn)題進(jìn)行定位。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別是涉及一種日志收集方法、裝置及系統(tǒng)。

背景技術(shù)

隨著業(yè)務(wù)的急劇膨脹及服務(wù)的多樣化，讓網(wǎng)絡(luò)的組建變得越來(lái)越復(fù)雜，一個(gè)系統(tǒng)可能涉及到多個(gè)設(shè)備、部署多個(gè)實(shí)例。另外，設(shè)備的增加讓跨運(yùn)維小組之間的溝通代價(jià)變得很高，各種日志和告警散落在不同的設(shè)備上，導(dǎo)致不能夠?qū)θ罩具M(jìn)行集中管理，不利用用戶的查看和對(duì)問(wèn)題的定位。

鑒于此，如何提供一種解決上述技術(shù)問(wèn)題的日志收集方法、裝置及系統(tǒng)成為本領(lǐng)域技術(shù)人員需要解決的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的是提供一種日志收集方法、裝置及系統(tǒng)，在使用過(guò)程中實(shí)現(xiàn)了對(duì)日志信息的集中管理，方便用戶對(duì)日志進(jìn)行查看，有利于提高日志管理效率，便于對(duì)問(wèn)題進(jìn)行定位。

為解決上述技術(shù)問(wèn)題，本發(fā)明實(shí)施例提供了一種日志收集方法，包括：

采用Filebeat組件采集目標(biāo)日志文件中的日志信息，并將所述日志信息發(fā)送至kafka組件中進(jìn)行分類緩存；

獲取所述kafka組件中的每類日志信息，并對(duì)所述日志信息進(jìn)行處理；

將處理后的日志信息進(jìn)行分類存儲(chǔ)。

可選的，所述采用Filebeat組件采集目標(biāo)日志文件中的日志信息的過(guò)程為：

采用Filebeat組件通過(guò)探測(cè)器對(duì)目標(biāo)日志文件進(jìn)行監(jiān)聽(tīng)，判斷是否存在新增日志信息，若存在，則通過(guò)所述探測(cè)器采集所述日志文件中的新增日志信息。

可選的，所述日志信息的類型包括：nginx日志、平臺(tái)日志和mysql慢日志。

可選的，所述采用Filebeat組件采集目標(biāo)日志文件中的日志信息，并將所述日志信息發(fā)送至kafka組件中進(jìn)行分類緩存的過(guò)程為：

預(yù)先從kafka組件中劃分出多個(gè)緩存區(qū)，并確定出與每個(gè)所述緩存區(qū)各自對(duì)應(yīng)的標(biāo)識(shí)碼；

采用Filebeat組件采集目標(biāo)日志文件中的日志信息，并獲取所述日志信息的類型；

根據(jù)預(yù)先確定的日志類型及緩存區(qū)的對(duì)應(yīng)關(guān)系，確定出目標(biāo)緩存區(qū)；

將所述日志信息發(fā)送至kafka組件中的所述目標(biāo)緩存區(qū)進(jìn)行存儲(chǔ)。

可選的，所述獲取所述kafka組件中的每類日志信息，并對(duì)所述日志信息進(jìn)行處理的過(guò)程為：

采用logstash組件獲取所述kafka組件中的每類日志信息，并對(duì)所述日志信息進(jìn)行預(yù)處理清洗、過(guò)濾、解析和格式轉(zhuǎn)換，得到處理后的日志信息。

可選的，所述獲取所述kafka組件中的每類日志信息，并對(duì)所述日志信息進(jìn)行處理的過(guò)程為：

采用flink組件獲取所述kafka組件中的每類日志信息，并根據(jù)預(yù)設(shè)要求對(duì)所述日志信息進(jìn)行計(jì)算，得到對(duì)應(yīng)的聚合指標(biāo)。

可選的，還包括：

接收用戶輸入的檢索信息；

依據(jù)所述檢索信息從存儲(chǔ)的各個(gè)日志信息中篩選出目標(biāo)日志信息，并將所述目標(biāo)日志信息進(jìn)行展示。

本發(fā)明實(shí)施例還提供了一種日志收集裝置，包括：