[發明專利]一種日志收集方法、裝置及系統

在審

• 申請號: 202111138091.1
• 申請日: 2021-09-27
• 公開（公告）號: CN113778810A
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 湯少標;范淵;劉博
• 申請（專利權）人: 杭州安恒信息技術股份有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F16/18
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 任美玲

1.一種日志收集方法，其特征在于，包括：

采用Filebeat組件采集目標日志文件中的日志信息，并將所述日志信息發送至kafka組件中進行分類緩存；

獲取所述kafka組件中的每類日志信息，并對所述日志信息進行處理；

將處理后的日志信息進行分類存儲。

2.根據權利要求1所述的日志收集方法，其特征在于，所述采用Filebeat組件采集目標日志文件中的日志信息的過程為：

采用Filebeat組件通過探測器對目標日志文件進行監聽，判斷是否存在新增日志信息，若存在，則通過所述探測器采集所述日志文件中的新增日志信息。

3.根據權利要求1所述的日志收集方法，其特征在于，所述日志信息的類型包括：nginx日志、平臺日志和mysql慢日志。

4.根據權利要求1至3任意一項所述的日志收集方法，其特征在于，所述采用Filebeat組件采集目標日志文件中的日志信息，并將所述日志信息發送至kafka組件中進行分類緩存的過程為：

預先從kafka組件中劃分出多個緩存區，并確定出與每個所述緩存區各自對應的標識碼；

采用Filebeat組件采集目標日志文件中的日志信息，并獲取所述日志信息的類型；

根據預先確定的日志類型及緩存區的對應關系，確定出目標緩存區；

將所述日志信息發送至kafka組件中的所述目標緩存區進行存儲。

5.根據權利要求4所述的日志收集方法，其特征在于，所述獲取所述kafka組件中的每類日志信息，并對所述日志信息進行處理的過程為：

采用logstash組件獲取所述kafka組件中的每類日志信息，并對所述日志信息進行預處理清洗、過濾、解析和格式轉換，得到處理后的日志信息。

6.根據權利要求4所述的日志收集方法，其特征在于，所述獲取所述kafka組件中的每類日志信息，并對所述日志信息進行處理的過程為：

采用flink組件獲取所述kafka組件中的每類日志信息，并根據預設要求對所述日志信息進行計算，得到對應的聚合指標。

7.根據權利要求4所述的日志收集方法，其特征在于，還包括：

接收用戶輸入的檢索信息；

依據所述檢索信息從存儲的各個日志信息中篩選出目標日志信息，并將所述目標日志信息進行展示。

8.一種日志收集裝置，其特征在于，包括：

采集模塊，用于采用Filebeat組件采集目標日志文件中的日志信息，并將所述日志信息發送至kafka組件中進行分類緩存；

處理模塊，用于獲取所述kafka組件中的每類日志信息，并對所述日志信息進行處理；

存儲模塊，用于將處理后的日志信息進行分類存儲。

9.根據權利要求8所述的日志收集裝置，其特征在于，所述采用Filebeat組件采集目標日志文件中的日志信息的過程為：

采用Filebeat組件通過探測器對目標日志文件進行監聽，判斷是否存在新增日志信息，若存在，則通過所述探測器采集所述日志文件中的新增日志信息。

10.一種日志收集系統，其特征在于，包括：

存儲器，用于存儲計算機程序；

處理器，用于執行所述計算機程序時實現如權利要求1至7任一項所述日志收集方法的步驟。