[發明專利]一種實時異常日志分析方法及系統

在審

• 申請號: 202111118028.1
• 申請日: 2021-09-22
• 公開（公告）號: CN113918412A
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 蔣宇;王文輝;李駿;胡勇
• 申請（專利權）人: 上海漫道科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/34
• 代理公司: 上海海鈞知識產權代理事務所(特殊普通合伙) 31330
• 代理人: 許蘭

1.一種實時異常日志分析方法，其特征在于，包括：

日志采集：從系統日志、應用日志和中間件日志中實時采集日志數據，并傳送至消息中間件Kafka不同的Topic中；

日志清洗：利用Spark Streaming獲取來自Kafka的實時輸入數據，按照預設的日志清洗規則進行清洗，篩選出異常日志數據；

日志轉換：將清洗后的異常日志數據按照異常類型寫入Kafka指定的Topic中，指定的Topic包括第一類型Topic和第二類型Topic，其中，第一類型Topic用于存放常規性的異常信息，第二類型Topic用于存放除常規性以外、需要立即告警通知的異常信息；

日志分析：對第一類型Topic中的異常日志數據基于預設的模板庫進行相似度聚類；

日志存儲：將聚類后的異常日志數據分別存儲到日志模板表、日志明細表與日志統計表中；

日志查詢：解析日志查詢請求，并根據解析結果讀取各自對應的日志存儲數據，以獲取各自對應的日志查詢結果；其中，日志查詢請求包括日志量指標分析請求、異常日志明細查詢請求、故障問題定位請求、應用健康分析日報請求中的一種或幾種。

2.根據權利要求1所述的一種實時異常日志分析方法，其特征在于，所述日志采集，還包括如下步驟：

系統日志開啟所有服務器的syslog，將syslog日志遠程發送至日志服務器，再由日志服務器統一發送到消息中間件Kafka中；

應用日志和中間件日志，通過第三方開源系統Filebeat進行日志采集，并發送至消息中間件Kafka中。

3.根據權利要求1所述的一種實時異常日志分析方法，其特征在于，所述預設的日志清洗規則包括以下的一種或幾種：

依據日志路徑進行清洗，清洗路徑不合法的日志；

依據日志級別清洗，返回指定級別的日志；

依據時間格式清洗，清洗掉無效時間格式與時間范圍之外的日志；

依據Stacktrace進行清洗，清洗掉無Stacktrace的日志；

依據異常標志清洗，清洗掉“Exception:”“OutOfMemoryError”常見異常標志之外的日志。

4.根據權利要求1所述的一種實時異常日志分析方法，其特征在于，所述對第一類型Topic中的異常日志數據基于預設的模板集進行相似度聚類，包括如下步驟：

S1，根據至少一個關鍵字段在Redis緩存中查找預設的模板集，若模板集存在，執行步驟S2，否則執行步驟S3；

S2，分別計算新加入第一類型Topic中的異常日志數據與模板集中已有模板的相似度值，若相似度值大于或等于預設相似度閾值，則將該條異常日志數據存入日志明細表中，若相似度值小于預設相似度閾值，則默認為該條異常日志數據沒有找到模板，執行步驟S3；

S3，根據新加入第一類型Topic中的異常日志數據生成新模板，并寫入Redis緩存中，寫完后將新模板的數據存入日志模板表和日志明細表中。

5.根據權利要求1所述的一種實時異常日志分析方法，其特征在于，還包括：對所述第二類型Topic中存儲的日志數據直接進行告警通知。