[發明專利]一種智能化的日志分析方法及裝置

在審

• 申請號: 201810878180.1
• 申請日: 2018-08-03
• 公開（公告）號: CN109254903A
• 公開（公告）日: 2019-01-22
• 發明（設計）人: 胡偉
• 申請（專利權）人: 挖財網絡技術有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34
• 代理公司: 杭州豐禾專利事務所有限公司 33214
• 代理人: 吳雙

1.一種智能化的日志分析方法，其特征在于，包括：

S1、初始化異常問題詞典，且異常問題詞典能夠動態增加；

S2、定義業務日志規范，業務系統根據規則打印系統日志；

S3、初始化問題解決詞典，每一類問題對應0個或多個解決方案；每個解決方案給予經驗權值；解決方案能夠根據線上問題的反饋進行更新操作；

S4、基于google-Dapper收集分布式服務器的日志及其日志追蹤信息；

S5、對每一個traceId報錯的日志進行分析；

S6、提供前端頁面，展示問題關鍵詞及其解決方案；

S7、前端提供反饋入口。

2.根據權利要求1所述的一種智能化的日志分析方案，其特征在于：其中S5包括以下步驟：

S51、根據traceId查詢出本次業務流程涉及到的系統及其日志；

S52、根據查詢出的調用鏈路，遍歷查詢是否有系統服務是否正常啟動；如果有異常，則標注問題類型為系統異常，本次分析完成；否則，繼續往下分析；

S53、對調用鏈路上每個應用的日志，通過NLP分詞，提取Top 20的關鍵詞，并且為每一個關鍵詞，對應每個關鍵詞給予權值，按照鏈路的執行順序，第一個節點的權值為1，第二個為10，以此類推，即后面節點解析出來的關鍵詞的權值是上一個節點權值的10遍；

S54、查詢問題解決詞典，得到的一個解決方案的列表，較佳解決方案的權值的計算公式為：關鍵詞的權值*解決方案對應的經驗權值；

S55、對得到的解決方案列表按它的權值排序，從高到低排列；排在最前面的就是推薦的問題解決方案。

3.根據權利要求1所述的一種智能化的日志分析方案，其特征在于：其中S1中根據研發積累的線上問題排查經驗和技術經驗，初始化異常問題詞典，每一個問題對應一系列的關鍵詞，并建立關鍵詞的倒排索引。

4.根據權利要求1所述的一種智能化的日志分析方案，其特征在于：其中S2中日志分為5個等級，level1代表系統異常，level2表示中間件異常，level3表示數據庫異常，level4表示業務異常，level5表示業務執行信息，level6表示debug信息。

5.根據權利要求4所述的一種智能化的日志分析方案，其特征在于：其中S2中不同等級的日志，所提取出來的關鍵詞，具有不一樣的權值。

6.根據權利要求3所述的一種智能化的日志分析方案，其特征在于：其中S2中業務系統日志根據異常類型和業務邏輯，打印的日志里包含異常問題詞典里的關鍵詞。

7.根據權利要求1所述的一種智能化的日志分析方案，其特征在于：其中S6中同一類型的報錯日志會聚合展示，每一類報錯日志，都會展示top5的錯誤關鍵詞，并按權值展示其解決方案。

8.根據權利要求1所述的一種智能化的日志分析方案，其特征在于：其中S7中技術人員既能選擇解決方案，也能錄入新的解決方案和異常關鍵詞；根據技術人員輸入的關鍵詞，更新異常關鍵詞詞典和問題解決方案詞典。

9.一種智能化的日志分析裝置，其特征在于，包括：

異常關鍵詞詞典，用于將每一個問題對應一系列的關鍵詞，并建立關鍵詞的倒排索引；

日志規范模塊，業務系統根據規則打印系統日志；

問題解決詞典，用于將每一類問題對應0個或多個解決方案，每個解決方案給予經驗權值；

日志收集和聚合模塊，用于收集分布式服務器的日志及其日志追蹤信息

日志分析模塊，用于對每一個traceId報錯的日志進行分析

前端展示和反饋模塊，用于提供前端頁面，展示問題關鍵詞及其解決方案，并提供反饋入口。