[發明專利]一種基于日志聚合的日志知識庫與健康度獲取方法及系統

有效

• 申請號: 202110206817.4
• 申請日: 2021-02-24
• 公開（公告）號: CN112883004B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 李虎;曾毅峰;俞敏;朱祥
• 申請（專利權）人: 上海浦東發展銀行股份有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F11/30;G06F40/186;G06F40/194;G06F18/22
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 丁云

本發明涉及一種基于日志聚合的日志知識庫與健康度獲取方法及系統，所述的方法包括獲取工程級的日志數據，通過提取日志模板對日志數據進行一次聚合，基于文本相似度計算對日志數據進行二次聚合，獲取工程級日志聚合結果；對工程級日志聚合結果進行系統級聚合，獲取系統級日志聚合結果，對系統級日志聚合結果進行異常標注，形成日志知識庫；根據工程級、系統級日志聚合結果依次計算個體日志規范指標、工程級規范指標和系統級規范指標，獲取日志健康狀態。與現有技術相比，本發明具有日志聚合效率、準確性高，有效生成日志知識庫、獲取日志健康狀態的優點。

技術領域

本發明涉及日志數據處理領域，尤其是涉及一種基于日志聚合的日志知識庫與健康度獲取方法及系統。

背景技術

現如今，互聯網服務已經深入到用戶生活的方方面面，在基礎設施基本一致的情況下，服務質量變得越來越重要，這也成為各公司的所面臨的一個巨大挑戰。各公司在實際運營過程中，所維護的各項業務可能面臨各種各樣的問題，這也就需要我們將各應用系統運行日志保存起來進行管理，以便問題排查和根因定位。因此將問題對應的異常日志及時反饋給運維和開發人員，是解決問題的關鍵。但隨著業務量的增長，數據量激增，需要對所產生的大量重復日志進行聚合，即將多條具有相同特征的日志合成為一條日志，以減少日志的數量，現有的日志聚合方法對系統的所有數據進行聚合，聚合算法的計算時間成本、算力要求高，日志聚合效果不能滿足基于日志聚合的后續系統日志知識庫和日志健康度獲取需求，并且現有技術日志聚合的結果與日志知識庫建立、日志健康度獲取的配合差。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種基于日志聚合的日志知識庫與健康度獲取方法及系統。

本發明的目的可以通過以下技術方案來實現：

一種基于日志聚合的日志知識庫與健康度獲取方法，包括以下步驟：

S1：獲取工程級的日志數據，通過提取日志模板對日志數據進行一次聚合，基于文本相似度計算對日志數據進行二次聚合，獲取工程級日志聚合結果；

S2：對工程級日志聚合結果進行系統級聚合，獲取系統級日志聚合結果，對系統級日志聚合結果進行異常標注，形成日志知識庫；

S3：根據工程級、系統級日志聚合結果依次計算個體日志規范指標、工程級規范指標和系統級規范指標，獲取日志健康狀態。

優選地，所述的步驟S1具體包括：

S11：提取系統級日志數據，對系統級日志數據中各工程的日志分別進行聚合，獲取各工程的工程級的日志數據；

S12：提取工程級日志數據的日志模板，根據日志模板對日志數據進行聚合；

S13：根據文本相似度計算的編輯距離算法計算日志字符串的相似度，將相似度高于設定閾值的日志聚合為一條日志記錄，獲取工程級日志聚合結果。

優選地，所述的步驟S12中對工程級日志數據進行通用變量替換、標準模板匹配、特殊字符過濾，獲取日志模板。

進一步優選的，所述的通用變量替換包括對常見的變量進行替換，包括IP、URL、證件號，所述的標準模板替換對各系統的個性化日志進行提取，所述的特殊字符過濾模塊將將一些沒有含義的特殊字符剔除，形成真正有價值的，可用的日志信息。

優選地，所述的步驟S2的具體步驟包括：

S21：基于文本相似度計算分別對每個系統的工程級日志聚合結果進行聚合，獲取系統級日志聚合結果；

S22：對系統級日志聚合結果進行異常標注，獲取日志知識庫，所述的異常標注的內容包括日志是否值得關注、日志異常原因和異常解決方案。