[發明專利]一種基于日志聚合的日志知識庫與健康度獲取方法及系統

有效

• 申請號: 202110206817.4
• 申請日: 2021-02-24
• 公開（公告）號: CN112883004B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 李虎;曾毅峰;俞敏;朱祥
• 申請（專利權）人: 上海浦東發展銀行股份有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F11/30;G06F40/186;G06F40/194;G06F18/22
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 丁云

1.一種基于日志聚合的日志知識庫與健康度獲取方法，其特征在于，包括以下步驟：

S1：獲取工程級的日志數據，通過提取日志模板對日志數據進行一次聚合，基于文本相似度計算對日志數據進行二次聚合，獲取工程級日志聚合結果；

S2：對工程級日志聚合結果進行系統級聚合，獲取系統級日志聚合結果，對系統級日志聚合結果進行異常標注，形成日志知識庫；

S3：根據工程級、系統級日志聚合結果依次計算個體日志規范指標、工程級規范指標和系統級規范指標，獲取日志健康狀態；

所述的步驟S1具體包括：

S11：提取系統級日志數據，對系統級日志數據中各工程的日志分別進行聚合，獲取各工程的工程級的日志數據；

S12：提取工程級日志數據的日志模板，根據日志模板對日志數據進行聚合；

S13：根據文本相似度計算的編輯距離算法計算日志字符串的相似度，將相似度高于設定閾值的日志聚合為一條日志記錄，獲取工程級日志聚合結果；

所述的步驟S12中對工程級日志數據進行通用變量替換、標準模板匹配、特殊字符過濾，獲取日志模板；

所述的步驟S2的具體步驟包括：

S21：基于文本相似度計算分別對每個系統的工程級日志聚合結果進行聚合，獲取系統級日志聚合結果；

S22：對系統級日志聚合結果進行異常標注，獲取日志知識庫，所述的異常標注的內容包括日志是否值得關注、日志異常原因和異常解決方案。

2.根據權利要求1所述的一種基于日志聚合的日志知識庫與健康度獲取方法，其特征在于，所述的個體日志規范指標包括合規性個體指標和冗余率個體指標，所述的工程級規范指標包括日志總量合規率、日志類別合規率和日志整體冗余率，所述的系統級規范指標包括日志總量合規率、日志類別合規率和日志整體冗余率。

3.一種基于日志聚合的日志知識庫、健康度獲取系統，其特征在于，包括工程級日志聚合模塊、系統級日志聚合模塊、日志知識庫標注模塊、日志健康狀態計算模塊，

所述的工程級日志聚合模塊用于獲取工程級的日志數據，通過提取日志模板對日志數據進行一次聚合，基于文本相似度計算對日志數據進行二次聚合，獲取工程級日志聚合結果，

所述的系統級日志聚合模塊用于對工程級日志聚合結果進行系統級聚合，獲取系統級日志聚合結果，

所述的日志知識庫標注模塊用于對系統級日志聚合結果進行異常標注，形成日志知識庫，

所述的日志健康狀態計算模塊根據工程級、系統級日志聚合結果依次計算個體日志規范指標、工程級規范指標和系統級規范指標，獲取日志健康狀態；

所述的工程級日志聚合模塊的日志處理流程包括：

提取系統級日志數據，對系統級日志數據中各工程的日志分別進行聚合，獲取各工程的工程級的日志數據；

提取工程級日志數據的日志模板，根據日志模板對日志數據進行聚合；

根據文本相似度計算的編輯距離算法計算日志字符串的相似度，將相似度高于設定閾值的日志聚合為一條日志記錄，獲取工程級日志聚合結果；

所述的工程級日志聚合模塊對工程級日志數據進行通用變量替換、標準模板匹配、特殊字符過濾，獲取日志模板；

所述的日志知識庫標注模塊對系統級日志聚合結果進行異常標注，獲取日志知識庫，所述的異常標注的內容包括日志是否值得關注、日志異常原因和異常解決方案。

4.根據權利要求3所述的一種基于日志聚合的日志知識庫、健康度獲取系統，其特征在于，所述的個體日志規范指標包括合規性個體指標和冗余率個體指標，所述的工程級規范指標包括日志總量合規率、日志類別合規率和日志整體冗余率，所述的系統級規范指標包括日志總量合規率、日志類別合規率和日志整體冗余率。