[發明專利]用于生成網絡設備日志模板的方法、裝置、服務器和介質

在審

• 申請號: 202110195871.3
• 申請日: 2021-02-22
• 公開（公告）號: CN113821491A
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 張靜
• 申請（專利權）人: 京東科技控股股份有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/31;G06F16/332;G06F16/35;H04L12/24
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本公開的實施例公開了用于生成網絡設備日志模板的方法、裝置、服務器和介質。該方法的一具體實施方式包括：獲取基于網絡設備日志生成的日志信息集合，其中，該日志信息集合中的日志信息包括按詞頻降序排列的詞；根據該日志信息集合，生成樹結構，其中，該樹結構的節點包括該日志信息集合中的詞，該節點形成的路徑與該日志信息中的日志信息所指示的詞的順序一致；基于該樹結構中的路徑，生成至少一個網絡設備日志模板。該實施方式實現了不依賴人工標注的網絡設備日志模板的自動生成，提升了模板生成效率。

技術領域

本公開的實施例涉及計算機技術領域，具體涉及用于生成網絡設備日志模板的方法、裝置、服務器和介質。

背景技術

網絡設備日志可以用于記錄用戶操作、系統運行狀態等，是一個系統的重要組成部分。隨著網絡系統規模的增長，日志的規模也越來越大，如何對大規模日志進行分析成為需要解決的問題。

現有技術中，通常是由運維工程師根據經驗設定關鍵字或編寫正則表達式來對網絡設備日志進行分類，以實現對網絡設備日志的處理。但現有技術往往依賴以往的標注經驗，難以較為全面地涵蓋網絡設備日志的類型，而且不便于實時匹配。

發明內容

本公開的實施例提出了用于生成網絡設備日志模板的方法、裝置、服務器和介質。

第一方面，本公開的實施例提供了一種用于生成網絡設備日志模板的方法，該方法包括：獲取基于網絡設備日志生成的日志信息集合，其中，日志信息集合中的日志信息包括按詞頻降序排列的詞；根據日志信息集合，生成樹結構，其中，樹結構的節點包括日志信息集合中的詞，節點形成的路徑與日志信息中的日志信息所指示的詞的順序一致；基于樹結構中的路徑，生成至少一個網絡設備日志模板。

在一些實施例中，上述根據日志信息集合，生成樹結構，包括：對于日志信息集合中的日志信息，提取該日志信息中的消息類型；將所提取的消息類型作為樹結構的根節點，生成與消息類型匹配的至少一個樹結構。

在一些實施例中，上述將所提取的消息類型作為樹結構的根節點，生成與消息類型匹配的至少一個樹結構，包括：確定切詞得到的詞集合中的詞對應的條件概率，其中，條件概率用于表征屬于同一條網絡設備日志的詞之間的共現關系；對于日志信息集合中的日志信息，根據該日志信息中詞的順序生成樹結構的路徑，其中，樹結構的路徑所指示的詞對應的條件概率大于預設閾值，樹結構的根節點與所提取的消息類型一致。

在一些實施例中，上述基于樹結構中的路徑，生成至少一個網絡設備日志模板，包括：基于樹結構的節點的數量對樹結構進行剪枝；根據剪枝后的樹結構的節點所形成的至少一個路徑，生成至少一個網絡設備日志模板。

在一些實施例中，上述根據剪枝后的樹結構的節點所形成的至少一個路徑，生成至少一個網絡設備日志模板，包括：從剪枝后的樹結構中剔除用于表征變量的節點；根據剔除節點后的樹結構的節點所形成的至少一個路徑，生成至少一個網絡設備日志模板，其中，網絡設備日志模板中的詞的順序與網絡設備日志中詞的順序一致。

在一些實施例中，上述獲取基于網絡設備日志生成的日志信息集合，包括：獲取初始網絡設備日志集合；對初始網絡設備日志集合進行過濾，生成目標網絡設備日志集合；對目標網絡設備日志集合中的網絡設備日志進行切詞；確定切詞得到的詞集合中的詞的詞頻；將目標網絡設備日志集合中的網絡設備日志對應的切詞后得到的詞按照所確定的詞頻的降序排列，生成日志信息集合。

在一些實施例中，該方法還包括：從所生成的至少一個網絡設備日志模板中選取異常預警模板，其中，異常預警模板用于指示匹配的日志屬于異常日志；對至少一個網絡設備日志模板中的非異常預警模板進行聚類；為聚類后的網絡設備日志模板生成相應的類別標簽。

在一些實施例中，上述從所生成的至少一個網絡設備日志模板中選取異常預警模板，包括：從所生成的至少一個網絡設備日志模板中選取與預設的異常預警詞典相匹配的網絡設備日志模板作為異常預警模板。