[發明專利]日志處理方法和裝置

在審

• 申請號: 201910914657.1
• 申請日: 2019-09-26
• 公開（公告）號: CN112559474A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 汪少敏;阮宜龍;王錚;楊迪;任華
• 申請（專利權）人: 中國電信股份有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/33;G06F40/279
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 趙倩男

本公開公開了一種日志處理方法和裝置，涉及數據處理領域。該方法包括：利用停用詞庫對樣本日志文件進行分詞處理，得到樣本日志文件中的多個詞語；對多個詞語進行詞頻統計，將詞頻數大于詞頻閾值的詞語作為高頻詞；將樣本日志文件中連續出現的預定個數的高頻詞，作為高頻詞組；計算每個高頻詞組與標點組合的加權概率；根據加權概率大于概率閾值的高頻詞組與標點組合，構建日志模版；根據日志模版，提取日志數據中的關鍵信息。本公開提高了日志處理的準確性。

技術領域

本公開涉及數據處理領域，尤其涉及一種日志處理方法和裝置。

背景技術

日志分析平臺中，需要對各種系統的不同日志進行收集、存儲和分析。其中，日志包括系統日志、webserver(網頁服務器)日志、錯誤日志、應用日志等。其中對日志的分析處理，主要通過文本處理的形式進行過濾、標簽、統計等操作。目前的方法為：對每條日志進行分詞、詞向量化等文本處理后，進行模型訓練和分析。

目前方法中存在一些缺陷，例如，對日志中的文本進行全量分析，耗費大量資源。另外，模型學習和分析過程中，會受到日志中和分析需求相關性低的信息的干擾，影響模型學習和分析的準確性。

發明內容

本公開要解決的一個技術問題是，提供一種日志處理方法和裝置，能夠提高日志分析的準確率。

根據本公開一方面，提出一種日志處理方法，包括：利用停用詞庫對樣本日志文件進行分詞處理，得到樣本日志文件中的多個詞語；對多個詞語進行詞頻統計，將詞頻數大于詞頻閾值的詞語作為高頻詞；將樣本日志文件中連續出現的預定個數的高頻詞，作為高頻詞組；計算每個高頻詞組與標點組合的加權概率；根據加權概率大于概率閾值的高頻詞組與標點組合，構建日志模版；根據日志模版，提取日志數據中的關鍵信息。

在一些實施例中，驗證每個高頻詞組中詞語間的關聯性；計算具有關聯性的詞組構成的高頻詞組與標點組合的加權概率。

在一些實施例中，計算具有關聯性的詞組構成的高頻詞組與標點組合的加權概率包括：統計具有關聯性的詞組構成的高頻詞組的前后出現標點的概率；確定對應標點的權值；將出現標點的概率與對應標點的權值之積，作為具有關聯性的詞組構成的高頻詞組與標點組合的加權概率。

在一些實施例中，驗證每個高頻詞組中詞語間的關聯性包括：將每個高頻詞組中的詞語進行卡方驗證，確定每個高頻詞組中詞語間的關聯性。

在一些實施例中，將連續出現的預定個數的高頻詞，作為高頻詞組包括：將預定個數的高頻詞作為組合，統計在樣本日志文件中，組合出現的頻率；將出現頻率大于頻率閾值的組合，作為高頻詞組。

在一些實施例中，停用詞庫中不包含標點符合和空格。

根據本公開的另一方面，還提出一種日志處理裝置，包括：分詞處理單元，被配置為利用停用詞庫對樣本日志文件進行分詞處理，得到樣本日志文件中的多個詞語；高頻詞確定單元，被配置為對多個詞語進行詞頻統計，將詞頻數大于詞頻閾值的詞語作為高頻詞；高頻詞組確定單元，被配置為將樣本日志文件中連續出現的預定個數的高頻詞，作為高頻詞組；加權概率確定單元，被配置為計算每個高頻詞組與標點組合的加權概率；日志模版構建單元，被配置為根據加權概率大于概率閾值的高頻詞組與標點組合，構建日志模版；關鍵信息提取單元，被配置為根據日志模版，提取日志數據中的關鍵信息。

在一些實施例中，關聯性驗證單元，被配置為驗證每個高頻詞組中詞語間的關聯性；其中，加權概率確定單元被配置為計算具有關聯性的詞組構成的高頻詞組與標點組合的加權概率。

根據本公開的另一方面，還提出一種日志處理裝置，包括：存儲器；以及耦接至存儲器的處理器，處理器被配置為基于存儲在存儲器的指令執行如上述的日志處理方法。

根據本公開的另一方面，還提出一種計算機可讀存儲介質，其上存儲有計算機程序指令，該指令被處理器執行時實現上述的日志處理方法。