[發明專利]一種日志分類的方法和裝置

在審

• 申請號: 202011095293.8
• 申請日: 2020-10-14
• 公開（公告）號: CN112199344A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 尹威;范淵
• 申請（專利權）人: 杭州安恒信息技術股份有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/35;G06F16/335;G06F11/34
• 代理公司: 杭州華進聯浙知識產權代理有限公司 33250
• 代理人: 金無量

本申請涉及一種日志分類的方法、裝置、計算機設備和計算機可讀存儲介質，其中，所述方法通過利用關聯規則在預處理日志中獲得高置信度的頻繁項集，該高置信度的頻繁項集中所包含的信息就是分類所需的關鍵信息，即分類依據，替代了相關技術中采用人工提取關鍵信息的方式，此外，通過有對預處理日志和高置信度的頻繁項集進行有效編碼，生成日志向量和高置信度的頻繁項集向量，將該高置信度的頻繁項集向量作為聚類分析的初始聚類中心，能夠極大限度地提升聚類效果，減少迭代次數，能夠明顯提高日志分類的效率及準確性，解決了相關技術中人工提取關鍵詞造成日志分類效率低的問題和隨機選取聚類中心造成分類結果可用性低的問題。

技術領域

本申請涉及計算機領域，特別是涉及一種日志分類的方法和裝置。

背景技術

如今網絡安全問題受到的關注日益增多，為避免網絡安全問題的發生，人們會在網絡中添加入侵檢測系統或入侵防御系統等安全設備，這些系統及系統中的程序在運作時都會產生記錄事件的日志，每一條日志都記載著日期、時間、運行事件、事件發起方等相關信息的描述。此外，無論多么復雜的病毒，在入侵電腦或者系統的時候總歸會在日志中留下蛛絲馬跡，因此，如何對日志分類，才能在快速在日志中識別出有限信息，顯得尤為重要。

在相關技術中，通常采用聚類分析中的k-means算法對日志進行分類，在對日志進行聚類分析之前，需要人工提取關鍵詞，當數據量大時，人工提取關鍵詞容易出錯且效率低，同時使用k-means算法進行日志分類，k-means算法在處理中是隨機選取初始聚類中心的，若隨機選取的聚類中心不適合，則得到好的分類效果。因此，相關技術中存在人工提取關鍵詞造成日志分類效率低的問題和隨機選取聚類中心造成分類結果可用性低的問題。

目前針對相關技術中人工提取關鍵詞造成日志分類效率低的問題和隨機選取聚類中心造成分類結果可用性低的問題，尚未提出有效的解決方案。

發明內容

本申請實施例提供了一種日志分類的方法、裝置、計算機設備和計算機可讀存儲介質，以至少解決相關技術中聚類分析前需人工提取關鍵詞和初始聚類中心隨機選取造成的日志分類效率低且分類結果可用性低的問題和日志分類過于細化，造成的日志分類效率低的問題。

第一方面，本申請實施例提供了一種日志分類的方法，所述方法包括：

獲取待分類的原始日志；

利用正則表達式對所述原始日志中的常規信息進行歸一化處理，得到被分割成若干個詞的預處理日志，所述常規信息包括時間信息、地址信息、以及URL信息；

利用關聯規則算法，從所述預處理日志中獲得高置信度的頻繁項集；

對所述預處理日志中的詞進行去重，得到無重復的詞集；

根據所述詞集，對所述預處理日志和所述高置信度的頻繁項集進行有效編碼，獲得日志向量和高置信度的頻繁項集向量；

以所述高置信度的頻繁項集向量為初始聚類中心，對所述日志向量和所述高置信度的頻繁項集進行聚類分析，獲得日志分類結果。

在其中一些實施例中，利用正則表達式對所述原始日志中的常規信息進行歸一化處理，得到被分割成若干個詞的預處理日志，包括：

將所述原始日志中的常規信息進行歸一化處理，獲得第一日志；

將所述第一日志中除所述常規信息中包含的數字外，將其他數數字替換為預設數字，獲得第二日志；

將所述第二日志中除所述常規信息中包含的符號、其他的連接線和其他的下劃線外的符號替換為空格，獲得所述預處理日志。

在其中一些實施例中，所述將所述原始日志中的常規信息進行歸一化處理，獲得第一日志，包括：

將所述常規信息中的所述時間信息統一為第一預設格式,