[發明專利]日志流聚類的方法和裝置

在審

• 申請號: 201811032904.7
• 申請日: 2018-09-05
• 公開（公告）號: CN109388711A
• 公開（公告）日: 2019-02-26
• 發明（設計）人: 方建生
• 申請（專利權）人: 廣州視源電子科技股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F11/34;G06K9/62
• 代理公司: 北京恒博知識產權代理有限公司 11528
• 代理人: 范勝祥

本發明涉及計算機設備日志處理技術領域。為了解決目前對日志數據的分析挖掘計算成本高昂、準確率低的問題，本發明實施例提供了一種日志流聚類的方法和裝置，該日志流聚類的方法包括以下步驟：基于歷史日志訓練聚類模型；設置日志流的增量日志大小；當日志流匯集至增量日志大小時，基于增量日志更新訓練聚類模型；使用增量更新后的聚類模型對日志流中的每條日志進行分類。本發明實施例實現了日志數據分析挖掘計算成本小、準確率高的目的。

技術領域

本發明涉及計算機設備日志處理技術領域，具體而言，涉及一種日志流聚類的方法和裝置。

背景技術

本發明對于背景技術的描述屬于與本發明相關的相關技術，僅僅是用于說明和便于理解本發明的發明內容，不應理解為申請人明確認為或推定申請人認為是本發明在首次提出申請的申請日的現有技術。

IT運維中服務器、網絡設備、Web中間件等會產生日志數據，利用大數據技術和機器學習方法對日志數據進行分析挖掘，可應用于運維的監控、審計、告警等場景。但是，目前對日志數據的分析挖掘計算成本高昂，且準確率低。

發明內容

為了解決目前對日志數據的分析挖掘計算成本高昂、準確率低的問題，本發明實施例提供了一種日志流聚類的方法和裝置，實現了日志數據分析挖掘計算成本小、準確率高的目的。

第一方面，本發明提供了一種日志流聚類的裝置，包括：第一訓練單元，所述第一訓練單元用于基于歷史日志訓練聚類模型；設置單元，所述設置單元用于設置日志流的增量日志大小；第二訓練單元，所述第二訓練單元用于當所述日志流匯集至所述增量日志大小時，基于所述增量日志訓練所述聚類模型；分類單元，所述分類單元用于使用所述聚類模型對所述日志流進行分類。

優選地，所述第一訓練單元包括：采集模塊，所述采集模塊用于采集歷史日志；第一處理模塊，所述第一處理模塊用于對所述歷史日志進行文本處理；第二處理模塊，所述第二處理模塊用于對所述歷史日志進行哈希特征向量化；訓練模塊，所述訓練模塊用于使用所述歷史日志訓練所述聚類模型；保存模塊，所述保存模塊用于保存所述聚類模型。

優選地，所述第一訓練單元還用于選擇所述聚類模型的參數；所述第二訓練單元還用于基于所述增量日志訓練所述聚類模型時應用所述參數。

優選地，所述聚類模型包括k-means聚類模型，所述參數包括K值。

優選地，所述第二訓練單元還用于對所述增量日志進行文本處理及哈希特征向量化。

優選地，所述第一訓練單元還用于定期基于歷史日志訓練聚類模型。

第二方面，本發明實施例提供了一種日志流聚類的方法，包括以下步驟：

基于歷史日志訓練聚類模型；設置日志流的增量日志大小；當所述日志流匯集至所述增量日志大小時，基于所述增量日志訓練所述聚類模型；使用所述聚類模型對所述日志流進行分類。

優選地，所述基于歷史日志訓練聚類模型的步驟包括：采集歷史日志；對所述歷史日志進行文本處理；對所述歷史日志進行哈希特征向量化；使用所述歷史日志訓練所述聚類模型；保存所述聚類模型。

優選地，所述基于歷史日志訓練聚類模型的步驟包括選擇所述聚類模型的參數；所述步驟基于所述增量日志訓練所述聚類模型中應用所述參數。

優選地，所述聚類模型包括k-means聚類模型，所述參數包括K值。

優選地，所述使用所述增量日志訓練所述聚類模型之前還包括：對所述增量日志進行文本處理及哈希特征向量化。

優選地，定期執行所述基于歷史日志訓練聚類模型的步驟。

第三方面，本發明實施例提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現上述的方法的步驟。