[發明專利]日志流聚類的方法和裝置

在審

• 申請號: 201811032904.7
• 申請日: 2018-09-05
• 公開（公告）號: CN109388711A
• 公開（公告）日: 2019-02-26
• 發明（設計）人: 方建生
• 申請（專利權）人: 廣州視源電子科技股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F11/34;G06K9/62
• 代理公司: 北京恒博知識產權代理有限公司 11528
• 代理人: 范勝祥

1.一種日志流聚類的裝置，其特征在于，包括：

第一訓練單元，所述第一訓練單元用于基于歷史日志訓練聚類模型；

設置單元，所述設置單元用于設置日志流的增量日志大小；

第二訓練單元，所述第二訓練單元用于當所述日志流匯集至所述增量日志大小時，基于所述增量日志訓練所述聚類模型；

分類單元，所述分類單元用于使用所述聚類模型對所述日志流進行分類。

2.根據權利要求1所述的日志流聚類的裝置，其特征在于，所述第一訓練單元包括：

采集模塊，所述采集模塊用于采集歷史日志；

第一處理模塊，所述第一處理模塊用于對所述歷史日志進行文本處理；

第二處理模塊，所述第二處理模塊用于對所述歷史日志進行哈希特征向量化；

訓練模塊，所述訓練模塊用于使用所述歷史日志訓練所述聚類模型；

保存模塊，所述保存模塊用于保存所述聚類模型。

3.根據權利要求1所述的日志流聚類的裝置，其特征在于，所述第一訓練單元還用于選擇所述聚類模型的參數；所述第二訓練單元還用于基于所述增量日志訓練所述聚類模型時應用所述參數。

4.根據權利要求3所述的日志流聚類的裝置，其特征在于，所述聚類模型包括k-means聚類模型，所述參數包括K值。

5.根據權利要求1所述的日志流聚類的裝置，其特征在于，所述第二訓練單元還用于對所述增量日志進行文本處理及哈希特征向量化。

6.根據權利要求1所述的日志流聚類的裝置，其特征在于，所述第一訓練單元還用于定期基于歷史日志訓練聚類模型。

7.一種日志流聚類的方法，其特征在于，包括以下步驟：

基于歷史日志訓練聚類模型；

設置日志流的增量日志大小；

當所述日志流匯集至所述增量日志大小時，基于所述增量日志訓練所述聚類模型；

使用所述聚類模型對所述日志流進行分類。

8.根據權利要求7所述的日志流聚類的方法，其特征在于，所述基于歷史日志訓練聚類模型的步驟包括：

采集歷史日志；

對所述歷史日志進行文本處理；

對所述歷史日志進行哈希特征向量化；

使用所述歷史日志訓練所述聚類模型；

保存所述聚類模型。

9.根據權利要求7所述的日志流聚類的方法，其特征在于，所述基于歷史日志訓練聚類模型的步驟包括選擇所述聚類模型的參數；

所述步驟基于所述增量日志訓練所述聚類模型中應用所述參數。

10.根據權利要求9所述的日志流聚類的方法，其特征在于，所述聚類模型包括k-means聚類模型，所述參數包括K值。

11.根據權利要求7所述的日志流聚類的方法，其特征在于，所述使用所述增量日志訓練所述聚類模型之前還包括：對所述增量日志進行文本處理及哈希特征向量化。

12.根據權利要求7所述的日志流聚類的方法，其特征在于，定期執行所述基于歷史日志訓練聚類模型的步驟。

13.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現所述權利要求7-12中任一項所述方法的步驟。

14.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現所述權利要求7-12中任一項所述方法的步驟。