[發(fā)明專利]日志文件聚類方法、裝置、電子設備和可讀存儲介質

在審

• 申請?zhí)枺?/td>: 202011643826.1
• 申請日: 2020-12-30
• 公開（公告）號: CN112632000A
• 公開（公告）日: 2021-04-09
• 發(fā)明（設計）人: 趙旭;王卓;周曉陽
• 申請（專利權）人: 北京天融信網(wǎng)絡安全技術有限公司;北京天融信科技有限公司;北京天融信軟件有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/17;G06F16/18
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 蔣姍

本申請?zhí)峁┝艘环N日志文件聚類方法、裝置、電子設備和可讀存儲介質，其中，該方法包括：對待聚類日志集進行計算，以得到所述待聚類日志中的每一條日志對應的日志向量，得到向量集；對所述待聚類日志集進行解析，以確定出勿連約束集合；基于所述勿連約束集合，對所述向量集進行半監(jiān)督聚類，以得到所述向量集的分類結果，能夠提高日志的聚類準確性。

技術領域

本申請涉及日志數(shù)據(jù)處理領域，具體而言，涉及一種日志文件聚類方法、裝置、電子設備和可讀存儲介質。

背景技術

目前關于日志的聚類方式一般是采用無監(jiān)督的日志解析方法，通過提取日志中的關鍵詞(Log Keywords Extraction)和日志簽名(LogSignature)等信息為日志典型代表，然后，采用聚類技術將日志進行分類，以組成不同的日志簇。但是由于未對日志進行監(jiān)督，可能會導致日志的分類存在遺漏。

發(fā)明內容

本申請的目的在于提供一種日志文件聚類方法、裝置、電子設備和可讀存儲介質，能夠提高日志的聚類效率和聚類準確性。

第一方面，本發(fā)明提供一種日志文件聚類方法，包括：

對待聚類日志集進行計算，以得到所述待聚類日志中的每一條日志對應的日志向量，得到向量集；

對所述待聚類日志集進行解析，以確定出勿連約束集合；

基于所述勿連約束集合，對所述向量集進行半監(jiān)督聚類，以得到所述向量集的分類結果。

在可選的實施方式中，所述方法還包括：

將所述分類結果中的目標類中的日志簇分成多段日志集，所述目標類為所述分類結果中的任意一類；

從所述多段日志集中篩選出目標日志集，所述目標日志集為所述目標類的日志樣本集。

在可選的實施方式中，所述從所述多段日志集中篩選出目標日志集，包括：

計算所述多段日志集中的每段日志集的信息熵；

根據(jù)每段日志集的所述信息熵確定出目標日志集。

在上述實施方式中，還可以多分類后的日志進行篩選，從而可以形成樣本更少的日志分類，以選出更能夠代表對應分類的日志。以為人工觀察日志提供樣本，且能夠減少人工所需觀察的日志樣本的數(shù)量。

在可選的實施方式中，所述基于所述勿連約束集合，對所述向量集進行半監(jiān)督聚類，以得到所述向量集的分類結果，包括：

從所述向量集中隨機抽取第一數(shù)量的初始中心向量；

計算目標向量與各個所述初始中心向量的距離，所述目標向量為所述向量集中的任意一個向量；

根據(jù)所述距離與所述勿連約束集合確定出所述目標向量所在的分類，以得到所述向量集的分類結果，所述分類結果包含第一數(shù)量項分類。

在可選的實施方式中，所述基于所述勿連約束集合，對所述向量集進行半監(jiān)督聚類，以得到所述向量集的分類結果，包括：

基于所述勿連約束集合，對所述向量集進行半監(jiān)督聚類，以得到所述向量集的多項初始分類結果，每一項初始分類結果對應的分類項數(shù)不同；

使用聚類評價算法計算每一項初始分類結果對應的聚類指數(shù)；

根據(jù)所述聚類指數(shù)，從所述多項初始分類結果中確定出分類結果。

在可選的實施方式中，所述使用聚類評價算法計算每一項初始分類結果對應的聚類指數(shù)，包括：

使用DBI聚類評價算法計算每一項初始分類結果對應的聚類指數(shù)。