[發明專利]日志數據處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202111323610.1
• 申請日: 2021-11-11
• 公開（公告）號: CN113986864A
• 公開（公告）日: 2022-01-28
• 發明（設計）人: 張陽;劉東陽
• 申請（專利權）人: 建信金融科技有限責任公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/178;G06F16/35;G06F40/186;G06F40/242;G06F40/295
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 吳夢圓

1.一種日志數據處理方法，包括：

獲取日志數據，其中，所述日志數據包括至少一條日志記錄；

對每條所述日志記錄進行向量化處理，以得到包含日志記錄向量的向量化日志集合；

對所述向量化日志集合中的所述日志記錄向量進行聚類處理，形成不同的日志簇，其中，同一所述日志簇中包含相似的所述日志記錄；

對同一所述日志簇中的所述日志記錄進行識別，得到命名實體；以及

根據所述命名實體生成所述日志簇的日志模板，其中，所述日志模板用于表征所述日志簇的日志結構特征。

2.根據權利要求1所述的方法，所述對每條所述日志記錄進行向量化處理，以得到包含日志記錄向量的向量化日志集合包括：

對每條所述日志記錄進行預處理；

對預處理后的所述日志記錄進行分詞和去停用詞處理，得到單詞語料庫；

將所述單詞語料庫輸入向量化模型中，將單詞進行向量化，輸出單詞向量庫；其中，所述單詞向量庫包括每個所述單詞對應的詞向量；

根據每條所述日志記錄對應的所述單詞，以及所述單詞對應的所述詞向量，確定每條所述日志記錄對應的日志記錄向量，以得到所述向量化日志集合。

3.根據權利要求1所述的方法，所述對所述向量化日志集合中的所述日志記錄向量進行聚類處理，形成不同的日志簇，包括：

對所述向量化日志集合中的所述日志記錄向量進行聚類處理，形成不同的向量簇；

根據同一所述向量簇中的所述日志記錄向量，確定每個所述日志記錄向量對應的所述日志記錄，以形成所述向量簇對應的所述日志簇。

4.根據權利要求3所述的方法，所述對所述向量化日志集合中的所述日志記錄向量進行聚類處理，形成不同的向量簇包括：

根據預設的鄰域參數，確定所述向量化日志集合中的每個所述日志記錄向量的∈-鄰域，以得到核心對象集合；

根據所述核心對象集合中的第一核心對象，確定所述向量化日志集合中所述第一核心對象密度可達的所述日志記錄向量，形成第一向量簇；

根據所述核心對象集合中的第二核心對象，確定所述更新后的所述向量化日志集合中所述第二核心對象密度可達的所述日志記錄向量，形成第二向量簇，以得到不同的所述向量簇，其中，更新后的所述向量化日志集合包括移除所述第一向量簇中的所述日志記錄向量。

5.根據權利要求1所述的方法，所述對同一所述日志簇中的所述日志記錄進行識別，得到命名實體包括：

利用歷史日志數據對初始模型進行訓練，得到用于識別所述日志記錄的命名實體識別模型；

將每個所述日志簇中的所述日志記錄輸入所述命名實體識別模型中，輸出命名實體。

6.根據權利要求5所述的方法，所述利用歷史日志數據對初始模型進行訓練，得到用于識別所述日志記錄的命名實體識別模型包括：

確定信息技術運維領域的運維實體，以形成日志實體詞典；

采用所述日志實體詞典對所述歷史日志數據標注，以形成標注集；

構建詞特征和詞語邊界特征，以形成特征集；

將所述標注集和所述特征集輸入目標特征模板，以輸出測試數據集；

將所述測試數據集輸入所述初始模型中，對所述初始模型進行訓練，得到所述命名實體識別模型。

7.根據權利要求1所述的方法，在所述對每條所述日志記錄進行向量化處理之前還包括：

對具有預設格式的字段采用規則定義或正則表達式的方式進行標記，以屏蔽所述具有預設格式的字段。

8.根據權利要求7所述的方法，其中，所述具有預設格式的字段包括時間、特殊字符、通用資源標志符、互聯網協議、大括號、中括號、圓括號、下劃線、斜線、反斜線。