[發明專利]一種日志數據處理方法、裝置、設備及介質

在審

• 申請號: 202110787310.2
• 申請日: 2021-07-13
• 公開（公告）號: CN113392084A
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 呂健
• 申請（專利權）人: 華青融天(北京)軟件股份有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F40/289;G06K9/62;G06Q10/06
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 安衛靜

1.一種日志數據處理方法，其特征在于，包括：

獲取當前日志數據；

基于所述當前日志數據的日志特征向量，采用日志數據評分模型，得到所述當前日志數據的罕見度評分；

其中，所述日志數據評分模型用于從各個日志數據分組中確定所述當前日志數據所屬的目標日志數據分組，并基于所述當前日志數據與所述目標日志數據分組中的各個歷史日志數據的相似度，確定所述當前日志數據的罕見度評分；所述各個日志數據分組是在所述日志數據評分模型的訓練過程中對應用系統中各個節點的歷史日志數據進行分類訓練獲得的。

2.如權利要求1所述的日志數據處理方法，其特征在于，獲取當前日志數據之后，還包括：

基于所述當前日志數據的數據類型，確定目標常量庫；

基于所述目標常量庫，對所述當前日志數據進行常量識別，得到所述當前日志數據包含的目標常量；

將所述當前日志數據包含的目標常量替換為所述目標常量對應的常量標簽。

3.如權利要求1所述的日志數據處理方法，其特征在于，獲取當前日志數據之后，還包括：

對所述當前日志數據進行分詞，得到所述當前日志數據的詞序列；

基于所述詞序列包含的各個分詞各自對應的表征數字，對所述詞序列進行向量化，得到所述當前日志數據的日志特征向量。

4.如權利要求1-3任一項所述的日志數據處理方法，其特征在于，所述日志數據評分模型至少包括日志分類模塊和罕見度評分模塊。

5.如權利要求4所述的日志數據處理方法，其特征在于，基于所述當前日志數據的日志特征向量，采用日志數據評分模型，得到所述當前日志數據的罕見度評分，包括：

通過所述日志分類模塊，確定所述當前日志數據與所述應用系統中各個節點的歷史日志數據之間的距離，并基于距離不大于第一閾值的歷史日志數據所屬的日志數據分組，確定所述當前日志數據所屬的目標數據分組；

通過所述日志評分模塊，確定所述當前日志數據與所述目標日志數據分組中的各個歷史日志數據的相似度，并基于相似度不小于第二閾值的歷史日志數據的數目，確定所述當前日志數據的罕見度評分。

6.如權利要求1-3任一項所述的日志數據處理方法，其特征在于，基于所述當前日志數據的日志特征向量，采用日志數據評分模型，得到所述當前日志數據的罕見度評分之后，還包括：

基于所述應用系統中各個節點的歷史日志數據的采集時間，確定存在失效歷史日志數據時，丟棄所述失效歷史日志數據；其中，所述失效歷史日志數據為采樣時間超出預設時間范圍的歷史日志數據。

7.如權利要求6所述的日志數據處理方法，其特征在于，還包括：

將所述當前日志數據加入所述應用系統中相應節點的歷史日志數據中。

8.一種日志數據處理裝置，其特征在于，包括：

日志獲取單元，用于獲取當前日志數據；

日志評分單元，用于基于所述當前日志數據的日志特征向量，采用日志數據評分模型，得到所述當前日志數據的罕見度評分；其中，所述日志數據評分模型用于從各個日志數據分組中確定所述當前日志數據所屬的目標日志數據分組，并基于所述當前日志數據與所述目標日志數據分組中的各個歷史日志數據的相似度，確定所述當前日志數據的罕見度評分；所述各個日志數據分組是在所述日志數據評分模型的訓練過程中，基于應用系統中各個節點的歷史日志數據各自對應的分類標識，對所述應用系統中各個節點的歷史日志數據進行分類訓練獲得的。

9.一種日志數據處理設備，其特征在于，包括：存儲器、處理器和存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現如權利要求1-7任一項所述的日志數據處理方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機指令，所述計算機指令被處理器執行時實現如權利要求1-7任一項所述的日志數據處理方法。