[發明專利]一種日志關聯處理方法、裝置及設備

有效

• 申請號: 201910079429.7
• 申請日: 2019-01-28
• 公開（公告）號: CN111488319B
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 馬奇鳳
• 申請（專利權）人: 中國移動通信有限公司研究院;中國移動通信集團有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/172
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 許靜;安利霞

1.一種日志關聯處理方法，其特征在于，包括：

獲取日志數據之間的相似度；

將相似度大于關聯閾值的日志數據劃分為同一關聯分類；

確定歸屬于同一關聯分類的各個日志數據的層級；

根據日志數據歸屬的關聯分類以及層級，生成所述日志數據分層級的關聯拓撲信息；

其中，所述獲取日志數據之間的相似度，包括：

提取所述日志數據的發生對象和發生具體內容；

將同一預設時間內日志數據的發生對象和發生具體內容輸入到關聯模型中，得到所述日志數據的相似度；

所述關聯模型為LogSim (S1、S2) =α* logObject +β* logContent，

S1、S2分別指在同一預設時間內的兩個不同日志數據，LogSim (S1、S2)為S1和S2的相似度，logObject為發生對象，logContent為發生具體內容，α為對象系數，β為具體內容系數。

2.根據權利要求1所述的方法，其特征在于，獲取日志數據之間的相似度，包括：

對采集到的日志數據進行預處理，得到預處理后的日志數據；

計算所述預處理后的日志數據之間的相似度。

3.根據權利要求2所述的方法，其特征在于，對采集到的日志數據進行預處理，得到預處理后的日志數據，包括：

每隔預設時間，提取日志數據源中的半結構化日志數據；

將半結構化日志數據轉化為結構化日志數據，并去除滿足預設條件的日志數據，得到預處理后的日志數據。

4.根據權利要求2所述的方法，其特征在于，在計算所述預處理后的日志數據之間的相似度之前，還包括：

構建關聯模型；

根據訓練數據對所述關聯模型進行訓練，所述訓練數據為日志數據源中的多組日志數據。

5.根據權利要求4所述的方法，其特征在于，根據訓練數據對所述關聯模型進行訓練，包括：

根據日志評價指標以及各個日志評價指標權重，計算所述訓練數據之間的參考相似度；

將所述訓練數據的發生對象和發生具體內容輸入到當前關聯模型中，得到訓練相似度；

根據公式d=，計算所述參考相似度與對應的訓練相似度之間的歐式距離d，其中X₁為參考相似度，X₂為X₁對應的訓練相似度；

若d滿足預設范圍，則訓練結束；

若d不滿足預設范圍，則調整對象系數和具體內容系數，繼續進行訓練。

6.根據權利要求1所述的方法，其特征在于，確定歸屬于同一關聯分類的各個日志數據的層級，包括：

通過日志數據對應的日志等級、日志發生頻率和日志關鍵字，按照預設層級規則，得到當前日志數據的層級。

7.一種日志關聯處理裝置，其特征在于，包括：

獲取模塊，用于獲取日志數據之間的相似度；

分類模塊，用于將相似度大于關聯閾值的日志數據劃分為同一關聯分類；

第一處理模塊，用于確定歸屬于同一關聯分類的各個日志數據的層級；

第二處理模塊，用于根據日志數據歸屬的關聯分類以及層級，生成所述日志數據分層級的關聯拓撲信息；

所述獲取模塊包括：

第二提取單元，用于提取所述日志數據的發生對象和發生具體內容；

計算單元，用于將同一預設時間內日志數據的發生對象和發生具體內容輸入到關聯模型中，得到所述日志數據的相似度；

所述關聯模型為LogSim (S1、S2) =α* logObject +β* logContent，

S1、S2分別指在同一預設時間內的兩個不同日志數據，LogSim (S1、S2)為S1和S2的相似度，logObject為發生對象，logContent為發生具體內容，α為對象系數，β為具體內容系數。