[發明專利]一種基于組件感知的日志異常檢測方法

有效

• 申請號: 202010795863.8
• 申請日: 2020-08-10
• 公開（公告）號: CN111949480B
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 鄢萌;尹昆;徐玲;付春雷;張小洪;徐洲;雷晏
• 申請（專利權）人: 重慶大學
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F16/35;G06N3/0442;G06N3/045;G06N3/084
• 代理公司: 重慶晟軒知識產權代理事務所(普通合伙) 50238
• 代理人: 王海鳳

1.一種基于組件感知的日志異常檢測方法，其特征在于，包括如下步驟：

S100:獲取目標軟件的日志數據，將日志數據轉換為日志模板序列和組件序列；

S200:模型訓練，將兩個LSTM模型組合使用，將S100得到的日志模板序列和組件序列分別輸入到兩個LSTM模型中進行訓練，兩個LSTM模型訓練使用相同的損失函數，采用梯度下降優化算法更行參數值，訓練完成得到由日志檢測模型和組件檢測模型構成的組合模型；

S300:異常檢測，將t-h到t-1時刻的所有日志數據的參考日志模板序列和參考組件序列輸入組合模型得到可能日志模板集L_g和可能組件模板集C_g；

當t時刻日志消息m_t的待測日志模板序列在可能日志模板集L_g中，且t時刻日志消息m_t的待測組件序列在可能組件模板集C_g中，則認為日志消息m_t為正常日志，否則產生系統告警；

所述日志消息m_t的異常檢測過程為：

S310:將t時刻的日志消息m_t通過S100的方法轉化為對應的待測日志模板序列和待測組件序列；將t-h到t-1時刻的所有日志數據通過S100的方法轉化為對應的參考日志模板序列和參考組件序列；

S320:將參考日志模板序列輸入日志檢測模型得到日志概率分布，選取前g個概率大日志模板序列組成可能日志模板集L_g；

將參考組件序列輸入組件檢測模型得到組件概率分布，選取前g個概率大組件模板序列組成可能組件模板集C_g；

S330:檢測待測組件序列是否在可能組件模板集C_g中，如果待測組件序列在可能組件模板集C_g中，則執行下一步，否則執行S350；

S340:檢測待測日志模板序列是否在可能日志模板集L_g中，如果檢測待測日志模板序列在可能日志模板集L_g中，則退出程序，否則執行S350；

S350:日志消息m_t為異常，產生系統告。

2.如權利要求1所述的，基于組件感知的日志異常檢測方法，其特征在于，所述S100中的將非結構化日志數據轉換為日志模板序列和組件序列的方法為：

使用固定深度樹將獲取的待測軟件的日志數據中，構建日志模板序列；

使用正則表達式來匹配每一條日志數據中的組件，然后為不同的組件進行編號得到組件序列。

3.如權利要求1所述的，基于組件感知的日志異常檢測方法，其特征在于，所述S200的訓練過程為：

設S100中得到n個日志模板序列L＝{l₁,l₂,...,l_n}和m個組件序列O＝{o₁,o₂,...,o_n}，n≥m；

設t時刻的日志消息為m_t；

給定一個日志消息序列M＝{m₁,m_2,...,m_t}，通過S100的方法提取日志模板序列和組件序列，將兩者合并得到一個新的序列Me＝{(c₁,k₁),(c₂,k₂),...,(c_t,k_t)}，其中ct代表t時刻日志消息mt中的組件，kt代表t時刻日志消息mt的日志模板；

組合模型的輸入是包含前h條日志模板的集合W，W＝{(c_t-h,k_t-h),(c_t-h+1,k_t-h+1),...,(c_t-1,k_t-1)}，每一對(c_t,k_t)都是由m_t中提取得到；

所以訓練過程中的損失函數為交叉熵損失函數，兩個LSTM模型都使用該損失函數如公式(1)：

其中，M為訓練樣本總數，k_j是當前日志模板或者組件的真實標簽，p_j是模型輸出的當前日志模板或者系統組件的概率值。