[發(fā)明專利]一種基于nLSTM-self attention的日志序列異常檢測框架

在審

• 申請?zhí)枺?/td>: 202010037427.4
• 申請日: 2020-01-14
• 公開（公告）號: CN111209168A
• 公開（公告）日: 2020-05-29
• 發(fā)明（設計）人: 錢葉魁;楊瑞朋;雒朝峰;黃浩;李宇翀;宋彬杰;杜江
• 申請（專利權）人: 中國人民解放軍陸軍炮兵防空兵學院鄭州校區(qū)
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06N3/04;G06N3/08
• 代理公司: 中國兵器工業(yè)集團公司專利中心 11011
• 代理人: 張然

1.一種基于nLSTM-self attention的日志序列異常檢測框架，其特征在于，包括：訓練模型和異常檢測模型；訓練模型包括：假設一個日志文件中包含k個日志模板E＝{e₁,e₂Le_k}，訓練模型的輸入為日志模板的序列，一個長度為h的日志序列l(wèi)_t-h,…l_t-2,l_t-1中包含的日志模板l_i∈E,t-h≤i≤t-1，且一個序列中的日志模板數(shù)|l_t-h,...l_t-2,l_t-1|＝m≤h，把每個日志模板對應一個模板號，并生成日志模板詞典，然后把正常的日志模板序列生成輸入序列和目標數(shù)據(jù)喂入異常檢測模型進行訓練；檢測階段包括：數(shù)據(jù)輸入的方法同訓練階段，用訓練階段生成的模型進行異常檢測，模型輸出為一個概率向量P＝(p₁,p₂L p_k)，p_i表示目標日志模板為e_i的概率，如果實際目標數(shù)據(jù)在預測值內(nèi)，判定為該日志序列正常，否則判定為異常。

2.如權利要求1所述的基于nLSTM-self attention的日志序列異常檢測框架，其特征在于，訓練的損失函數(shù)是交叉熵，對損失函數(shù)的優(yōu)化采用是自適應梯度下降方法。

3.如權利要求1所述的基于nLSTM-self attention的日志序列異常檢測框架，其特征在于，一個日志文件包含多個事件類型，每個事件類型包含若干條日志，屬于同一個事件類型的日志有共同的模板，把一個日志序列作為發(fā)生的一系列事件，即原始日志序列對應的日志模板的序列。對原始日志序列對應的日志模板序列的異常進行檢測。

4.如權利要求1所述的基于nLSTM-self attention的日志序列異常檢測框架，其特征在于，異常檢測模型共包含：詞嵌入層、n層長短時記憶神經(jīng)網(wǎng)絡層以及自注意力層；詞嵌入層是把日志模板序列作為輸入，用于異常檢測框架的前端輸入，把序列中的每個日志模板序號映射成密集的詞嵌入；nLSTM層是把詞嵌入層得到的每個日志模板的分布式詞嵌入作為輸入；自注意力層首先計算一個序列中日志之間的依賴關系，自注意力層是以頂層所有長短時記憶神經(jīng)網(wǎng)絡單元的隱藏狀態(tài)作為其輸入，進行相似性計算后，然后進行歸一化處理，作為自注意力值概率權重：對n層長短時記憶神經(jīng)網(wǎng)絡層輸出進行加權求和就是自注意力值的結果。