[發(fā)明專利]一種基于深度學(xué)習(xí)的分布式異常日志自動(dòng)識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010333973.2
• 申請(qǐng)日: 2020-04-24
• 公開（公告）號(hào): CN111611218A
• 公開（公告）日: 2020-09-01
• 發(fā)明（設(shè)計(jì)）人: 玄躋峰;許宜森;張玉虎
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06F16/18
• 分類號(hào): G06F16/18;G06F16/33;G06F40/216;G06F40/30;G06K9/62;G06N3/04
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 李丹

1.一種基于深度學(xué)習(xí)的分布式異常日志自動(dòng)識(shí)別方法，其特征在于，包括以下步驟：

1)獲取正常和異常日志集合并進(jìn)行預(yù)處理；截取每條日志的時(shí)間戳，將日志文件中的日志消息使用日志中的時(shí)間戳字符串進(jìn)行排序，之后過濾掉每條日志中時(shí)間戳字符串；

2)基于預(yù)處理的日志，使用word2vec模型訓(xùn)練得到日志中每個(gè)詞的詞向量；

3)使用得到的詞向量將日志文本中的句子轉(zhuǎn)變成句向量；

4)將句向量輸入到長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練得到二分類模型；

5)將新的日志文件進(jìn)行預(yù)處理，提取詞向量，并將日志文件中的句子轉(zhuǎn)化成句向量，將句向量輸入到經(jīng)過訓(xùn)練的長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)模型中，判斷輸入的日志是否為異常日志；所述新的日志文件為日志消息的發(fā)生時(shí)間在訓(xùn)練日志文件后的文件。

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的分布式異常日志自動(dòng)識(shí)別方法，其特征在于，所述步驟2)中使用word2vec模型訓(xùn)練得到日志中每個(gè)詞的詞向量，word2vec模型訓(xùn)練方式使用skip-gram或CBOW詞模型的計(jì)算方式，并且采用負(fù)采樣模型進(jìn)行訓(xùn)練，得到詞向量。

3.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的分布式異常日志自動(dòng)識(shí)別方法，其特征在于，所述步驟4)中長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過程如下：

4.1)每個(gè)神經(jīng)單元輸入向量X是一個(gè)句向量，將句向量按照時(shí)間先后順序依次輸入到長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)模型；

4.2)每個(gè)神經(jīng)單元輸入向量經(jīng)遺忘門、輸入門、輸出門處理之后將知識(shí)信息存儲(chǔ)到知識(shí)庫C中，并且將當(dāng)前神經(jīng)單元處理之后的知識(shí)輸出到h_t+1中，同時(shí)，將上一個(gè)神經(jīng)單元輸出的h_t+1的知識(shí)輸入到下一個(gè)神經(jīng)單元中；

其中，遺忘門的激活函數(shù)是sigmoid函數(shù)，將當(dāng)前向量遺忘之后的數(shù)據(jù)作為權(quán)重與知識(shí)庫的向量?jī)?nèi)積，實(shí)現(xiàn)舊知識(shí)的部分遺忘；

輸入門是將輸入句向量和前一個(gè)神經(jīng)單元的輸出向量取合集，具體如下：首先，將當(dāng)前向量的sigmoid函數(shù)與向量?jī)?nèi)積獲得記憶權(quán)重，第二，當(dāng)前向量的tanh取值獲得知識(shí)；第三，將記憶權(quán)重與知識(shí)的向量?jī)?nèi)積獲得最新的且經(jīng)過部分遺忘處理的知識(shí)；最后，將新的知識(shí)合并到知識(shí)庫；

輸出門是知識(shí)庫的向量取tanh值并與輸入門的權(quán)重內(nèi)積獲得當(dāng)前神經(jīng)單元輸出；

4.3)獲得每一個(gè)神經(jīng)單元的h_t+1向量，將所有的h_t+1向量輸入到平均值池層；

4.4)將平均值池的向量輸入回歸分類層，使用回歸分類方法將平均值向量二分類，得到一個(gè)長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的二分類模型。