[發(fā)明專利]基于LSTM-DSSM的虛擬化平臺(tái)的日志分析方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010888954.6
• 申請(qǐng)日: 2020-08-28
• 公開（公告）號(hào): CN112256517B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計(jì)）人: 孟令魯
• 申請(qǐng)（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號(hào): G06F11/30
• 分類號(hào): G06F11/30;G06F16/18;G06N3/04;G06N3/08
• 代理公司: 北京眾達(dá)德權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11570
• 代理人: 張曉冬

1.一種日志分析方法，其特征在于，應(yīng)用于虛擬化平臺(tái)的管理節(jié)點(diǎn)，將歷史日志信息作為語(yǔ)料，預(yù)處理之后，構(gòu)建出詞向量模型，在文本詞向量特征的基礎(chǔ)上，增加日志信息的特征處理，作為詞向量輸入到LSTM-DSSM神經(jīng)網(wǎng)絡(luò)中，訓(xùn)練出日志匹配模型，對(duì)于新出現(xiàn)異常日志，將錯(cuò)誤描述和相關(guān)的日志信息，輸入訓(xùn)練出的日志分析模型，快速找到相匹配的日志信息，所述方法包括：

獲取所有節(jié)點(diǎn)的日志信息；

從所獲取的日志信息中篩選出異常錯(cuò)誤日志信息；

對(duì)異常錯(cuò)誤日志信息進(jìn)行整理，生成日志語(yǔ)料；

利用日志語(yǔ)料對(duì)LSTM-DSSM模型進(jìn)行訓(xùn)練；

當(dāng)出現(xiàn)異常錯(cuò)誤時(shí)，利用訓(xùn)練好的LSTM-DSSM模型進(jìn)行匹配，獲得異常錯(cuò)誤對(duì)應(yīng)的日志信息。

2.根據(jù)權(quán)利要求1所述的日志分析方法，其特征在于，所述日志信息包括管理節(jié)點(diǎn)日志、虛擬代理日志、存儲(chǔ)日志、代理日志、反饋日志中的一種或多種。

3.根據(jù)權(quán)利要求1所述的日志分析方法，其特征在于，獲取所有節(jié)點(diǎn)的日志信息的步驟之后，還包括：

對(duì)于定時(shí)打印的狀態(tài)、容量以及監(jiān)控日志信息，根據(jù)時(shí)間段進(jìn)行過(guò)濾；

對(duì)于任務(wù)執(zhí)行進(jìn)度日志信息，如果當(dāng)前時(shí)間段沒有失敗任務(wù)及告警，任務(wù)完成后保留部分進(jìn)度日志信息，刪除其余日志信息；

當(dāng)前日志信息超過(guò)日志容量的80%時(shí)，對(duì)當(dāng)前日志信息進(jìn)行備份。

4.根據(jù)權(quán)利要求1所述的日志分析方法，其特征在于，從所獲取的日志信息中篩選出異常錯(cuò)誤日志信息步驟，包括：

從所獲取的日志信息中篩選出錯(cuò)誤日志信息；

從錯(cuò)誤日志信息中篩選出不是由于平臺(tái)限制無(wú)法實(shí)現(xiàn)而出現(xiàn)的錯(cuò)誤日志信息，作為異常錯(cuò)誤日志信息。

5.根據(jù)權(quán)利要求1所述的日志分析方法，其特征在于，對(duì)異常錯(cuò)誤日志信息進(jìn)行整理，生成日志語(yǔ)料的步驟，包括：

分析歷史特征信息，提取異常錯(cuò)誤日志信息的日志特征；

基于所述日志特征，將所有異常錯(cuò)誤日志信息與其對(duì)應(yīng)的錯(cuò)誤碼整理形成報(bào)錯(cuò)信息庫(kù)；

整理異常錯(cuò)誤日志信息的任務(wù)類型和對(duì)應(yīng)的代理接口調(diào)用列表，生成日志語(yǔ)料。

6.根據(jù)權(quán)利要求5所述的日志分析方法，其特征在于，日志語(yǔ)料的格式為[任務(wù)類型][錯(cuò)誤描述][平臺(tái)錯(cuò)誤碼][任務(wù)ID][任務(wù)時(shí)間][任務(wù)調(diào)用接口列表][具體錯(cuò)誤日志]。

7.根據(jù)權(quán)利要求1所述的日志分析方法，其特征在于，利用日志語(yǔ)料對(duì)LSTM-DSSM模型進(jìn)行訓(xùn)練的步驟，包括：

使用word2Vec詞向量模型，得到每個(gè)異常錯(cuò)誤日志信息和相應(yīng)特征對(duì)應(yīng)的詞向量數(shù)據(jù)，訓(xùn)練得到未經(jīng)處理的錯(cuò)誤日志的詞向量數(shù)據(jù)，將這些詞向量數(shù)據(jù)作為輸入；

選取特征單元，壓縮特征單元，將word token拆解成letter n-gram降維表示；

利用Query的LSTM單元輸出的隱層向量作為context，分別與doc每個(gè)時(shí)間步驟的隱層向量作點(diǎn)積計(jì)算，計(jì)算結(jié)果作為權(quán)重，對(duì)每個(gè)時(shí)間步驟的向量進(jìn)行加權(quán)求和，使用softmax交叉熵函數(shù)計(jì)算實(shí)際的輸出與期望的輸出的損失函數(shù)。

8.一種日志分析裝置，其特征在于，應(yīng)用于虛擬化平臺(tái)的管理節(jié)點(diǎn)，將歷史日志信息作為語(yǔ)料，預(yù)處理之后，構(gòu)建出詞向量模型，在文本詞向量特征的基礎(chǔ)上，增加日志信息的特征處理，作為詞向量輸入到LSTM-DSSM神經(jīng)網(wǎng)絡(luò)中，訓(xùn)練出日志匹配模型，對(duì)于新出現(xiàn)異常日志，將錯(cuò)誤描述和相關(guān)的日志信息，輸入訓(xùn)練出的日志分析模型，快速找到相匹配的日志信息，所述裝置包括：

獲取模塊，用于獲取所有節(jié)點(diǎn)的日志信息；

篩選模塊，用于從所獲取的日志信息中篩選出異常錯(cuò)誤日志信息；

語(yǔ)料模塊，用于對(duì)異常錯(cuò)誤日志信息進(jìn)行整理，生成日志語(yǔ)料；

訓(xùn)練模塊，用于利用日志語(yǔ)料對(duì)LSTM-DSSM模型進(jìn)行訓(xùn)練；

匹配模塊，用于當(dāng)出現(xiàn)異常錯(cuò)誤時(shí)，利用訓(xùn)練好的LSTM-DSSM模型進(jìn)行匹配，獲得異常錯(cuò)誤對(duì)應(yīng)的日志信息。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有機(jī)器可運(yùn)行指令，所述計(jì)算機(jī)可運(yùn)行指令在被處理器調(diào)用和運(yùn)行時(shí)，所述計(jì)算機(jī)可運(yùn)行指令促使所述處理器運(yùn)行所述權(quán)利要求1至7任一項(xiàng)所述的方法。