[發(fā)明專利]基于LSTM-DSSM的虛擬化平臺的日志分析方法及裝置

有效

• 申請?zhí)枺?/td>: 202010888954.6
• 申請日: 2020-08-28
• 公開（公告）號: CN112256517B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計）人: 孟令魯
• 申請（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F16/18;G06N3/04;G06N3/08
• 代理公司: 北京眾達(dá)德權(quán)知識產(chǎn)權(quán)代理有限公司 11570
• 代理人: 張曉冬

本發(fā)明提供了一種基于LSTM?DSSM的虛擬化平臺日志分析方法及裝置，屬于虛擬化產(chǎn)品的技術(shù)領(lǐng)域，解決了問題的定位需要多人流轉(zhuǎn)，才能找到問題發(fā)生的根本原因，耗時耗力的技術(shù)問題。包括獲取所有節(jié)點(diǎn)的日志信息；從所獲取的日志信息中篩選出異常錯誤日志信息；對異常錯誤日志信息進(jìn)行整理，生成日志語料；利用日志語料對LSTM?DSSM模型進(jìn)行訓(xùn)練；當(dāng)出現(xiàn)異常錯誤時，利用訓(xùn)練好的LSTM?DSSM模型進(jìn)行匹配，獲得異常錯誤對應(yīng)的日志信息。本發(fā)明用于將計算、管理節(jié)點(diǎn)的日志信息收集到一起，并通過調(diào)用elasticsearch的接口將日志信息集成到虛擬化平臺統(tǒng)一管理，實(shí)現(xiàn)了日志資源的實(shí)時同步和統(tǒng)一查詢，解決了日志查找費(fèi)時費(fèi)力的問題，有效提升需求開發(fā)以及系統(tǒng)測試階段的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及虛擬化產(chǎn)品技術(shù)領(lǐng)域，尤其是涉及一種基于LSTM-DSSM的虛擬化平臺日志分析方法及裝置。

背景技術(shù)

近年來隨著云計算技術(shù)的發(fā)展和大規(guī)模普及，虛擬化平臺作為云計算的基礎(chǔ)之一也得到廣泛的應(yīng)用。虛擬化平臺開發(fā)、測試以及交付給客戶使用過程中，難免出現(xiàn)各種各樣的問題。當(dāng)問題出現(xiàn)時，通常是通過查找日志的方法分析問題原因，從而解決問題。由于ICS平臺中包含管理節(jié)點(diǎn)和計算節(jié)點(diǎn)兩部分，而計算節(jié)點(diǎn)中又包含計算、存儲網(wǎng)絡(luò)的資源，日志的分析往往較為復(fù)雜。目前的問題日志分析的過程是：查看管理節(jié)點(diǎn)的日志，發(fā)現(xiàn)問題，則解決問題；若錯誤是由底層拋出，則查看計算節(jié)點(diǎn)的日志，首先查看agent的日志，如果并無異常出現(xiàn)，則查看IVA的報錯信息，若錯誤是由存儲拋出，則轉(zhuǎn)而查看storage的日志。由于管理節(jié)點(diǎn)和計算節(jié)點(diǎn)由不同的人分工協(xié)作完成，問題的定位往往需要多人流轉(zhuǎn)，才能找到問題發(fā)生的根本原因，極為耗時耗力。

基于上述問題，本發(fā)明提出了一種基于LSTM-DSSM的虛擬化平臺的日志分析方法，首先通過FileBeat將不同節(jié)點(diǎn)的日志收集到一起，集成到管理節(jié)點(diǎn)統(tǒng)一查看所有日志信息，當(dāng)任務(wù)失敗時，將此報錯信息和全部日志信息，基于LSTM-DSSM神經(jīng)網(wǎng)絡(luò)，訓(xùn)練出日志分析模型，使用此模型提取出報錯時管理節(jié)點(diǎn)或者計算節(jié)點(diǎn)的錯誤日志，方便研發(fā)人員快速有效的定位出問題跟因。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于LSTM-DSSM的虛擬化平臺日志分析方法及裝置，以解決了問題的定位需要多人流轉(zhuǎn)，才能找到問題發(fā)生的根本原因，耗時耗力的技術(shù)問題。

第一方面，本發(fā)明提供的一種日志分析方法，應(yīng)用于虛擬化平臺的管理節(jié)點(diǎn)，所述方法包括：

獲取所有節(jié)點(diǎn)的日志信息；

從所獲取的日志信息中篩選出異常錯誤日志信息；

對異常錯誤日志信息進(jìn)行整理，生成日志語料；

利用日志語料對LSTM-DSSM模型進(jìn)行訓(xùn)練，（LSTM：Long Short-Term Memory，長短期記憶網(wǎng)絡(luò)；DSSM：Deep Structured Semantic Models，深度結(jié)構(gòu)化語義模型）；

當(dāng)出現(xiàn)異常錯誤時，利用訓(xùn)練好的LSTM-DSSM模型進(jìn)行匹配，獲得異常錯誤對應(yīng)的日志信息。

進(jìn)一步的，所述日志信息包括管理節(jié)點(diǎn)日志、虛擬代理日志、存儲日志、代理日志、反饋日志中的一種或多種。

進(jìn)一步的，獲取所有節(jié)點(diǎn)的日志信息的步驟之后，還包括：

對于定時打印的狀態(tài)、容量以及監(jiān)控日志信息，根據(jù)時間段進(jìn)行過濾；

對于任務(wù)執(zhí)行進(jìn)度日志信息，如果當(dāng)前時間段沒有失敗任務(wù)及告警，任務(wù)完成后保留部分進(jìn)度日志信息，刪除其余日志信息；

當(dāng)前日志信息超過日志容量的80%時，對當(dāng)前日志信息進(jìn)行備份。

進(jìn)一步的，從所獲取的日志信息中篩選出異常錯誤日志信息步驟，包括：

從所獲取的日志信息中篩選出錯誤日志信息；