[發明專利]基于日志分析的云服務平臺事件異常檢測方法

有效

• 申請號: 202010881845.1
• 申請日: 2020-08-28
• 公開（公告）號: CN112052109B
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 劉惠;杜軍朝;丁秀雄;張高潮
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06F11/07
• 分類號: G06F11/07;G06F40/186;G06F16/14;G06F16/17
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

一種日志分析的云服務平臺事件異常檢測方法，解決現有技術中缺乏對云平臺中運行的業務事件異常狀況檢測的問題。本發明的步驟如下：(1)部署日志收集器和Web客戶端；(2)發送收集日志指令消息；(3)篩選異常日志；(4)提取和匯總ID集；(5)發送收集事件異常日志指令消息；(6)整理異常日志；(7)上傳日志文本內容和日志元數據；(8)清洗日志數據；(9)存儲日志數據；(10)提取日志數據；(11)分析日志(12)整理輸出結果。本發明能夠查找篩選云服務平臺主機節點中事件異常日志，對系統中運行的業務事件的異常狀況進行檢測，得到事件異常檢測結果。

技術領域

本發明屬于計算機技術領域，更進一步涉及云服務計算機技術領域中的一種基于日志分析的云服務平臺事件異常檢測方法。本發明可用于檢測云服務平臺的事件異常類別。

背景技術

云服務平臺是一種基于互聯網的計算服務平臺，通常以集群的形式運行，集群將服務器主機節點連接集成起來，由不同的服務管理龐大的計算、網絡、內存、磁盤資源池，各個節點和服務緊密連接，協同工作，為用戶提供動態可伸縮的虛擬化資源。云服務平臺的異常檢測的目的是識別出云服務平臺中不同的服務、節點中的事件異常情況。

武漢理工大學在其申請的專利文獻“一種云服務平臺異常檢測方法與系統”(申請號：2019108201181，申請公布號：CN110825545A)中提出了一種基于最大平均偏差算法和描述算法的云平臺異常的檢測方法。該方法首先采集云平臺主機正常工作時的系統度量數據，并根據系統度量數據計算出系統運行環境向量；然后利用正常的系統運行環境向量，結合最大平均偏差算法MMD和支持向量數據描述算法SVDD訓練以獲取異常檢測模型；最后接收到新的主機系統度量數據時，使用主機所在集群的超球面對主機系統度量數據進行分類，從而檢測主機異常。該方法雖然通過系統運行環境向量，結合最大平均偏差算法MMD和支持向量數據描述算法SVDD實現了異常行為的檢測。但是，該方法仍然存在的不足之處是，只能對系統異常進行診斷，而無法對系統中運行的業務事件的異常狀況進行檢測。

武永亮在其發表的論文“基于TF-IDF和余弦相似度的文本分類方法”(中文信息學報Journal of Chinese Information Processing第31卷第5期2017年9月)中提出了一種對文本分類的算法。該算法可用于云服務平臺事件異常檢測中的日志文本進行分類，其步驟包括三個：基于TF-IDF方法提取云服務平臺日志文本類別關鍵詞，通過類別關鍵詞和待分類文本關鍵詞的相似性對日志進行文本分類，在日志分類過程中更新類別關鍵詞改進分類器性能。雖然該算法可以根據分類自動更新文本關鍵詞，保證分類器準確率，但是，該算法仍然存在不足之處是，無法提供用戶反饋功能，算法匹配還不能自動更新模型，不能持續優化日志文本匹配準確率。

發明內容

本發明的目的在于針對上述現有技術的不足，提出一種基于基于日志分析的云服務平臺事件異常檢測方法，用于解決現有技術只能對系統異常進行診斷，而無法對系統中運行的業務事件的異常狀況進行檢測的問題。

實現本發明目的思路是，利用事件請求ID和異常情況關鍵詞收集事件異常相關的所有日志，對日志事件進行分類，根據日志分析出異常事件類別，建立事件流程匹配機制，根據日志分析出事件異常所在環節，建立異常模板，通過異常日志和異常模板進行文本匹配，分析出事件異常的類型，通過分析事件類別、事件異常環節、事件異常類型，給出全面的事件異常情況分析；

云服務事件異常檢測與分析的具體過程包括有如下步驟：

(1)部署日志收集器和Web客戶端：

對云服務平臺中每個主機節點部署一個日志收集器服務端和消息中間件RabbitMQ，在云服務平臺中的管理主機節點部署日志收集器的Web客戶端；

(2)發送收集日志指令消息：