[發明專利]實時日志控制系統及控制方法、云計算系統及服務器

有效

• 申請號: 201711333074.7
• 申請日: 2017-12-13
• 公開（公告）號: CN108038049B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 裴慶祺;趙偉偉;王磊
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06F11/34
• 分類號: G06F11/34
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 黃偉洪

本發明屬于云計算技術領域，公開了一種實時日志控制系統及控制方法、云計算系統及服務器，通過對于日志記錄事件的分析，將錯誤信息進行分類、過濾、聚合操作，提取成為序列，訓練故障模型并計算序列屬于故障序列的概率和非故障序列的概率，使用貝葉斯分類理論得出結果，做出預測。本發明通過對于日志記錄事件的分析，將所有的錯誤信息進行分類、過濾、聚合等操作，提取成為序列，訓練故障模型并計算該序列屬于故障序列的概率和非故障序列的概率，使用貝葉斯分類理論得出結果，做出預測，比起大量的規則匹配來說提高了判斷速度；故障預測研究對于減輕網絡管理和維護的負擔，減少網絡故障造成的損失具有重要意義。

技術領域

本發明屬于云計算技術領域，尤其涉及一種實時日志控制系統及控制方法、云計算系統及服務器。

背景技術

隨著計算機技術的高速發展，云計算成為最重要的計算機領域之一，云計算服務深入到每個人的生活和工作當中。能夠通過對實時數據的計算，基于機器學習算法對于云計算系統中可能發生的故障進行提前預測，預留出故障響應時間，同時還支持彈性地平擴展集群的處理能力，以適應不斷增長的數據量和用戶需求。對海量日志數據進行實時計算處理，從數據中挖掘分析出系統的狀態、故障預測方面具有良好的發展方向和應用前景。

綜上所述，現有技術存在的問題是：原有的故障預測模型中，一方面，狀態持續時間分布大多默認為指數型分布，而實際中故障的狀態概率變化并不滿足指數型；另一方面，在故障狀態檢測值概率做了離散化處理，這對大數據環境進行實驗分析會有意料之外的影響，故本內容采用狀態持續時間分布和狀態觀察值概率分布鈞進行連續化分布即假定威布爾分布，采用改進的預測模型可提高診斷和預測的概率值。

發明內容

針對現有技術存在的問題，本發明提供了一種實時日志控制系統及控制方法、云計算系統及服務器。

本發明是這樣實現的，一種實時日志控制方法，所述實時日志控制方法通過對于日志記錄事件的分析，將錯誤信息進行分類、過濾、聚合操作，提取成為序列，訓練故障模型并計算序列屬于故障序列的概率和非故障序列的概率，使用貝葉斯分類理論得出結果，做出預測。

進一步，所述實時日志控制方法具體包括：

步驟一，收集分布式系統中各個節點上的日志文件數據，通過增量檢查將新產生日志數據實時地發送給收集端；

步驟二，刪除在某一時間段內相同位置報告的相同類型事件，刪除冗余事件，通過設置時間閾值表示用于執行事件過濾的時間窗口；通過移除某一時間段內由多個不同位置報告的相似事件，刪除日志中的冗余事件，將數據流保存到時序數據庫中；使用相似性Sim(D₁，D₂)來判斷：

其中D₁，D₂表示兩個序列，W_1K，W_2K表示D1、D2序列的向量項，相似度即兩個向量夾角的余弦值來表示，Sim(D₁，D₂)越大，表示兩者相似度越高；

步驟三，在每條數據存儲到數據表時，利用SQL語句按照時間戳、進程號、記錄級別、進程模塊、分隔符、記錄信息分割記錄；

步驟四，利用SQL語句將處理過的標準格式化數據進行持久化存儲；

步驟五，提取日志故障序列；

步驟六，聚類標準根據序列的似然值作為度量值來計算，采用層次聚類算法實現故障相關事件分組，其中：

S＝[s_i]表示一個長為L狀態序列，為在狀態s_i(k)在初始狀態概率向量π＝[π_i]下的觀測值的概率矩陣；