[發明專利]實時日志控制系統及控制方法、云計算系統及服務器

有效

• 申請號: 201711333074.7
• 申請日: 2017-12-13
• 公開（公告）號: CN108038049B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 裴慶祺;趙偉偉;王磊
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06F11/34
• 分類號: G06F11/34
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 黃偉洪

1.一種實時日志控制方法，其特征在于，所述實時日志控制方法通過對于日志記錄事件的分析，將錯誤信息進行分類、過濾、聚合操作，提取成為序列，訓練故障模型并計算序列屬于故障序列的概率和非故障序列的概率，使用貝葉斯分類理論得出結果，做出預測；

所述實時日志控制方法具體包括：

步驟一，收集分布式系統中各個節點上的日志文件數據，通過增量檢查將新產生日志數據實時地發送給收集端；

步驟二，刪除在某一時間段內相同位置報告的相同類型事件，刪除冗余事件，通過設置時間閾值表示用于執行事件過濾的時間窗口；通過移除某一時間段內由多個不同位置報告的相似事件，刪除日志中的冗余事件，將數據流保存到時序數據庫中；使用相似性Sim(D₁，D₂)來判斷：

其中D₁，D₂表示兩個序列，W_1K，W_2K表示D1、D2序列的向量項，相似度即兩個向量夾角的余弦值來表示，Sim(D₁，D₂)越大，表示兩者相似度越高；

步驟三，在每條數據存儲到數據表時，利用SQL語句按照時間戳、進程號、記錄級別、進程模塊、分隔符、記錄信息分割記錄；

步驟四，利用SQL語句將處理過的標準格式化數據進行持久化存儲；

步驟五，提取日志故障序列；

步驟六，聚類標準根據序列的似然值作為度量值來計算，采用層次聚類算法實現故障相關事件分組，其中：

S＝[s_i]表示一個長為L狀態序列，為在狀態s_i(k)在初始狀態概率向量π＝[π_i]下的觀測值的概率矩陣；

步驟七，采用隱半馬爾可夫模型HSMM和貝葉斯網絡Bayes Net相結合，對實時日志數據做出故障預測；

標準HSMM可由狀態之間轉化概率矩陣G(t)＝[g_ij(t)]、狀態s_i(k)在初始狀態概率向量π＝[π_i]下的觀測值的概率矩陣B＝b_i(k)，定義為λ＝(π，G(t)，B)；將狀態持續時間概率分布連續化；將狀態持續時間的分布作為連續分布來處理，并且假設其服從威布爾分布來描述狀態持續時間概率分布，狀態的狀態持續時間概率分布f_i(l)為：

f_i(l)＝αβ(αl)^β-1e^-(αl)β；

式中：α、β分別為威布爾分布的尺度參數和形狀參數；

將狀態監測值概率分布連續化；同樣設定其服從威布爾分布，狀態檢測值概率分布函數ξ_i(θ)為：

其中α_i、β_i為各狀態階段的威布爾分布的參數；改進的HSMM模型可描述為

步驟八，故障和非故障模型進行訓練，參數和目標是評估，給定一個觀察序列O＝[o₁，o₂，...，o_l]是否為故障相關序列；計算分類模型的序列似然值，隨后被分類為無故障或故障貝葉斯決策理論；

步驟九，故障結果預判：

將一個序列標記成為故障相關事件序列，系統發出故障預測；其中表示錯誤的將故障相關序列判斷成為故障無關序列的代價，P(F)表示故障的概率，表示對序列似然值取對數；

所述提取日志故障序列具體包括：

第一步，提取錯誤事件序列：利用SQL語句，根據日志等級將ERROR級別的記錄過提取出來，保留時間戳和文本消息信息；

第二步，合并相似錯誤事件：對事件序列利用Levenshtein編輯距離算法，將相似度較大的錯誤事件合并；最小編輯距離包含子最小編輯距離；

其中d_{[i-1，j]}+1代表目標日志插入一個字母，d_{[i，j-j]}+1代表匹配日志刪除一個字母；然后x_i＝y_j時，不需要修改，所以和上一步d_{[i-1，j-1]}+1代價相同，否則+1，d_[i，j]表示以上三者中最小的一項；

第三步，錯誤事件分類：經過上一步將錯誤事件合并后，根據錯誤事件的文本信息中的關鍵字將相似的錯誤事件進行歸類，并賦值ID，保存在數據庫中；

第四步，提取序列：按照時間順序，提取在故障發生前一段時間內的事件，設定為故障相關事件序列，為故障前置時間，當前故障事件為相關故障事件；非故障相關事件序列則是在系統未發生故障的時間區間內的事件序列。