[發(fā)明專利]基于日志分析的云服務平臺事件異常檢測方法

有效

• 申請?zhí)枺?/td>: 202010881845.1
• 申請日: 2020-08-28
• 公開（公告）號: CN112052109B
• 公開（公告）日: 2022-03-04
• 發(fā)明（設計）人: 劉惠;杜軍朝;丁秀雄;張高潮
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06F11/07
• 分類號: G06F11/07;G06F40/186;G06F16/14;G06F16/17
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 田文英;王品華

1.一種基于日志分析的云服務平臺事件異常檢測方法，其特征在于，利用日志收集器收集云服務平臺各主機節(jié)點中所有事件異常日志，分類整理事件異常日志數據，檢測分析出事件異常日志的事件類別、事件異常所在環(huán)節(jié)、事件異常的類型；在分析事件異常類型步驟中，設計用戶采納的次數，提供了用戶反饋功能，可以持續(xù)提升異常事件類別匹配準確率；該方法的具體步驟包括如下：

(1)部署日志收集器和Web客戶端：

對云服務平臺中每個主機節(jié)點部署一個日志收集器服務端和消息中間件RabbitMQ，在云服務平臺中的管理主機節(jié)點部署日志收集器的Web客戶端；

(2)發(fā)送收集日志指令消息：

(2a)用戶在管理主機節(jié)點Web客戶端界面填寫日志收集器的配置參數如下：事件異常檢測與分析任務ID mission_id、節(jié)點IP列表node_list、服務類型列表service_list、起始時間戳start_time、終止時間戳end_time、關鍵詞列表keywords和日志數量numbers；

(2b)Web客戶端將配置參數封裝成日志指令消息，通過消息中間件RabbitMQ將指令消息發(fā)送給所有云平臺主機節(jié)點中的日志收集器服務端；

(3)篩選異常日志：

各主機節(jié)點的日志收集器服務端拆分所接收到日志指令消息，若每個主機節(jié)點收到的日志指令消息中節(jié)點參數node_list中包含該主機節(jié)點的IP地址，則該主機節(jié)點收集自己的本地日志，該主機節(jié)點根據所接收到日志指令消息中的服務類型列表service_list和事件異常關鍵詞列表keywords，在本地日志中收集事件異常日志形成異常日志文本；

(4)提取和匯總ID集：

日志收集器服務端根據關鍵詞列表keywords，從異常日志文本中提取標識異常日志事件異常情況的事件請求ID、該事件請求ID相關的子事件請求ID以及事件對象ID，根據關鍵詞列表keywords中不同的關鍵詞將提取到事件請求ID、子事件請求ID以及事件對象ID分別組成各自對應的ID集；日志收集器服務端將所有的ID集上傳至主機日志收集器Web客戶端，Web客戶端對接收到的ID集進行匯總；

(5)發(fā)送收集事件異常日志指令消息：

Web客戶端將匯總后的ID集和異常情況關鍵詞封裝成收集事件異常的日志指令消息，通過消息中間件RabbitMQ將消息發(fā)送給所有云平臺節(jié)點中的日志收集器服務端；

(6)整理異常日志：

日志收集器服務端所接收的根據ID集和異常情況關鍵詞查找事件異常日志，將異常日志整理成為對應的日志文本和對應的日志元數據；

(7)上傳日志文本內容和日志元數據：

日志收集器服務端將日志文本內容和日志元數據上傳至管理主機節(jié)點Web客戶端；

(8)清洗日志數據：

Web客戶端在本地找到日志文本內容，對文本內容進行數據清洗；

(9)存儲日志數據：

Web客戶端為日志生成隨機ID，將隨機ID和日志文本內容以鍵值對形式存入管理主機節(jié)點中的Redis數據庫；將日志元數據和隨機ID存入管理主機節(jié)點中的MySQL數據庫；

(10)提取日志數據：

Web客戶端從MySQL中取出日志元數據，根據隨機ID從Redis中取出日志數據對應的日志文本內容；Web客戶端將日志數據分為事件日志和異常日志，分別得到事件日志列表和異常日志列表；

(11)分析日志：

(11a)分析事件類別

Web客戶端遍歷事件日志列表，將事件日志中每兩兩特征日志之間的距離相加求平均，得到特征日志的平均距離值，將事件日志中每m條日志組合成一個樣本，m的取值等于平均距離值，輸入事件分類神經網絡模型進行事件分類，Web客戶端對所有樣本的分類結果進行對比，得出對該事件的事件類別分析結果；

(11b)分析事件異常環(huán)節(jié)：

將事件日志列表中的每類事件的起始狀態(tài)、分支狀態(tài)、終止狀態(tài)以及三種狀態(tài)之間的操作組成正常事件模板；

Web客戶端將事件日志列表中的每個事件與該事件對應的正常事件模板進行狀態(tài)以及操作對比，得到該事件的事件異常環(huán)節(jié)；

(11c)為事件日志列表中的每類異常事件制作異常事件模板；

(11d)分析事件異常類型：

Web客戶端將事件日志列表和異常日志列表中的所有日志合并，形成異常事件日志集，Web客戶端將異常事件日志集中每個異常事件和該事件對應的異常事件模板進行異常類型對比，得到異常類型匹配結果；

(12)整合輸出結果：

Web客戶端整合事件類別、事件異常環(huán)節(jié)和異常類型匹配結果三個分析結果并輸出。