[發明專利]一種海量日志數據智能運維系統

有效

• 申請號: 201710878814.9
• 申請日: 2017-09-26
• 公開（公告）號: CN107577588B
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 付君輝;李宏偉
• 申請（專利權）人: 北京中安智達科技有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F16/22;G06F16/2455;G06F16/248;G06N20/00
• 代理公司: 北京高文律師事務所 11359
• 代理人: 徐江華

1.一種海量日志數據智能運維系統，其特征在于：包括

日志采集模塊：收集目標機上的應用日志、操作系統日志和網絡設備日志并將日志數據結構化后輸出給日志處理模塊；

日志處理模塊：分為實時處理和離線處理，實時處理包括實時統計、實時告警、實時分析，離線處理包括數據批量存儲、離線分析、機器學習；之后將處理后的信息發送給日志存儲模塊；

在日志處理模塊中，所述實時處理包括以下功能，1)實時統計：統計每種數據類型的數據量；2)實時告警：按照用戶下發的告警規則及時發現問題，并以頁面消息、短信、郵件的形式通知用戶；3)實時分析：根據機器學習提供的模型分析日志數據，實現運行狀態監測、個性化推薦；

所述離線處理包括以下功能，1)數據批量存儲：原始日志存入HBase，Elasticsearch創建日志索引；2)離線分析：數據關聯分析、數據血緣分析；3)機器學習：通過監督學習和非監督學習構造分析模型，為實時分析功能提供支持；

日志處理模塊的離線處理中，離線分析包括對數據關聯分析、數據血緣分析；

日志處理模塊的離線處理中，機器學習尋找相關日志的具體步驟包括：

(1)預處理：

1)切分日志數據；

2)扔掉出現過于頻繁，而又對檢測相關日志沒有幫助的詞語；

3)扔掉出現頻率很低，只有很小可能出現在未來日志中的詞語；

(2)向量化：對每一條日志中預處理后的詞語進行統計，將詞語出現的次數記錄下來并表示成一個向量；

(3)聚類計算：通過步驟(2)中每條日志數據產生的特征向量，將日志數據分成一系列相互之間沒有關系的簇；

(4)相關性比較：將新來的日志數據向量化，并與所有簇進行比較，將與新日志距離最小的簇分配給該日志；

日志存儲模塊：是存儲原始日志數據、索引數據、統計分析數據和資源配置數據，包括MySQL關系數據庫、Redis內存數據庫、Elasticsearch搜索引擎、HBase列存儲數據庫；

業務應用模塊：通過web界面提供查詢統計、監督報警、智能報表、儀表盤、知識庫功能，數據從日志存儲模塊讀出；

日志存儲模塊中，其中，

1)原始日志數據存儲，將原始日志存入HBase列存儲數據庫中；

2)索引數據存儲，由Elasticsearch搜索引擎來為日志數據創建索引；

3)統計分析數據存儲，將統計分析結果存入Redis內存數據庫中；

4)資源配置數據存儲，將資源配置數據存入MySQL關系數據庫中。

2.根據權利要求1所述的海量日志數據智能運維系統，其特征在于：日志采集模塊包括主動采集和被動采集兩種方式，所述主動采集是通過代理讀取日志文件來實現日志采集；所述被動采集是通過Syslog、SNMP以及OPSEC各協議來實現日志采集。

3.根據權利要求1所述的海量日志數據智能運維系統，其特征在于：業務應用模塊中，其中，

1)查詢統計，搜索的四種方式包括范圍查詢、正則表達式、NOT/AND/OR布爾值和字段過濾；

2)監督報警，支持針對日志設置條件觸發式的監控告警，告警條件觸發后，能夠通過頁面消息、短信或者郵件發送給預先設置的告警接收人，通過對日志設定不同的觸發條件，實現基于業務邏輯的監控告警；

3)智能報表，將用戶搜索數據和統計圖表生成報表，同時包含通過分析生成的預測信息和決策信息；

4)儀表盤，以可視化配置的方式，讓業務人員和技術人員都能夠根據需求來自定義分析模型；儀表盤支持包括圖形視圖面板、表格視圖面板、數字視圖面板和文本視圖面板，能夠通過組合不同的面板來完成復雜的報表呈現；

5)知識庫，用于收集、處理、分享知識，能夠為其他功能模塊出現的問題提供解決方案。

4.根據權利要求3所述的海量日志數據智能運維系統，其特征在于：查詢統計的功能中，每次搜索都會為用戶生成簡單直觀的時間序列趨勢圖，這是搜索時間范圍內所有索引日志事件的直方圖，能夠利用直方圖比較隨著時間推移的日志屬性。