[發明專利]一種基于運維數據預測的故障定位可視化系統和方法

在審

• 申請號: 202010079674.0
• 申請日: 2020-02-04
• 公開（公告）號: CN111290913A
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 王子健;周揚帆;付嬌嬌;陳昊;蔡煜;曹袖
• 申請（專利權）人: 復旦大學;賽爾網絡有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/32;G06F11/34;G06N20/00
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;王潔平

1.一種基于運維數據預測的故障定位可視化系統，其特征在于，其包括數據收集部分、

算法預測部分和可視化展示部分；其中：

數據收集部分：收集集群中各臺機器的機器和應用日志，統一提取出其中用以監控集群狀態的關鍵性能指標，再利用時間序列提取的方法構建運維大數據；

算法預測部分：利用機器學習和神經網絡的方法，基于已經收集到的歷史的運維大數據來學習其中的先驗經驗，從而生成符合實際生產規律要求的人工智能預測模型；再用人工智能模型對實時采集的運維數據進行故障預測；

可視化部分：用于將所有的日志信息和故障預測信息進行展示。

2.根據權利要求1所述的故障定位可視化系統，其特征在于，數據收集部分包括日志收集模塊和性能指標提取模塊；其中：

日志收集模塊：包括分布式日志收集組件和集中式日志存儲組件，用于收集集群中各臺機器的機器和應用日志，完成日志重定向集中化處理的工作；

性能指標提取模塊：提取日志中反映機器性能的指標信息，利用時間序列提取的方法構建運維大數據。

3.根據權利要求1所述的故障定位可視化系統，其特征在于，所述性能提取模塊中，通過過濾和關鍵詞提取方法提取反映機器性能的指標信息；機器性能的指標信息包括CPU使用率信息、內存使用率信息、磁盤讀取帶寬信息以及網絡流量信息。

4.根據權利要求1所述的故障定位可視化系統，其特征在于，算法預測部分包括算法自適應模塊和預測故障模塊；其中：

算法自適應模塊：基于前一天的歷史運維大數據通過統計學特征篩選算法和交叉驗證篩選算法訓練模型，獲得當天預測故障的人工智能模型；

預測故障模塊：用人工智能模型對實時采集的運維數據進行故障預測。

5.根據權利要求1所述的故障定位可視化系統，其特征在于，可視化部分包括實時監控模塊、歷史預測模塊、日志信息檢索模塊以及機器性能曲線展示模塊；其中：

實時監控模塊：用于顯示集群中機器實時的性能狀態；性能狀態包括CPU利用率、內存利用率、磁盤吞吐率、網絡帶寬、故障預測信息以及通過閾值和SNMP方法收集信息獲得的機器狀態；

歷史預測模塊：用于緩存集群中機器的歷史故障預測信息；

日志信息檢索模塊：用于提供提取的機器性能日志信息；

機器性能曲線展示模塊：用于將日志信息以曲線圖的方式展示給運維人員。

6.一種基于權利要求1所述的系統的故障定位可視化方法，其特征在于，具體步驟如下：

（1）收集集群中各臺機器的機器和應用日志，統一提取出其中用以監控集群狀態的關鍵性能指標，再利用時間序列提取的方法構建運維大數據；

（2）利用機器學習和神經網絡的方法，基于已經收集到的歷史的運維大數據來學習其中的先驗經驗，從而生成符合實際生產規律要求的人工智能預測模型；用人工智能模型對實時采集的運維數據進行故障預測；

（3）將所有的日志信息和故障預測信息進行展示。

7.根據權利要求6所述的故障定位可視化方法，其特征在于，步驟（1）中，通過過濾和關鍵詞提取方法提取反映機器性能的指標信息；機器性能的指標信息包括CPU使用率信息、內存使用率信息、磁盤讀取帶寬信息以及網絡流量信息。

8.根據權利要求6所述的故障定位可視化方法，其特征在于，步驟（2）中，基于前一天的歷史運維大數據通過統計學特征篩選算法和交叉驗證篩選算法訓練模型，獲得當天預測故障的人工智能模型。

9.根據權利要求6所述的故障定位可視化方法，其特征在于，步驟（3）中，通過曲線圖和表格形式展示。