[發明專利]基于Hadoop的云自動預警運維監控系統

在審

• 申請號: 201810124916.6
• 申請日: 2018-02-07
• 公開（公告）號: CN108512691A
• 公開（公告）日: 2018-09-07
• 發明（設計）人: 徐竟祎;王亮;周偉強;應奕彬;狄珂;扈婷;徐藝揚;郭琪;田鵬;顧劍芳
• 申請（專利權）人: 復旦大學
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/26
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

本發明屬于軟件開發技術領域，具體涉為一種基于Hadoop的云自動預警運維監控系統。本發明系統主要圍繞在運維服務系統中被動服務的現狀，數據的頻繁采集性，每天海量數據實時檢索效率低下等問題，提出了基于云的自動預警系統，能有效的對每天運行服務的數據進行實時監控，數據匯總，對其他網絡設備的運行狀態進行積極、及時的訪問，發現業務系統隱藏的危險，合并和集成分析數據，提取有價值的數據并進行早期預警，提供易于理解的數據表，并符合場景進行決策分析。該系統采用開源的Hadoop分布式計算平臺和Linux集群技術構建可視化的云監測系統模型，易于擴展數據處理速度、高安全性、低成本和分布式海量數據處理。

技術領域

本發明屬于軟件開發技術領域，具體涉及一種基于Hadoop的云自動預警運維監控系統。

背景技術

云計算是 Distributed Computing、Parallel Computing 和 Grid Computing的綜合發展。云計算的基本原理計算分布在大量的分布式計算機,使企業數據中心操作更類似于使用互聯網,所以企業可以切換資源需要應用程序，根據需求訪問計算機和存儲系統。云計算是一種革命性的舉措，它將計算能力作為一種商品流動，當然，這是通過互聯網傳播的。云計算是一種新的商業模式，其核心仍然是云后端的數據中心。企業和個人用戶通過高速互聯網獲得計算能力，從而避免了大量的硬件投資。

（1）整體性能較差。隨著網絡規模的不斷擴大，管理的任務變得非常繁重和復雜。需要在系統中管理的數據相乘，這使得工作站很容易被淹沒。

（2）可擴展能力不足。例如，生產的擴大和生產模式的改變，系統的應用也會在任何時候發生變化，比如不動態地擴張，迅速變化以適應需求的變化，這將影響到企業的正常生產活動。

（3）靈活性不足。被動收集和報告信息，低系統自動化，人工干預，缺乏智能，會降低生產能力，導致成本過高。

而傳統系統監控的預警和對數據的可視化的操作完全達不到預期的要求。預警的基本處理邏輯都是基于開發者的個人經驗設定閾值，閾值沒有針對性也不具備準確性，當監控的指標達到或超過閾值后產生報警，但是依此產生的報警值無法準確的表示出該資源的真實情況，也無法達到預警功能。而對于大量運維數據的可視化操作也同樣欠缺

目前的傳統運維監控平臺存在主要以下幾個問題：

一是閾值的科學性，即經驗閾值的科學性難以保證，且配置自動化程度低，經驗閾值，不適應環境變化。且呈現功能單一，無分析、無預警的問題。

二是如何減少虛假報警，即對所產生的報警，以及各報警之間的依賴關系缺乏分析，從而無法甄別出真實的，根源性的報警，數據規模較小，通常為百或千臺主機，不適應云規模，監控周期較短：存最近一周或月數據，無法進行歷史分析。

三是不能處理大數據，即無法對云平臺之類的大規模數據的采集和整合處理，以保證實時呈現告警，數據分散處理，且功能各一的獨立程序處理不同的數據源，開發、部署、運維困難，且采集分層部署，分層網狀采集，不易管理和運維，容易出現數據采集不及時，或漏采。

四是無法更為方便快捷的對出現的事件進行更為直觀的分析和處理，從而導致無法快速準確的對突發時間進行處理。

發明內容

為了解決現有技術的問題，本發明提供了一種基于Hadoop的云自動預警運維監控系統。

本發明提供的基于Hadoop的云自動預警運維監控系統，通過分析運維系統可視化的數據整合操作和自動預警兩個領域的特點，結合當前最新的發展趨勢，將系統分成監控層、管理層和服務層三個體系；各個層都采用模塊化設計，確保各模塊之間松散耦合，擁有一定的獨立性，支持各自改動升級，同時充分考慮各模塊之間的集成，確保系統的擴展性，為之后擴展業務提供有效支撐。