[發明專利]一種大數據平臺的監控系統

有效

• 申請號: 201710784193.8
• 申請日: 2017-09-04
• 公開（公告）號: CN107704359B
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 白云飛
• 申請（專利權）人: 北京天平檢驗行有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/07;G06F11/32
• 代理公司: 北京衛平智業專利代理事務所(普通合伙) 11392
• 代理人: 謝建玲;郝亮

本發明涉及一種大數據平臺的監控系統，包括監控模塊、數據存儲模塊、大數據服務器、報警模塊和日志模塊；所述大數據服務器包括數據讀取模塊、數據處理模塊、數據分析模塊和故障判斷規則模塊。本發明所述監控系統可以對大數據平臺的運行情況進行實時監控，對異常狀況實現預警，在出現故障前采取相應措施，防患于未然。同時在檢測到發生故障后可以根據預設的故障解除規則、通過自恢復模塊自動關閉或重啟相應的服務，使故障能夠自動解除。當故障復檢模塊檢測到故障仍然不能解除時，報警模塊向管理人員發出警報，保證故障第一時間進行處理。

技術領域

本發明涉及大數據技術領域，具體說是一種大數據平臺的監控系統。

背景技術

近年來，隨著社會信息化技術的不斷提高以及互聯網技術的快速普及，諸多業務領域產生海量、實時的數據。大數據平臺的規模在不斷擴大和增多，網絡規模大、業務量多，這時將監控機制引入大數據平臺，建立一個強大的大數據平臺運行監控系統顯得尤為重要。大數據平臺的監控信息是海量的，監控資源是多層次、多來源的，大數據平臺的動態性、復雜性給大數據平臺的監控系統帶來諸多困難。

現有的大數據平臺中缺少統一的監控功能，不能實時的展示大數據平臺中作用運行狀態和對作業的統計分析功能的匱乏，監控的可操作性差，對大數據平臺進行實時監控時智能化水平較低。如何有效的實時監控大數據平臺并及時對大數據平臺的瓶頸進行預測分析，在出現故障前采取相應措施，以及在故障發生后快速解除故障，是提高大數據平臺質量的關鍵。

發明內容

針對現有技術中存在的缺陷，本發明的目的在于提供一種大數據平臺的監控系統，可以對大數據平臺的運行情況進行實時監控，對異常狀況實現預警，在出現故障前采取相應措施，在檢測到發生故障后可以使故障能夠自動解除或向管理人員發出警報，保證故障第一時間得到處理。

為達到以上目的，本發明采取的技術方案是：

一種大數據平臺的監控系統，包括監控模塊、數據存儲模塊、大數據服務器、報警模塊和日志模塊；所述大數據服務器包括數據讀取模塊、數據處理模塊、數據分析模塊和故障判斷規則模塊；

所述監控模塊內嵌有預設的監控規則；所述監控模塊用于根據預設的監控規則對大數據平臺進行監控，并將監控數據存儲到數據存儲模塊；

所述數據存儲模塊用于存儲監控模塊采集的監控數據；

所述數據讀取模塊用于從數據存儲模塊讀取監控數據，并將讀取到的監控數據發送到數據處理模塊；

所述數據處理模塊對接收到的監控數據，經運算放大器放大、A/D轉換器轉換和濾波處理后發送到數據分析模塊；

所述故障判斷規則模塊用于預設故障判斷規則；

所述數據分析模塊用于根據處理后的監控數據和故障判斷規則，判斷系統是否出現故障；

所述報警模塊用于系統出現故障時向管理人員發出警報；

所述日志模塊用于記錄系統和用戶的行為，查看系統故障原因，監視系統運行情況；

所述監控系統還包括自恢復模塊，所述自恢復模塊內嵌有預設的故障解除規則，用于系統出現故障時，根據故障解除規則自動關閉或重啟相應的服務，或采用補償回滾方式修復故障。

在上述方案的基礎上，所述大數據平臺是由硬件設備組成的分布式集群架構；所述數據存儲模塊為云存儲系統。

在上述方案的基礎上，所述監控數據包括電壓、電流、功率、溫度、開關信號、用戶訪問信息、服務狀態信息和系統運行狀態信息。

在上述方案的基礎上，所述數據分析模塊，將處理后的監控數據與故障判斷規則中預設的閾值進行對比，若在閾值范圍內則判定系統正常，若超出閾值范圍則判定系統故障。