[發明專利]一種大數據計算平臺監控系統

在審

• 申請號: 202010576376.2
• 申請日: 2020-06-22
• 公開（公告）號: CN111930600A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 許良云;汪彬彬
• 申請（專利權）人: 合肥易知谷信息科技有限公司
• 主分類號: G06F11/32
• 分類號: G06F11/32;G06F11/30;G06F3/14;B66F7/28;B66F7/02
• 代理公司: 廣州高炬知識產權代理有限公司 44376
• 代理人: 李順

本發明屬于平臺監控技術領域，具體的說是一種大數據計算平臺監控系統；數據采集模塊建立在大數據平臺上，以多種方式采集監控信息，如分布式文件系統信息、計算資源使用信息和作業運行狀態信息，并對這些運行狀態信息進行解析統計，存放至數據庫中；數據處理模塊通過對Hadoop組件的運行信息進行處理和分析，從而獲取大數據平臺運行狀態監控信息；數據存儲模塊包括命令執行數據庫、執行信息實時數據庫、實時作業數據庫、監控信息數據庫和統計信息數據庫；數據展示模塊的主要功能在與對平臺管理、資源監控信息展示、作業監控信息展示和異常報警；報警模塊用于對監控到的異常數據進行報警，同時還能夠對出現異常的LED顯示板管理員發送報警信息。

技術領域

本發明屬于平臺監控技術領域，具體的說是一種大數據計算平臺監控系統。

背景技術

大數據，指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產，由于數據量龐大因此數據在分析時需要借助分布式計算機集群來共同工作從而產生了大數據平臺。

隨著集群的數據日趨龐大，用戶的應用越來越多，使用的模型也越來越復雜大數據平臺作業運行和查詢分析都會出現瓶頸，計算量指數級上升，并且對實時性的要求越來越高，大數據平臺需要監控系統對各個計算機集群進行實時監控。

中國專利公開了一種大數據平臺的監控系統，專利申請號為2019102690112，大數據平臺監控系統包括集群監控單元、節點性能監控單元、作業運行監控單元和告警單元，其中所述群監控單元、所述節點性能監控單元和所述作業運行監控單元均包括監控代理模塊和監控插件模塊。

雖然上述專利可以全面的監控到大數據平臺工作中各部分的工作狀態；但現有的平臺的監控系統需要將最后監控的各指標數據通過數據展示模塊的LED顯示大屏進行展示，由于LED顯示大屏的屏幕尺寸較大，且大多采用多個小塊的LED顯示板進行相互拼裝形成，當LED顯示大屏出現局部不能正常工作或損壞時，則需要人工通過升降裝置進行攀爬維修作業，不僅提高人工維修的時間，同時降低了數據展示模塊對平臺監控系統中數據進行穩定展示作業。

發明內容

為了彌補現有技術的不足，本發明提出的一種大數據計算平臺監控系統，本發明主要用于解決現有的LED顯示大屏出現局部不能正常工作或損壞時，則需要人工通過升降裝置進行攀爬維修作業，不僅提高人工維修的時間，同時降低了數據展示模塊對平臺監控系統中數據進行穩定展示作業。

本發明解決其技術問題所采用的技術方案是：本發明所述的一種大數據計算平臺監控系統，包括數據采集模塊、數據處理模塊、數據存儲模塊和數據展示模塊；

所述數據采集模塊建立在大數據平臺上，以至少3種方式采集監控信息，如分布式文件系統信息、計算資源使用信息和作業運行狀態信息，并對這些運行狀態信息進行解析統計，存放至數據庫中；

所述數據處理模塊通過對Hadoop組件的運行信息進行處理和分析，從而獲取大數據平臺運行狀態監控信息；所述數據處理模塊還能夠在統計分析數據過程中進行異常監測，當發現異常后，調用報警模塊，向用戶和管理員發送報警信息；

所述數據存儲模塊包括命令執行數據庫、執行信息實時數據庫、實時作業數據庫、監控信息數據庫和統計信息數據庫；它的主要功能是與數據庫進行交互，將采集層采集的命令執行數據、執行信息實時數據、實施作業數據、歷史作業數據等數據以及處理層分析計算的統計數據存入相應的數據庫中；

所述數據展示模塊采用多塊相互連接的LED顯示裝置形成的LED顯示大屏，使得LED顯示大屏能夠展示監控信息及用戶交互管理，并提供異常報警功能；數據展示模塊的主要功能在與對平臺管理、資源監控信息展示、分布式文件系統監控信息展示、節點監控信息展示、作業監控信息展示和異常報警；當平臺管理接收用戶的管理指令、作業管理指令后，生成可執行的操作命令，發送至命令執行機，并將執行結果返回界面；