[發明專利]大數據平臺運行狀態的監控系統、計算機設備、終端、介質

在審

• 申請號: 202110434297.2
• 申請日: 2021-04-22
• 公開（公告）號: CN113190403A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 王賀;高健倫;顧志誠
• 申請（專利權）人: 杭州雅觀科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 杭州中港知識產權代理有限公司 33353
• 代理人: 施建勇

本發明屬于平臺監控技術領域，公開了一種大數據平臺運行狀態的監控系統、計算機設備、終端、介質，系統包括平臺信息獲取模塊、信息轉換與傳輸模塊、信息接收與轉換模塊、信息分析模塊、中央控制模塊、運行流程獲取模塊、監控節點部署模塊、運行監控模塊、任務類型獲取模塊、運行狀態判定模塊。本發明實現對監控節點的預先部署，方便進行平臺運行信息的監控；在進行監控節點部署前進行平臺的運行流程的獲取，能夠實現部署的監控節點與平臺運行各階段的一一對應，進行平臺的各階段運行信息獲取更加準確，克服了準確性偏低的問題，實現對大數據平臺的運行狀態進行準確監控，還保證了大數據平臺的運行效率。

技術領域

本發明屬于平臺監控技術領域，尤其涉及一種大數據平臺運行狀態的監控系統、計算機設備、終端、介質。

背景技術

目前：隨著社會信息化程度的不斷提高，在諸多業務領域產生了海量、實時的數據。當前大數據分析逐漸以非結構化為主，單機存儲空間與運算能力難以滿足需求，所以基于分布式的hadoop集群、spark集群和storm集群等大數據系統被廣泛應用。大數據集群系統通常部署了成百上千個節點，節點規模的擴展不僅使大數據平臺的集群資源配置與服務部署維護等越發困難，而且也使大數據平臺的計算作業的提交、調度、重試及撤銷告警等任務耗時耗力。

監控是大數據平臺的重要組成部分，大數據系統的動態性、復雜性給大數據平臺運行狀態的監控帶來了諸多困難，如何對集群軟硬件資源及不同粒度的作業進行有效監控和預警，并在出現故障時及時采取措施，是提高大數據平臺計算準確性與時效性的關鍵。現有的進行大數據平臺的監控的方案是通過監控大數據平臺的各個服務組件的服務情況來獲取大數據平臺的運行狀態，難以監控到大數據平臺的具體業務需求，進行運行狀態的獲取的準確性偏低。

通過上述分析，現有技術存在的問題及缺陷為：現有的進行大數據平臺的監控的方案是通過監控大數據平臺的各個服務組件的服務情況來獲取大數據平臺的運行狀態，難以監控到大數據平臺的具體業務需求，進行運行狀態的獲取的準確性偏低。

發明內容

針對現有技術存在的問題，本發明提供了一種大數據平臺運行狀態的監控系統、計算機設備、終端、介質。

本發明是這樣實現的，一種大數據平臺運行狀態的監控系統，所述大數據平臺運行狀態的監控系統包括：

平臺信息獲取模塊、信息轉換與傳輸模塊、信息接收與轉換模塊、信息分析模塊、中央控制模塊、運行流程獲取模塊、監控節點部署模塊、運行監控模塊、任務類型獲取模塊、運行狀態判定模塊；

平臺信息獲取模塊，與中央控制模塊連接，用于通過平臺信息獲取程序進行大數據平臺建設信息的獲取，得到大數據平臺建設信息；

信息轉換與傳輸模塊，與中央控制模塊連接，用于通過信息轉換與傳輸程序進行大數據平臺建設信息的轉換并對轉換信息進行傳輸；

所述通過信息轉換與傳輸程序進行大數據平臺建設信息的轉換并對轉換信息進行傳輸，包括：

確定A/D轉換對象的物理量與對應電壓值之間的線性關系；

判斷當前物理量下測量的電壓值是否存在偏差，若存在偏差，主控機進行A/D轉換校準；

在完成校準后進行大數據平臺建設信息的轉換得到轉換信息；

所述進行大數據平臺建設信息的轉換得到轉換信息，包括：

連接并設置主控機的參數以及測試主控機的運行特性；所述測試主控機的運行特性，包括：使主控機處于速度模式下，使主控機進行控制和校正，保證速度內環性能穩定；將設計的MFAC控制算法在上位PC機上通過cSPACE的Simulink搭建好；運行MFAC主控機中的編譯模塊；將MFAC算法自動生成DSP代碼；通過上位PC機的USB接口將代碼下載到數字信號處理器中運行，經過主控機，生成電壓輸出信號，驅動主控機運行；