[發明專利]一種數據監控方法、平臺及存儲介質

在審

• 申請號: 201911198537.2
• 申請日: 2019-11-29
• 公開（公告）號: CN111078496A
• 公開（公告）日: 2020-04-28
• 發明（設計）人: 李棟;李志剛;王曉勇
• 申請（專利權）人: 聯想（北京）有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/32
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 趙翠萍;張穎玲

本申請實施例公開了一種數據監控方法，方法用于Spark集群，該方法包括：獲取Spark結構化流計算任務；基于所述Spark結構化流計算任務，在所述Spark集群中確定至少兩個計算模塊；其中，所述至少兩個計算模塊中的一個計算模塊對應所述Spark結構化流計算任務中的一個物理執行計劃；執行所述Spark結構化流計算任務時，獲取所述至少兩個計算模塊中的每一計算模塊的計算運行數據信息；對每一計算模塊的計算運行數據信息進行處理，得到目標信息；發送所述目標信息至預先設置的數據中間件；其中，所述目標信息經所述數據中間件傳輸至統計服務模塊進行統計，并將統計服務模塊統計得到的統計結果發送至第一顯示模塊顯示。本申請實施例還提供了一種平臺及存儲介質。

技術領域

本申請涉及大數據處理技術領域，尤其涉及一種數據監控方法、平臺及存儲介質。

背景技術

在進行大數據處理時，由于Spark在很多應用場景上都有較快的運算效率，且具備良好的容錯性和擴展性，目前在業界內已經得到的廣泛的應用。現有技術中，為了較好的實現Spark的應用，各開發商均提供了基于Spark結構化流(Spark Structured Streaming)的產品化流計算平臺。在產品化流計算平臺中，通常構建多個獨立的“小”計算模塊，比如過濾模塊、聚合模塊、關聯模塊等，這樣，根據業務需求，可以選擇不同的計算模塊組成完整的計算流程，即將這些獨立的計算任務，通過業務邏輯關系組成一個完整的Spark結構化流計算任務實現計算過程，能夠最大化提高計算性能，并使產品化流計算平臺的應用具備靈活性。

但是現有技術中，在數據流的實時處理過程中，每個計算模塊非獨立執行，每個計算模塊的處理狀態相互交錯，導致不能對每個計算模塊的處理信息進行統計實時監控。

申請內容

為解決上述技術問題，本申請實施例期望提供一種數據監控方法、平臺及存儲介質，解決了現有技術中不能對每個計算模塊的處理信息進行實時監控的問題，實現了對每個計算模塊的處理信息進行統計顯示，并對每個計算模塊的處理信息進行實時監控。

本申請的技術方案是這樣實現的：

第一方面，一種數據監控方法，用于Spark集群，所述方法包括：

獲取Spark結構化流計算任務；

基于所述Spark結構化流計算任務，在所述Spark集群中確定至少兩個計算模塊；其中，所述至少兩個計算模塊中的一個計算模塊對應所述Spark結構化流計算任務中的一個物理執行計劃；

執行所述Spark結構化流計算任務時，獲取所述至少兩個計算模塊中的每一計算模塊的計算運行數據信息；

對每一計算模塊的計算運行數據信息進行處理，得到目標信息；

發送所述目標信息至預先設置的數據中間件；其中，所述目標信息經所述數據中間件傳輸至統計服務模塊進行統計，并將統計服務模塊統計得到的統計結果發送至第一顯示模塊顯示。

可選的，所述對每一所述計算模塊的計算運行數據信息進行處理，得到目標信息，包括：

獲取所述每一計算模塊執行的計算流程的流程標識信息；其中，所述Spark結構化流計算任務包括至少一個所述計算流程；

獲取所述每一計算模塊的身份標識信息；

基于所述流程標識信息和對應的所述身份標識信息，標識所述計算運行數據信息，得到所述目標信息。

可選的，所述發送所述目標信息至預先設置的數據中間件，包括：

確定與所述每一計算模塊具有通信連接的所述數據中間件；

發送與所述每一計算模塊對應的所述目標信息至對應的所述數據中間件。