[發明專利]一種數據監控方法、平臺及存儲介質

在審

• 申請號: 201911198537.2
• 申請日: 2019-11-29
• 公開（公告）號: CN111078496A
• 公開（公告）日: 2020-04-28
• 發明（設計）人: 李棟;李志剛;王曉勇
• 申請（專利權）人: 聯想（北京）有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/32
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 趙翠萍;張穎玲

1.一種數據監控方法，用于Spark集群，所述方法包括：

獲取Spark結構化流計算任務；

基于所述Spark結構化流計算任務，在所述Spark集群中確定至少兩個計算模塊；其中，所述至少兩個計算模塊中的一個計算模塊對應所述Spark結構化流計算任務中的一個物理執行計劃；

執行所述Spark結構化流計算任務時，獲取所述至少兩個計算模塊中的每一計算模塊的計算運行數據信息；

對每一計算模塊的計算運行數據信息進行處理，得到目標信息；

發送所述目標信息至預先設置的數據中間件；其中，所述目標信息經所述數據中間件傳輸至統計服務模塊進行統計，并將統計服務模塊統計得到的統計結果發送至第一顯示模塊顯示。

2.根據權利要求1所述的方法，其特征在于，所述對每一所述計算模塊的計算運行數據信息進行處理，得到目標信息，包括：

獲取所述每一計算模塊執行的計算流程的流程標識信息；其中，所述Spark結構化流計算任務包括至少一個所述計算流程；

獲取所述每一計算模塊的身份標識信息；

基于所述流程標識信息和對應的所述身份標識信息，標識所述計算運行數據信息，得到所述目標信息。

3.根據權利要求1或2所述的方法，其特征在于，所述發送所述目標信息至預先設置的數據中間件，包括：

確定與所述每一計算模塊具有通信連接的所述數據中間件；

發送與所述每一計算模塊對應的所述目標信息至對應的所述數據中間件。

4.根據權利要求1或2所述的方法，其特征在于，所述計算運行數據信息包括所述計算模塊實時處理數據量、處理數據和數據處理結果中的一種或多種。

5.一種數據監控方法，用于統計服務模塊，所述方法包括：

接收數據中間件發送的目標信息；其中，所述目標信息是根據Spark集群中，與所述數據中間件具有通信連接的計算模塊的計算運行數據信息得到的；

對所述目標信息進行統計，得到統計結果；

確定所述目標信息對應的第一顯示模塊，并發送所述統計結果至第一顯示模塊；其中，所述統計結果用于顯示于所述第一顯示模塊中。

6.根據權利要求5所述的方法，其特征在于，所述對所述目標信息進行統計，得到統計結果，包括：

對所述目標信息進行解析，得到每一計算模塊對應的流程標識信息和身份標識信息；

基于所述每一計算模塊對應的流程標識信息和身份標識信息，統計所述每一計算模塊對應的目標信息中的計算運行數據信息，得到所述每一計算模塊對應的所述統計結果。

7.根據權利要求6所述的方法，其特征在于，所述基于所述每一計算模塊對應的流程標識信息和身份標識信息，統計所述每一計算模塊對應的目標信息中的計算運行數據信息，得到所述每一計算模塊對應的所述統計結果之后，所述方法還包括：

基于所述每一計算模塊對應的流程標識信息和身份標識信息，統計屬于同一個流程標識信息的計算模塊集合，從而得到與每種流程標識信息對應的至少一個計算模塊集合；

基于所述每一計算模塊對應的所述統計結果，確定出所述至少一個計算模塊集合對應的子統計結果；

按照計算運行時間順序，對所述子統計結果進行排序，得到排序結果；

確定與所述每種流程標識信息對應的第二顯示模塊；

將所述排序結果發送至所述第二顯示模塊；其中，所述排序結果用于顯示于所述第二顯示模塊中。

8.一種數據監控平臺，所述平臺包括：Spark集群、數據中間件、統計服務模塊、第一顯示模塊，其中：

所述Spark集群中的每一所述計算模塊與預先設置的一個數據中間件通信連接；

所述Spark集群，用于實現如權利要求1至4中任一項所述的數據監控方法的步驟；

所述統計服務模塊，用于實現如權利要求5至7任一項所述的數據監控方法的步驟；

所述第一顯示模塊，用于顯示所述統計服務模塊發送的統計結果。