[發明專利]基于flink數據引擎的數據處理方法、裝置

有效

• 申請號: 202011356556.6
• 申請日: 2020-11-27
• 公開（公告）號: CN112328458B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 魏燕子;范淵;劉博
• 申請（專利權）人: 杭州安恒信息技術股份有限公司
• 主分類號: G06F11/32
• 分類號: G06F11/32;G06F9/54
• 代理公司: 杭州華進聯浙知識產權代理有限公司 33250
• 代理人: 范麗霞

1.一種基于flink數據引擎的數據處理方法，其特征在于包括：

接收數據監測的指令信息，其中，所述指令信息攜帶有請求數據監測的flink作業的第一作業信息；

根據所述指令信息，獲取與所述flink數據引擎中所有flink作業關聯的第一應用信息，其中，所述第一應用信息至少包括所述flink作業對應的作業信息、狀態信息，所述狀態信息包括flink作業的第一頂點信息；

根據所述第一應用信息，調取預設部署模式下的多個候選flink作業；

根據所述第一作業信息在所述多個候選flink作業中檢測目標flink作業，并從所述目標flink作業的所述狀態信息中提取所述第一頂點信息，并確定第一頂點信息中頂點的數目，其中，所述第一頂點信息包括以下其中之一：運行頂點信息、預設計劃運行頂點信息；

獲取所述第一頂點信息中所述頂點的數據吞吐指標，并根據所述數據吞吐指標和所述頂點的數據，生成每個所述目標flink作業的數據吞吐信息，其中，所述數據吞吐指標包括：數據吞吐量最小值、數據吞吐量最大值、數據吞吐量平均值和數據吞吐量總和；

所述根據所述數據吞吐指標和所述頂點的數據，生成每個所述目標flink作業的數據吞吐信息包括：

按預設數據吞吐指標確定每個所述頂點對應的目標數據吞吐指標，其中，

所述預設數據吞吐指標包括預設算子的數據吞吐指標，所述預設數據吞吐指標為數據吞吐量最小值、數據吞吐量最大值、數據吞吐量平均值和數據吞吐量總和中的任意一項或者多項；

獲取每個所述目標flink作業的運行時間；

根據每個所述頂點對應的目標數據吞吐指標、所述頂點的數目以及每個所述目標flink作業的運行時間，生成每個所述目標flink作業的數據吞吐信息。

2.根據權利要求1所述的基于flink數據引擎的數據處理方法，其特征在于，在根據所述目標flink作業的所述狀態信息生成所述目標flink作業的數據吞吐信息之后，所述方法還包括：

將所述目標flink作業的數據吞吐信息存儲至預設文件中，或者將所述flink作業的數據吞吐信息發送至elasticsearch并在kibana上展示。

3.根據權利要求1所述的基于flink數據引擎的數據處理方法，其特征在于，所述狀態信息至少包括運行狀態，根據所述第一應用信息，調取預設部署模式下的多個候選flink作業包括：

在所述第一應用信息中選取第二作業信息，其中，所述第二作業信息為所述狀態信息為運行狀態的所述flink作業對應的作業信息；

在所述第二作業信息中檢測第一目標作業信息，其中，所述第一目標作業信息對應為所述預設部署模式下的所述flink作業對應的作業信息；

在檢測到所述第一目標作業信息的情況下，通過restful?API接口調取與所述目標作業信息對應的所述flink作業，確定所述候選flink作業包括與所述目標作業信息對應的所述flink作業。

4.根據權利要求3所述的基于flink數據引擎的數據處理方法，其特征在于，所述預設部署模式包括flink?on?yarn部署模式。

5.根據權利要求1所述的基于flink數據引擎的數據處理方法，其特征在于，根據所述第一作業信息在所述多個候選flink作業中檢測目標flink作業包括：

提取所述多個候選flink作業的作業信息，得到第三作業信息；

根據所述第一作業信息在所述第三作業信息中檢測第二目標作業信息，其中，所述第一作業信息包括以下至少之一：身份標識信息、名稱；

在檢測到所述第二目標作業信息的情況下，確定所述目標作業包括所述第二目標作業信息對應的所述候選flink作業。