[發(fā)明專利]基于flink數(shù)據(jù)引擎的數(shù)據(jù)處理方法、裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011356556.6
• 申請(qǐng)日: 2020-11-27
• 公開(kāi)（公告）號(hào): CN112328458B
• 公開(kāi)（公告）日: 2023-07-25
• 發(fā)明（設(shè)計(jì)）人: 魏燕子;范淵;劉博
• 申請(qǐng)（專利權(quán)）人: 杭州安恒信息技術(shù)股份有限公司
• 主分類號(hào): G06F11/32
• 分類號(hào): G06F11/32;G06F9/54
• 代理公司: 杭州華進(jìn)聯(lián)浙知識(shí)產(chǎn)權(quán)代理有限公司 33250
• 代理人: 范麗霞

本申請(qǐng)實(shí)涉及一種基于flink數(shù)據(jù)引擎的數(shù)據(jù)處理方法、裝置、電子裝置和存儲(chǔ)介質(zhì)，通過(guò)接收數(shù)據(jù)監(jiān)測(cè)的指令信息，指令信息攜帶有請(qǐng)求數(shù)據(jù)監(jiān)測(cè)的flink作業(yè)的第一作業(yè)信息；根據(jù)指令信息，獲取與所有flink作業(yè)關(guān)聯(lián)的第一應(yīng)用信息；根據(jù)第一應(yīng)用信息，調(diào)取預(yù)設(shè)部署模式下的多個(gè)候選flink作業(yè)；根據(jù)第一作業(yè)信息在多個(gè)候選flink作業(yè)中檢測(cè)目標(biāo)flink作業(yè)，并根據(jù)目標(biāo)flink作業(yè)的狀態(tài)信息生成目標(biāo)flink作業(yè)的數(shù)據(jù)吞吐信息，解決了無(wú)法實(shí)時(shí)查看基于flink數(shù)據(jù)引擎的flink作業(yè)的數(shù)據(jù)吞吐信息的問(wèn)題，提升了基于flink數(shù)據(jù)引擎的flink作業(yè)的數(shù)據(jù)吞吐信息的透明化程度。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)審計(jì)技術(shù)領(lǐng)域，特別是涉及一種基于flink數(shù)據(jù)引擎的數(shù)據(jù)處理方法、裝置、以及電子裝置和存儲(chǔ)介質(zhì)。

背景技術(shù)

目前在測(cè)試產(chǎn)品的性能時(shí)，想要獲取性能數(shù)據(jù)以及一些job(作業(yè))運(yùn)行的狀態(tài)、反壓等情況，都需要人工訪問(wèn)flink(分布式流數(shù)據(jù)引擎)的web界面進(jìn)行查看，由于job是運(yùn)行在yarn(yet?another?resource?negotiator，另一種資源協(xié)調(diào)器)上的，我們需要先訪問(wèn)yarn的web(World?Wide?Web，萬(wàn)維網(wǎng))界面，拿到application(yarn上運(yùn)行的job的應(yīng)用)ID(身份標(biāo)識(shí)信息)對(duì)應(yīng)運(yùn)行的job，然后再進(jìn)入flink的web界面，然后查看對(duì)應(yīng)的metric(數(shù)據(jù)吞吐指標(biāo))。但是web界面也有不完善的地方，比如在想要獲取flink的實(shí)時(shí)吞吐信息的情況下，web界面上只有flink總的吞吐信息，而每個(gè)job的DAG(有向無(wú)環(huán)圖)圖中都有多個(gè)operator(算子)運(yùn)行著，每個(gè)operator都運(yùn)行著不同的規(guī)則，每個(gè)operator都有自己的指標(biāo)和反壓情況，如果要獲取每個(gè)job的吞吐信息，則需要人工手動(dòng)計(jì)算，然后把數(shù)據(jù)記錄下來(lái)，保存成文檔，在測(cè)試產(chǎn)品的過(guò)程中，都需要人工操作，操作復(fù)雜且效率低。并且這樣測(cè)試只是記錄一個(gè)結(jié)果，不能夠長(zhǎng)久保存以及在web界面實(shí)時(shí)查看，也不可以通過(guò)圖表形式展示以及導(dǎo)出結(jié)果。

目前針對(duì)相關(guān)技術(shù)中無(wú)法實(shí)時(shí)查看數(shù)據(jù)引擎的作業(yè)的數(shù)據(jù)吞吐信息的問(wèn)題，尚未提出有效的解決方案。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種基于flink數(shù)據(jù)引擎的數(shù)據(jù)處理方法、裝置、電子裝置和存儲(chǔ)介質(zhì)，以至少解決相關(guān)技術(shù)中無(wú)法實(shí)時(shí)查看數(shù)據(jù)引擎的作業(yè)的數(shù)據(jù)吞吐信息的問(wèn)題。

第一方面，本申請(qǐng)實(shí)施例提供了一種基于flink數(shù)據(jù)引擎的數(shù)據(jù)處理方法，包括：接收數(shù)據(jù)監(jiān)測(cè)的指令信息，其中，所述指令信息攜帶有請(qǐng)求數(shù)據(jù)監(jiān)測(cè)的flink作業(yè)的第一作業(yè)信息；根據(jù)所述指令信息，獲取與所述flink數(shù)據(jù)引擎中所有flink作業(yè)關(guān)聯(lián)的第一應(yīng)用信息，其中，所述第一應(yīng)用信息至少包括所述flink作業(yè)對(duì)應(yīng)的作業(yè)信息、狀態(tài)信息；根據(jù)所述第一應(yīng)用信息，調(diào)取預(yù)設(shè)部署模式下的多個(gè)候選flink作業(yè)；根據(jù)所述第一作業(yè)信息在所述多個(gè)候選flink作業(yè)中檢測(cè)目標(biāo)flink作業(yè)，并根據(jù)所述目標(biāo)flink作業(yè)的所述狀態(tài)信息生成所述目標(biāo)flink作業(yè)的數(shù)據(jù)吞吐信息。

在其中一些實(shí)施例中，所述狀態(tài)信息包括flink作業(yè)的第一頂點(diǎn)信息，根據(jù)所述目標(biāo)flink作業(yè)的所述狀態(tài)信息生成所述目標(biāo)flink作業(yè)的數(shù)據(jù)吞吐信息包括：從所述目標(biāo)flink作業(yè)的所述狀態(tài)信息中提取所述第一頂點(diǎn)信息，并確定第一頂點(diǎn)信息中頂點(diǎn)的數(shù)目，其中，所述第一頂點(diǎn)信息包括以下其中之一：運(yùn)行頂點(diǎn)信息、預(yù)設(shè)計(jì)劃運(yùn)行頂點(diǎn)信息；獲取所述第一頂點(diǎn)信息中所述頂點(diǎn)的數(shù)據(jù)吞吐指標(biāo)，并根據(jù)所述數(shù)據(jù)吞吐指標(biāo)和所述頂點(diǎn)的數(shù)據(jù)，生成每個(gè)所述目標(biāo)flink作業(yè)的數(shù)據(jù)吞吐信息，其中，所述數(shù)據(jù)吞吐指標(biāo)包括：數(shù)據(jù)吞吐量最小值、數(shù)據(jù)吞吐量最大值、數(shù)據(jù)吞吐量平均值和數(shù)據(jù)吞吐量總和。

在其中一些實(shí)施例中，根據(jù)所述數(shù)據(jù)吞吐指標(biāo)和所述頂點(diǎn)的數(shù)據(jù)，生成每個(gè)所述目標(biāo)flink作業(yè)的數(shù)據(jù)吞吐信息包括：按預(yù)設(shè)數(shù)據(jù)吞吐指標(biāo)確定每個(gè)所述頂點(diǎn)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)吞吐指標(biāo)，其中，所述預(yù)設(shè)數(shù)據(jù)吞吐指標(biāo)包括預(yù)設(shè)算子的數(shù)據(jù)吞吐指標(biāo)；獲取每個(gè)所述目標(biāo)flink作業(yè)的運(yùn)行時(shí)間；根據(jù)每個(gè)所述頂點(diǎn)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)吞吐指標(biāo)、所述頂點(diǎn)的數(shù)目以及每個(gè)所述目標(biāo)flink作業(yè)的運(yùn)行時(shí)間，生成每個(gè)所述目標(biāo)flink作業(yè)的數(shù)據(jù)吞吐信息。