[發(fā)明專利]數(shù)據(jù)處理的方法、裝置、設(shè)備、存儲介質(zhì)及程序產(chǎn)品

在審

• 申請?zhí)枺?/td>: 202110217521.2
• 申請日: 2021-02-26
• 公開（公告）號: CN112925811A
• 公開（公告）日: 2021-06-08
• 發(fā)明（設(shè)計）人: 彭陽;封磊;楊浩;賀銘;楊宏生
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/2458;G06F16/23;G06F9/445
• 代理公司: 北京同立鈞成知識產(chǎn)權(quán)代理有限公司 11205
• 代理人: 劉丹;臧建明

本申請?zhí)峁┑臄?shù)據(jù)處理的方法、裝置、設(shè)備、存儲介質(zhì)及程序產(chǎn)品，涉及大數(shù)據(jù)技術(shù)，方案包括：響應(yīng)于數(shù)據(jù)處理任務(wù)的配置信息更改的操作，在配置中心存儲更改后的配置信息；在當(dāng)前基于任務(wù)執(zhí)行流程執(zhí)行的數(shù)據(jù)處理任務(wù)執(zhí)行完畢后，從配置中心獲取更改后的配置信息；任務(wù)執(zhí)行流程包括執(zhí)行數(shù)據(jù)處理任務(wù)的數(shù)據(jù)處理過程；根據(jù)更改后的配置信息更新任務(wù)執(zhí)行流程，并根據(jù)更新后的任務(wù)執(zhí)行流程獲取并處理與數(shù)據(jù)處理任務(wù)對應(yīng)的待處理數(shù)據(jù)。本申請?zhí)峁┑姆桨钢校?dāng)配置中心中的配置信息被更改后，可以從配置中心獲取更改后的配置信息并更新任務(wù)執(zhí)行流程，從而可以根據(jù)更新后的任務(wù)執(zhí)行流程執(zhí)行任務(wù)，能夠保證挖掘有效信息的實(shí)時性。

技術(shù)領(lǐng)域

本申請涉及計算機(jī)技術(shù)中的大數(shù)據(jù)技術(shù)，尤其涉及一種數(shù)據(jù)處理的方法、裝置、設(shè)備、存儲介質(zhì)及程序產(chǎn)品。

背景技術(shù)

目前，在很多應(yīng)用場景中都有對數(shù)據(jù)進(jìn)行整合處理的需求。比如，一些應(yīng)用場景中需要對海量的數(shù)據(jù)進(jìn)行挖掘，得到有價值的信息。

現(xiàn)有技術(shù)中，數(shù)據(jù)挖掘平臺可以接收數(shù)據(jù)源提供的數(shù)據(jù)，并基于固定的流程對數(shù)據(jù)進(jìn)行挖掘處理。

但是，當(dāng)需求發(fā)生變更時，整個數(shù)據(jù)處理流程也需要調(diào)整，這種情況下，就需要重啟數(shù)據(jù)處理的任務(wù)。重啟數(shù)據(jù)處理的任務(wù)會導(dǎo)致任務(wù)中斷時間較長，進(jìn)而導(dǎo)致數(shù)據(jù)源提供的數(shù)據(jù)發(fā)生堆積情況。當(dāng)任務(wù)重新啟動后，需要處理這些堆積數(shù)據(jù)，無法保證數(shù)據(jù)處理結(jié)果的實(shí)時性。

發(fā)明內(nèi)容

本申請?zhí)峁┝艘环N數(shù)據(jù)處理的方法、裝置、設(shè)備、存儲介質(zhì)及程序產(chǎn)品，以解決現(xiàn)有技術(shù)中對數(shù)據(jù)處理任務(wù)的處理流程進(jìn)行調(diào)整時，無法保證處理結(jié)果實(shí)時性的問題。

根據(jù)本申請的第一方面，提供了一種數(shù)據(jù)處理的方法，包括：

響應(yīng)于數(shù)據(jù)處理任務(wù)的配置信息更改的操作，在配置中心存儲更改后的配置信息；

在當(dāng)前基于任務(wù)執(zhí)行流程執(zhí)行的所述數(shù)據(jù)處理任務(wù)執(zhí)行完畢后，從所述配置中心獲取所述更改后的配置信息；所述任務(wù)執(zhí)行流程包括執(zhí)行所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)處理過程；

根據(jù)所述更改后的配置信息更新所述任務(wù)執(zhí)行流程，并根據(jù)更新后的任務(wù)執(zhí)行流程獲取并處理與所述數(shù)據(jù)處理任務(wù)對應(yīng)的待處理數(shù)據(jù)。

根據(jù)本申請的第二方面，提供了一種數(shù)據(jù)處理的裝置，包括：

信息更改單元，用于響應(yīng)于數(shù)據(jù)處理任務(wù)的配置信息更改的操作，在配置中心存儲更改后的配置信息；

信息獲取單元，用于在當(dāng)前基于任務(wù)執(zhí)行流程執(zhí)行的所述數(shù)據(jù)處理任務(wù)執(zhí)行完畢后，從所述配置中心獲取所述更改后的配置信息；所述任務(wù)執(zhí)行流程包括執(zhí)行所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)處理過程；

流程更新單元，用于根據(jù)所述更改后的配置信息更新所述任務(wù)執(zhí)行流程；

執(zhí)行單元，用于根據(jù)更新后的任務(wù)執(zhí)行流程獲取并處理與所述數(shù)據(jù)處理任務(wù)對應(yīng)的待處理數(shù)據(jù)。

根據(jù)本申請的第三方面，提供了一種電子設(shè)備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行如第一方面所述的數(shù)據(jù)處理的方法。

根據(jù)本申請的第四方面，提供了一種計算機(jī)程序產(chǎn)品，所述計算機(jī)程序產(chǎn)品包括：計算機(jī)程序，所述計算機(jī)程序存儲在可讀存儲介質(zhì)中，電子設(shè)備的至少一個處理器可以從所述可讀存儲介質(zhì)讀取所述計算機(jī)程序，所述至少一個處理器執(zhí)行所述計算機(jī)程序使得電子設(shè)備執(zhí)行第一方面所述的數(shù)據(jù)處理的方法。

根據(jù)本申請的第五方面，提供了一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序，所述計算機(jī)程序在被處理器執(zhí)行時實(shí)現(xiàn)如第一方面所述的數(shù)據(jù)處理的方法。