[發(fā)明專(zhuān)利]數(shù)據(jù)處理的方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品

在審

• 申請(qǐng)?zhí)枺?/td>: 202110217521.2
• 申請(qǐng)日: 2021-02-26
• 公開(kāi)（公告）號(hào): CN112925811A
• 公開(kāi)（公告）日: 2021-06-08
• 發(fā)明（設(shè)計(jì)）人: 彭陽(yáng);封磊;楊浩;賀銘;楊宏生
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類(lèi)號(hào): G06F16/2455
• 分類(lèi)號(hào): G06F16/2455;G06F16/2458;G06F16/23;G06F9/445
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 劉丹;臧建明

1.一種數(shù)據(jù)處理的方法，包括：

響應(yīng)于數(shù)據(jù)處理任務(wù)的配置信息更改的操作，在配置中心存儲(chǔ)更改后的配置信息；

在當(dāng)前基于任務(wù)執(zhí)行流程執(zhí)行的所述數(shù)據(jù)處理任務(wù)執(zhí)行完畢后，從所述配置中心獲取所述更改后的配置信息；所述任務(wù)執(zhí)行流程包括執(zhí)行所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)處理過(guò)程；

根據(jù)所述更改后的配置信息更新所述任務(wù)執(zhí)行流程，并根據(jù)更新后的任務(wù)執(zhí)行流程獲取并處理與所述數(shù)據(jù)處理任務(wù)對(duì)應(yīng)的待處理數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其中，根據(jù)所述更改后的配置信息更新所述任務(wù)執(zhí)行流程，包括：

根據(jù)更改后的所述配置信息確定變更內(nèi)容；其中，所述變更內(nèi)容包括以下任一種信息：

目標(biāo)數(shù)據(jù)源信息、數(shù)據(jù)清洗信息、數(shù)據(jù)轉(zhuǎn)換信息、數(shù)據(jù)存儲(chǔ)信息；

根據(jù)所述變更內(nèi)容更新所述任務(wù)執(zhí)行流程。

3.根據(jù)權(quán)利要求2所述的方法，其中，若所述變更內(nèi)容包括目標(biāo)數(shù)據(jù)源信息，則所述根據(jù)所述變更內(nèi)容更新所述任務(wù)執(zhí)行流程，包括：

根據(jù)所述目標(biāo)數(shù)據(jù)源信息更新所述任務(wù)執(zhí)行流程中的數(shù)據(jù)獲取流程。

4.根據(jù)權(quán)利要求2所述的方法，其中，若所述變更內(nèi)容包括數(shù)據(jù)清洗信息，則所述根據(jù)所述變更內(nèi)容更新所述任務(wù)執(zhí)行流程，包括：

根據(jù)所述數(shù)據(jù)清洗信息更新所述任務(wù)執(zhí)行流程中使用預(yù)設(shè)函數(shù)對(duì)目標(biāo)字段對(duì)應(yīng)的數(shù)據(jù)進(jìn)行清洗的數(shù)據(jù)清洗流程；其中，所述數(shù)據(jù)清洗信息包括所述預(yù)設(shè)函數(shù)、所述目標(biāo)字段。

5.根據(jù)權(quán)利要求2所述的方法，其中，若所述變更內(nèi)容包括數(shù)據(jù)轉(zhuǎn)換信息，則所述根據(jù)所述變更內(nèi)容更新所述任務(wù)執(zhí)行流程，包括：

根據(jù)所述數(shù)據(jù)轉(zhuǎn)換信息，更新所述任務(wù)執(zhí)行流程中用于對(duì)有效數(shù)據(jù)進(jìn)行計(jì)算的數(shù)據(jù)計(jì)算流程；所述有效數(shù)據(jù)是基于所述任務(wù)執(zhí)行流程中的數(shù)據(jù)清洗流程，對(duì)目標(biāo)字段對(duì)應(yīng)的數(shù)據(jù)進(jìn)行清洗后得到的數(shù)據(jù)。

6.根據(jù)權(quán)利要求2所述的方法，其中，若所述變更內(nèi)容包括數(shù)據(jù)存儲(chǔ)信息，則所述根據(jù)所述變更內(nèi)容更新所述任務(wù)執(zhí)行流程，包括：

根據(jù)所述數(shù)據(jù)存儲(chǔ)信息，更新所述任務(wù)執(zhí)行流程中的對(duì)數(shù)據(jù)結(jié)果進(jìn)行存儲(chǔ)的數(shù)據(jù)存儲(chǔ)流程；其中，所述數(shù)據(jù)結(jié)果為基于所述任務(wù)執(zhí)行流程中的數(shù)據(jù)計(jì)算流程，對(duì)基于所述任務(wù)執(zhí)行流程中的數(shù)據(jù)清洗流程清洗后的有效數(shù)據(jù)進(jìn)行處理，得到的結(jié)果。

7.根據(jù)權(quán)利要求1-6任一項(xiàng)所述的方法，其中，所述更新后的任務(wù)執(zhí)行流程包括：數(shù)據(jù)獲取流程、數(shù)據(jù)清洗流程、數(shù)據(jù)計(jì)算流程、數(shù)據(jù)存儲(chǔ)流程；

所述根據(jù)更新后的任務(wù)執(zhí)行流程獲取并處理與所述數(shù)據(jù)處理任務(wù)對(duì)應(yīng)的待處理數(shù)據(jù)，包括：

根據(jù)所述數(shù)據(jù)獲取流程，從目標(biāo)數(shù)據(jù)源獲取待處理數(shù)據(jù)；

根據(jù)所述數(shù)據(jù)清洗流程對(duì)所述待處理數(shù)據(jù)進(jìn)行清洗，得到包括與目標(biāo)字段對(duì)應(yīng)的數(shù)據(jù)的數(shù)據(jù)表；其中，所述數(shù)據(jù)清洗流程為使用預(yù)設(shè)函數(shù)對(duì)待處理數(shù)據(jù)中與目標(biāo)字段對(duì)應(yīng)的數(shù)據(jù)進(jìn)行清洗的流程；

根據(jù)所述數(shù)據(jù)計(jì)算流程，對(duì)所述數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行計(jì)算，得到數(shù)據(jù)結(jié)果；

根據(jù)所述數(shù)據(jù)存儲(chǔ)流程將所述數(shù)據(jù)結(jié)果存儲(chǔ)到數(shù)據(jù)庫(kù)中。

8.根據(jù)權(quán)利要求7所述的方法，其中，所述根據(jù)所述數(shù)據(jù)獲取流程，從目標(biāo)數(shù)據(jù)源獲取待處理數(shù)據(jù)，包括：

若所述目標(biāo)數(shù)據(jù)源為離線數(shù)據(jù)源，則監(jiān)控離線數(shù)據(jù)源中的文件變更，在所述離線數(shù)據(jù)源中發(fā)生文件變更時(shí)，獲取變更數(shù)據(jù)；

若所述目標(biāo)數(shù)據(jù)源為實(shí)時(shí)數(shù)據(jù)源，則通過(guò)中間件拉取所述實(shí)時(shí)數(shù)據(jù)源中的實(shí)時(shí)數(shù)據(jù)。

9.根據(jù)權(quán)利要求1-6任一項(xiàng)所述的方法，其中，所述配置信息包括運(yùn)行參數(shù)配置；所述響應(yīng)于數(shù)據(jù)處理任務(wù)的配置信息更改的操作之前，還包括：

根據(jù)所述運(yùn)行參數(shù)配置中的資源信息，啟動(dòng)與所述資源信息相應(yīng)的資源基于任務(wù)執(zhí)行流程執(zhí)行的所述數(shù)據(jù)處理任務(wù)。