[發(fā)明專利]一種數(shù)據(jù)清洗任務(wù)處理方法及裝置

在審

• 申請?zhí)枺?/td>: 202110736384.3
• 申請日: 2021-06-30
• 公開（公告）號: CN113360270A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計）人: 林鵬程;韓鈺
• 申請（專利權(quán)）人: 杭州數(shù)夢工場科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F16/215
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 林祥

1.一種數(shù)據(jù)清洗任務(wù)處理方法，其特征在于，所述方法包括：

步驟102：基于預(yù)估模型，獲取待執(zhí)行的數(shù)據(jù)清洗任務(wù)的預(yù)估任務(wù)時長；其中，所述預(yù)估模型包括將與若干歷史數(shù)據(jù)清洗任務(wù)執(zhí)行相關(guān)的關(guān)鍵屬性作為輸入，并將若干歷史數(shù)據(jù)清洗任務(wù)的實(shí)際任務(wù)時長作為輸出，訓(xùn)練得到的機(jī)器學(xué)習(xí)模型；所述數(shù)據(jù)清洗任務(wù)包括針對從大數(shù)據(jù)平臺獲取到的待清洗數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗的任務(wù)；

步驟104：響應(yīng)于所述數(shù)據(jù)清洗任務(wù)被執(zhí)行，確定所述數(shù)據(jù)清洗任務(wù)的當(dāng)前運(yùn)行時長是否超過所述數(shù)據(jù)清洗任務(wù)的預(yù)估任務(wù)時長；

步驟106：如果所述數(shù)據(jù)清洗任務(wù)的當(dāng)前運(yùn)行時長未超過所述數(shù)據(jù)清洗任務(wù)的預(yù)估任務(wù)時長，則繼續(xù)執(zhí)行所述步驟104，直至所述數(shù)據(jù)清洗任務(wù)執(zhí)行完畢。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

如果所述數(shù)據(jù)清洗任務(wù)的當(dāng)前運(yùn)行時長已超過所述數(shù)據(jù)清洗任務(wù)的預(yù)估任務(wù)時長，則確定所述數(shù)據(jù)清洗任務(wù)運(yùn)行異常。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

針對若干歷史數(shù)據(jù)清洗任務(wù)的預(yù)估任務(wù)時長和實(shí)際任務(wù)時長進(jìn)行數(shù)據(jù)擬合，得到預(yù)估任務(wù)時長和實(shí)際任務(wù)時長之間的修正函數(shù)；

所述基于預(yù)估模型，獲取待執(zhí)行的數(shù)據(jù)清洗任務(wù)的預(yù)估任務(wù)時長，包括：

基于所述預(yù)估模型，獲取待執(zhí)行的數(shù)據(jù)清洗任務(wù)的初步預(yù)估任務(wù)時長；

基于所述修正函數(shù)，對所述初步預(yù)估任務(wù)時長進(jìn)行修正，并將修正后的初步預(yù)估運(yùn)行時長確定為所述數(shù)據(jù)清洗任務(wù)的預(yù)估任務(wù)時長。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于所述預(yù)估模型，獲取待執(zhí)行的數(shù)據(jù)清洗任務(wù)的初步預(yù)估任務(wù)時長，包括：

將與待執(zhí)行的數(shù)據(jù)清洗任務(wù)執(zhí)行相關(guān)的關(guān)鍵屬性輸入所述預(yù)估模型，得到所述預(yù)估模型輸出的所述數(shù)據(jù)清洗任務(wù)的初步預(yù)估任務(wù)時長；其中，與數(shù)據(jù)清洗任務(wù)執(zhí)行相關(guān)的關(guān)鍵屬性，包括為數(shù)據(jù)清洗任務(wù)分配的計算資源對應(yīng)的資源信息。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述為數(shù)據(jù)清洗任務(wù)分配的計算資源對應(yīng)的資源信息，包括以下示出的一個或者多個的組合：

為數(shù)據(jù)清洗任務(wù)分配的內(nèi)存資源的大小；

為數(shù)據(jù)清洗任務(wù)分配的CPU處理資源的大小；

數(shù)據(jù)清洗任務(wù)對應(yīng)的運(yùn)行環(huán)境的磁盤類型。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述與數(shù)據(jù)清洗任務(wù)執(zhí)行相關(guān)的關(guān)鍵屬性，還包括以下示出的一個或者多個的組合：

與數(shù)據(jù)清洗任務(wù)對應(yīng)的數(shù)據(jù)清洗規(guī)則的規(guī)則類型；

與待清洗數(shù)據(jù)對應(yīng)的數(shù)值類型；

待清洗數(shù)據(jù)的數(shù)據(jù)量的大小。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，響應(yīng)于所述數(shù)據(jù)清洗任務(wù)被執(zhí)行，確定所述數(shù)據(jù)清洗任務(wù)的當(dāng)前運(yùn)行時長是否超過所述數(shù)據(jù)清洗任務(wù)的預(yù)估任務(wù)時長之前，還包括：

預(yù)測所述數(shù)據(jù)清洗任務(wù)的最佳執(zhí)行時刻；

基于預(yù)測出的最佳執(zhí)行時刻，控制所述數(shù)據(jù)清洗任務(wù)的執(zhí)行。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述預(yù)測所述數(shù)據(jù)清洗任務(wù)的最佳執(zhí)行時刻，包括：

基于所述預(yù)估模型，獲取計算引擎上待執(zhí)行的其他數(shù)據(jù)清洗任務(wù)的預(yù)估任務(wù)時長，并且針對所述計算引擎上待執(zhí)行的每個數(shù)據(jù)清洗任務(wù)，基于初始執(zhí)行時刻和預(yù)估任務(wù)時長，計算出對應(yīng)的結(jié)束時刻；

確定所述數(shù)據(jù)清洗任務(wù)的初始執(zhí)行時刻至所述數(shù)據(jù)清洗任務(wù)的結(jié)束時刻之間，是否存在其他數(shù)據(jù)清洗任務(wù)的結(jié)束時刻；

如果有，則將所述其他數(shù)據(jù)清洗任務(wù)的結(jié)束時刻作為所述數(shù)據(jù)清洗任務(wù)的新的執(zhí)行時刻，基于所述其他數(shù)據(jù)清洗任務(wù)執(zhí)行完畢后的計算資源，重新獲取所述數(shù)據(jù)清洗任務(wù)的預(yù)估任務(wù)時長，并基于所述數(shù)據(jù)清洗任務(wù)的新的執(zhí)行時刻以及重新獲取的所述數(shù)據(jù)清洗任務(wù)的預(yù)估任務(wù)時長，計算出所述數(shù)據(jù)清洗任務(wù)的新的結(jié)束時刻；

如果所述數(shù)據(jù)清洗任務(wù)的新的結(jié)束時刻早于所述數(shù)據(jù)清洗任務(wù)的結(jié)束時刻，則將所述數(shù)據(jù)清洗任務(wù)的新的執(zhí)行時刻確定為所述數(shù)據(jù)清洗任務(wù)的最佳執(zhí)行時刻。