[發(fā)明專利]一種數(shù)據(jù)清洗任務(wù)處理方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110736384.3
• 申請(qǐng)日: 2021-06-30
• 公開（公告）號(hào): CN113360270A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計(jì)）人: 林鵬程;韓鈺
• 申請(qǐng)（專利權(quán)）人: 杭州數(shù)夢(mèng)工場(chǎng)科技有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F9/50;G06F16/215
• 代理公司: 北京博思佳知識(shí)產(chǎn)權(quán)代理有限公司 11415
• 代理人: 林祥

本申請(qǐng)?zhí)峁┮环N數(shù)據(jù)清洗任務(wù)處理方法、裝置、電子設(shè)備及機(jī)器可讀存儲(chǔ)介質(zhì)，所述方法包括：步驟102：基于預(yù)估模型，獲取待執(zhí)行的數(shù)據(jù)清洗任務(wù)的預(yù)估任務(wù)時(shí)長(zhǎng)；其中，所述預(yù)估模型包括將與若干歷史數(shù)據(jù)清洗任務(wù)執(zhí)行相關(guān)的關(guān)鍵屬性作為輸入，并將若干歷史數(shù)據(jù)清洗任務(wù)的實(shí)際任務(wù)時(shí)長(zhǎng)作為輸出，訓(xùn)練得到的機(jī)器學(xué)習(xí)模型；所述數(shù)據(jù)清洗任務(wù)包括針對(duì)從大數(shù)據(jù)平臺(tái)獲取到的待清洗數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗的任務(wù)；步驟104：響應(yīng)于所述數(shù)據(jù)清洗任務(wù)被執(zhí)行，確定所述數(shù)據(jù)清洗任務(wù)的當(dāng)前運(yùn)行時(shí)長(zhǎng)是否超過(guò)所述數(shù)據(jù)清洗任務(wù)的預(yù)估任務(wù)時(shí)長(zhǎng)；步驟106：如果否，則繼續(xù)執(zhí)行步驟104，直至所述數(shù)據(jù)清洗任務(wù)執(zhí)行完畢。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)清洗任務(wù)處理方法、裝置、電子設(shè)備及機(jī)器可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

數(shù)據(jù)清洗，是對(duì)待清洗數(shù)據(jù)進(jìn)行重新審查和校驗(yàn)的過(guò)程，其目的在于刪除待清洗數(shù)據(jù)中的重復(fù)信息、糾正待清洗數(shù)據(jù)中存在的錯(cuò)誤、以及提供數(shù)據(jù)一致性。

在實(shí)際應(yīng)用中，進(jìn)行數(shù)據(jù)清洗時(shí)，可以先通過(guò)數(shù)據(jù)清洗平臺(tái)創(chuàng)建針對(duì)待清洗數(shù)據(jù)的數(shù)據(jù)清洗任務(wù)，為該數(shù)據(jù)清洗任務(wù)配置對(duì)應(yīng)的計(jì)算資源，如：數(shù)據(jù)清洗任務(wù)的運(yùn)行環(huán)境配置、可用計(jì)算資源大小等，還可以配置與該數(shù)據(jù)清洗任務(wù)對(duì)應(yīng)的一個(gè)或多個(gè)數(shù)據(jù)清洗規(guī)則；進(jìn)一步地，響應(yīng)于已創(chuàng)建的數(shù)據(jù)清洗任務(wù)被執(zhí)行，與該數(shù)據(jù)清洗任務(wù)執(zhí)行相關(guān)的計(jì)算引擎可以針對(duì)待清洗數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N數(shù)據(jù)清洗任務(wù)處理方法，所述方法包括：

步驟102：基于預(yù)估模型，獲取待執(zhí)行的數(shù)據(jù)清洗任務(wù)的預(yù)估任務(wù)時(shí)長(zhǎng)；其中，所述預(yù)估模型包括將與若干歷史數(shù)據(jù)清洗任務(wù)執(zhí)行相關(guān)的關(guān)鍵屬性作為輸入，并將若干歷史數(shù)據(jù)清洗任務(wù)的實(shí)際任務(wù)時(shí)長(zhǎng)作為輸出，訓(xùn)練得到的機(jī)器學(xué)習(xí)模型；所述數(shù)據(jù)清洗任務(wù)包括針對(duì)從大數(shù)據(jù)平臺(tái)獲取到的待清洗數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗的任務(wù)；

步驟104：響應(yīng)于所述數(shù)據(jù)清洗任務(wù)被執(zhí)行，確定所述數(shù)據(jù)清洗任務(wù)的當(dāng)前運(yùn)行時(shí)長(zhǎng)是否超過(guò)所述數(shù)據(jù)清洗任務(wù)的預(yù)估任務(wù)時(shí)長(zhǎng)；

步驟106：如果所述數(shù)據(jù)清洗任務(wù)的當(dāng)前運(yùn)行時(shí)長(zhǎng)未超過(guò)所述數(shù)據(jù)清洗任務(wù)的預(yù)估任務(wù)時(shí)長(zhǎng)，則繼續(xù)執(zhí)行所述步驟104，直至所述數(shù)據(jù)清洗任務(wù)執(zhí)行完畢。

可選的，所述方法還包括：

如果所述數(shù)據(jù)清洗任務(wù)的當(dāng)前運(yùn)行時(shí)長(zhǎng)已超過(guò)所述數(shù)據(jù)清洗任務(wù)的預(yù)估任務(wù)時(shí)長(zhǎng)，則確定所述數(shù)據(jù)清洗任務(wù)運(yùn)行異常。

可選的，所述方法還包括：

針對(duì)若干歷史數(shù)據(jù)清洗任務(wù)的預(yù)估任務(wù)時(shí)長(zhǎng)和實(shí)際任務(wù)時(shí)長(zhǎng)進(jìn)行數(shù)據(jù)擬合，得到預(yù)估任務(wù)時(shí)長(zhǎng)和實(shí)際任務(wù)時(shí)長(zhǎng)之間的修正函數(shù)；

所述基于預(yù)估模型，獲取待執(zhí)行的數(shù)據(jù)清洗任務(wù)的預(yù)估任務(wù)時(shí)長(zhǎng)，包括：

基于所述預(yù)估模型，獲取待執(zhí)行的數(shù)據(jù)清洗任務(wù)的初步預(yù)估任務(wù)時(shí)長(zhǎng)；

基于所述修正函數(shù)，對(duì)所述初步預(yù)估任務(wù)時(shí)長(zhǎng)進(jìn)行修正，并將修正后的初步預(yù)估運(yùn)行時(shí)長(zhǎng)確定為所述數(shù)據(jù)清洗任務(wù)的預(yù)估任務(wù)時(shí)長(zhǎng)。

可選的，所述基于所述預(yù)估模型，獲取待執(zhí)行的數(shù)據(jù)清洗任務(wù)的初步預(yù)估任務(wù)時(shí)長(zhǎng)，包括：

將與待執(zhí)行的數(shù)據(jù)清洗任務(wù)執(zhí)行相關(guān)的關(guān)鍵屬性輸入所述預(yù)估模型，得到所述預(yù)估模型輸出的所述數(shù)據(jù)清洗任務(wù)的初步預(yù)估任務(wù)時(shí)長(zhǎng)；其中，與數(shù)據(jù)清洗任務(wù)執(zhí)行相關(guān)的關(guān)鍵屬性，包括為數(shù)據(jù)清洗任務(wù)分配的計(jì)算資源對(duì)應(yīng)的資源信息。

可選的，所述為數(shù)據(jù)清洗任務(wù)分配的計(jì)算資源對(duì)應(yīng)的資源信息，包括以下示出的一個(gè)或者多個(gè)的組合：

為數(shù)據(jù)清洗任務(wù)分配的內(nèi)存資源的大小；

為數(shù)據(jù)清洗任務(wù)分配的CPU處理資源的大小；

數(shù)據(jù)清洗任務(wù)對(duì)應(yīng)的運(yùn)行環(huán)境的磁盤類型。