[發(fā)明專利]數(shù)據(jù)處理任務(wù)分析方法、裝置、電子設(shè)備和可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010378418.1
• 申請日: 2020-05-07
• 公開（公告）號: CN111680085A
• 公開（公告）日: 2020-09-18
• 發(fā)明（設(shè)計）人: 萬雄飛;馬方旭;徐陽
• 申請（專利權(quán)）人: 北京三快在線科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京市隆安律師事務(wù)所 11323
• 代理人: 權(quán)鮮枝

1.一種數(shù)據(jù)處理任務(wù)分析方法，其特征在于，包括：

獲取數(shù)據(jù)處理任務(wù)的元數(shù)據(jù)，所述數(shù)據(jù)處理任務(wù)包括數(shù)據(jù)抽取任務(wù)、數(shù)據(jù)轉(zhuǎn)換任務(wù)和數(shù)據(jù)加載任務(wù)中的至少一種；

根據(jù)所述元數(shù)據(jù)生成相應(yīng)的所述數(shù)據(jù)處理任務(wù)的任務(wù)特征；

根據(jù)所述任務(wù)特征和數(shù)據(jù)處理任務(wù)分析模型確定數(shù)據(jù)處理任務(wù)分析結(jié)果。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理任務(wù)分析方法，其特征在于，所述元數(shù)據(jù)包括上游任務(wù)特征數(shù)據(jù)，所述根據(jù)所述元數(shù)據(jù)生成相應(yīng)的所述數(shù)據(jù)處理任務(wù)的任務(wù)特征包括：

根據(jù)所述上游任務(wù)特征數(shù)據(jù)生成相應(yīng)的所述數(shù)據(jù)處理任務(wù)的任務(wù)特征，其中所述數(shù)據(jù)處理任務(wù)的任務(wù)特征包括上游任務(wù)完成時間、上游模型文件大小以及上游模型文件數(shù)量中的至少一種。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理任務(wù)分析方法，其特征在于，所述元數(shù)據(jù)包括當(dāng)前任務(wù)特征數(shù)據(jù)，所述根據(jù)所述元數(shù)據(jù)生成相應(yīng)的所述數(shù)據(jù)處理任務(wù)的任務(wù)特征包括：

根據(jù)所述當(dāng)前任務(wù)特征數(shù)據(jù)生成相應(yīng)的所述數(shù)據(jù)處理任務(wù)的任務(wù)特征，其中所述數(shù)據(jù)處理任務(wù)的任務(wù)特征包括任務(wù)執(zhí)行傾斜度以及任務(wù)執(zhí)行階段信息中的至少一種。

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理任務(wù)分析方法，其特征在于，所述元數(shù)據(jù)包括隊列資源特征數(shù)據(jù)，所述根據(jù)所述元數(shù)據(jù)生成相應(yīng)的所述數(shù)據(jù)處理任務(wù)的任務(wù)特征包括：

根據(jù)所述隊列資源特征數(shù)據(jù)生成相應(yīng)的所述數(shù)據(jù)處理任務(wù)的任務(wù)特征，其中所述數(shù)據(jù)處理任務(wù)的任務(wù)特征包括任務(wù)執(zhí)行隊列待處理任務(wù)量。

5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理任務(wù)分析方法，其特征在于，所述根據(jù)所述任務(wù)特征和數(shù)據(jù)處理任務(wù)分析模型確定數(shù)據(jù)處理任務(wù)分析結(jié)果包括：

對所述任務(wù)特征進行數(shù)據(jù)清洗，以將經(jīng)過數(shù)據(jù)清洗后的任務(wù)特征作為所述數(shù)據(jù)處理任務(wù)分析模型的輸入。

6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理任務(wù)分析方法，其特征在于，所述數(shù)據(jù)處理任務(wù)分析模型包括與任務(wù)特征類別對應(yīng)的分析規(guī)則，所述數(shù)據(jù)處理任務(wù)分析結(jié)果包括與各所述任務(wù)特征類別對應(yīng)的分析結(jié)果和目標解決方案，所述方法還包括：

響應(yīng)于對所述目標解決方案的執(zhí)行請求，根據(jù)所述目標解決方案對所述數(shù)據(jù)處理任務(wù)進行優(yōu)化。

7.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理任務(wù)分析方法，其特征在于，所述獲取數(shù)據(jù)處理任務(wù)的元數(shù)據(jù)包括：

提供前端頁面，以通過所述前端頁面接收數(shù)據(jù)處理任務(wù)標識；

根據(jù)所述數(shù)據(jù)處理任務(wù)標識獲取所述數(shù)據(jù)處理任務(wù)的元數(shù)據(jù)；

所述根據(jù)所述任務(wù)特征和數(shù)據(jù)處理任務(wù)分析模型確定數(shù)據(jù)處理任務(wù)分析結(jié)果還包括：

通過所述前端頁面展示所述數(shù)據(jù)處理任務(wù)分析結(jié)果。

8.一種數(shù)據(jù)處理任務(wù)分析裝置，其特征在于，包括：

獲取單元，用于獲取數(shù)據(jù)處理任務(wù)的元數(shù)據(jù)，所述數(shù)據(jù)處理任務(wù)包括數(shù)據(jù)抽取任務(wù)、數(shù)據(jù)轉(zhuǎn)換任務(wù)和數(shù)據(jù)加載任務(wù)中的至少一種；

生成單元，用于根據(jù)所述元數(shù)據(jù)生成相應(yīng)的所述數(shù)據(jù)處理任務(wù)的任務(wù)特征；

確定單元，用于根據(jù)所述任務(wù)特征和數(shù)據(jù)處理任務(wù)分析模型確定數(shù)據(jù)處理任務(wù)分析結(jié)果。

9.一種電子設(shè)備，其中，該電子設(shè)備包括：處理器；以及被安排成存儲計算機可執(zhí)行指令的存儲器，所述可執(zhí)行指令在被執(zhí)行時使所述處理器執(zhí)行如權(quán)利要求1至7中任一項所述的方法。

10.一種計算機可讀存儲介質(zhì)，其中，所述計算機可讀存儲介質(zhì)存儲一個或多個程序，所述一個或多個程序當(dāng)被處理器執(zhí)行時，實現(xiàn)如權(quán)利要求1至7中任一項所述的方法。