[發明專利]數據處理任務分析方法、裝置、電子設備和可讀存儲介質

在審

• 申請號: 202010378418.1
• 申請日: 2020-05-07
• 公開（公告）號: CN111680085A
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 萬雄飛;馬方旭;徐陽
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京市隆安律師事務所 11323
• 代理人: 權鮮枝

本申請公開了一種數據處理任務分析方法、裝置、電子設備和可讀存儲介質，所述方法包括：獲取數據處理任務的元數據，所述數據處理任務包括數據抽取任務、數據轉換任務和數據加載任務中的至少一種；根據所述元數據生成相應的所述數據處理任務的任務特征；根據所述任務特征和數據處理任務分析模型確定數據處理任務分析結果。通過本申請，解決了在ETL數據生產過程中人工調優帶來的低效以及成本高等技術問題，提高了ETL數據處理任務的時效性。

技術領域

本申請涉及數據處理技術領域，具體涉及一種數據處理任務分析方法、裝置、電子設備和計算機可讀存儲介質。

背景技術

隨著公司業務不斷的發展，數據量的日益增多，以及數據使用方對數據產出時間的要求越來越嚴格，導致數據倉庫中對模型的時效性要求不可避免的增加，所以ETL(Extraction-Transformation-Loading，數據抽取、轉換和加載)任務的時效性優化是離線數據倉庫一直面臨的嚴峻挑戰。

相關技術中主要通過人工分析優化ETL的時效性，然而，該方法至少存在如下問題：1)分析手段單一，分析結果存在主觀性導致優化效率無法保證；2)人工優化ETL時效性的周期較長；3)人工預估優化手段的可行性和收益評估不準確。

發明內容

鑒于上述問題，提出了本申請以便提供一種克服上述問題或者至少部分地解決上述問題的數據處理任務分析方法、裝置、電子設備和計算機可讀存儲介質。

依據本申請的第一方面，提供了一種數據處理任務分析方法，包括：

獲取數據處理任務的元數據，所述數據處理任務包括數據抽取任務、數據轉換任務和數據加載任務中的至少一種；

根據所述元數據生成相應的所述數據處理任務的任務特征；

根據所述任務特征和數據處理任務分析模型確定數據處理任務分析結果。

可選地，所述元數據包括上游任務特征數據，所述根據所述元數據生成相應的所述數據處理任務的任務特征包括：

根據所述上游任務特征數據生成相應的所述數據處理任務的任務特征，其中所述數據處理任務的任務特征包括上游任務完成時間、上游模型文件大小以及上游模型文件數量中的至少一種。

可選地，所述元數據包括當前任務特征數據，所述根據所述元數據生成相應的所述數據處理任務的任務特征包括：

根據所述當前任務特征數據生成相應的所述數據處理任務的任務特征，其中所述數據處理任務的任務特征包括任務執行傾斜度以及任務執行階段信息中的至少一種。

可選地，所述元數據包括隊列資源特征數據，所述根據所述元數據生成相應的所述數據處理任務的任務特征包括：

根據所述隊列資源特征數據生成相應的所述數據處理任務的任務特征，其中所述數據處理任務的任務特征包括任務執行隊列待處理任務量。

可選地，所述根據所述任務特征和數據處理任務分析模型確定數據處理任務分析結果包括：

對所述任務特征進行數據清洗，以將經過數據清洗后的任務特征作為所述數據處理任務分析模型的輸入。

可選地，所述數據處理任務分析模型包括與任務特征類別對應的分析規則，所述數據處理任務分析結果包括與各所述任務特征類別對應的分析結果和目標解決方案，所述方法還包括：

響應于對所述目標解決方案的執行請求，根據所述目標解決方案對所述數據處理任務進行優化。

可選地，所述獲取數據處理任務的元數據包括：

提供前端頁面，以通過所述前端頁面接收數據處理任務標識；

根據所述數據處理任務標識獲取所述數據處理任務的元數據；