[發明專利]一種大數據任務管理方法、裝置、設備及存儲介質

在審

• 申請號: 201710946808.2
• 申請日: 2017-10-12
• 公開（公告）號: CN109656692A
• 公開（公告）日: 2019-04-19
• 發明（設計）人: 裴朝陽
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F9/455
• 代理公司: 北京元本知識產權代理事務所 11308
• 代理人: 秦力軍

本發明公開了一種大數據任務管理方法、裝置、設備及存儲介質，涉及信息技術中大數據處理領域，所述方法包括：接收客戶端為計算集群配置的任務算法元數據；根據所述任務算法元數據，生成用于清洗業務大數據的清洗任務；當所述清洗任務滿足任務提交條件時，將所述清洗任務提交到所述計算集群，以供所述計算集群執行所述清洗任務。本發明實施例通過元數據描述接口，獲取業務開發人員配置的任務相關元數據，根據所述元數據，分析任務間依賴關系、實例化任務、統一管理資源，并根據依賴關系，將任務提交到計算集群執行，業務開發人員只需要關注業務的數據結構和業務邏輯即可，降低了業務開發的門檻。

技術領域

本發明涉及信息技術中大數據處理領域，特別涉及一種大數據任務管理方法、裝置、設備及存儲介質。

背景技術

大數據作為信息時代的熱詞，已經開始從概念走向價值，成為數據價值化熱點，帶動學科融合、行業結合、跨領域應用產生綜合價值。互聯網、金融、健康持續保持對大數據的熱度，智慧城市、企業數據化、工業大數據慢慢成為新的大數據增長點。大數據開始朝民生、政策、多樣性轉化，多學科與數據科學共存融合，開源成為大數據技術生態主流。

大數據的本質在于利用海量數據進行數據清洗和挖掘找到或者預測客戶的目的數據，例如電信運營商監控掉話率、預測用戶離網，醫療衛生利用大數據基于醫學數據和專業知識分析患者病癥,提供個性化治療方案，預測疾病發展趨勢等等。大數據一個清洗任務通常包括用戶算法開發、分析數據的導入、數據清洗、數據展示等幾個部分。一個數據集群可能包含成千上萬數據清洗任務，各個任務的執行條件、需要的資源各不相同。有些任務存在依賴關系，有些任務需要定時執行，有必要讓這些任務在計算集群中有序的運行。

一般大數據系統都會提供一個大數據任務管理系統，業務開發人員在算法開發完成后，在客戶端生成一個數據清洗任務，并提交到大數據任務管理系統進行統一管理。這種系統管理的缺點是業務開發人員需要了解計算集群的結構，并且不同客戶之間的任務依賴關系需要業務開發人員自行保證，因此大數據清洗任務難以及時有效執行。

發明內容

本發明實施例提供的一種大數據任務管理方法、裝置、設備及存儲介質，解決現有大數據清洗任務難以及時有效執行的問題。

根據本發明實施例提供的一種大數據任務管理方法，包括：

接收客戶端為計算集群配置的任務算法元數據；

根據所述任務算法元數據，生成用于清洗業務大數據的清洗任務；

當所述清洗任務滿足任務提交條件時，將所述清洗任務提交到所述計算集群，以供所述計算集群執行所述清洗任務。

優選地，所述任務算法元數據包括算法管理元數據和數據管理元數據，所述接收客戶端為計算集群配置的任務算法元數據包括：

通過算法元數據接口，接收所述客戶端根據業務的數據結構和業務邏輯為所述計算集群配置的包括算法元數據和算法實現的算法管理元數據；

通過數據元數據接口，接收所述客戶端根據業務的數據結構為所述計算集群配置的包含數據元數據和數據結構定義的數據管理元數據。

優選地，所述根據所述任務算法元數據，生成用于清洗業務大數據的清洗任務包括：

根據所述算法管理元數據，至少生成一個清洗任務，并根據所述數據管理元數據，確定每個清洗任務的包括數據來源、數據存儲方式、數據保存的實際結構的信息。

優選地，在所述根據所述任務算法元數據，生成用于清洗業務大數據的清洗任務之后，還包括：

通過分析所述任務算法元數據，確定每個清洗任務的輸入和輸出信息，并根據所述每個清洗任務的輸入和輸出信息，確定各個清洗任務之間的依賴關系。