[發明專利]一種大數據任務管理方法、裝置、設備及存儲介質

在審

• 申請號: 201710946808.2
• 申請日: 2017-10-12
• 公開（公告）號: CN109656692A
• 公開（公告）日: 2019-04-19
• 發明（設計）人: 裴朝陽
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F9/455
• 代理公司: 北京元本知識產權代理事務所 11308
• 代理人: 秦力軍

1.一種大數據任務管理方法，其特征在于，包括：

接收客戶端為計算集群配置的任務算法元數據；

根據所述任務算法元數據，生成用于清洗業務大數據的清洗任務；

當所述清洗任務滿足任務提交條件時，將所述清洗任務提交到所述計算集群，以供所述計算集群執行所述清洗任務；

其中，所述任務算法元數據包括算法管理元數據和數據管理元數據，所述根據所述任務算法元數據，生成用于清洗業務大數據的清洗任務包括：根據所述算法管理元數據，至少生成一個清洗任務，并根據所述數據管理元數據，確定每個清洗任務的包括數據來源、數據存儲方式、數據保存的實際結構的信息；

其中，所述任務提交條件包括清洗條件和調度條件，當所述清洗任務滿足任務提交條件時，將所述清洗任務提交到所述計算集群包括：根據各個清洗任務之間的依賴關系，確定所述清洗任務是否滿足清洗條件；根據所述清洗任務所需的資源和所述計算集群的可用資源，確定所述清洗任務是否滿足調度條件；若確定所述清洗任務滿足所述清洗條件和所述調度條件，則將所述清洗任務提交到所述計算集群；其中，所述根據各個清洗任務之間的依賴關系，確定所述清洗任務是否滿足清洗條件包括：根據各個清洗任務之間的依賴關系，確定所述清洗任務是否有依賴的其它清洗任務；當確定所述清洗任務有依賴的其它清洗任務時，若所述依賴的其它清洗任務已執行完畢，且所述依賴的其它清洗任務的輸出數據已到達所述計算集群，則確定所述清洗任務滿足清洗條件；當確定所述清洗任務沒有依賴的其它清洗任務時，若查詢到所述清洗任務的輸入數據已到達所述計算集群，則確定所述計算集群上的數據滿足清洗條件。

2.根據權利要求1所述的方法，其特征在于，所述接收客戶端為計算集群配置的任務算法元數據包括：

通過算法元數據接口，接收所述客戶端根據業務的數據結構和業務邏輯為所述計算集群配置的包括算法元數據和算法實現的算法管理元數據；

通過數據元數據接口，接收所述客戶端根據業務的數據結構為所述計算集群配置的包含數據元數據和數據結構定義的數據管理元數據。

3.根據權利要求1所述的方法，其特征在于，在所述根據所述任務算法元數據，生成用于清洗業務大數據的清洗任務之后，還包括：

通過分析所述任務算法元數據，確定每個清洗任務的輸入和輸出信息，并根據所述每個清洗任務的輸入和輸出信息，確定各個清洗任務之間的依賴關系。

4.根據權利要求1所述的方法，其特征在于，所述根據所述清洗任務所需的資源和所述計算集群的可用資源，確定所述清洗任務是否滿足調度條件包括：

若所述清洗任務所需的資源小于所述計算集群的可用資源，則確定所述清洗任務是否滿足調度條件。

5.一種大數據任務管理裝置，其特征在于，所述裝置包括：

用戶接口模塊，用于接收客戶端為計算集群配置的任務算法元數據；

任務生成模塊，用于根據所述任務算法元數據，生成用于清洗業務大數據的清洗任務；

任務提交模塊，用于當所述清洗任務滿足任務提交條件時，將所述清洗任務提交到所述計算集群，以供所述計算集群執行所述清洗任務；

其中，所述任務算法元數據包括算法管理元數據和數據管理元數據，所述任務生成模塊還用于：根據所述算法管理元數據，至少生成一個清洗任務，并根據所述數據管理元數據，確定每個清洗任務的包括數據來源、數據存儲方式、數據保存的實際結構的信息；

其中，所述任務提交條件包括清洗條件和調度條件，任務提交模塊還用于：根據各個清洗任務之間的依賴關系，確定所述清洗任務是否滿足清洗條件；根據所述清洗任務所需的資源和所述計算集群的可用資源，確定所述清洗任務是否滿足調度條件；若確定所述清洗任務滿足所述清洗條件和所述調度條件，則將所述清洗任務提交到所述計算集群；其中，所述根據各個清洗任務之間的依賴關系，確定所述清洗任務是否滿足清洗條件包括：根據各個清洗任務之間的依賴關系，確定所述清洗任務是否有依賴的其它清洗任務；當確定所述清洗任務有依賴的其它清洗任務時，若所述依賴的其它清洗任務已執行完畢，且所述依賴的其它清洗任務的輸出數據已到達所述計算集群，則確定所述清洗任務滿足清洗條件；當確定所述清洗任務沒有依賴的其它清洗任務時，若查詢到所述清洗任務的輸入數據已到達所述計算集群，則確定所述計算集群上的數據滿足清洗條件。