[發明專利]大數據批量作業任務調度方法及裝置

在審

• 申請號: 202010906310.5
• 申請日: 2020-09-01
• 公開（公告）號: CN112035233A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 楊曉曉
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F11/30
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 谷敬麗;薛平

1.一種大數據批量作業任務調度方法，其特征在于，包括：

定義對大數據執行批處理的批量作業，所述批量作業中包含：多個任務；

配置所述批量作業的批量參數信息；

根據配置的批量參數信息，執行所述批量作業中的各個任務；

監控所述批量作業的作業執行狀態和所述批量作業中各個任務的任務執行狀態；

根據監控結果，對所述批量作業的各個任務進行調度。

2.如權利要求1所述的方法，其特征在于，所述批量作業中包含的任務類型包括：開始任務、過程任務和結束任務，所述開始任務為所述批量作業中僅具有后繼任務的任務，所述過程任務為所述批量作業中同時具有前驅任務和后繼任務的任務，所述結束任務為所述批量作業中僅具有前驅任務的任務。

3.如權利要求1所述的方法，其特征在于，所述方法還包括：

定義所述批量作業的作業執行狀態和所述批量作業中各個任務的任務執行狀態。

4.如權利要求1所述的方法，其特征在于，根據監控結果，對所述批量作業的各個任務進行調度，包括：

重新啟動所述批量作業；

跳過所述批量作業中的執行完成的任務，繼續執行所述批量作業。

5.如權利要求1所述的方法，其特征在于，在根據配置的批量參數信息，執行所述批量作業中的各個任務之后，所述方法還包括：

記錄所述批量作業在執行過程中的日志信息；

對記錄的日志信息進行分類存儲。

6.如權利要求5所述的方法，其特征在于，在記錄所述批量作業在執行過程中的日志信息之后，所述方法還包括：

記錄報錯日志的錯誤碼；

根據報錯日志的錯誤碼，提取報錯日志的日志信息；

輸出報錯日志的日志信息。

7.如權利要求1所述的方法，其特征在于，在根據配置的批量參數信息，執行所述批量作業中的各個任務之后，所述方法還包括：

采集所述批量作業在執行過程中的系統資源使用信息；

輸出采集的系統資源使用信息。

8.如權利要求1所述的方法，其特征在于，在監控所述批量作業的作業執行狀態和所述批量作業中各個任務的任務執行狀態之后，所述方法還包括：

根據監控結果，生成告警信息；

采用郵件或短信方式，發送所述告警信息。

9.如權利要求1至8任一項所述的方法，其特征在于，所述大數據為大規模并行分析MPP數據庫中存儲的數據。

10.一種大數據批量作業任務調度裝置，其特征在于，包括：

批量作業定義模塊，用于定義對大數據執行批處理的批量作業，所述批量作業中包含：多個任務；

批量參數配置模塊，用于配置所述批量作業的批量參數信息；

批量任務執行模塊，用于根據配置的批量參數信息，執行所述批量作業中的各個任務；

執行狀態監控模塊，用于監控所述批量作業的作業執行狀態和所述批量作業中各個任務的任務執行狀態；

任務調度模塊，用于根據監控結果，對所述批量作業的各個任務進行調度。

11.如權利要求10所述的裝置，其特征在于，所述裝置還包括：

執行狀態定義模塊，用于定義所述批量作業的作業執行狀態和所述批量作業中各個任務的任務執行狀態。

12.如權利要求10所述的裝置，其特征在于，所述裝置還包括：

日志記錄模塊，用于記錄所述批量作業在執行過程中的日志信息，以及對記錄的日志信息進行分類存儲。

13.如權利要求10所述的裝置，其特征在于，所述裝置還包括：

系統資源使用信息監控模塊，用于采集所述批量作業在執行過程中的系統資源使用信息，以及輸出采集的系統資源使用信息。