[發明專利]任務處理系統、方法、計算機設備和存儲介質

在審

• 申請號: 201910376505.0
• 申請日: 2019-05-07
• 公開（公告）號: CN110069335A
• 公開（公告）日: 2019-07-30
• 發明（設計）人: 胡利斌;楊綱;董延峰;張寧
• 申請（專利權）人: 江蘇滿運軟件科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 上海隆天律師事務所 31282
• 代理人: 臧云霄;鐘宗

1.一種任務處理系統，其特征在于，包括：

任務提交模塊，用于接收創建的任務，生成待處理任務并提交；

應用發布模塊，用于接收提交的各個待處理任務，通過YARN資源調度器向對應的DataNode節點申請各個待處理任務的執行資源，將各個待處理任務發送至對應的執行隊列；

任務執行模塊，包括多個執行隊列，各個所述執行隊列根據接收的待處理任務，并行執行各個所述待處理任務；以及

監控模塊，與所述應用發布模塊和所述任務執行模塊通信，所述監控模塊采集并監控應用發布數據和任務執行數據，響應所述任務提交模塊。

2.如權利要求1所述的任務處理系統，其特征在于，所述應用發布模塊通過YARN資源調度器向對應的DataNode節點申請各個待處理任務的執行資源，將各個待處理任務發送至對應的執行隊列，包括：

解析并獲得各個待處理任務的配置信息；

通過YARN資源調度器獲得各個DataNode節點的資源情況和各個執行隊列的負載情況；

所述YARN資源調度器根據每個待處理任務的配置信息，向資源情況滿足該待處理任務的配置信息的DataNode節點申請執行資源，并將該待處理任務發送至負載情況滿足其配置信息的執行隊列。

3.如權利要求2所述的任務處理系統，其特征在于，所述待處理任務的配置信息包括執行引擎，所述任務執行模塊包括多個執行引擎模塊，每個執行引擎模塊包括多個執行隊列，所述YARN資源調度器將各個待處理任務發送至對應的執行引擎模塊的執行隊列。

4.如權利要求3所述的任務處理系統，其特征在于，所述執行引擎模塊包括SparkStreaming模塊、Flink Job模塊和Flink Sql模塊。

5.如權利要求1所述的任務處理系統，其特征在于，所述任務提交模塊包括對外服務接口，所述監控模塊通過所述對外服務接口與所述任務提交模塊通信，以采集并監控任務提交數據，響應所述任務提交模塊；

所述監控模塊還根據所述任務提交數據啟動對所述應用發布模塊和所述任務執行模塊的監控。

6.如權利要求5所述的任務處理系統，其特征在于，還包括：

預警模塊，與所述監控模塊通信，所述預警模塊用于分析所述任務提交數據、所述應用發布數據和所述任務執行數據的異常，生成告警信息。

7.如權利要求5所述的任務處理系統，其特征在于，還包括：

數據接入模塊，供所述任務提交數據、所述應用發布數據和所述任務執行數據讀取和寫入。

8.如權利要求1所述的任務處理系統，其特征在于，還包括：

配置管理模塊，包括項目管理模塊和模板管理模塊，所述項目管理模塊用于提供任務邏輯管理的配置入口，所述模板管理模塊用于提供任務通用參數的配置入口。

9.如權利要求8所述的任務處理系統，其特征在于，還包括：

權限管理模塊，用于在接收創建的任務前識別任務創建者的身份，若識別為管理員身份則向其開放所述配置管理模塊和所述任務提交模塊的使用權限，若識別為用戶身份則向其開放所述任務提交模塊的使用權限。

10.一種任務處理方法，其特征在于，包括：

接收創建的任務，生成待處理任務并提交；

根據提交的各個待處理任務，通過YARN資源調度器向對應的DataNode節點申請各個待處理任務的執行資源，將各個待處理任務發送至對應的執行隊列；

各個所述執行隊列根據接收的待處理任務，并行執行各個所述待處理任務；以及

采集并監控各個待處理任務的發布數據和執行數據，返回監控信息。

11.一種計算機設備，其特征在于，包括：

處理器；

存儲器，其中存儲有所述處理器的可執行指令；

其中，所述處理器配置為經由執行所述可執行指令來執行權利要求10所述的任務處理方法的步驟。

12.一種計算機可讀存儲介質，用于存儲程序，其特征在于，所述程序被執行時實現權利要求10所述的任務處理方法的步驟。