[發明專利]任務調度方法及系統

在審

• 申請號: 202110081921.5
• 申請日: 2021-01-21
• 公開（公告）號: CN112764902A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 吳男
• 申請（專利權）人: 上海明略人工智能（集團）有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/445;G06F9/54
• 代理公司: 青島清泰聯信知識產權代理有限公司 37256
• 代理人: 趙燕

1.一種任務調度方法，其特征在于，包括：

任務請求步驟，用于基于一任務調度系統的前端模塊創建任務節點及任務工作流，配置任務工作流并提交任務請求；

任務接收步驟，用于基于所述任務調度系統的后端模塊接收所述任務請求并將所述任務請求存儲至一數據庫模塊；

任務腳本生成步驟，用于通過一Zookeeper服務模塊監控所述數據庫模塊中的任務請求并根據所述任務請求生成對應的任務腳本；

任務執行步驟，用于通過Jupyter Notebook接收所述任務腳本并執行所述任務腳本，實現任務調度。

2.根據權利要求1所述的任務調度方法，其特征在于，所述任務請求步驟進一步包括：

任務工作流創建步驟，用于基于有向無環圖DAG創建任務節點及任務工作流，并設置任務節點參數；

任務工作流自定義步驟，用于編輯工作流參數，所述工作流參數包括但不限于狀態參數、定時管理參數及運行參數。

3.根據權利要求1或2所述的任務調度方法，其特征在于，所述任務腳本生成步驟進一步包括：

任務拆分步驟，用于通過所述Zookeeper服務模塊的主節點Master監控所述任務請求并將所任務請求進行任務拆分后發送至與所述主節點Master對應的從節點Worker；

任務腳本獲取步驟，用于所述從節點Worker接收所述任務請求并根據所述任務請求的任務工作流的配置數據生成任務腳本。

4.根據權利要求1所述的任務調度方法，其特征在于，所述Jupyter Notebook在Kubernetes容器里進行管理。

5.根據權利要求1所述的任務調度方法，其特征在于，當所述主節點Master的線程數不足時，根據優先級依序執行，相同優先級的流程按照先進先出的順序執行。

6.一種任務調度系統，其特征在于，包括：

任務請求模塊，用于基于一任務調度系統的前端模塊創建任務節點及任務工作流，配置任務工作流并提交任務請求；

任務接收模塊，用于基于所述任務調度系統的后端模塊接收所述任務請求并將所述任務請求存儲至一數據庫模塊；

任務腳本生成模塊，用于通過一Zookeeper服務模塊監控所述數據庫模塊中的任務請求并根據所述任務請求生成對應的任務腳本；

任務執行模塊，用于通過Jupyter Notebook接收所述任務腳本并執行所述任務腳本，實現任務調度。

7.根據權利要求6所述的任務調度系統，其特征在于，所述任務請求模塊進一步包括：

任務工作流創建模塊，用于基于有向無環圖DAG創建任務節點及任務工作流，并設置任務節點參數；

任務工作流自定義模塊，用于編輯工作流參數，所述工作流參數包括但不限于狀態參數、定時管理參數及運行參數。

8.根據權利要求6或7所述的任務調度系統，其特征在于，所述任務腳本生成模塊進一步包括：

任務拆分模塊，用于通過所述Zookeeper服務模塊的主節點Master監控所述任務請求并將所任務請求進行任務拆分后發送至與所述主節點Master對應的從節點Worker；

任務腳本獲取模塊，用于所述從節點Worker接收所述任務請求并根據所述任務請求的任務工作流的配置數據生成任務腳本。

9.根據權利要求6所述的任務調度系統，其特征在于，所述Jupyter Notebook在Kubernetes容器里進行管理。

10.根據權利要求6所述的任務調度系統，其特征在于，當所述主節點Master的線程數不足時，根據優先級依序執行，相同優先級的流程按照先進先出的順序執行。