[發明專利]任務調度方法及系統

在審

• 申請號: 202110081921.5
• 申請日: 2021-01-21
• 公開（公告）號: CN112764902A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 吳男
• 申請（專利權）人: 上海明略人工智能（集團）有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/445;G06F9/54
• 代理公司: 青島清泰聯信知識產權代理有限公司 37256
• 代理人: 趙燕

本申請涉及一種任務調度方法及系統，其中，該任務調度方法包括：任務請求步驟，用于基于一任務調度系統的前端模塊創建任務節點及任務工作流，配置任務工作流并提交任務請求；任務接收步驟，用于基于所述任務調度系統的后端模塊接收所述任務請求并將所述任務請求存儲至一數據庫模塊；任務腳本生成步驟，用于通過一Zookeeper服務模塊監控所述數據庫模塊中的任務請求并根據所述任務請求生成對應的任務腳本；任務執行步驟，用于通過Jupyter Notebook接收所述任務腳本并執行所述任務腳本，實現任務調度。通過本申請，使開發者不需要寫代碼即可完成對Jupyter Notebook配置任務調度，大大減少了開發者的工作量，提高工作效率。

技術領域

本申請涉及互聯網技術領域，特別是涉及一種基于任務調度系統及JupyterNotebook的任務調度方法及系統。

背景技術

Jupyter Notebook是基于網頁的用于交互計算的應用程序。其可被應用于全過程計算：開發、文檔編寫、運行代碼和展示結果。簡而言之，Jupyter Notebook是以網頁的形式打開，可以在網頁頁面中直接編寫代碼和運行代碼，代碼的運行結果也會直接在代碼塊下顯示。如在編程過程中需要編寫說明文檔，可在同一個頁面中直接編寫，便于作及時的說明和解釋。

但是，在實際應用過程中，目前很多開發對象會基于Jupiter NoteBook進行開發任務，但是并不能通過Jupiter NoteBook本身進行任務調度，要實現調度任務，需要開發對象單獨對調度模塊進行開發；進一步的，使用Jupyter Notebook需要手動進行任務執行，其也不能執行定時任務或配置任務工作流，因此，在具體應用時無法有效實現任務調度工作，而需另外的任務調度模塊，這樣一來，無法完成指定調度任務，無法滿足對象需求。

發明內容

本申請實施例提供了一種任務調度方法、系統、計算機設備和計算機可讀存儲介質，通過整合任務調度系統和Jupiter NoteBook使開發對象可對Jupiter NoteBook配置任務調度，大大減少工作量，提高工作效率。

第一方面，本申請實施例提供了一種任務調度方法，包括：

任務請求步驟，用于基于一任務調度系統的前端模塊創建任務節點及任務工作流，配置任務工作流并提交任務請求；

任務接收步驟，用于基于所述任務調度系統的后端模塊接收所述任務請求并將所述任務請求以Json字符串的形式存儲至一數據庫模塊；

任務腳本生成步驟，用于通過一Zookeeper服務模塊監控所述數據庫模塊中的任務請求并根據所述任務請求生成對應的任務腳本；

任務執行步驟，用于通過Jupyter Notebook接收所述任務腳本并執行所述任務腳本，實現任務調度。

通過上述步驟，整合Jupyter Notebook和任務調度系統，使開發對象可對JupyterNotebook進行配置任務工作流也能配置定時任務，使開發對象不需要寫代碼即可完成對Jupyter Notebook配置任務調度，大大減少了開發對象的工作量，提高工作效率。

在其中一些實施例中，所述任務請求步驟進一步包括：

任務工作流創建步驟，用于基于有向無環圖DAG(Directed Acyclic Graph，簡稱DAG)創建任務節點及任務工作流，并設置任務節點參數，具體的，將任務節點拖拽至DAG圖里并將所有創建的任務節點串聯起來形成待執行任務的工作流，所述任務節點參數包括但不限于基本參數(如節點名稱、描述、腳本字段)、運行參數、任務優先級參數、超時告警參數和/或其他自定義參數；可選的，流程運行的優先級，分五個等級：最高HIGHEST，高HIGH，中MEDIUM，低LOW，最低LOWEST。