[發明專利]一種跨異構計算引擎的大數據任務調度方法、設備及介質

在審

• 申請號: 202210377333.0
• 申請日: 2022-04-12
• 公開（公告）號: CN114896054A
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 楊陽;賈瑩;薛麗惠
• 申請（專利權）人: 中國電子科技集團公司第十研究所
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 成都九鼎天元知識產權代理有限公司 51214
• 代理人: 周浩杰

1.一種跨異構計算引擎的大數據任務調度方法，其特征在于，包括以下步驟：

S1，定義任務工作流統一描述模型；

S2，可視化編排任務工作流；

S3，對任務工作流進行解析；

S4，將任務工作流按策略分發到調度服務器上；

S5，下發任務工作流的作業到具體的計算引擎上執行，并管理任務工作流的執行狀態。

2.根據權利要求1所述的跨異構計算引擎的大數據任務調度方法，其特征在于，在步驟S1中，所述任務工作流中的節點，包括控制節點和計算節點，控制節點用于表達業務流程邏輯，計算節點用于適配不同的計算引擎并完成計算執行。

3.根據權利要求1所述的跨異構計算引擎的大數據任務調度方法，其特征在于，在步驟S1中，所述任務工作流統一模型采用key/value格式文本文件作為統一描述文件；任務工作流節點設置全局唯一標識；在計算節點指明其計算類型；計算節點包括功能配置信息；當工作流節點有依賴關系時在統一描述文件中指明節點間的依賴關系及依賴數據。

4.根據權利要求1所述的跨異構計算引擎的大數據任務調度方法，其特征在于，在步驟S2中，包括如下子步驟：

S21，將大數據生產加工用到的業務、算法、知識形成模型共享庫；

S22，從模型共享庫中導入模型并抽象為可視化組件；

S23，對可視化組件進行操作；

S24，生成工作流統一描述文件，持久化到任務工作流庫中。

5.根據權利要求1所述的跨異構計算引擎的大數據任務調度方法，其特征在于，在步驟S3中，所述對任務工作流解析，包括任務內解析和任務間解析；

任務內解析通過從任務工作流庫中獲取工作流統一描述文件，解析并提前工作流執行所需的作業計算引擎類型、運行命令或腳本信息、依賴信息、作業執行順序；

任務間解析基于任務內解析的結果，分析各個任務工作流的依賴關系，確定各任務工作流的執行順序。

6.根據權利要求1所述的跨異構計算引擎的大數據任務調度方法，其特征在于，在步驟S4中，包括子步驟：

S41，配置調度服務器為集群模式；

S42，檢測調度服務器集群的使用情況，分析各調度服務器的壓力，將工作流任務分發給壓力最小的調度服務器；

S43，調度服務器將工作流中的各作業調度到具體的計算引擎上執行。

7.根據權利要求1所述的跨異構計算引擎的大數據任務調度方法，其特征在于，在步驟S5中，通過插件方式從不同類型的計算引擎上獲取工作流作業的相應執行狀態數據。

8.根據權利要求6所述的跨異構計算引擎的大數據任務調度方法，其特征在于，所述調度服務器集群的數量至少三個，且調度策略設置為動態負載均衡策略。

9.一種計算機設備，其特征在于，包括處理器和存儲器，在存儲器中存儲有計算機程序，當所述計算機程序被處理器加載并執行如權利要求1～8中任一項所述的方法。

10.一種計算機可讀存儲介質，其特征在于，在計算機可讀存儲介質中存儲有計算機程序，當所述計算機程序被處理器加載并執行如權利要求1～8中任一項所述的方法。