[發明專利]作業流調度方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010886259.6
• 申請日: 2020-08-28
• 公開（公告）號: CN111930487A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 葉青;李蒞
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F16/27
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙) 11412
• 代理人: 谷春靜

1.一種作業流調度方法，包括：

通過調度控制器確定任一作業組滿足觸發條件，生成所述作業組對應的作業流執行實例，并將所述作業流執行實例分配至調度執行器；

通過所述調度執行器生成所述作業流執行實例對應的有向無環圖，按預定方式觸發所述有向無環圖中的作業節點，針對所觸發的任一作業節點，生成所述作業節點的作業執行實例，將所述作業執行實例分配至作業執行控制中心；

通過所述作業執行控制中心對所述作業執行實例進行作業處理。

2.根據權利要求1所述的方法，其中，所述任一作業組滿足觸發條件包括：

根據時序觸發機制確定的所述作業組滿足觸發條件；

或者，根據事件觸發機制確定的所述作業組滿足觸發條件；

或者，結合所述時序觸發機制以及所述事件觸發機制確定的所述作業組滿足觸發條件。

3.根據權利要求1所述的方法，其中，

所述有向無環圖中通過有向邊定義了作業節點間的前后依賴關系；

所述按預定方式觸發所述有向無環圖中的作業節點包括：通過所述調度執行器確定所述有向無環圖中的入口作業節點，從所述入口作業節點開始，根據所述前后依賴關系及所配置的執行計劃，層序遍歷所述有向無環圖中的作業節點，確定需要觸發的作業節點。

4.根據權利要求1所述的方法，還包括：

針對所觸發的任一作業節點，通過所述調度執行器為所述作業節點分配計算集群，并監聽所述作業節點的作業執行狀態。

5.根據權利要求1所述的方法，其中，所述通過所述作業執行控制中心對所述作業執行實例進行作業處理包括：

針對任一作業執行實例，通過所述作業執行控制中心根據所述作業執行實例對應的作業節點類型，啟動對應的執行控制引擎，以便所述執行控制引擎進行作業執行準備，并利用啟動的遠程執行控制服務分派至計算集群，完成作業處理。

6.根據權利要求5所述的方法，還包括：

通過所述遠程執行控制服務實現跨分布式集群的遠程作業提交和控制管理。

7.根據權利要求1所述的方法，其中，所述調度控制器的數量大于一；

還包括：按照基于一致性哈希算法的負載均衡方式為各調度控制器分配作業組。

8.根據權利要求7所述的方法，還包括：

對由所有調度控制器組成的調度控制服務集群進行動態監聽與事件處理，將出現問題的調度控制器上的數據重加載到正常工作的調度控制器上。

9.根據權利要求8所述的方法，還包括：

執行以下操作之一或全部：按照預定方式對所述重加載過程進行容錯處理；按照預定方式對環節點頻繁變化引發的負載震蕩問題進行防范處理，所述環節點為所述一致性哈希算法中使用的哈希環上的節點。

10.一種作業流調度裝置，包括：調度控制器、調度執行器以及作業執行控制中心；

所述調度控制器，用于當確定任一作業組滿足觸發條件時，生成所述作業組對應的作業流執行實例，并將所述作業流執行實例分配至所述調度執行器；

所述調度執行器，用于生成所述作業流執行實例對應的有向無環圖，按預定方式觸發所述有向無環圖中的作業節點，針對所觸發的任一作業節點，生成所述作業節點的作業執行實例，將所述作業執行實例分配至所述作業執行控制中心；

所述作業執行控制中心，用于對所述作業執行實例進行作業處理。

11.根據權利要求10所述的裝置，其中，

所述調度控制器針對任一作業組，根據時序觸發機制確定所述作業組滿足觸發條件，或者，根據事件觸發機制確定所述作業組滿足觸發條件，或者，結合所述時序觸發機制以及所述事件觸發機制確定所述作業組滿足觸發條件。