[發明專利]作業流調度方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010886259.6
• 申請日: 2020-08-28
• 公開（公告）號: CN111930487A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 葉青;李蒞
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F16/27
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙) 11412
• 代理人: 谷春靜

本申請公開了作業流調度方法、裝置、電子設備及存儲介質，涉及大數據、云計算及互聯網領域，其中的方法可包括：通過調度控制器確定任一作業組滿足觸發條件，生成作業組對應的作業流執行實例，并將作業流執行實例分配至調度執行器；通過調度執行器生成作業流執行實例對應的有向無環圖，按預定方式觸發有向無環圖中的作業節點，針對所觸發的任一作業節點，生成作業節點的作業執行實例，將作業執行實例分配至作業執行控制中心；通過作業執行控制中心對作業執行實例進行作業處理。應用本申請所述方案，可實現對于各種作業流的調度處理等。

技術領域

本申請涉及計算機應用技術，特別涉及大數據、云計算及互聯網領域的作業流調度方法、裝置、電子設備及存儲介質。

背景技術

目前的作業流調度多針對比較簡單的場景，而對于面向公有云數據分析計算平臺的復雜作業流調度，還沒有一種較好的實現方式。

發明內容

本申請提供了作業流調度方法、裝置、電子設備及存儲介質。

一種作業流調度方法，包括：

通過調度控制器確定任一作業組滿足觸發條件，生成所述作業組對應的作業流執行實例，并將所述作業流執行實例分配至調度執行器；

通過所述調度執行器生成所述作業流執行實例對應的有向無環圖，按預定方式觸發所述有向無環圖中的作業節點，針對所觸發的任一作業節點，生成所述作業節點的作業執行實例，將所述作業執行實例分配至作業執行控制中心；

通過所述作業執行控制中心對所述作業執行實例進行作業處理。

一種作業流調度裝置，包括：調度控制器、調度執行器以及作業執行控制中心；

所述調度控制器，用于當確定任一作業組滿足觸發條件時，生成所述作業組對應的作業流執行實例，并將所述作業流執行實例分配至所述調度執行器；

所述調度執行器，用于生成所述作業流執行實例對應的有向無環圖，按預定方式觸發所述有向無環圖中的作業節點，并針對所觸發的任一作業節點，生成所述作業節點的作業執行實例，將所述作業執行實例分配至所述作業執行控制中心；

所述作業執行控制中心，用于對所述作業執行實例進行作業處理。

一種電子設備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行如以上所述的方法。

一種存儲有計算機指令的非瞬時計算機可讀存儲介質，所述計算機指令用于使所述計算機執行如以上所述的方法。

上述申請中的一個實施例具有如下優點或有益效果：解耦作業流的調度控制與作業節點的執行等，為復雜作業流調度提供了良好的架構基礎，且實現邏輯簡單清晰，可適用于各種作業流的處理等。

應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用于更好地理解本方案，不構成對本申請的限定。其中：

圖1為本申請所述作業流調度方法實施例的流程圖；

圖2為本申請所述作業流調度方法的整體實現過程示意圖；

圖3為本申請所述支持負載均衡的調度控制服務集群高可用架構示意圖；

圖4為本申請所述作業流調度裝置第一實施例10的組成結構示意圖；