[發明專利]作業調度方法、裝置和系統

在審

• 申請號: 201811084414.1
• 申請日: 2018-09-17
• 公開（公告）號: CN110908777A
• 公開（公告）日: 2020-03-24
• 發明（設計）人: 張強
• 申請（專利權）人: 北京京東金融科技控股有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 呂雁葭

本公開提供了一種作業調度方法、裝置和系統。該作業調度方法包括：獲取待執行的多個作業實例，每個待執行的作業實例具有執行信息和關聯信息；根據待執行的多個作業實例的關聯信息，確定待執行的多個作業實例中是否包括與當前執行的作業實例具有關聯關系的作業實例；在待執行的多個作業實例中包括與當前執行的作業實例具有關聯關系的作業實例的情況下，根據執行信息，確定具有關聯關系的作業實例中，與當前執行的作業實例不沖突的至少一個作業實例；以及根據調度規則，將與當前執行的作業實例不具有關聯關系的作業實例及確定的至少一個作業實例分配給至少兩個執行節點，以供至少兩個執行節點并行地執行分配得到的作業實例。

技術領域

本公開涉及計算機技術領域，更具體地，涉及一種作業調度方法、裝置和系統。

背景技術

隨著移動互聯網技術的發展，各企業的數據量呈指數式增長，而如何利用海量數據資源成為各企業提高核心競爭力的關鍵。在大數據技術的實際應用中，比如數據倉庫建立、數據挖掘和分析等，都需要運行大量的作業來完成對數據的采集、清洗、加工運算及推送。為了確保作業能夠有序和高效的執行，需要一個作業調度系統來管理、觸發、執行這些作業。

在實現本公開構思的過程中，發明人發現現有技術中至少存在如下問題：現有的作業調度系統雖然能夠解決作業的觸發執行和依賴關系等基本功能，但是隨著數據倉庫規模不斷變大，作業數據量激增，在作業執行效率方面逐漸無法滿足需求，例如作業并行度低，能夠并行的作業以串行方式執行，作業吞吐量小等，從而存在浪費系統軟硬件資源及不能及時產出重要數據的缺陷。

發明內容

有鑒于此，本公開提供了一種能夠提高作業并行度的作業調度方法、裝置和系統。

本公開的一個方面提供了一種作業調度方法，包括：獲取待執行的多個作業實例，每個待執行的作業實例具有執行信息和關聯信息；根據待執行的多個作業實例的關聯信息，確定待執行的多個作業實例中是否包括與當前執行的作業實例具有關聯關系的作業實例；在待執行的多個作業實例中包括與當前執行的作業實例具有關聯關系的作業實例的情況下，根據執行信息，確定具有關聯關系的作業實例中，與當前執行的作業實例不沖突的至少一個作業實例；以及根據調度規則，將與當前執行的作業實例不具有關聯關系的作業實例及確定的至少一個作業實例分配給至少兩個執行節點，以供至少兩個執行節點并行地執行分配得到的作業實例。

根據本公開的實施例，上述執行信息包括控制屬性，該控制屬性包括自身并行執行屬性，上述根據執行信息，確定具有關聯關系的作業實例中，與當前執行的作業實例不沖突的至少一個作業實例包括：確定具有關聯關系的作業實例中是否包括與當前執行的作業實例屬于同一作業的作業實例；以及在具有關聯關系的作業實例中包括與當前執行的作業實例屬于同一作業的作業實例，且該屬于同一作業的作業實例的自身并行執行屬性為是的情況下，確定該屬于同一作業的作業實例與當前執行的、屬于同一作業的作業實例不沖突。

根據本公開的實施例，上述控制屬性還包括上游并行執行屬性和下游并行執行屬性，執行信息還包括執行時間信息，上述根據執行信息，確定具有關聯關系的作業實例中，與當前執行的作業實例不沖突的至少一個作業實例還包括：在具有關聯關系的作業實例中不包括與當前執行的作業實例屬于同一作業的作業實例的情況下，或者確定屬于同一作業的作業實例與當前執行的、屬于同一作業的作業實例不沖突的情況下，確定具有關聯關系的作業實例中是否包括當前執行的作業實例的上游和/或下游作業實例；以及在具有關聯關系的作業實例中包括當前執行的作業實例的上游和 /或下游作業實例的情況下，根據上游和/或下游作業實例的下游并行執行屬性和/或上游并行執行屬性及執行時間信息，確定該上游和/或下游作業實例是否與當前執行的作業實例相沖突。