[發明專利]電商平臺作業調度方法及系統

有效

• 申請號: 201810749182.0
• 申請日: 2018-07-10
• 公開（公告）號: CN108960641B
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 王俊杰;劉超;盧春洋;文燕軍;吳文鈞;彭海釗;祝詩恩;肖俊晶;常佩佩
• 申請（專利權）人: 康成投資（中國）有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q30/06
• 代理公司: 上海盈盛知識產權代理事務所(普通合伙) 31294
• 代理人: 孫佳胤;陳麗麗

1.一種電商平臺作業調度方法，其特征在于，包括如下步驟：

提供一待執行作業；

獲取執行所述待執行作業所需的資源空間評估值；

設置多個資源組，多個所述資源組與多個作業類型一一對應，每一所述資源組用于執行相應作業類型的作業，多個作業類型包括Vertica、Hive、Spark、MapReduce中的多個；

選擇與所述待執行作業匹配的資源組作為目標資源組；

判斷所述目標資源組的剩余資源空間是否大于所述資源空間評估值，若是，則將所述待執行作業分配至所述目標資源組，并進行資源調度，以開始執行所述待執行作業，若否，則將所述待執行作業按照預先設定的優先級順序加入到所述目標資源組的作業等待隊列中。

2.根據權利要求1所述的電商平臺作業調度方法，其特征在于，選擇與所述待執行作業匹配的資源組作為目標資源組之前還包括如下步驟：

判斷所述待執行作業是否滿足觸發條件，若是，則選擇與所述待執行作業匹配的資源組作為目標資源組。

3.根據權利要求2所述的電商平臺作業調度方法，其特征在于，所述觸發條件為待執行作業的全部上游作業執行成功、預設數量的上游作業執行成功、全部上游作業執行失敗中的一種；所述上游作業為與所述待執行作業具有先后依賴關系的作業。

4.根據權利要求1所述的電商平臺作業調度方法，其特征在于，還包括如下步驟：

判斷所述待執行作業是否執行失敗，若是，則統計所述待執行作業執行失敗次數；

判斷所述待執行作業的剩余重試次數是否為0，若否，則再次執行所述待執行作業。

5.一種電商平臺作業調度系統，其特征在于，包括：

獲取模塊，用于獲取執行待執行作業所需的資源空間評估值；

設置模塊，用于設置多個資源組，多個所述資源組與多個作業類型一一對應，每一所述資源組用于執行相應作業類型的作業，多個作業類型包括Vertica、Hive、Spark、MapReduce中的多個；

選擇模塊，連接所述獲取模塊和所述設置模塊，用于選擇與所述待執行作業匹配的資源組作為目標資源組；

控制模塊，連接所述選擇模塊，用于判斷所述目標資源組的剩余資源空間是否大于所述資源空間評估值，若是，則將所述待執行作業分配至所述目標資源組，并進行資源調度，以開始執行所述待執行作業；所述控制模塊還用于判斷所述目標資源組的剩余資源空間是否大于所述資源空間評估值，若否，則將所述待執行作業按照預先設定的優先級順序加入到所述目標資源組的作業等待隊列中。

6.根據權利要求5所述的電商平臺作業調度系統，其特征在于，所述選擇模塊包括判斷單元和選擇單元；所述判斷單元，連接所述選擇單元，用于判斷所述待執行作業是否滿足觸發條件；所述選擇單元，用于在所述判斷單元的判斷結果為所述待執行作業滿足觸發條件時，選擇與所述待執行作業匹配的資源組作為目標資源組。

7.根據權利要求6所述的電商平臺作業調度系統，其特征在于，所述觸發條件為待執行作業的全部上游作業執行成功、預設數量的上游作業執行成功、全部上游作業執行失敗中的一種；所述上游作業為與所述待執行作業具有先后依賴關系的作業。

8.根據權利要求5所述的電商平臺作業調度系統，其特征在于，還包括重試模塊；所述控制模塊還用于判斷所述待執行作業是否執行失敗，若是，則統計所述待執行作業執行失敗次數；所述重試模塊，連接所述控制模塊，用于判斷所述待執行作業的剩余重試次數是否為0，若否，則向所述控制模塊發出再次執行所述待執行作業的指令。