[發明專利]電商平臺作業調度方法及系統

有效

• 申請號: 201810749182.0
• 申請日: 2018-07-10
• 公開（公告）號: CN108960641B
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 王俊杰;劉超;盧春洋;文燕軍;吳文鈞;彭海釗;祝詩恩;肖俊晶;常佩佩
• 申請（專利權）人: 康成投資（中國）有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q30/06
• 代理公司: 上海盈盛知識產權代理事務所(普通合伙) 31294
• 代理人: 孫佳胤;陳麗麗

本發明涉及通信技術領域，尤其涉及一種電商平臺作業調度方法及系統。所述電商平臺作業調度方法，包括如下步驟：提供一待執行作業；獲取執行所述待執行作業所需的資源空間評估值；設置多個資源組，多個所述資源組與多個作業類型一一對應，每一所述資源組用于執行相應作業類型的作業；選擇與所述待執行作業匹配的資源組作為目標資源組；判斷所述目標資源組的剩余資源空間是否大于所述資源空間評估值，若是，則將所述待執行作業分配至所述目標資源組，并進行資源調度，以開始執行所述待執行作業。本發明提高了作業執行的效率，在提高電商平臺資源利用率的同時，也確保了電商平臺持續、穩定的運行。

技術領域

本發明涉及通信技術領域，尤其涉及一種電商平臺作業調度方法及系統。

背景技術

隨著電子商務行業的迅速發展，電商平臺產生的數據種類以及數據量都在急劇增加，為了確保電商平臺的穩定運行，往往需要設置不同的計算平臺來支撐相應的業務數據計算量，并配置相應的技術人員人工處理數據的ETL(Extract-Transform-Load，抽取-轉換-加載)。然而，由于作業種類繁多，作業量呈指數級增加，作業間的依賴關系錯綜復雜，因此，無法對作用運行的健康狀態進行實時監控，也無法對作業運行狀態進行實時調整。

而且，作業執行鏈條冗長，對于作業中出現的異常數據的定位，則需要采用人工的方式逐一對相關作業數據進行排查，這也就導致了異常數據定位的人力成本、時間成本極高，異常情況處理效率極低。

現有的作業間依賴關系的配置，是根據Crontab指令進行周期性調度。作業間的依賴是根據經驗值人工設定，通過設置緩沖時間來實現實際依賴。這種依賴配置關系，導致計算資源利用率較低，同時增加了整體作業的執行時間，導致日結數據的失效極低，無法滿足管理報表、數據系統的使用要求。

同時，各類型作業的執行健康狀態可控性較低，作業并發量的閾值設定全憑借經驗，易出現因作業并發量大而導致相應數據計算平臺停機的情況發生。此時，則需要人工終止相應作業，重新設置調度時間點和并發量，同時調整后續所有作業的調度時間，導致作業執行效率整體降低。

因此，如何提高作業執行效率，改善資源利用率，確保電商平臺持續、穩定的運行，是目前亟待解決的技術問題。

發明內容

本發明提供一種電商平臺作業調度方法及系統，用以解決現有的作業執行效率低的問題，提高電商平臺的資源利用率，確保電商平臺持續、穩定的運行。

為了解決上述問題，本發明提供了一種電商平臺作業調度方法，包括如下步驟：

提供一待執行作業；

獲取執行所述待執行作業所需的資源空間評估值；

設置多個資源組，多個所述資源組與多個作業類型一一對應，每一所述資源組用于執行相應作業類型的作業；

選擇與所述待執行作業匹配的資源組作為目標資源組；

判斷所述目標資源組的剩余資源空間是否大于所述資源空間評估值，若是，則將所述待執行作業分配至所述目標資源組，并進行資源調度，以開始執行所述待執行作業。

優選的，還包括如下步驟：

判斷所述目標資源組的剩余資源空間是否大于所述資源空間評估值，若否，則將所述待執行作業按照預先設定的優先級順序加入到所述目標資源組的作業等待隊列中。

優選的，選擇與所述待執行作業匹配的資源組作為目標資源組之前還包括如下步驟：

判斷所述待執行作業是否滿足觸發條件，若是，則選擇與所述待執行作業匹配的資源組作為目標資源組。

優選的，所述觸發條件為待執行作業的全部上游作業執行成功、預設數量的上游作業執行成功、全部上游作業執行失敗中的一種；所述上游作業為與所述待執行作業具有先后依賴關系的作業。