[發明專利]分布式任務調度的方法和裝置

有效

• 申請號: 201510312490.3
• 申請日: 2015-06-09
• 公開（公告）號: CN104915258B
• 公開（公告）日: 2019-07-02
• 發明（設計）人: 徐賢軍
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 陳依虹;劉光明

本發明公開了一種分布式任務調度的方法和裝置。所述方法包括：由分布式任務調度裝置接收任務執行請求；由所述裝置的控制器模塊確定線程池是否繁忙；如果所述線程池空閑，則由所述控制器模塊處理接收到的任務執行請求并對所述線程池生成任務線程；由所述線程池執行所生成的任務線程；以及在所述任務完成之后，由所述裝置的參數設置模塊確定由所述線程池生成的執行線程是否繼續執行。

技術領域

本發明涉及定時任務技術，特別是涉及分布式任務調度的方法和裝置。

背景技術

近年來，隨著互聯網的發展，數據量大，并發數高等特點突出，對系統服務要求越來越高；從系統的角度，請求數據盡量先預處理并生成異步任務，并快速返回結果，提高系統響應時間及吞吐量，系統再在預處理結果上對異步任務進行處理，最終完成用戶請求；但這會帶來任務控制、分步式調度與高效等問題。

現有方法主要是由幾個步驟完成：(1)系統每隔預定時間觸發執行任務操作請求；(2)系統根據請求執行總任務數、執行線程數、單次取任務數計算出單個線程執行的任務數以及需要執行循環數；(3)系統在單次循環中，根據執行線程數，多次從任務資源池獲取任務，分配給指定的線程池執行，線程池內線程執行中相互制約；(4)只有當第(3)步分配的所有任務執行完成后，循環次數加一；如果計算循環次數大于或等于第(2)步計算需要執行循環數，則退出請求；否則循環執行第(3)步。

然而，現有技術主要有以下幾個缺點：(1)操作參數無法修改，只有使用默認值；(2)執行子線程需要相互等待制約，降低任務執行效率；(3)線程可能獨占過多任務，并串行執行，而其它線程無法執行，導致任務執行效率低下；(4)任務積壓無報警機制。

因此，需要一種能夠提高任務執行的效率，并達到可以控制任務執行并發執行數以便更好的執行任務的分布式任務調度的方法和裝置。

發明內容

根據本發明的一個實施例，提供了一種分布式任務調度的方法，包括：由分布式任務調度裝置接收任務執行請求；由所述裝置的控制器模塊確定線程池是否繁忙；如果所述線程池空閑，則由所述控制器模塊處理接收到的任務執行請求并對所述線程池生成任務線程；由所述線程池執行所生成的任務線程；以及在所述任務完成之后，由所述裝置的參數設置模塊確定由所述線程池生成的執行線程是否繼續執行。

優選地，在確定所述線程池是否繁忙之前，由所述控制器模塊確定是否校驗調度。

優選地，由所述線程池執行所請求的任務進一步包括：由所述參數設置模塊計算已執行的總任務數；以及由所述參數設置模塊將已執行的總任務數與請求的總任務數進行比較，以便確定所述任務是否已經執行完成。

優選地，如果確定沒有完成所述任務，則由所述控制器模塊從任務池取出參數信息預設定的任務數；以及由所述線程池執行所取出的任務，直到所有任務都已經執行完成。

優選地，如果確定所述線程池所生成的執行線程繼續執行，則由所述控制器模塊獲取任務池中待執行的任務數；由所述控制器模塊確定所獲取的待執行的任務數是否達到報警臨界值；以及如果已經達到所述報警臨界值，則由報警通知模塊執行任務積壓報警。

根據本發明的另一個實施例，提供了一種分布式任務調度的裝置，包括：控制器模塊，所述控制器模塊被配置成，當所述裝置接收到任務執行請求時，確定線程池是否繁忙，并且在所述線程池空閑的情況下，處理接收到的任務執行請求并對所述線程池生成任務線程；線程池，所述線程池被配置成執行所生成的任務線程；以及參數設置模塊，所述參數設置模塊被配置成，在任務完成之后，確定由所述線程池生成的執行線程是否繼續執行。

優選地，所述控制器進一步被配置成：在確定所述線程池是否繁忙之前，確定是否校驗調度。

優選地，所述參數設置模塊進一步被配置成：計算已執行的總任務數；以及將已執行的總任務數與請求的總任務數進行比較，以便確定所述任務是否已經執行完成。