[發明專利]數據調度方法、裝置及電子設備

有效

• 申請號: 202110744136.3
• 申請日: 2021-07-01
• 公開（公告）號: CN113220442B
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 黃淑寧;張杰;涂山山;王少帥;朱佳明
• 申請（專利權）人: 北京輕松籌信息技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張靜

本發明公開一種數據調度方法、裝置及電子設備，該方法包括：當接收到第一目標任務的圈人請求后，將第一目標任務存儲在第一任務集合中；在第二任務集合中包含的任務的數量小于預設閾值的情況下，才可從第一任務集合中調取任務，并在將第二目標任務從第一任務集合中調取到第二任務集合中后，執行第二目標任務的圈人請求，將第二目標任務的狀態設置為正在圈人狀態，當第二目標任務的圈人請求執行完成后，將第二目標任務的狀態修改為圈人完成狀態，并在第二任務集合中存在處于圈人完成狀態的第三目標任務時，觸發第三目標任務的推送請求，并執行第三目標任務推送請求。由此保障了沒有執行推送請求的任務不會被刪掉，從而大大降低任務執行失敗的數量。

技術領域

本發明涉及數據處理領域，尤其涉及一種數據調度方法、裝置及電子設備。

背景技術

在數據資源調度時，通過會預先將需要調度的數據寫入到datahub（一種流式數據處理的技術或者平臺）的項目（project）的主題（topic）中，當執行到某個調度任務后，再從datahub調取相對應的數據。假設某個調度任務包括圈人任務和推送任務，圈人任務表示圈選信息推送的對象，在圈人任務執行后將圈選的對象的信息存儲到datahub的項目一個主題中，例如一個圈人任務可以對應一個主題，每個圈人任務執行完成后等待執行推送任務，當執行推送任務時，從datahub中調取圈選對象的信息，并向圈選的對象進行數據推送。

但是由于datahub的一個項目中可以存儲的主題的數量是有限制的，當一個項目中包含的主題的數量超過了最大限制時，若再接收到新的調度任務后，則會刪除掉最先存儲的調度任務，但是該最先存儲的調度任務可能還未執行推送任務，當執行到該推送任務時，無法獲取到調度資源，則推送任務執行失敗，由此，當前datahub的調度機制會導致大量調度任務執行失敗。

發明內容

有鑒于此，本發明實施例公開的一種數據調度方法、裝置及電子設備，解決了現有技術中，在資源達到上限的情況下，刪除掉未執行推送請求的任務從而導致任務執行失敗的問題，提高了任務執行成功的概率。

本發明實施例公開了一種數據調度方法，包括：

當接收到第一目標任務的圈人請求后，將所述第一目標任務存儲在第一任務集合中；

當檢測到第二任務集合中包含的任務的數量小于預設的閾值的情況下，從所述第一任務集合中調取第二目標任務；所述第二目標任務為所述第一任務集合中滿足預設條件的任務；所述預設的閾值小于或者等于datahub的項目中能夠存儲的主題的數量的最大上限值；

執行所述第二目標任務的圈人請求，將所述第二目標任務的狀態設置為正在圈人狀態，并在所述第二目標任務的圈人請求執行完成后，將所述第二目標任務從正在圈人狀態修改為圈人完成狀態；

當所述第二任務集合中存在處于圈人完成狀態的第三目標任務時，觸發所述第三目標任務的推送請求，并執行所述第三目標任務的推送請求。

可選的，所述當接收到第一目標任務的圈人請求后，將所述第一目標任務存儲在第一任務集合中，包括：

當接收到第一目標任務的圈人請求后，根據接收到所述第一目標任務的圈人請求的時間，設置所述第一目標任務的優先級；接收到第一目標任務的圈人請求的時間越早，則所述第一目標任務的優先級越高；

將所述第一目標任務存儲在所述第一任務集合中。

可選的，所述預設的調取條件為所述第一任務集合中優先級最高的任務。

可選的，數據調度方法還包括：

所述第二目標任務處于圈人完成狀態時，觸發所述第二目標任務的推送請求，并執行所述第二目標任務的推送請求；當所述第二目標任務的推送請求執行完成后，從所述第二任務集合中刪除所述第二目標任務。

可選的，所述執行所述第三目標任務的推送請求，包括：