[發明專利]一種任務分配方法、裝置、設備及計算機可讀介質

有效

• 申請號: 202110219811.0
• 申請日: 2021-02-26
• 公開（公告）號: CN112948111B
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 羅廷方;段效晨;康林
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 孟德棟

本申請涉及一種任務分配方法、裝置、設備及計算機可讀介質，該方法包括：響應于待處理任務的任務處理請求，獲取至少兩個資源池的剩余資源和每個所述資源池所屬服務器集群的集群性能參數；獲取待處理任務的任務數據；確定不同資源池所屬服務器集群處理所述待處理任務時的所需資源量；計算每個待選資源池處理所述待處理任務的預估處理時間；確定所述待處理任務的目標資源池；將所述待處理任務分配至所述目標資源池對應的任務列表中。可以避免任務分配時服務器集群出現阻塞的情況，并且使得待處理任務的分配更加合理，使得待處理任務的處理更加高效。

技術領域

本申請涉及計算機技術領域，尤其涉及一種任務分配方法、裝置、設備及計算機可讀介質。

背景技術

隨著大數據行業的快速發展，各種基于大數據的服務也逐漸增多。一般的，用戶對開發工具的界面操作可以獲取所需的數據；例如，用戶在開發工具中通過拖拽一些預先配置的維度和指標，并將這些指標提交，以啟動大數據中的調度任務，過一段時間后，任務計算完成會返回結果，用戶即可得到所需的數據。但是，用戶通過大數據服務獲取所需的數據時，會存在以下問題：

由于用戶提交的任務量較大，而服務器集群能夠處理任務的資源有限，例如A、B兩個任務隊列對應的資源池在一定時間內分別最多能處理50個任務，而用戶向A任務隊列中提交了80個任務，向B任務隊列中提交了10個任務，這樣就造成A任務隊列對應的資源池所接收的任務大幅度地超過了A任務隊列對應的資源池的最大資源處理量50個，那么這時候就會造成服務器集群發生堵塞，從而服務器的計算速度也隨之大幅度地降低；而B任務隊列對應的資源池卻只處理了10個任務，還剩余40個任務的資源處理量，使得B任務隊列對應的資源池處于空閑狀態，極大地浪費了B任務隊列對應的資源池的處理資源；

因此，如何合理地將任務分配至服務器集群的資源池對應的任務隊列中成為亟待解決的技術問題。

發明內容

為了解決上述技術問題或者至少部分地解決上述技術問題，本申請提供了一種任務分配方法、裝置、設備及計算機可讀介質。

第一方面，本申請提供了一種任務分配方法，所述方法包括：

響應于待處理任務的任務處理請求，獲取至少兩個資源池的剩余資源和每個所述資源池所屬服務器集群的集群性能參數；

獲取待處理任務的任務數據；

根據所述任務數據以及各個資源池所屬服務器集群的集群性能參數，確定不同資源池所屬服務器集群處理所述待處理任務時的所需資源量；

將所述剩余資源大于或等于所述所需資源量的至少一個資源池作為待選資源池，計算每個待選資源池處理所述待處理任務的預估處理時間；

根據每個待選資源池所屬服務器集群處理所述待處理任務的預估處理時間，確定所述待處理任務的目標資源池；

將所述待處理任務分配至所述目標資源池。

可選地，所述確定所述待處理任務的目標資源池，包括：

將預估處理時間最小的待選資源池作為所述目標資源池。

可選地，所述確定所述待處理任務的目標資源池，還包括：

判斷所述預估處理時間最小的待選資源池對應的任務列表是否為空；

若預估處理時間最小的待選資源池對應的任務列表為空，執行所述將預估處理時間最小的待選資源池作為所述目標資源池的步驟。

可選地，所述確定所述待處理任務的目標資源池，還包括：

若預估處理時間最小的待選資源池對應的任務列表不為空，獲取每個待選資源池對應的任務列表中等待任務的預估處理時間；