[發明專利]任務調度方法、裝置、計算機設備和計算機可讀介質

在審

• 申請號: 201910905458.4
• 申請日: 2019-09-24
• 公開（公告）號: CN112631764A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 韓大鶴
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48;G06F9/54;G06F16/25
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 姜春咸;劉悅晗

本公開提供一種任務調度方法，被配置為主調度裝置的第一調度裝置根據任務隊列中的任務的最小資源需求單元以及集群內各執行節點上報的資源總量和資源使用情況，確定集群內用于執行該任務的執行節點，將該任務從任務隊列中取出并分發到確定出的執行節點中，從而啟動該任務，其中，任務隊列中的任務滿足相應的任務啟動條件。本公開在任務啟動條件滿足時才對該任務進行調度，且根據各執行節點的資源總量和資源使用情況進行調度，不但能夠實現各執行節點間的負載均衡，而且任務所分配的執行節點均是當前工作正常的節點，避免單點故障問題，提高系統可靠性。本公開還提供一種調度裝置、計算機設備和計算機可讀介質。

技術領域

本公開涉及計算機網絡技術領域，具體涉及一種任務調度方法、裝置、計算機設備和計算機可讀介質。

背景技術

隨著互聯網和物聯網技術的高速發展，小到企業內部，大到國家各政府部門，各種系統中數據不僅在數據量上巨大，且在存儲介質和格式千差萬別，所以打通各個“數據孤島”，進行數據整合，并通過網絡進行數據共享，甚至對整合后數據進行挖掘分析顯得越發重要。在解決信息孤島的方法中，數據倉庫技術是一種最佳實踐。數據倉庫是面向主題的、集成的、與時間相關的、不可修改的數據集合。而ETL(Extract-Transform-Load，抽取、轉換與加載)是構建數據倉庫系統的關鍵環節。

目前業界在ETL的實現中，主要還是依靠傳統的集中式執行的ETL架構。傳統ETL主要實現原理是某個ETL節點把從多個不同的數據源抽取的數據經過轉換后，加載到多個局部節點的數據倉庫。傳統的ETL任務調度方案是在創建具體ETL任務時候，就已經由人工分配好這些將ETL任務分配給ETL執行節點，這樣會導致某些執行節點的ETL任務負載過重，而某些執行節點卻很空閑，存在各執行節點之間負載不均衡的問題。而且，在ETL任務創建時執行節點工作正常，但是若在ETL任務啟動時，若該執行節點發生故障，會造成該執行節點上ETL任務無法按時執行，存在單點故障問題。

發明內容

本公開針對現有技術中存在的上述不足，提供一種任務調度方法、裝置、計算機設備和計算機可讀介質。

第一方面，本公開實施例提供一種任務調度方法，應用于第一調度裝置，所述第一調度裝置被配置為集群內的主調度裝置，所述方法包括：

根據任務隊列中的任務的最小資源需求單元以及集群內各執行節點上報的資源總量和資源使用情況，確定用于執行所述任務的執行節點，所述任務隊列中的任務滿足相應的任務啟動條件；

將所述任務從所述任務隊列中取出并分發到所述執行節點中。

優選的，所述根據任務隊列中的任務的最小資源需求單元以及集群內各執行節點上報的資源總量和資源使用情況，確定用于執行所述任務的執行節點，包括：

根據任務隊列中的任務的最小資源需求單元以及集群內各執行節點上報的資源總量和資源使用情況，分別計算集群內各執行節點能夠執行所述任務的最小資源需求單元的數量；

確定所述數量最多的執行節點，并將所述執行節點作為用于執行所述任務的執行節點。

優選的，所述確定所述數量最多的執行節點，并將所述執行節點作為用于執行所述任務的執行節點，包括：

若所述數量最多的執行節點為至少兩個，則從中選擇節點類型與所述任務的任務類型不對應的執行節點作為用于執行所述任務的執行節點。

進一步的，所述將所述任務從所述任務隊列中取出并分發到所述執行節點中之后，還包括：

按照預設的第一周期從所述執行節點獲取所述任務的狀態；

若根據所述任務的狀態確定出所述任務啟動失敗，則將所述任務放入所述任務隊列中。

進一步的，所述任務調度方法還包括以下步驟之一或任意組合：