[發明專利]一種基于數據處理的任務調度方法及相關設備

在審

• 申請號: 201910187622.2
• 申請日: 2019-03-12
• 公開（公告）號: CN110018893A
• 公開（公告）日: 2019-07-16
• 發明（設計）人: 鄧彪
• 申請（專利權）人: 平安普惠企業管理有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

本發明實施例公開了一種基于數據處理的任務調度方法及相關設備，所述方法應用于數據處理技術領域，包括：當檢測到系統時間為目標定時任務對應的執行時間時，獲取各個執行服務器的負載排序結果，并確定目標定時任務的任務類型。若任務類型為單機任務，則根據負載排序結果從各個執行服務器中確定出排序第一的第一目標執行服務器，并將目標定時任務調度至第一目標執行服務器；若任務類型為分布式任務，則確定目標定時任務對應的實例數量m，并根據負載排序結果從各個執行服務器中確定出排序前m的第二目標執行服務器，將目標定時任務調度至該第二目標執行服務器。采用本發明，有利于提高任務的調度效率。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種基于數據處理的任務調度方法及相關設備。

背景技術

計算機集群是一種計算機系統，其通過多臺計算機(又稱為節點)連接起來協作完成計算作業。這些節點位于同一管理域中，其具有統一的管理策略并且作為一個整體向用戶提供服務。將計算機集群上的作業任務分配到多個節點上的過程可以稱為任務的調度。目前，傳統的任務調度引擎一般是根據任務的先來后到順序執行，單純的采用資源搶占，先到先得，任務調度效率低。

發明內容

本發明實施例提供了一種基于數據處理的任務調度方法及相關設備，有利于提高任務的調度效率。

第一方面，本發明實施例提供了一種基于數據處理的任務調度方法，所述方法應用于調度服務器集群，該方法包括：

當檢測到系統時間為目標定時任務對應的執行時間時，從存儲裝置中獲取預先存儲的各個執行服務器的負載排序結果，所述目標定時任務為預先配置的至少一個定時任務中的任一個，所述負載排序結果是按照所述各個執行服務器的負載率由小到大的順序進行排序得到，所述負載率是根據所述各個執行服務器的資源占用度信息得到；

基于所述目標定時任務的任務信息確定所述目標定時任務的任務類型；

若所述任務類型為單機任務，則根據所述負載排序結果從所述各個執行服務器中確定出排序第一的第一目標執行服務器，并將所述目標定時任務調度至所述第一目標執行服務器；

若所述任務類型為分布式任務，則確定所述目標定時任務對應的實例數量m，并根據所述負載排序結果從所述各個執行服務器中確定出排序前m的第二目標執行服務器，將所述目標定時任務調度至所述第二目標執行服務器，所述m為大于0的整數。

在一個實施例中，還可以按照預設時間間隔獲取各個執行服務器通過心跳信息上報的所述各個執行服務器的資源占用度信息，所述資源占用度信息包括以下至少一種：內存信息、CPU利用率和磁盤輸入/輸出速率；根據預先配置的負載率算法和所述資源占用度信息，確定所述各個執行服務器各自對應的負載率；按照負載率由小到大的順序對所述各個執行服務器進行排序，得到所述各個執行服務器的負載排序結果，并將所述負載排序結果存儲至存儲裝置中。

在一個實施例中，將所述目標定時任務調度至所述第一目標執行服務器之前，還可以向所述第一目標執行服務器發送詢問信息；若在預設時間內接收到所述第一目標執行服務器針對所述詢問信息的響應信息，則觸發執行所述將所述目標定時任務調度至所述第一目標執行服務器的步驟。

在一個實施例中，將所述目標定時任務調度至所述第一目標執行服務器之前，還可以獲取所述第一目標執行服務器的資源占用度信息，并根據所述負載率算法和所述第一目標執行服務器的資源占用度信息，確定出所述第一目標執行服務器在系統時間下的負載率；當所述在系統時間下的負載率小于預設負載率閾值時，觸發執行所述將所述目標定時任務調度至所述第一目標執行服務器的步驟。