[發明專利]任務調度的方法及裝置、分布式任務執行系統

有效

• 申請號: 201710657131.0
• 申請日: 2017-08-03
• 公開（公告）號: CN107291544B
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 楊照通
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F16/951;H04L29/08
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 李世喆

本發明提供了任務調度的方法及裝置、分布式任務執行系統，該方法，包括：當接收到請求節點發來的任務請求時，執行：確定每個任務的當前任務規模；確定執行每個所述任務的節點的當前第一數量；根據每個所述任務的當前任務規模和每個所述任務對應的所述當前第一數量，確定每個所述任務的當前權重；按照每個所述任務的當前權重，為所述請求節點分配目標任務。本發明提供了任務調度的方法及裝置、分布式任務執行系統，能夠提高工作效率。

技術領域

本發明涉及計算機技術領域，特別涉及任務調度的方法及裝置、分布式任務執行系統。

背景技術

隨著互聯網信息的急速膨脹，以及大數據行業的飛速發展，各項和互聯網數據有關的服務逐漸增多，互聯網數據在很多方面都得到了廣泛應用。這些互聯網數據，一般通過分布式爬蟲來獲取。

在利用分布式爬蟲獲取互聯網數據時，一般按照以下方式進行任務調度：為每個任務分配同樣數量的節點，由各個節點完成數據采集。舉例來說，在整個系統中有10個節點，有兩個任務需要處理，任務1需要下載1個鏈接中的數據，任務2需要下載100個鏈接中的數據，按照現有的任務調度的方案，為任務1分配5個節點，為任務2分配5個節點。

通過上述描述可見，現有的任務調度的方案中，需要下載的鏈接數量較多的大任務與需要下載的鏈接數量較少的小任務被分配的節點的數量是相同，造成小任務能夠較快的完成，而大任務卻需要消耗大量時間，整個采集過程的工作效率較低。

發明內容

本發明實施例提供了任務調度的方法及裝置、分布式任務執行系統，能夠提高工作效率。

第一方面，本發明實施例提供了一種任務調度的方法，包括：

當接收到請求節點發來的任務請求時，執行：

確定每個任務的當前任務規模；

確定執行每個所述任務的節點的當前第一數量；

根據每個所述任務的當前任務規模和每個所述任務對應的所述當前第一數量，確定每個所述任務的當前權重；

按照每個所述任務的當前權重，為所述請求節點分配目標任務。

進一步地，

所述確定每個任務的當前任務規模，包括：

確定每個所述任務中當前等待下載的鏈接的當前第二數量；

所述根據每個所述任務的當前任務規模和每個所述任務對應的所述當前第一數量，確定每個所述任務的當前權重，包括：

根據所述當前第一數量和所述當前第二數量，利用公式一確定每個所述任務的當前權重，其中，所述公式一為：

其中，W_i為第i個任務的當前權重，N_i為第i個任務的當前第一數量，L_i為第i個任務的當前第二數量，a大于1。

進一步地，該方法進一步包括：預先設置已發送隊列和任務隊列；

在所述按照每個所述任務的當前權重，為所述請求節點分配目標任務之后，進一步包括：

將所述目標任務中當前等待下載的至少一個鏈接保存到所述任務隊列中；

進一步包括：

當所述請求節點從所述任務隊列中獲取至少一個待處理鏈接時，將所述至少一個待處理鏈接轉移到所述已發送隊列中；

進一步包括：

當接收到所述請求節點發來的處理完成信號時，將所述處理完成信號對應的所述待處理鏈接從所述已發送隊列中刪除；

進一步包括：