[發(fā)明專利]一種任務調度方法、裝置、系統(tǒng)及電子設備

有效

• 申請?zhí)枺?/td>: 201710475515.0
• 申請日: 2017-06-21
• 公開（公告）號: CN109101325B
• 公開（公告）日: 2020-12-18
• 發(fā)明（設計）人: 謝忠賢;浦世亮;周明耀;宣云飛
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 孫翠賢;項京

本發(fā)明實施例提供了一種任務調度方法、裝置、系統(tǒng)及電子設備，該方法首先接收任務請求，獲得目標計算節(jié)點的空閑任務數量；并根據當前目標計算節(jié)點分別從各服務器下載數據的下載速度以及當前任務隊列中各任務項的屬性信息，確定與目標節(jié)點匹配的空閑任務數量個目標任務項；將所確定的目標任務項分配給目標計算節(jié)點，進而使目標計算節(jié)點根據各目標任務項的屬性信息，分別從對應的服務器中下載目標數據。應用本發(fā)明實施例提供的方案進行任務調度，能夠根據網絡環(huán)境中各計算節(jié)點從各服務器下載數據的實際下載速度，合理地將當前任務隊列中的任務項分配給對應的計算節(jié)點，保證計算節(jié)點高效率地完成任務處理。

技術領域

本發(fā)明涉及通信技術領域，特別是涉及一種任務調度方法、裝置、系統(tǒng)及電子設備。

背景技術

隨著大數據技術的發(fā)展，在包含有多個計算節(jié)點和多個服務器的系統(tǒng)中，大量待處理數據分別存儲在各個服務器中，計算節(jié)點需要完成任務：對服務器中的待處理數據進行下載及分析處理。受網絡環(huán)境的影響，計算節(jié)點從各個服務器中下載數據的速度是不同的，如果下載速度慢，將會導致計算節(jié)點完成任務的速度慢，時間久。以圖片二次識別系統(tǒng)為例，計算節(jié)點對圖片數據成功下載后，會對圖片數據再進行解碼、分析處理；因此計算節(jié)點完成圖片分析的時間包括圖片下載時間以及解碼和分析時間，圖片的解碼和分析時間不受外部網絡環(huán)境的影響，但圖片下載時間受網絡環(huán)境的影響，如果下載速度慢，將會導致計算節(jié)點整體完成圖片分析的速度慢，時間久。

現有技術中，通常是人工為每個計算節(jié)點固定分配其對應的服務器，并且在工作中，每個計算節(jié)點僅會從其固定分配的服務器中下載數據進行分析處理。例如，針對計算節(jié)點x，人工分配其對應的服務器為服務器n，則計算節(jié)點x僅會從上述服務器n中下載數據進行分析處理。

通常情況下，網絡環(huán)境復雜多變，這可能導致網絡環(huán)境中各計算節(jié)點從各服務器下載數據的下載速度發(fā)生變化，例如，人工為計算節(jié)點分配服務器時，發(fā)現針對各個服務器，計算節(jié)點1從服務器1下載數據的速度最大，故人工為計算節(jié)點1固定分配的服務器為服務器1；但是隨著網絡環(huán)境的變化，計算節(jié)點1從服務器1下載數據的速度變?yōu)樽钚。饲闆r下，計算節(jié)點1仍然只能從服務器1中下載數據，進而導致計算節(jié)點1完成任務所需的時間長；即，對于整個系統(tǒng)而言，上述現有技術提供的工作方式中存在計算節(jié)點任務處理效率低的問題。

發(fā)明內容

本發(fā)明實施例的目的在于提供一種任務調度方法、裝置、系統(tǒng)及電子設備，能夠根據網絡環(huán)境合理地為每個計算節(jié)點進行任務調度，避免由于網絡變化導致的計算節(jié)點任務處理效率低的問題。

為達到上述目的，第一方面，本發(fā)明實施例公開了一種任務調度方法，所述方法包括：

接收任務請求；

獲得目標計算節(jié)點的空閑任務數量，所述目標計算節(jié)點為發(fā)出所述任務請求的計算節(jié)點；

根據當前所述目標計算節(jié)點分別從各服務器下載數據的下載速度以及當前任務隊列中各任務項的屬性信息，確定與所述目標節(jié)點匹配的所述空閑任務數量個目標任務項，其中，所述屬性信息至少包括任務項所在服務器的標識；

將所確定的目標任務項分配給所述目標計算節(jié)點，以使得所述目標計算節(jié)點根據各目標任務項的屬性信息，分別從對應的服務器中下載目標數據，所述目標數據為所述目標任務項對應的存儲于服務器的數據。

可選的，所述根據當前所述目標計算節(jié)點分別從各服務器下載數據的下載速度以及當前任務隊列中各任務項的屬性信息，確定與所述目標節(jié)點匹配的所述空閑任務數量個目標任務項的步驟，包括：

根據當前的配置對照表以及當前任務隊列中各任務項的屬性信息，確定與所述目標節(jié)點匹配的所述空閑任務數量個目標任務項；所述配置對照表為：根據各計算節(jié)點分別從各服務器下載數據的下載速度所更新獲得的。

可選的，根據各計算節(jié)點分別從各服務器下載數據的下載速度更新所述配置對照表的方式，包括：