[發明專利]任務調度方法、裝置、設備及計算機可讀存儲介質

在審

• 申請號: 201811238632.6
• 申請日: 2018-10-23
• 公開（公告）號: CN111090501A
• 公開（公告）日: 2020-05-01
• 發明（設計）人: 陳列;周旭;古亮
• 申請（專利權）人: 深信服科技股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

本發明公開了一種任務調度方法，該方法包括：當集群中的分布式計算平臺MapRduce接收到大數據任務時，啟用第一預設模式以允許集群中的高性能節點拉取低性能節點的task運行；當監測到集群中存在完成了Shuffle階段的task時，獲取集群中完成了Map階段的task數量和完成了Shuffle階段的task數量；檢測完成了Map階段的task數量和完成了Shuffle階段的task數量之間的相對變化情況，根據相對變化情況確定大數據任務的關鍵路徑；當確定Shuffle階段為大數據任務的關鍵路徑時，將第一預設模式切換為第二預設模式以禁止集群中的高性能節點拉取低性能節點的task運行。本發明還公開了一種任務調度裝置、設備和一種計算機可讀存儲介質。本發明能夠提升基于MapReduce運行大數據任務的效率。

技術領域

本發明涉及大數據技術領域，尤其涉及任務調度方法、裝置、設備及計算機可讀存儲介質。

背景技術

MapReduce是一種分布式模型，用于大規模數據集的并行運算，其主要包括三個階段：Map階段、Shuffle階段和Reduce階段。當一個大數據任務被提交到集群后，在Map階段它會被拆分成多個小的task(最小任務單元)進行并行計算，該階段主要消耗的資源是cpu和內存；在Shuffle階段，Map階段生成的數據會通過網絡傳輸到集群中的其他節點，這個過程中主要消耗的是網絡資源。

當前的MapReduce計算框架在調度task時默認高性能節點搶取低性能節點的task，這種盲目的調度方式可能導致拖慢任務的運行時間，降低資源的利用率，比如在Map階段，當高性能節點從低性能節點拉取task來執行時，會導致集群中的網絡負載激增，而由于Shuffle階段主要消耗的是網絡資源，因此網絡負載的激增會明顯降低Shuffle的執行效率，從而拖慢了整個大數據任務的運行時間。

發明內容

本發明的主要目的在于提出一種任務調度方法、裝置、設備及計算機可讀存儲介質，旨在提升基于MapReduce運行大數據任務的效率。

為實現上述目的，本發明提供一種任務調度方法，所述任務調度方法包括如下步驟：

當集群中的分布式計算平臺MapRduce接收到大數據任務時，啟用第一預設模式以允許集群中的高性能節點拉取低性能節點的task運行，其中task為所述大數據任務的最小任務單元；

當監測到集群中存在完成了Shuffle階段的task時，獲取集群中完成了Map階段的task數量和完成了Shuffle階段的task數量；

檢測完成了Map階段的task數量和完成了Shuffle階段的task數量之間的相對變化情況，根據所述相對變化情況確定所述大數據任務的關鍵路徑；

當確定Shuffle階段為所述大數據任務的關鍵路徑時，將所述第一預設模式切換為第二預設模式以禁止集群中的高性能節點拉取低性能節點的task運行。

優選地，所述檢測完成了Map階段的task數量和完成了Shuffle階段的task數量之間的相對變化情況，根據所述相對變化情況確定所述大數據任務的關鍵路徑的步驟包括：

計算完成了Map階段的task數量和完成了Shuffle階段的task數量的差值；

獲取所述差值隨時間推移的變化率；

當所述差值隨時間推移的變化率為正值時，確定Shuffle階段為所述大數據任務的關鍵路徑。

優選地，所述獲取所述差值隨時間推移的變化率的步驟之后，還包括：

當所述差值隨時間推移的變化率為負值時，確定Map階段為所述大數據任務的關鍵路徑，并控制MapRduce保持所述第一預設模式運行。