[發(fā)明專利]一種高效的多維度算法調(diào)度方法、任務(wù)服務(wù)器

有效

• 申請(qǐng)?zhí)枺?/td>: 201810320408.5
• 申請(qǐng)日: 2018-04-11
• 公開（公告）號(hào): CN108563497B
• 公開（公告）日: 2022-03-29
• 發(fā)明（設(shè)計(jì)）人: 張寶華;隗公程;程國(guó)艮
• 申請(qǐng)（專利權(quán)）人: 中譯語(yǔ)通科技股份有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F9/50
• 代理公司: 北京萬(wàn)貝專利代理事務(wù)所(特殊普通合伙) 11520
• 代理人: 馬紅

本發(fā)明屬于中央資源管理技術(shù)領(lǐng)域，公開了一種高效的多維度算法調(diào)度方法、任務(wù)服務(wù)器，所述高效的多維度算法調(diào)度方法使用任務(wù)數(shù)和集群節(jié)點(diǎn)狀態(tài)來描述集群中節(jié)點(diǎn)的負(fù)載情況和作業(yè)相關(guān)的數(shù)據(jù)本地性情況；通過任務(wù)的執(zhí)行時(shí)間和數(shù)據(jù)長(zhǎng)度描述調(diào)度前后節(jié)點(diǎn)和作業(yè)的變化，利用值迭代策略求解算法求解最優(yōu)調(diào)度策略，動(dòng)態(tài)調(diào)節(jié)作業(yè)數(shù)據(jù)本地性與作業(yè)響應(yīng)時(shí)間。同等機(jī)器環(huán)境和資源情況下，本發(fā)明的算法資源率更高，處理速度更快。

技術(shù)領(lǐng)域

本發(fā)明屬于中央資源管理技術(shù)領(lǐng)域，尤其涉及一種高效的多維度算法調(diào)度方法、任務(wù)服務(wù)器。

背景技術(shù)

目前，業(yè)內(nèi)常用的現(xiàn)有技術(shù)是這樣的：大數(shù)據(jù)的分布式調(diào)度是在進(jìn)行數(shù)據(jù)ETL過程中起到了總體的承上啟下的角色，整個(gè)數(shù)據(jù)的生產(chǎn)、交付、消費(fèi)都會(huì)貫穿其中，用戶作業(yè)提交后，系統(tǒng)會(huì)將其劃分為多個(gè)任務(wù)，通過調(diào)度算法策略將任務(wù)分配到哪個(gè)任務(wù)服務(wù)器上來執(zhí)行。FIFO是Hadoop默認(rèn)的調(diào)度器，其優(yōu)點(diǎn)是算法簡(jiǎn)單，便于實(shí)現(xiàn)，其缺點(diǎn)為僅以作業(yè)進(jìn)入隊(duì)列的先后順序作為調(diào)度依據(jù)，無法針對(duì)作業(yè)的不同需求進(jìn)行差異化調(diào)度.Spark提出一種公平調(diào)度(Fair Scheduler)，在多用戶共享集群的環(huán)境下，最大化地保證系統(tǒng)中的作業(yè)能平均分配到集群的資源.公平調(diào)度器能最大限度地滿足公平性原則，但無法滿足數(shù)據(jù)本地性要求。還有一種延遲調(diào)度(Delay Scheduling)算法，為隊(duì)首作業(yè)設(shè)置延遲等待時(shí)間，當(dāng)空閑節(jié)點(diǎn)出現(xiàn)時(shí)，如果此節(jié)點(diǎn)包含隊(duì)首作業(yè)所需數(shù)據(jù)，則立刻執(zhí)行隊(duì)首作業(yè)，否則先調(diào)度其它作業(yè)，在隊(duì)首作業(yè)的等待時(shí)間超過閾值時(shí)，立即執(zhí)行隊(duì)首作業(yè).延遲調(diào)度策略能夠很好地做到公平性與數(shù)據(jù)本地性之間的均衡，延遲調(diào)度的等待時(shí)間是通過配置文件進(jìn)行靜態(tài)設(shè)置的，無法滿足集群負(fù)載動(dòng)態(tài)變化的情況。

綜上所述，現(xiàn)有技術(shù)存在的問題是：

(1)FIFO以任務(wù)進(jìn)入隊(duì)列的先后順序作為調(diào)度依據(jù)，按照任務(wù)提交或進(jìn)程變?yōu)榫途w狀態(tài)的先后次序，分派CPU；當(dāng)前任務(wù)或進(jìn)程占用CPU，直到執(zhí)行完或阻塞，才出讓CPU(非搶占方式)。在任務(wù)或進(jìn)程喚醒后(如I/O完成)，并不立即恢復(fù)執(zhí)行，通常等到當(dāng)前任務(wù)或進(jìn)程出讓CPU。最簡(jiǎn)單的算法。比較有利于長(zhǎng)作業(yè)，而不利于短作業(yè)。有利于CPU繁忙的作業(yè)，而不利于I/O繁忙的作業(yè)。無法針對(duì)作業(yè)的不同需求進(jìn)行差異化調(diào)度。

(2)公平調(diào)度算法可以保證任務(wù)的平均分配，但是對(duì)于每個(gè)任務(wù)的差異性無法滿足調(diào)度的差異性，也會(huì)導(dǎo)致資源使用不合理的問題。

(3)延遲調(diào)度算法是通過配置文件進(jìn)行靜態(tài)設(shè)置，對(duì)于每個(gè)任務(wù)的差異性是會(huì)實(shí)時(shí)發(fā)生變化的，也無法滿足集群負(fù)載動(dòng)態(tài)變化的情況。

解決上述技術(shù)問題的難度和意義：

上述的幾種公共的調(diào)度算法都是基于同類型任務(wù)的調(diào)度，不適用與每個(gè)任務(wù)有差異的調(diào)度，任務(wù)的差異需要實(shí)時(shí)的反饋機(jī)制，通過反饋機(jī)制更合理的分配計(jì)算資源，這就需要一種新型的調(diào)度算法來高效的分配計(jì)算資源。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)存在的問題，本發(fā)明提供了一種高效的多維度算法調(diào)度方法、任務(wù)服務(wù)器。

本發(fā)明是這樣實(shí)現(xiàn)的，一種高效的多維度算法調(diào)度方法，所述高效的多維度算法調(diào)度方法使用任務(wù)數(shù)和集群節(jié)點(diǎn)狀態(tài)來描述集群中節(jié)點(diǎn)的負(fù)載情況和作業(yè)相關(guān)的數(shù)據(jù)本地性情況；通過任務(wù)的執(zhí)行時(shí)間和數(shù)據(jù)長(zhǎng)度描述調(diào)度前后節(jié)點(diǎn)和作業(yè)的變化，利用值迭代策略求解算法求解最優(yōu)調(diào)度策略，動(dòng)態(tài)調(diào)節(jié)作業(yè)數(shù)據(jù)本地性與作業(yè)響應(yīng)時(shí)間。

進(jìn)一步，所述高效的多維度算法調(diào)度方法在運(yùn)行數(shù)據(jù)處理的集群中，將選擇一個(gè)節(jié)點(diǎn)作為Master，該節(jié)點(diǎn)是控制集群任務(wù)的核心部件，完成任務(wù)調(diào)度與監(jiān)控功能，根據(jù)當(dāng)前集群負(fù)載狀態(tài)和不同任務(wù)的數(shù)據(jù)本地性需求，求取一個(gè)最優(yōu)調(diào)度策略；

通過以下指標(biāo)智能決策建立的數(shù)學(xué)模型：T：任務(wù)的執(zhí)行時(shí)間；N：每個(gè)節(jié)點(diǎn)的任務(wù)數(shù)；S：每個(gè)節(jié)點(diǎn)服務(wù)器狀態(tài)；L：每條數(shù)據(jù)的長(zhǎng)度；C：閾值控制。