[發(fā)明專利]用戶作業(yè)調(diào)度方法及裝置

有效

• 申請?zhí)枺?/td>: 201310214806.6
• 申請日: 2013-05-31
• 公開（公告）號: CN103309738A
• 公開（公告）日: 2013-09-18
• 發(fā)明（設(shè)計(jì)）人: 雷磊;張?jiān)朴?/a>;房秉毅;徐雷;裴小燕;賈川;路康
• 申請（專利權(quán)）人: 中國聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 劉芳

技術(shù)領(lǐng)域

本發(fā)明涉及信息技術(shù)領(lǐng)域，尤其涉及一種用戶作業(yè)調(diào)度方法及裝置。

背景技術(shù)

分布式系統(tǒng)基礎(chǔ)架構(gòu)(Hadoop)的缺省作業(yè)調(diào)度采用簡單的單一主節(jié)點(diǎn)的主從結(jié)構(gòu)，即一個(gè)主節(jié)點(diǎn)(Job?Tracker)管理一系列從節(jié)點(diǎn)(TaskTracker)。其中，Job?Tracker負(fù)責(zé)用戶作業(yè)的任務(wù)劃分、狀態(tài)監(jiān)控、錯(cuò)誤恢復(fù)以及Task?Tracker的狀態(tài)維護(hù)；Task?Tracker負(fù)責(zé)具體任務(wù)的執(zhí)行和本地資源的管理。Task?Tracker的計(jì)算能力以任務(wù)槽(slot)的形式提供，依據(jù)任務(wù)類型的不同，slot分為Map槽和Reduce槽，分別用于執(zhí)行Map任務(wù)和Reduce任務(wù)。

現(xiàn)有技術(shù)在多用戶共享場景中，Hadoop的作業(yè)調(diào)度過程包含三個(gè)步驟：首先是作業(yè)選擇，其次是在選定作業(yè)內(nèi)選擇一個(gè)任務(wù)，最后將該任務(wù)分發(fā)到請求任務(wù)的Task?Tracker上執(zhí)行。當(dāng)一個(gè)計(jì)算節(jié)點(diǎn)的TaskTracker發(fā)現(xiàn)一個(gè)任務(wù)完成，存在可用的任務(wù)槽時(shí)，就會(huì)在下次的心跳消息中附加任務(wù)請求信息發(fā)送給主節(jié)點(diǎn)Job?Tracker，然后JobTracker執(zhí)行調(diào)度算法，遍歷所有作業(yè)的可執(zhí)行任務(wù)，依據(jù)公平份額調(diào)度算法選取適合的任務(wù)分配給任務(wù)槽進(jìn)行處理。但是，該方法執(zhí)行效率低下。

發(fā)明內(nèi)容

本發(fā)明提供一種用戶作業(yè)調(diào)度方法和裝置，用以解決現(xiàn)有技術(shù)中，用戶作業(yè)調(diào)度方法執(zhí)行效率低下的問題。

一方面，本發(fā)明實(shí)施例提供一種用戶作業(yè)調(diào)度方法，其特征在于，包括：

管理節(jié)點(diǎn)接收任務(wù)調(diào)度觸發(fā)信號；

所述管理節(jié)點(diǎn)根據(jù)所述任務(wù)調(diào)度觸發(fā)信號，在分布式系統(tǒng)的各計(jì)算節(jié)點(diǎn)中確定待作業(yè)任務(wù)處理時(shí)間最短的目標(biāo)計(jì)算節(jié)點(diǎn)；

所述管理節(jié)點(diǎn)將所述待作業(yè)任務(wù)發(fā)送至所述目標(biāo)計(jì)算節(jié)點(diǎn)的任務(wù)緩存隊(duì)列中。

本發(fā)明實(shí)施例提供另一種用戶作業(yè)調(diào)度方法，其特征在于，包括：

計(jì)算節(jié)點(diǎn)的任務(wù)緩存隊(duì)列中接收管理節(jié)點(diǎn)發(fā)送的待作業(yè)任務(wù)，所述計(jì)算節(jié)點(diǎn)為所述管理節(jié)點(diǎn)在分布式系統(tǒng)的各計(jì)算節(jié)點(diǎn)中確定的所述待作業(yè)任務(wù)處理時(shí)間最短的計(jì)算節(jié)點(diǎn)；

所述計(jì)算節(jié)點(diǎn)執(zhí)行所述任務(wù)緩存隊(duì)列中存儲(chǔ)的所述待作業(yè)任務(wù)。

另一方面，本發(fā)明實(shí)施例提供一種用戶作業(yè)調(diào)度裝置，包括：接收模塊、處理模塊和發(fā)送模塊；

所述接收模塊，用于接收任務(wù)調(diào)度觸發(fā)信號；

所述處理模塊，用于根據(jù)所述任務(wù)調(diào)度觸發(fā)信號，在分布式系統(tǒng)的各計(jì)算節(jié)點(diǎn)中確定待作業(yè)任務(wù)處理時(shí)間最短的目標(biāo)計(jì)算節(jié)點(diǎn)；

所述發(fā)送模塊，用于將所述待作業(yè)任務(wù)發(fā)送至所述目標(biāo)計(jì)算節(jié)點(diǎn)的任務(wù)緩存隊(duì)列中。

本發(fā)明實(shí)施例提供另一種用戶作業(yè)調(diào)度裝置，包括：接收模塊和處理模塊；

所述接收模塊，用于接收管理節(jié)點(diǎn)發(fā)送的待作業(yè)任務(wù)并存儲(chǔ)至計(jì)算節(jié)點(diǎn)的任務(wù)緩存隊(duì)列中，所述計(jì)算節(jié)點(diǎn)為所述管理節(jié)點(diǎn)在分布式系統(tǒng)的各計(jì)算節(jié)點(diǎn)中確定的所述待作業(yè)任務(wù)處理時(shí)間最短的計(jì)算節(jié)點(diǎn)；

所述處理模塊，用于執(zhí)行所述任務(wù)緩存隊(duì)列中存儲(chǔ)的所述待作業(yè)任務(wù)。

本發(fā)明提供的用戶作業(yè)調(diào)度方法和裝置，管理節(jié)點(diǎn)接收任務(wù)調(diào)度觸發(fā)信號，在分布式系統(tǒng)的各計(jì)算節(jié)點(diǎn)中確定待作業(yè)任務(wù)處理時(shí)間最短的目標(biāo)計(jì)算節(jié)點(diǎn)，并將待作業(yè)任務(wù)發(fā)送至該目標(biāo)計(jì)算節(jié)點(diǎn)的任務(wù)緩存隊(duì)列中；計(jì)算節(jié)點(diǎn)接收到管理節(jié)點(diǎn)發(fā)送的待作業(yè)任務(wù)后，執(zhí)行該待作業(yè)任務(wù)，提高了執(zhí)行效率。

附圖說明

圖1為本發(fā)明提供的用戶作業(yè)調(diào)度方法一個(gè)實(shí)施例的流程圖；

圖2為本發(fā)明提供的用戶作業(yè)調(diào)度方法另一個(gè)實(shí)施例的流程圖；

圖3為本發(fā)明提供的用戶作業(yè)調(diào)度方法又一個(gè)實(shí)施例的流程圖；

圖4為本發(fā)明提供的基于最小代價(jià)流的多用戶任務(wù)調(diào)度的網(wǎng)絡(luò)流圖；

圖5為本發(fā)明提供的用戶作業(yè)調(diào)度裝置一個(gè)實(shí)施例的結(jié)構(gòu)示意圖；

圖6為本發(fā)明提供的用戶作業(yè)調(diào)度裝置另一個(gè)實(shí)施例的結(jié)構(gòu)示意圖；

圖7為本發(fā)明提供的用戶作業(yè)調(diào)度裝置又一個(gè)實(shí)施例的結(jié)構(gòu)示意圖；

圖8為本發(fā)明提供的用戶作業(yè)調(diào)度裝置結(jié)構(gòu)示意圖。

具體實(shí)施方式

圖1為本發(fā)明提供的用戶作業(yè)調(diào)度方法一個(gè)實(shí)施例的流程圖。如圖1所示，以下步驟的執(zhí)行主體可以為分布式系統(tǒng)基礎(chǔ)架構(gòu)中用于作業(yè)調(diào)度的管理節(jié)點(diǎn)，也可稱作主節(jié)點(diǎn)或調(diào)度節(jié)點(diǎn)；可以管理一系列計(jì)算節(jié)點(diǎn)，并可向計(jì)算節(jié)點(diǎn)分配任務(wù)。該用戶作業(yè)調(diào)度方法具體包括：

S101，管理節(jié)點(diǎn)接收任務(wù)調(diào)度觸發(fā)信號；