[發(fā)明專利]一種任務(wù)調(diào)度處理方法、裝置及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201610197298.9
• 申請(qǐng)日: 2016-03-31
• 公開（公告）號(hào): CN107291547B
• 公開（公告）日: 2021-02-05
• 發(fā)明（設(shè)計(jì)）人: 張鳳婷;蔡永保
• 申請(qǐng)（專利權(quán)）人: 創(chuàng)新先進(jìn)技術(shù)有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 李輝

本申請(qǐng)?zhí)峁┮环N任務(wù)調(diào)度處理方法、裝置及系統(tǒng)。所述方法可以包括將資源池中的任務(wù)處理通道信息映射成配置中心的通道資源信息；當(dāng)接收到至少一個(gè)作業(yè)任務(wù)的調(diào)度請(qǐng)求時(shí)，向所述配置中心查詢是否有處理所述作業(yè)任務(wù)的空閑通道資源；當(dāng)所述配置中心的查詢結(jié)果為存在所述空閑通道資源時(shí)，按照為所述作業(yè)任務(wù)設(shè)定的資源分配優(yōu)先級(jí)從所述資源池中選取與所述調(diào)度請(qǐng)求對(duì)應(yīng)的任務(wù)處理通道分配給相應(yīng)的作業(yè)任務(wù)。利用本申請(qǐng)中各個(gè)實(shí)施例，可以采用配置多通道的處理方式解決單個(gè)作業(yè)僵死引起的通道阻塞問題，并且能提供多個(gè)作業(yè)任務(wù)并行提交、并行處理，快速、高效的為作業(yè)任務(wù)分配所需的資源，大大提高任務(wù)調(diào)度處理效率和資源利用率。

技術(shù)領(lǐng)域

本申請(qǐng)屬于計(jì)算機(jī)數(shù)據(jù)處理領(lǐng)域，尤其涉及一種任務(wù)調(diào)度處理方法、裝置及系統(tǒng)。

背景技術(shù)

隨著信息技術(shù)的發(fā)展和數(shù)據(jù)業(yè)務(wù)處理要求的提高，分布式系統(tǒng)由于高度的內(nèi)聚性和透明線受到越來越多的關(guān)注。

在分布式任務(wù)處理場景下，通常每個(gè)任務(wù)有一個(gè)Driver(主調(diào)度者或驅(qū)動(dòng))調(diào)度多個(gè)Excutor(執(zhí)行者或執(zhí)行程序)。圖1為現(xiàn)有分布式場景下任務(wù)調(diào)度處理方案的示意圖，如圖1所示，現(xiàn)有技術(shù)中可以部署一個(gè)物理集群，所述物理集群中的服務(wù)器通常采用master-slave構(gòu)架模式，即一個(gè)master(主服務(wù)器)管理調(diào)度多個(gè)slave(從服務(wù)器)。運(yùn)行程序可以將jar包分發(fā)到集群中的所有機(jī)器上，向maser申請(qǐng)機(jī)器CPU、內(nèi)存資源等。然后可以啟動(dòng)submit命令，提交主程序，啟動(dòng)整個(gè)調(diào)度任務(wù)。根據(jù)用戶發(fā)送的作業(yè)請(qǐng)求向maser申請(qǐng)作業(yè)資源。申請(qǐng)成功后啟動(dòng)當(dāng)前作業(yè)任務(wù)，具體的可以將當(dāng)前作業(yè)任務(wù)分發(fā)給master下主管的多個(gè)slave進(jìn)行處理。當(dāng)前作業(yè)任務(wù)執(zhí)行完畢后釋放作業(yè)資源。然后再次根據(jù)用戶的作業(yè)請(qǐng)求處理下一個(gè)作業(yè)任務(wù)。

現(xiàn)有技術(shù)中分布式場景下的這種處理任務(wù)的運(yùn)行模式在作業(yè)執(zhí)行層面如slave或Excutor是分布式執(zhí)行的，但是單個(gè)Driver是按照單線程進(jìn)行調(diào)度任務(wù)到作業(yè)執(zhí)行層面。這樣會(huì)導(dǎo)致單個(gè)作業(yè)占用所有資源，在一個(gè)作業(yè)需要的資源較少的情況下會(huì)浪費(fèi)其他空閑資源。并且，在先入先出的機(jī)制下，如果一個(gè)作業(yè)的執(zhí)行時(shí)間很長，會(huì)導(dǎo)致后面的作業(yè)任務(wù)都得到不到資源分配，出現(xiàn)通道阻塞，引起作業(yè)餓死的現(xiàn)象。因此，現(xiàn)有技術(shù)中分布式場景下的單一通道任務(wù)調(diào)度處理機(jī)制會(huì)還存在資源浪費(fèi)、作業(yè)異常時(shí)后續(xù)作業(yè)無法執(zhí)行，處理效率低下的問題。

發(fā)明內(nèi)容

本申請(qǐng)目的在于提供一種任務(wù)調(diào)度處理方法、裝置及系統(tǒng)，可以采用配置多通道的處理方式解決單個(gè)作業(yè)僵死引起的通道阻塞問題，并且能提供多個(gè)作業(yè)任務(wù)并行提交、并行處理，快速、高效的為作業(yè)任務(wù)分配所需的資源，大大提高任務(wù)調(diào)度處理效率和資源利用率。

本申請(qǐng)?zhí)峁┑囊环N任務(wù)調(diào)度處理方法、裝置及系統(tǒng)是這樣實(shí)現(xiàn)的：

一種任務(wù)調(diào)度處理方法，所述方法包括：

將資源池中的任務(wù)處理通道信息映射成配置中心的通道資源信息；

當(dāng)接收到至少一個(gè)作業(yè)任務(wù)的調(diào)度請(qǐng)求時(shí)，向所述配置中心查詢是否有處理所述作業(yè)任務(wù)的空閑通道資源；

當(dāng)所述配置中心的查詢結(jié)果為存在所述空閑通道資源時(shí)，按照為所述作業(yè)任務(wù)設(shè)定的資源分配優(yōu)先級(jí)從所述資源池中選取與所述調(diào)度請(qǐng)求對(duì)應(yīng)的任務(wù)處理通道分配給相應(yīng)的作業(yè)任務(wù)。

一種任務(wù)調(diào)度處理裝置，所述裝置包括：

資源池，用于存儲(chǔ)部署的任務(wù)處理通道的資源；

配置中心，用于獲取資源池中的任務(wù)處理通道信息映射成的通道資源信息；

資源查詢模塊，用于當(dāng)接收到至少一個(gè)作業(yè)任務(wù)的調(diào)度請(qǐng)求時(shí)，向所述配置中心查詢是否有處理所述作業(yè)任務(wù)的空閑通道資源；

調(diào)度處理模塊，用于當(dāng)所述配置中心的查詢結(jié)果為存在所述空閑通道資源時(shí)，按照為所述作業(yè)任務(wù)設(shè)定的資源分配優(yōu)先級(jí)從所述資源池中選取與所述調(diào)度請(qǐng)求對(duì)應(yīng)的任務(wù)處理通道分配給相應(yīng)的作業(yè)任務(wù)。