[發(fā)明專利]一種任務(wù)調(diào)度的方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201810460659.3
• 申請(qǐng)日: 2018-05-15
• 公開（公告）號(hào): CN110489224A
• 公開（公告）日: 2019-11-22
• 發(fā)明（設(shè)計(jì)）人: 王宇
• 申請(qǐng)（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 11219 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司
• 代理人: 張一軍;張效榮<國(guó)際申請(qǐng)>=<國(guó)際公布>

本發(fā)明公開了一種任務(wù)調(diào)度的方法和裝置，涉及計(jì)算機(jī)技術(shù)領(lǐng)域。該方法的一具體實(shí)施方式包括：確定任務(wù)執(zhí)行器，發(fā)送工作量計(jì)算指令至每個(gè)任務(wù)執(zhí)行器；接收每個(gè)任務(wù)執(zhí)行器所反饋的結(jié)果值，確定每個(gè)任務(wù)執(zhí)行器反饋結(jié)果值所需的時(shí)間，以計(jì)算每個(gè)任務(wù)執(zhí)行器的工作效率；確定待處理的任務(wù)量，根據(jù)每個(gè)任務(wù)執(zhí)行器的工作效率，進(jìn)行任務(wù)分配。該實(shí)施方式通過工作量證明的方式，準(zhǔn)確評(píng)估每個(gè)任務(wù)執(zhí)行器的處理能力，并根據(jù)其處理能力以及待處理的任務(wù)量，實(shí)現(xiàn)任務(wù)智能分配，加快任務(wù)的處理速度。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種任務(wù)調(diào)度的方法和裝置。

背景技術(shù)

現(xiàn)有的分布式任務(wù)調(diào)度系統(tǒng)中，例如TBSchedule、Clover，均實(shí)現(xiàn)了平均分配任務(wù)的功能，并可以檢測(cè)當(dāng)前有效的執(zhí)行器數(shù)量，以保證任務(wù)能夠正確分配。例如，TBSchedule通過QUEUEID來區(qū)分執(zhí)行器以及每個(gè)執(zhí)行器所要處理的任務(wù)，能夠保證每個(gè)執(zhí)行器公平地獲得同樣多的任務(wù)。

在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)至少存在如下問題：

1)目前分配任務(wù)的執(zhí)行器，盡管是通過人為分配統(tǒng)一性能的機(jī)器，但由于網(wǎng)絡(luò)抖動(dòng)、任務(wù)數(shù)量等原因，各個(gè)機(jī)器的性能不可能完全一樣；

2)現(xiàn)有技術(shù)并不能根據(jù)每個(gè)執(zhí)行器當(dāng)前的狀態(tài)和處理能力，進(jìn)行智能分配，導(dǎo)致對(duì)于擁有更高硬件配置或空閑時(shí)間的執(zhí)行器，只能獲取與其他執(zhí)行器一樣多的任務(wù)，而無法充分利用其處理能力，造成資源浪費(fèi)。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例提供一種任務(wù)調(diào)度的方法和裝置，至少能夠解決現(xiàn)有技術(shù)中沒有考慮各個(gè)執(zhí)行器的處理性能，導(dǎo)致“高性能機(jī)器空閑、低性能機(jī)器處理不完”的情況。

為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種任務(wù)調(diào)度的方法，包括：確定任務(wù)執(zhí)行器，發(fā)送工作量計(jì)算指令至每個(gè)任務(wù)執(zhí)行器；接收每個(gè)任務(wù)執(zhí)行器所反饋的結(jié)果值，確定每個(gè)任務(wù)執(zhí)行器反饋結(jié)果值所需的時(shí)間，以計(jì)算每個(gè)任務(wù)執(zhí)行器的工作效率；其中，結(jié)果值與工作量計(jì)算指令相應(yīng)；確定待處理的任務(wù)量，根據(jù)每個(gè)任務(wù)執(zhí)行器的工作效率，進(jìn)行任務(wù)量分配。

可選的，確定每個(gè)任務(wù)執(zhí)行器反饋結(jié)果值所需的時(shí)間，以計(jì)算每個(gè)任務(wù)執(zhí)行器的工作效率包括：確定每個(gè)任務(wù)執(zhí)行器反饋結(jié)果值所需的時(shí)間，統(tǒng)計(jì)所有任務(wù)執(zhí)行器反饋結(jié)果值的總時(shí)間，計(jì)算每個(gè)任務(wù)執(zhí)行器的工作量證明值；其中，工作量證明值＝所有任務(wù)執(zhí)行器的總時(shí)間/單個(gè)任務(wù)執(zhí)行器的時(shí)間；根據(jù)每個(gè)任務(wù)執(zhí)行器的工作量證明值，確定所有任務(wù)執(zhí)行器的總工作量證明值，計(jì)算每個(gè)任務(wù)執(zhí)行器的工作效率；其中，工作效率＝單個(gè)任務(wù)執(zhí)行器的工作量證明值/所有任務(wù)執(zhí)行器的總工作量證明值。

可選的，接收每個(gè)任務(wù)執(zhí)行器所反饋的結(jié)果值，確定每個(gè)任務(wù)執(zhí)行器反饋結(jié)果值所需的時(shí)間還包括：接收每個(gè)任務(wù)執(zhí)行器所反饋的結(jié)果值，基于預(yù)定的驗(yàn)證規(guī)則對(duì)所反饋的結(jié)果值進(jìn)行驗(yàn)證，剔除結(jié)果值不符合驗(yàn)證規(guī)則的任務(wù)執(zhí)行器；以及確定每個(gè)任務(wù)執(zhí)行器反饋結(jié)果值所需的時(shí)間，基于預(yù)定時(shí)間閾值對(duì)所確定的時(shí)間進(jìn)行篩選，剔除時(shí)間超出預(yù)定時(shí)間閾值的任務(wù)執(zhí)行器。

可選的，確定待處理的任務(wù)量，根據(jù)每個(gè)任務(wù)執(zhí)行器的工作效率，進(jìn)行任務(wù)量分配包括：接收新分配的任務(wù)量，獲取每個(gè)任務(wù)執(zhí)行器當(dāng)前未處理的任務(wù)量，得到待處理的任務(wù)量；根據(jù)待處理的任務(wù)量、每個(gè)任務(wù)執(zhí)行器的工作效率以及當(dāng)前未處理的任務(wù)量，確定新分配的任務(wù)量中分配至每個(gè)任務(wù)執(zhí)行器的任務(wù)量。

可選的，發(fā)送工作量計(jì)算指令至每個(gè)任務(wù)執(zhí)行器包括：當(dāng)達(dá)到預(yù)定更新周期時(shí)，發(fā)送工作量計(jì)算指令至每個(gè)任務(wù)執(zhí)行器。

為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明實(shí)施例的另一方面，提供了一種任務(wù)調(diào)度的裝置，包括：指令發(fā)送模塊，用于確定任務(wù)執(zhí)行器，發(fā)送工作量計(jì)算指令至每個(gè)任務(wù)執(zhí)行器；效率計(jì)算模塊，用于接收每個(gè)任務(wù)執(zhí)行器所反饋的結(jié)果值，確定每個(gè)任務(wù)執(zhí)行器反饋結(jié)果值所需的時(shí)間，以計(jì)算每個(gè)任務(wù)執(zhí)行器的工作效率；其中，結(jié)果值與工作量計(jì)算指令相應(yīng)；任務(wù)分配模塊，用于確定待處理的任務(wù)量，根據(jù)每個(gè)任務(wù)執(zhí)行器的工作效率，進(jìn)行任務(wù)量分配。