[發(fā)明專利]一種集群業(yè)務(wù)節(jié)點(diǎn)選擇方法、系統(tǒng)、終端及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010988230.9
• 申請(qǐng)日: 2020-09-18
• 公開（公告）號(hào): CN112272203B
• 公開（公告）日: 2022-06-14
• 發(fā)明（設(shè)計(jì)）人: 陳天石;劉黎
• 申請(qǐng)（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號(hào): H04L67/10
• 分類號(hào): H04L67/10;H04L67/1074
• 代理公司: 濟(jì)南舜源專利事務(wù)所有限公司 37205
• 代理人: 孫玉營(yíng)

本發(fā)明提供一種集群業(yè)務(wù)節(jié)點(diǎn)選擇方法、系統(tǒng)、終端及存儲(chǔ)介質(zhì)，包括：解析待執(zhí)行任務(wù)的需求資源量；采集集群內(nèi)所有節(jié)點(diǎn)的總資源量，并篩選總資源量不低于所述需求資源量的節(jié)點(diǎn)作為預(yù)選節(jié)點(diǎn)；獲取預(yù)選節(jié)點(diǎn)的現(xiàn)有任務(wù)執(zhí)行進(jìn)度和任務(wù)資源占用情況；根據(jù)所述任務(wù)執(zhí)行進(jìn)度和任務(wù)資源占用情況計(jì)算預(yù)選節(jié)點(diǎn)的空閑資源量達(dá)到所述需求資源量的所需時(shí)間；篩選出所需時(shí)間最短的預(yù)選節(jié)點(diǎn)作為最優(yōu)節(jié)點(diǎn)，將所述待執(zhí)行任務(wù)分配至所述最優(yōu)節(jié)點(diǎn)。本發(fā)明能夠確保在不同節(jié)點(diǎn)整體資源量相差不大的情況下，新任務(wù)能優(yōu)先調(diào)度到任務(wù)剩余運(yùn)行時(shí)長(zhǎng)較短的節(jié)點(diǎn)，從而盡可能較早地運(yùn)行在目標(biāo)節(jié)點(diǎn)，減少節(jié)點(diǎn)的資源浪費(fèi)，提升集群整體的運(yùn)行效率。

技術(shù)領(lǐng)域

本發(fā)明涉及集群資源分配技術(shù)領(lǐng)域，具體涉及一種集群業(yè)務(wù)節(jié)點(diǎn)選擇方法、系統(tǒng)、終端及存儲(chǔ)介質(zhì)。

背景技術(shù)

在YARN集群中,任務(wù)調(diào)度通常采用增量分配規(guī)則。增量分配規(guī)則主要為在選擇節(jié)點(diǎn)進(jìn)行調(diào)度階段，優(yōu)先選擇資源空閑率高的節(jié)點(diǎn)進(jìn)行調(diào)度。如果節(jié)點(diǎn)空閑內(nèi)存為8G，任務(wù)申請(qǐng)內(nèi)存10G,則節(jié)點(diǎn)上的8G會(huì)被任務(wù)預(yù)定，其他任務(wù)不可再使用該資源。該任務(wù)將持續(xù)等待，直到該節(jié)點(diǎn)上空閑資源達(dá)到10G。

在集群內(nèi)各個(gè)節(jié)點(diǎn)資源相差不大的情況下，若只考慮節(jié)點(diǎn)空閑資源的大小，系統(tǒng)就默認(rèn)將任務(wù)調(diào)度到閑置資源量較高的節(jié)點(diǎn)上。但如果空閑資源量仍然滿足不了任務(wù)的運(yùn)行需求，按增量分配的方式，提交的任務(wù)還是會(huì)占用該節(jié)點(diǎn)的所有空閑資源(其他任務(wù)無法利用)，造成資源浪費(fèi)。顯然，此時(shí)的節(jié)點(diǎn)分配就不太合理。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)的上述不足，本發(fā)明提供一種集群業(yè)務(wù)節(jié)點(diǎn)選擇方法、系統(tǒng)、終端及存儲(chǔ)介質(zhì)，以解決上述技術(shù)問題。

第一方面，本發(fā)明提供一種集群業(yè)務(wù)節(jié)點(diǎn)選擇方法，包括：

解析待執(zhí)行任務(wù)的需求資源量；

采集集群內(nèi)所有節(jié)點(diǎn)的總資源量，并篩選總資源量不低于所述需求資源量的節(jié)點(diǎn)作為預(yù)選節(jié)點(diǎn)；

獲取預(yù)選節(jié)點(diǎn)的現(xiàn)有任務(wù)執(zhí)行進(jìn)度和任務(wù)資源占用情況；

根據(jù)所述任務(wù)執(zhí)行進(jìn)度和任務(wù)資源占用情況計(jì)算預(yù)選節(jié)點(diǎn)的空閑資源量達(dá)到所述需求資源量的所需時(shí)間；

篩選出所需時(shí)間最短的預(yù)選節(jié)點(diǎn)作為最優(yōu)節(jié)點(diǎn)，將所述待執(zhí)行任務(wù)分配至所述最優(yōu)節(jié)點(diǎn)。

進(jìn)一步的，所述方法還包括：

采集集群內(nèi)所有節(jié)點(diǎn)的空閑資源量；

判斷是否存在空閑資源量達(dá)到所述需求資源量的最優(yōu)節(jié)點(diǎn)：

若是，則將所述待執(zhí)行任務(wù)分配至所述最優(yōu)節(jié)點(diǎn)。

進(jìn)一步的，所述獲取預(yù)選節(jié)點(diǎn)的現(xiàn)有任務(wù)執(zhí)行進(jìn)度和任務(wù)資源占用情況，包括：

采集預(yù)選節(jié)點(diǎn)中現(xiàn)有任務(wù)的執(zhí)行總時(shí)長(zhǎng)、已執(zhí)行時(shí)長(zhǎng)和任務(wù)占用資源量。

進(jìn)一步的，所述根據(jù)所述任務(wù)執(zhí)行進(jìn)度和任務(wù)資源占用情況計(jì)算預(yù)選節(jié)點(diǎn)的空閑資源量達(dá)到所述需求資源量的所需時(shí)間，包括：

根據(jù)預(yù)選節(jié)點(diǎn)中各任務(wù)的執(zhí)行總時(shí)長(zhǎng)和已執(zhí)行時(shí)長(zhǎng)計(jì)算各任務(wù)的剩余時(shí)長(zhǎng)；

根據(jù)預(yù)選節(jié)點(diǎn)總資源量和各任務(wù)的資源占用量計(jì)算空閑資源量；

根據(jù)各任務(wù)的資源占用量和空閑資源量計(jì)算資源占用量與空閑資源量之和達(dá)到需求資源量的任務(wù)組合；

取任務(wù)組合中各任務(wù)剩余時(shí)長(zhǎng)的最大值作為任務(wù)組合剩余時(shí)長(zhǎng)；

選取剩余時(shí)長(zhǎng)最短的任務(wù)組合作為預(yù)選節(jié)點(diǎn)的最優(yōu)組合，并將所述最優(yōu)組合的剩余時(shí)長(zhǎng)作為所述所需時(shí)間輸出。

第二方面，本發(fā)明提供一種集群業(yè)務(wù)節(jié)點(diǎn)選擇系統(tǒng)，包括：

任務(wù)解析單元，配置用于解析待執(zhí)行任務(wù)的需求資源量；