[發(fā)明專利]隊列資源調(diào)整方法、裝置、電子設(shè)備和計算機(jī)可讀介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011105767.2
• 申請日: 2020-10-15
• 公開（公告）號: CN112231100A
• 公開（公告）日: 2021-01-15
• 發(fā)明（設(shè)計）人: 李婉潔;劉遠(yuǎn);郭頌
• 申請（專利權(quán)）人: 北京明略昭輝科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京華夏泰和知識產(chǎn)權(quán)代理有限公司 11662
• 代理人: 曾軍;劉曉燕

本申請?zhí)峁┝艘环N隊列資源調(diào)整方法、裝置、電子設(shè)備和計算機(jī)可讀介質(zhì)，屬于集群技術(shù)領(lǐng)域。方法包括：將集群中的當(dāng)前內(nèi)存使用率和當(dāng)前待分配任務(wù)數(shù)量輸入目標(biāo)預(yù)測時序模型，得到目標(biāo)預(yù)測時序模型輸出的預(yù)測內(nèi)存使用率和預(yù)測待分配任務(wù)數(shù)量；在預(yù)測內(nèi)存使用率不小于目標(biāo)內(nèi)存使用率，且預(yù)測待分配任務(wù)數(shù)量不小于目標(biāo)待分配任務(wù)數(shù)量的情況下，確定集群中的全部任務(wù)標(biāo)識；在緊急任務(wù)數(shù)據(jù)庫包含至少一個任務(wù)標(biāo)識的情況下，將集群中存在于緊急任務(wù)數(shù)據(jù)庫中的任務(wù)標(biāo)識作為目標(biāo)任務(wù)標(biāo)識；確定目標(biāo)任務(wù)標(biāo)識對應(yīng)的目標(biāo)隊列，并對目標(biāo)隊列進(jìn)行資源調(diào)整。本申請?zhí)岣哔Y源調(diào)整的靈活性，避免資源擁堵。

技術(shù)領(lǐng)域

本申請涉及集群技術(shù)領(lǐng)域，尤其涉及一種隊列資源調(diào)整方法、裝置、電子設(shè)備和計算機(jī)可讀介質(zhì)。

背景技術(shù)

Hadoop集群可以為多個業(yè)務(wù)隊列進(jìn)行資源分配，每個業(yè)務(wù)隊列具有優(yōu)先級，相應(yīng)的資源分配也是不同的，一般是優(yōu)先級高的業(yè)務(wù)隊列分配的資源較多，優(yōu)先級低的業(yè)務(wù)隊列分配的資源較少。

每個隊列均具有對應(yīng)的配置文件，目前是通過定時切換配置文件的方式調(diào)整集群中的隊列資源，如果遇到緊急情況需要調(diào)整隊列資源，需要人工再另外修改配置文件，及時性低，隊列資源調(diào)整的靈活性差。

發(fā)明內(nèi)容

本申請實施例的目的在于提供一種隊列資源調(diào)整方法、裝置、電子設(shè)備和計算機(jī)可讀介質(zhì)，以解決資源調(diào)整靈活性差的問題。具體技術(shù)方案如下：

第一方面，提供了一種隊列資源調(diào)整方法，所述方法包括：

將集群中的當(dāng)前內(nèi)存使用率和所述當(dāng)前待分配任務(wù)數(shù)量輸入目標(biāo)預(yù)測時序模型，得到所述目標(biāo)預(yù)測時序模型輸出的預(yù)測內(nèi)存使用率和預(yù)測待分配任務(wù)數(shù)量；

在所述預(yù)測內(nèi)存使用率不小于目標(biāo)內(nèi)存使用率，且所述預(yù)測待分配任務(wù)數(shù)量不小于目標(biāo)待分配任務(wù)數(shù)量的情況下，確定所述集群中的全部任務(wù)標(biāo)識，其中，所述集群中包含多個任務(wù)，每個任務(wù)具有對應(yīng)的任務(wù)標(biāo)識；

在緊急任務(wù)數(shù)據(jù)庫包含至少一個所述任務(wù)標(biāo)識的情況下，將所述集群中存在于所述緊急任務(wù)數(shù)據(jù)庫中的任務(wù)標(biāo)識作為目標(biāo)任務(wù)標(biāo)識；

確定所述目標(biāo)任務(wù)標(biāo)識對應(yīng)的目標(biāo)隊列，并對所述目標(biāo)隊列進(jìn)行資源調(diào)整，其中，所述集群包括多個隊列。

可選地，所述集群包括多個父隊列，每個所述父隊列包括多個子隊列，每個所述子隊列包括多個任務(wù)，所述確定所述目標(biāo)任務(wù)標(biāo)識對應(yīng)的目標(biāo)隊列，并對所述目標(biāo)隊列進(jìn)行資源調(diào)整包括：

確定所述目標(biāo)任務(wù)標(biāo)識對應(yīng)的目標(biāo)父隊列；

在所述目標(biāo)父隊列的業(yè)務(wù)為全部緊急的情況下，對所述目標(biāo)父隊列中的資源進(jìn)行調(diào)整。

可選地，所述集群包括多個父隊列，每個所述父隊列包括多個子隊列，每個所述子隊列包括多個任務(wù)，所述確定所述目標(biāo)任務(wù)標(biāo)識對應(yīng)的目標(biāo)隊列，并對所述目標(biāo)隊列進(jìn)行資源調(diào)整包括：

確定所述目標(biāo)任務(wù)標(biāo)識對應(yīng)的目標(biāo)父隊列；

在所述目標(biāo)父隊列的業(yè)務(wù)為部分緊急的情況下，確定所述目標(biāo)任務(wù)標(biāo)識對應(yīng)的目標(biāo)子隊列；

對所述目標(biāo)子隊列中的資源進(jìn)行調(diào)整。

可選地，所述目標(biāo)父隊列的業(yè)務(wù)為全部緊急包括：

確定所述目標(biāo)父隊列的目標(biāo)業(yè)務(wù)標(biāo)識，并獲取緊急業(yè)務(wù)數(shù)據(jù)庫中的緊急業(yè)務(wù)標(biāo)識；

在所述緊急業(yè)務(wù)數(shù)據(jù)庫中包含與所述目標(biāo)業(yè)務(wù)標(biāo)識匹配的緊急業(yè)務(wù)標(biāo)識的情況下，確定所述目標(biāo)父隊列的業(yè)務(wù)為全部緊急。

可選地，在緊急任務(wù)數(shù)據(jù)庫包含至少一個所述任務(wù)標(biāo)識之后，所述方法還包括：

發(fā)送警示信息至目標(biāo)終端，以使目標(biāo)終端得知所述集群需要進(jìn)行資源調(diào)整。