[發(fā)明專利]大數(shù)據(jù)資源處理方法、裝置、終端及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010015241.9
• 申請日: 2020-01-07
• 公開（公告）號: CN111198767A
• 公開（公告）日: 2020-05-26
• 發(fā)明（設(shè)計(jì)）人: 許璐
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48;G06K9/62
• 代理公司: 深圳市賽恩倍吉知識產(chǎn)權(quán)代理有限公司 44334
• 代理人: 劉麗華;孫芬

一種大數(shù)據(jù)資源處理方法，包括：初始化多層隊(duì)列；根據(jù)隊(duì)列的初始資源確定每層隊(duì)列的性能標(biāo)識；當(dāng)接收到客戶端輸出的任務(wù)處理請求時(shí)，監(jiān)聽多層隊(duì)列中每層隊(duì)列的剩余資源量；采用任務(wù)時(shí)長消耗模型預(yù)測出任務(wù)消耗的預(yù)計(jì)時(shí)長；根據(jù)任務(wù)消耗的預(yù)計(jì)時(shí)長確定任務(wù)消耗的預(yù)計(jì)資源量；將所述多層隊(duì)列中剩余資源量大于預(yù)計(jì)資源量的隊(duì)列確定為待選隊(duì)列；從待選隊(duì)列中匹配出性能標(biāo)識為第一性能標(biāo)識的目標(biāo)隊(duì)列；將任務(wù)分配給所述目標(biāo)隊(duì)列。本發(fā)明還提供一種大數(shù)據(jù)資源處理裝置、終端及計(jì)算機(jī)可讀存儲介質(zhì)。本發(fā)明通過預(yù)測任務(wù)消耗的資源量，并結(jié)合每層隊(duì)列的剩余資源量及隊(duì)列的性能標(biāo)識來綜合確定目標(biāo)隊(duì)列，節(jié)約整體任務(wù)的運(yùn)行時(shí)間，提升集群資源的利用率。

技術(shù)領(lǐng)域

本發(fā)明涉及資源分配領(lǐng)域，尤其涉及一種大數(shù)據(jù)資源處理方法、大數(shù)據(jù)資源處理裝置、終端以及計(jì)算機(jī)可讀存儲介質(zhì)。

背景技術(shù)

目前隨著數(shù)據(jù)爆炸式的增長，大數(shù)據(jù)平臺的使用越來越多，大數(shù)據(jù)平臺的資源投入也越來越多。如何通過有效的資源管理提高大數(shù)據(jù)平臺的計(jì)算能力是一個(gè)很重要的話題。目前的大數(shù)據(jù)平臺資源管理都是大范圍的資源管理，經(jīng)常會出現(xiàn)一個(gè)隊(duì)列很繁忙而其他隊(duì)列很空閑、一個(gè)大的任務(wù)會占用所有資源導(dǎo)致后面任務(wù)無法提交的情況。

因此，有必要提出一種新的資源調(diào)度管理方法，以通過有效的資源管理提高大數(shù)據(jù)平臺的計(jì)算能力。

發(fā)明內(nèi)容

鑒于以上內(nèi)容，有必要提出一種大數(shù)據(jù)資源處理方法、大數(shù)據(jù)資源處理裝置、終端以及計(jì)算機(jī)可讀存儲介質(zhì)，其可以預(yù)測任務(wù)消耗的資源量，并結(jié)合每層隊(duì)列的剩余資源量及隊(duì)列的性能標(biāo)識來綜合確定目標(biāo)隊(duì)列，確定出的目標(biāo)隊(duì)列不僅可以完成任務(wù)，還能快速地完成任務(wù)。

本發(fā)明實(shí)施例第一方面提供一種大數(shù)據(jù)資源處理方法，應(yīng)用于大數(shù)據(jù)平臺中，所述大數(shù)據(jù)資源處理方法包括：

初始化所述大數(shù)據(jù)平臺中的大數(shù)據(jù)資源對應(yīng)的多層隊(duì)列，得到隊(duì)列的初始資源；

根據(jù)所述隊(duì)列的初始資源確定每層隊(duì)列的性能標(biāo)識；

當(dāng)接收到客戶端輸出的任務(wù)處理請求時(shí)，調(diào)用預(yù)設(shè)個(gè)數(shù)的資源量監(jiān)聽器監(jiān)聽所述多層隊(duì)列中每層隊(duì)列的剩余資源量；

采用預(yù)先訓(xùn)練的任務(wù)時(shí)長消耗模型預(yù)測出所述任務(wù)消耗的預(yù)計(jì)時(shí)長；

根據(jù)所述任務(wù)消耗的預(yù)計(jì)時(shí)長確定所述任務(wù)消耗的預(yù)計(jì)資源量；

將所述多層隊(duì)列中剩余資源量大于所述預(yù)計(jì)資源量的隊(duì)列確定為待選隊(duì)列；

從所述待選隊(duì)列中匹配出性能標(biāo)識為第一性能標(biāo)識的目標(biāo)隊(duì)列，其中，所述第一性能標(biāo)識所對應(yīng)的隊(duì)列的初始資源大于其他性能標(biāo)識所對應(yīng)的隊(duì)列的初始資源；

將所述任務(wù)分配給所述目標(biāo)隊(duì)列。

進(jìn)一步地，在本發(fā)明實(shí)施例提供的上述大數(shù)據(jù)資源處理方法中，所述根據(jù)所述隊(duì)列的初始資源確定每層隊(duì)列的性能標(biāo)識的步驟包括：

判斷每層隊(duì)列的所述初始資源是否介于預(yù)設(shè)第一資源閾值與預(yù)設(shè)第二資源閾值之間，其中，所述第一資源閾值大于所述第二資源閾值；

當(dāng)所述初始資源大于所述預(yù)設(shè)第一資源閾值時(shí)，確定與所述初始資源對應(yīng)的隊(duì)列的性能標(biāo)識為第一性能標(biāo)識；

當(dāng)所述初始資源小于所述預(yù)設(shè)第一資源閾值且大于所述預(yù)設(shè)第二資源閾值時(shí)，確定與所述初始資源對應(yīng)的隊(duì)列的性能標(biāo)識為第二性能標(biāo)識；

當(dāng)所述初始資源小于所述預(yù)設(shè)第二資源閾值時(shí)，確定與所述初始資源對應(yīng)的隊(duì)列的性能標(biāo)識為第三性能標(biāo)識。

進(jìn)一步地，在本發(fā)明實(shí)施例提供的上述大數(shù)據(jù)資源處理方法中，當(dāng)接收到客戶端輸出的任務(wù)處理請求時(shí)，所述方法還包括：

調(diào)用服務(wù)器端的任務(wù)調(diào)度器獲取所述任務(wù)的描述文件；

根據(jù)所述描述文件識別所述任務(wù)的任務(wù)名稱；