[發(fā)明專利]基于YARN的資源監(jiān)控方法、裝置及終端設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010120079.7
• 申請(qǐng)日: 2020-02-26
• 公開（公告）號(hào): CN111290917A
• 公開（公告）日: 2020-06-16
• 發(fā)明（設(shè)計(jì)）人: 程飛
• 申請(qǐng)（專利權(quán)）人: 深圳市云智融科技有限公司
• 主分類號(hào): G06F11/30
• 分類號(hào): G06F11/30;G06F9/50;G06F9/48
• 代理公司: 深圳中一聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 44414
• 代理人: 羅琳麗

本申請(qǐng)適用于大數(shù)據(jù)技術(shù)領(lǐng)域，提供了基于YARN的資源監(jiān)控方法、裝置及終端設(shè)備，包括：在目標(biāo)時(shí)間段內(nèi)，每隔第一預(yù)設(shè)時(shí)長(zhǎng)通過(guò)YARN接口獲取每個(gè)執(zhí)行中的目標(biāo)任務(wù)的運(yùn)行狀態(tài)信息，所述運(yùn)行狀態(tài)信息包括運(yùn)行時(shí)長(zhǎng)及運(yùn)行所占資源大小；若檢測(cè)到所述目標(biāo)任務(wù)中存在異常任務(wù)，則終止所述異常任務(wù)，其中所述異常任務(wù)為運(yùn)行時(shí)長(zhǎng)超過(guò)運(yùn)行時(shí)長(zhǎng)閾值和/或運(yùn)行所占資源大小超過(guò)預(yù)設(shè)資源閾值的任務(wù)。本申請(qǐng)實(shí)施例能夠提高基于YARN的分布式系統(tǒng)的資源利用率及任務(wù)運(yùn)行效率。

技術(shù)領(lǐng)域

本申請(qǐng)屬于大數(shù)據(jù)技術(shù)領(lǐng)域，尤其涉及一種基于YARN的資源監(jiān)控方法、裝置及終端設(shè)備。

背景技術(shù)

另一種資源協(xié)調(diào)者(Yet Another Resource Negotiator，YARN)是一種新的Hadoop資源管理器，它是一個(gè)通用資源管理系統(tǒng)，可為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度，它的引入為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來(lái)了巨大好處。

雖然YARN能夠優(yōu)化Hadoop分布式系統(tǒng)中的資源分配，但是在系統(tǒng)繁忙時(shí)段仍可能導(dǎo)致任務(wù)無(wú)法執(zhí)行或者執(zhí)行過(guò)慢的問(wèn)題。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)實(shí)施例提供了基于YARN的資源監(jiān)控方法、裝置及終端設(shè)備，以解決現(xiàn)有技術(shù)中基于YARN的分布式系統(tǒng)中因系統(tǒng)繁忙、運(yùn)行資源不足而導(dǎo)致任務(wù)無(wú)法執(zhí)行或執(zhí)行過(guò)慢的問(wèn)題。

本申請(qǐng)實(shí)施例的第一方面提供了一種基于YARN的資源監(jiān)控方法，其特征在于，包括：

在目標(biāo)時(shí)間段內(nèi)，每隔第一預(yù)設(shè)時(shí)長(zhǎng)通過(guò)YARN接口獲取每個(gè)執(zhí)行中的目標(biāo)任務(wù)的運(yùn)行狀態(tài)信息，所述運(yùn)行狀態(tài)信息包括運(yùn)行時(shí)長(zhǎng)及運(yùn)行所占資源大小；

若檢測(cè)到所述目標(biāo)任務(wù)中存在異常任務(wù)，則終止所述異常任務(wù)，其中所述異常任務(wù)為運(yùn)行時(shí)長(zhǎng)超過(guò)運(yùn)行時(shí)長(zhǎng)閾值和/或運(yùn)行所占資源大小超過(guò)預(yù)設(shè)資源閾值的任務(wù)。

進(jìn)一步地，所述目標(biāo)任務(wù)具體為任務(wù)白名單以外的任務(wù)，在所述在目標(biāo)時(shí)間段內(nèi)，每隔預(yù)設(shè)時(shí)長(zhǎng)通過(guò)YARN接口獲取每個(gè)執(zhí)行中的目標(biāo)任務(wù)的運(yùn)行狀態(tài)信息之前，還包括：

設(shè)置任務(wù)白名單。

進(jìn)一步地，在所述在目標(biāo)時(shí)間段內(nèi)，每隔第一預(yù)設(shè)時(shí)長(zhǎng)通過(guò)YARN接口獲取每個(gè)執(zhí)行中的目標(biāo)任務(wù)的運(yùn)行狀態(tài)信息之前，還包括：

接收設(shè)置指令，根據(jù)所述設(shè)置指令設(shè)置目標(biāo)時(shí)間段和第一預(yù)設(shè)時(shí)長(zhǎng)，以及，根據(jù)所述設(shè)置指令設(shè)置運(yùn)行時(shí)長(zhǎng)閾值和/或預(yù)設(shè)資源閾值。

進(jìn)一步地，在所述若檢測(cè)到所述目標(biāo)任務(wù)中存在異常任務(wù)，則終止所述異常任務(wù)之后，還包括：

將所述異常任務(wù)的信息存儲(chǔ)至待處理列表中；

在非目標(biāo)時(shí)間段內(nèi)，執(zhí)行所述待處理列表中的任務(wù)。

進(jìn)一步地，所述基于YARN的資源監(jiān)控方法還包括：

若檢測(cè)到執(zhí)行結(jié)束的任務(wù)，則將所述執(zhí)行結(jié)束的任務(wù)的運(yùn)行日志信息存儲(chǔ)至任務(wù)運(yùn)行日志數(shù)據(jù)庫(kù)，所述運(yùn)行日志信息至少包括所述執(zhí)行結(jié)束的任務(wù)的運(yùn)行起始時(shí)間信息、運(yùn)行總時(shí)長(zhǎng)及資源使用信息，所述執(zhí)行結(jié)束的任務(wù)包括運(yùn)行完畢的任務(wù)及被終止的異常任務(wù)。

進(jìn)一步地，所述基于YARN的資源監(jiān)控方法還包括：

每隔第二預(yù)設(shè)時(shí)長(zhǎng)，根據(jù)所述任務(wù)運(yùn)行日志數(shù)據(jù)庫(kù)中的運(yùn)行日志信息，調(diào)整所述運(yùn)行時(shí)長(zhǎng)閾值和/或所述預(yù)設(shè)資源閾值的大小。

進(jìn)一步地，所述基于YARN的資源監(jiān)控方法還包括：

每隔第三預(yù)設(shè)時(shí)長(zhǎng)，統(tǒng)計(jì)所述任務(wù)運(yùn)行日志數(shù)據(jù)庫(kù)中所述執(zhí)行結(jié)束的任務(wù)的運(yùn)行起始時(shí)間信息，調(diào)整所述目標(biāo)時(shí)間段。

本申請(qǐng)實(shí)施例的第二方面提供了一種基于YARN的資源監(jiān)控裝置，其特征在于，包括：