[發(fā)明專(zhuān)利]一種對(duì)集群中執(zhí)行設(shè)備評(píng)價(jià)的方法和設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201710198341.8
• 申請(qǐng)日: 2017-03-29
• 公開(kāi)（公告）號(hào): CN107451039B
• 公開(kāi)（公告）日: 2021-02-09
• 發(fā)明（設(shè)計(jì)）人: 王家忙
• 申請(qǐng)（專(zhuān)利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類(lèi)號(hào): G06F11/34
• 分類(lèi)號(hào): G06F11/34
• 代理公司: 上海百一領(lǐng)御專(zhuān)利代理事務(wù)所(普通合伙) 31243
• 代理人: 陳貞健;邵棟

本申請(qǐng)的目的是提供一種對(duì)集群中執(zhí)行設(shè)備評(píng)價(jià)的方法和設(shè)備，所述分布式作業(yè)主設(shè)備根據(jù)分布式作業(yè)實(shí)例在每臺(tái)執(zhí)行設(shè)備上運(yùn)行的具體情況，判斷各所述執(zhí)行設(shè)備的運(yùn)行狀態(tài)，并根據(jù)所述運(yùn)行狀態(tài)確定評(píng)價(jià)系數(shù)，通過(guò)將評(píng)價(jià)系數(shù)累加成評(píng)價(jià)結(jié)果，并定期提交至調(diào)度主設(shè)備，所述調(diào)度主設(shè)備通過(guò)接收至少一個(gè)分布式作業(yè)主設(shè)備上傳的集群中各執(zhí)行設(shè)備的評(píng)價(jià)結(jié)果，并根據(jù)匯總的評(píng)價(jià)結(jié)果對(duì)所述執(zhí)行設(shè)備的性能進(jìn)行評(píng)價(jià)，從而根據(jù)實(shí)際的運(yùn)行情況生成性能評(píng)價(jià)信息，識(shí)別發(fā)生故障或者運(yùn)行狀態(tài)不好的執(zhí)行設(shè)備，檢測(cè)出硬件檢測(cè)工具無(wú)法檢測(cè)的問(wèn)題，進(jìn)而有效地幫助調(diào)度主設(shè)備做出調(diào)度決策。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)領(lǐng)域，尤其涉及一種對(duì)集群中執(zhí)行設(shè)備評(píng)價(jià)的技術(shù)。

背景技術(shù)

大規(guī)模數(shù)據(jù)分析中需要使用多臺(tái)計(jì)算機(jī)協(xié)同工作，多臺(tái)計(jì)算機(jī)互相連接組成的物理系統(tǒng)稱(chēng)為集群，管理集群中多臺(tái)計(jì)算機(jī)協(xié)同工作的系統(tǒng)稱(chēng)為分布式系統(tǒng)。分布式系統(tǒng)主要負(fù)責(zé)集群中計(jì)算機(jī)資源的調(diào)度。

隨著計(jì)算機(jī)數(shù)目增加，發(fā)生計(jì)算機(jī)故障的頻率也隨之提高。目前大規(guī)模計(jì)算機(jī)集群一般包含上千臺(tái)機(jī)器，雖然單臺(tái)計(jì)算機(jī)的故障率很低，但是以集群為單位，機(jī)器的硬件各種類(lèi)型的故障率非常可觀。上千臺(tái)機(jī)器的集群，基本上每天都會(huì)有故障會(huì)影響作業(yè)的運(yùn)行。為了防止故障機(jī)器對(duì)于作業(yè)造成的影響過(guò)大，分布式調(diào)度系統(tǒng)需要評(píng)判機(jī)器的情況來(lái)進(jìn)行調(diào)度決策。因此，在分布式作業(yè)運(yùn)行過(guò)程中如何屏蔽計(jì)算機(jī)的故障，減弱計(jì)算機(jī)故障對(duì)于集群中運(yùn)行的作業(yè)的影響是分布式系統(tǒng)的一個(gè)主要挑戰(zhàn)。

計(jì)算機(jī)的故障一般分為兩類(lèi)：一是某種硬件徹底損壞，一般會(huì)導(dǎo)致作業(yè)在該機(jī)器執(zhí)行失?。灰皇怯布](méi)有徹底損壞，只是性能變差，這種情況下不會(huì)導(dǎo)致所有作業(yè)失敗，而會(huì)導(dǎo)致部分作業(yè)執(zhí)行失敗，或者是作業(yè)執(zhí)行變慢。而要減弱計(jì)算機(jī)故障對(duì)于集群中作業(yè)的影響首要的目標(biāo)是要對(duì)計(jì)算機(jī)做出評(píng)價(jià)，識(shí)別發(fā)生故障的計(jì)算機(jī)。

目前已有方案的缺陷包括：一是硬件檢測(cè)工具只能檢測(cè)硬件徹底不可用的情況，對(duì)于硬件性能變差，往往很難檢查出來(lái)。例如，磁盤(pán)檢測(cè)工具可以發(fā)現(xiàn)磁盤(pán)不可寫(xiě)入文件或者不可讀取文件，但是發(fā)現(xiàn)不了磁盤(pán)寫(xiě)入文件慢或者讀取文件慢的情況。二是硬件檢測(cè)只負(fù)責(zé)檢測(cè)單個(gè)維度的硬件，給出某種硬件是否可用，但是在某些情況下部分硬件不可用的時(shí)候不會(huì)影響分布式作業(yè)的運(yùn)行。例如對(duì)于只需要CPU(中央處理器)和內(nèi)存的分布式作業(yè)，磁盤(pán)的不可用對(duì)于作業(yè)影響不大。三是硬件檢測(cè)無(wú)法發(fā)現(xiàn)軟件安裝的問(wèn)題，例如作業(yè)依賴(lài)的動(dòng)態(tài)鏈接庫(kù)在某臺(tái)機(jī)器A沒(méi)有正常安裝，這時(shí)候作業(yè)在機(jī)器A無(wú)法正常運(yùn)行，這種情況硬件檢測(cè)發(fā)現(xiàn)不了問(wèn)題，進(jìn)而無(wú)法有效幫助調(diào)整調(diào)度決策。

發(fā)明內(nèi)容

本申請(qǐng)的目的是提供一種基于分布式作業(yè)實(shí)際運(yùn)行情況直接評(píng)判各分布式作業(yè)的執(zhí)行設(shè)備性能的評(píng)價(jià)方法，以更直接地找出影響分布式作業(yè)運(yùn)行情況的機(jī)器，并檢測(cè)出硬件檢測(cè)工具無(wú)法檢測(cè)的問(wèn)題。

根據(jù)本申請(qǐng)的一個(gè)方面，提供了一種在分布式作業(yè)主設(shè)備端對(duì)集群中執(zhí)行設(shè)備評(píng)價(jià)的方法，其中，所述方法包括：

獲取所述執(zhí)行設(shè)備的運(yùn)行狀態(tài)；

確定所述運(yùn)行狀態(tài)對(duì)應(yīng)的評(píng)價(jià)系數(shù)，并基于所述評(píng)價(jià)系數(shù)統(tǒng)計(jì)所述執(zhí)行設(shè)備的評(píng)價(jià)結(jié)果；

將所述執(zhí)行設(shè)備的評(píng)價(jià)結(jié)果上傳至調(diào)度主設(shè)備，以供所述調(diào)度主設(shè)備生成所述執(zhí)行設(shè)備的性能評(píng)價(jià)信息。

進(jìn)一步地，獲取所述執(zhí)行設(shè)備的運(yùn)行狀態(tài)包括：基于所述執(zhí)行設(shè)備對(duì)分布式作業(yè)實(shí)際運(yùn)行的情況，獲取所述執(zhí)行設(shè)備的運(yùn)行狀態(tài)。

進(jìn)一步地，確定所述運(yùn)行狀態(tài)對(duì)應(yīng)的評(píng)價(jià)系數(shù)，并基于所述評(píng)價(jià)系數(shù)統(tǒng)計(jì)所述執(zhí)行設(shè)備的評(píng)價(jià)結(jié)果包括：當(dāng)所述分布式作業(yè)在執(zhí)行設(shè)備上實(shí)際運(yùn)行情況出現(xiàn)至少以下任一種：

所述分布式作業(yè)的單個(gè)作業(yè)實(shí)例執(zhí)行失敗；

所述分布式作業(yè)的所有作業(yè)實(shí)例執(zhí)行失敗；

所述分布式作業(yè)的作業(yè)實(shí)例無(wú)法啟動(dòng)；

分布式作業(yè)的所述作業(yè)實(shí)例的執(zhí)行時(shí)間超出預(yù)設(shè)時(shí)間；