[發(fā)明專利]云計(jì)算集群混部作業(yè)調(diào)度方法、裝置、服務(wù)器及存儲(chǔ)裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201911065641.4
• 申請(qǐng)日: 2019-11-04
• 公開(kāi)（公告）號(hào): CN110908795B
• 公開(kāi)（公告）日: 2022-08-19
• 發(fā)明（設(shè)計(jì)）人: 葉可江;陳文艷;須成忠
• 申請(qǐng)（專利權(quán)）人: 深圳先進(jìn)技術(shù)研究院
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50;G06F8/60
• 代理公司: 深圳市科進(jìn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44316
• 代理人: 曹衛(wèi)良

本發(fā)明公開(kāi)了一種云計(jì)算集群混部作業(yè)調(diào)度方法、裝置、服務(wù)器及存儲(chǔ)裝置，其中方法包括：分析預(yù)先獲取的多種負(fù)載類型的歷史運(yùn)行日志數(shù)據(jù)，確認(rèn)每種負(fù)載類型運(yùn)行時(shí)所需的最大資源值；基于最大資源值模擬將多種負(fù)載類型混合部署至服務(wù)器，并獲取每種混合部署模式下硬件事件的發(fā)生頻率；基于硬件事件發(fā)生頻率計(jì)算每種混合部署模式的推薦評(píng)分；當(dāng)接收到作業(yè)調(diào)度請(qǐng)求時(shí)，確認(rèn)滿足作業(yè)調(diào)度請(qǐng)求的所需資源；篩選出符合所需資源的服務(wù)器列表，并從服務(wù)器列表中確認(rèn)推薦評(píng)分最高的目標(biāo)混合部署模式；根據(jù)目標(biāo)混合部署模式對(duì)作業(yè)調(diào)度請(qǐng)求進(jìn)行系統(tǒng)調(diào)度。本發(fā)明通過(guò)在資源層面和硬件事件層面對(duì)作業(yè)調(diào)度請(qǐng)求進(jìn)行雙層混合部署，以提升云服務(wù)器整體資源利用率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及云計(jì)算技術(shù)領(lǐng)域，特別是涉及一種云計(jì)算集群混部作業(yè)調(diào)度方法、裝置、服務(wù)器及存儲(chǔ)裝置。

背景技術(shù)

云計(jì)算服務(wù)因其高擴(kuò)展性、按需服務(wù)以及極其廉價(jià)的特性而被廣泛應(yīng)用于數(shù)據(jù)中心服務(wù)平臺(tái)，越來(lái)越多的企業(yè)和個(gè)人選擇利用云計(jì)算平臺(tái)運(yùn)行應(yīng)用程序。隨之云集群中的服務(wù)類型越來(lái)越多樣化，對(duì)作業(yè)調(diào)度的要求也越來(lái)越高。為了提升云計(jì)算集群整體的資源利用率，云數(shù)據(jù)中心相關(guān)人員開(kāi)始逐步重視對(duì)物理主機(jī)的混合利用。

目前，提升云計(jì)算集群資源利用率主要從兩個(gè)方面進(jìn)行。一是負(fù)載特征分析與資源預(yù)測(cè)，該方法通過(guò)對(duì)負(fù)載的歷史運(yùn)行日志進(jìn)行分析，采用服務(wù)器學(xué)習(xí)模型等進(jìn)行預(yù)測(cè)下一時(shí)刻的資源消耗情況，從而進(jìn)行合理的資源分配。該方式在一定程度上縮短了資源請(qǐng)求與實(shí)際資源消耗的差距，減少服務(wù)器資源超售的情況。二是集群中的混部策略的部署，主要是將實(shí)時(shí)型業(yè)務(wù)和計(jì)算型業(yè)務(wù)混部在同一臺(tái)物理機(jī)中。但是，目前大部分的作業(yè)調(diào)度方案考慮的是單個(gè)層面，即資源層的資源需求或者作業(yè)本身的調(diào)度優(yōu)先級(jí)，采用的方法有神經(jīng)網(wǎng)絡(luò)、蟻群算法等經(jīng)典啟發(fā)式算法，排隊(duì)論等，或者是基于經(jīng)典算法模型的改進(jìn)策略，其忽略了混合部署時(shí)，不同類型的負(fù)載之間互相干擾而導(dǎo)致服務(wù)器集群性能下降的問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N云計(jì)算集群混部作業(yè)調(diào)度方法、裝置、服務(wù)器及存儲(chǔ)裝置，以解決現(xiàn)有的作業(yè)調(diào)度方案因負(fù)載之間互相干擾而導(dǎo)致服務(wù)器集群性能下降的問(wèn)題。

為解決上述技術(shù)問(wèn)題，本申請(qǐng)采用的一個(gè)技術(shù)方案是：提供一種云計(jì)算集群混部作業(yè)調(diào)度方法，其包括：

分析預(yù)先獲取的多種負(fù)載類型的歷史運(yùn)行日志數(shù)據(jù)，確認(rèn)每種負(fù)載類型運(yùn)行時(shí)所需的最大資源值；

基于最大資源值模擬將多種負(fù)載類型混合部署至服務(wù)器，并獲取每種混合部署模式下硬件事件的發(fā)生頻率；

基于硬件事件發(fā)生頻率計(jì)算每種混合部署模式的推薦評(píng)分；

當(dāng)接收到作業(yè)調(diào)度請(qǐng)求時(shí)，確認(rèn)滿足作業(yè)調(diào)度請(qǐng)求的所需資源；

篩選出符合所需資源的服務(wù)器列表，并從服務(wù)器列表中確認(rèn)推薦評(píng)分最高的目標(biāo)混合部署模式；

根據(jù)目標(biāo)混合部署模式對(duì)作業(yè)調(diào)度請(qǐng)求進(jìn)行系統(tǒng)調(diào)度。

作為本發(fā)明的進(jìn)一步改進(jìn)，所述每種混合部署模式的推薦評(píng)分的計(jì)算公式為：

其中，T_w1w2為w1、w2兩種負(fù)載類型混合部署時(shí)的推薦評(píng)分，S_HEM＝{IPC,BPM,LLCM……}，w1、w2分別代表不同類型的負(fù)載，rate_i表示w1、w2混合部署運(yùn)行時(shí)w1的硬件事件發(fā)生頻率與w1單獨(dú)部署運(yùn)行時(shí)的硬件事件發(fā)生頻率的比值，α_i為預(yù)先設(shè)定的硬件事件的權(quán)重。

作為本發(fā)明的進(jìn)一步改進(jìn)，基于所述最大資源值模擬將所述多種負(fù)載類型混合部署至服務(wù)器的步驟之前，還包括：

當(dāng)出現(xiàn)新的負(fù)載類型時(shí)，通過(guò)相似性分析確認(rèn)與新的負(fù)載類型最接近的負(fù)載類型，以確認(rèn)新的負(fù)載類型所需的最大資源值。

作為本發(fā)明的進(jìn)一步改進(jìn)，確認(rèn)滿足作業(yè)調(diào)度請(qǐng)求的所需資源的步驟之后，還包括：