[發(fā)明專(zhuān)利]一種基于聚類(lèi)特征提取的云計(jì)算集群任務(wù)負(fù)載預(yù)測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810232820.1
• 申請(qǐng)日: 2018-03-21
• 公開(kāi)（公告）號(hào): CN108415777A
• 公開(kāi)（公告）日: 2018-08-17
• 發(fā)明（設(shè)計(jì)）人: 余永佳
• 申請(qǐng)（專(zhuān)利權(quán)）人: 常州信息職業(yè)技術(shù)學(xué)院
• 主分類(lèi)號(hào): G06F9/50
• 分類(lèi)號(hào): G06F9/50
• 代理公司: 北京中濟(jì)緯天專(zhuān)利代理有限公司 11429
• 代理人: 張軍

基于聚類(lèi)特征提取的云計(jì)算集群任務(wù)負(fù)載預(yù)測(cè)方法，包括如下步驟：調(diào)取并分析云集群數(shù)據(jù)服務(wù)器的歷史負(fù)載數(shù)據(jù)，通過(guò)聚類(lèi)算法將相似的歷史負(fù)載曲線聚合到一個(gè)類(lèi)別中，從而形成K個(gè)歷史負(fù)載曲線聚類(lèi)；對(duì)所述K個(gè)歷史負(fù)載曲線聚類(lèi)進(jìn)行分析；采集用戶提交的任務(wù)一定時(shí)間內(nèi)的初始負(fù)載數(shù)據(jù)，選取DTW距離最短的歷史負(fù)載曲線聚類(lèi)為初始負(fù)載數(shù)據(jù)所屬的聚類(lèi)；從初始負(fù)載數(shù)據(jù)所屬的聚類(lèi)中選取與初始負(fù)載數(shù)據(jù)最為接近的歷史負(fù)載曲線，作為負(fù)載預(yù)測(cè)的依據(jù)；通過(guò)所述與初始負(fù)載數(shù)據(jù)最為接近的歷史負(fù)載曲線在所述一定時(shí)間區(qū)間的負(fù)載數(shù)據(jù)，預(yù)測(cè)用戶提交任務(wù)在未來(lái)時(shí)間區(qū)域內(nèi)的負(fù)載。提升云計(jì)算服務(wù)端資源調(diào)度準(zhǔn)確性，并降低云計(jì)算服務(wù)資源的浪費(fèi)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于聚類(lèi)特征提取的云計(jì)算集群任務(wù)負(fù)載預(yù)測(cè)方法。

背景技術(shù)

云計(jì)算集群通過(guò)網(wǎng)絡(luò)來(lái)提供動(dòng)態(tài)易擴(kuò)展的虛擬化資源,將硬件物理資源進(jìn)行重組、分配、調(diào)度，形成可配置的虛擬計(jì)算資源共享池(資源包括網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用軟件、服務(wù))，從而為用戶提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問(wèn)，減少用戶的管理工作，讓用戶工作重心轉(zhuǎn)移到業(yè)務(wù)層面。近年來(lái)眾多用戶已經(jīng)將自由的服務(wù)器應(yīng)用，轉(zhuǎn)移到公有云服務(wù)，用戶應(yīng)用面向的領(lǐng)域各有不同，對(duì)于云計(jì)算的性能等各方面的需求也不同。

針對(duì)用戶的不同需求，逐漸衍生了網(wǎng)絡(luò)服務(wù)供應(yīng)商和客戶間的合同約定SLA(Service-Level Agreement)。一個(gè)完整的SLA同時(shí)也是一個(gè)合法的文檔，包括所涉及的當(dāng)事人、協(xié)定條款、違約的處罰、費(fèi)用、雙方的義務(wù)等。合同在服務(wù)核心內(nèi)容方面，用戶和提供商可以在工作負(fù)荷、資源使用、數(shù)據(jù)安全、流量控制、任務(wù)調(diào)度等方面進(jìn)行約定。在簽訂SLA基礎(chǔ)上，會(huì)對(duì)用戶的使用情況進(jìn)行監(jiān)測(cè)，比如系統(tǒng)會(huì)收集用戶提交任務(wù)的執(zhí)行調(diào)度的狀態(tài)數(shù)據(jù)。通過(guò)分析歷史狀態(tài)數(shù)據(jù)與SLA所規(guī)定的指標(biāo)，來(lái)衡量服務(wù)商的服務(wù)質(zhì)量。如果服務(wù)商未能達(dá)到SLA所規(guī)定的指標(biāo)，將很有可能影響用戶的任務(wù)執(zhí)行，按照SLA約定服務(wù)商將被處罰。

對(duì)于SLA用戶提交的任務(wù)，服務(wù)商如何保障用戶任務(wù)在執(zhí)行時(shí)保有足夠的計(jì)算資源，直接關(guān)系到用戶所提交任務(wù)的運(yùn)行檢測(cè)數(shù)據(jù)，能否達(dá)到SLA規(guī)定的服務(wù)質(zhì)量。用戶將任務(wù)提交到公有云時(shí)，會(huì)提供任務(wù)的基本信息，服務(wù)商如果希望保障SLA，最簡(jiǎn)單的方法是分配大量的資源如(CPU、內(nèi)存資源)，以確保任務(wù)的執(zhí)行，但是該解決方案的缺點(diǎn)是很容易造成資源的嚴(yán)重浪費(fèi)。資源浪費(fèi)表現(xiàn)為兩種形式，一種是開(kāi)始分配了大量資源，而實(shí)際任務(wù)根本使用不到；另一種是分配了恒定的資源，任務(wù)運(yùn)行過(guò)程中僅一小段時(shí)間使用到這部分資源，而其他時(shí)間僅需要少量資源維護(hù)運(yùn)行。服務(wù)商解決該問(wèn)題的核心在于需要集群任務(wù)負(fù)載預(yù)測(cè)的方案，如果能夠在短時(shí)間能根據(jù)任務(wù)的基本信息對(duì)該任務(wù)后期可能所需要的資源(任務(wù)未來(lái)的負(fù)載)進(jìn)行預(yù)測(cè)，從而在不同時(shí)間階段為任務(wù)動(dòng)態(tài)分配足額資源，保障任務(wù)的順利執(zhí)行，又避免資源的嚴(yán)重浪費(fèi)。

對(duì)于負(fù)載的預(yù)測(cè)，本質(zhì)是時(shí)間序列的分析和預(yù)測(cè)，常見(jiàn)的現(xiàn)有技術(shù)為自回歸模型(Auto Regression Model)。自回歸模型是假設(shè)某個(gè)時(shí)間點(diǎn)的值，與其前序幾個(gè)時(shí)間點(diǎn)的值形成線性依賴(lài)。

t，1≤t≤m:為時(shí)間索引

m:時(shí)間索引的最大值

Y_t，1≤t≤m:時(shí)間點(diǎn)t所對(duì)應(yīng)的負(fù)載值

(1,Y₁),(2,Y₂),……(t,Y_t),(t+1,Y_t+1),…(m,Y_m):已有的m組負(fù)載數(shù)據(jù)

自回歸模型任務(wù)Y_t的預(yù)測(cè)值可以通過(guò)Y_t-1,Y_t-2……Y_t-n的線性計(jì)算得到，即

其中是前序時(shí)間上負(fù)載值的參數(shù)，c是常量，ε_t是白噪音(符合正態(tài)分布)。

自回歸模型的本質(zhì)是收集已有負(fù)載值，對(duì)后續(xù)的負(fù)載進(jìn)行預(yù)測(cè)。