[發(fā)明專利]一種基于機(jī)器學(xué)習(xí)的云平臺容量規(guī)劃方法

有效

• 申請?zhí)枺?/td>: 201710050789.5
• 申請日: 2017-01-23
• 公開（公告）號: CN106844175B
• 公開（公告）日: 2019-08-30
• 發(fā)明（設(shè)計）人: 才振功;萇程;王翱宇;丁軼群;蔡亮
• 申請（專利權(quán)）人: 杭州諧云科技有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06N7/00
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 邱啟旺

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于機(jī)器學(xué)習(xí)算法的云平臺容量規(guī)劃方法。

背景技術(shù)

隨著云平臺應(yīng)用的日益廣泛，虛擬資源已經(jīng)成為數(shù)據(jù)中心資源分配的主要形式。在應(yīng)用系統(tǒng)投產(chǎn)和運(yùn)維階段，云平臺需要投入多少資源才能保障應(yīng)用系統(tǒng)的設(shè)計性能指標(biāo)，是困擾大多數(shù)數(shù)據(jù)中心進(jìn)行容量規(guī)劃的難題。傳統(tǒng)數(shù)據(jù)中心容量規(guī)劃主要以經(jīng)驗為主，為了保障穩(wěn)定的系統(tǒng)性能，經(jīng)常采用過量分配資源的方式，導(dǎo)致數(shù)據(jù)中心服務(wù)器資源利用率整體非常低，造成資源浪費(fèi)。如將服務(wù)器整體有效資源利用率從20％提升至40％，將可以大幅節(jié)省數(shù)據(jù)中心物理資源投入。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種基于機(jī)器學(xué)習(xí)的云平臺容量規(guī)劃方法，解決上述數(shù)據(jù)中心容量規(guī)劃問題。

本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的：一種基于機(jī)器學(xué)習(xí)的云平臺容量規(guī)劃方法，該方法為：每發(fā)生一次遷移，即根據(jù)拓?fù)浣Y(jié)構(gòu)，對相關(guān)節(jié)點(diǎn)觸發(fā)一次容量評估，響應(yīng)時間T'或物理資源利用率U_p'最先達(dá)到閾值的節(jié)點(diǎn)的虛擬資源或物理資源所能支撐的訪問量作為該云平臺的容量值。

所述響應(yīng)時間T'和物理資源利用率U_p'通過以下步驟獲得：

步驟1：采用操作系統(tǒng)底層命令，采用邏輯時鐘同步方式，實(shí)時獲取物理資源利用率U_p與虛擬資源利用率U_a，業(yè)務(wù)系統(tǒng)訪問日志。

步驟2：從訪問日志中提取占請求比例最大的K類請求，獲得每類請求的到達(dá)率R_k，根據(jù)U_a＝∑_kS_k×R_k，獲得第k類請求的服務(wù)時間S_k。進(jìn)一步獲得虛擬化資源開銷模型：

步驟3：采用隱馬爾可夫模型，結(jié)合當(dāng)前訪問日志中提取的K類請求，預(yù)測下一段時間每類請求的到達(dá)率R_k'。

步驟4：根據(jù)預(yù)測的請求到達(dá)率R_k'和服務(wù)時間S_k，對下一段時間的虛擬資源利用率U_a'進(jìn)行預(yù)測：U_a'＝∑_kS_k×R_k'

進(jìn)一步根據(jù)步驟2訓(xùn)練的虛擬化資源開銷模型都對下一段時間的虛擬化資源開銷U_v'進(jìn)行預(yù)測，U_v'＝∑_kaR_k^'2+bR_k'+c；

由此獲得下一段時間的物理資源利用率U_p'，U_p'＝U_a'+U_v'；

步驟5：采用隊列模型，結(jié)合每個請求的到達(dá)率R_k'和事務(wù)的服務(wù)時間S_k，對響應(yīng)時間T'進(jìn)行預(yù)測。

進(jìn)一步地，所述相關(guān)節(jié)點(diǎn)為：與遷移直接相關(guān)的節(jié)點(diǎn)。

本發(fā)明的有益效果在于：本發(fā)明適用于大型數(shù)據(jù)中心云平臺的容量預(yù)測和規(guī)劃，單純依靠運(yùn)維人員的經(jīng)驗，很難準(zhǔn)確預(yù)測和估算云平臺資源使用是否合理。本發(fā)明引入了基于多項式回歸的云平臺資源利用率估算和基于序列分析的應(yīng)用系統(tǒng)響應(yīng)事件預(yù)測，通過預(yù)測這些性能指標(biāo)，衡量當(dāng)前云平臺資源是否可以滿足應(yīng)用系統(tǒng)運(yùn)行指標(biāo)。本發(fā)明適用于應(yīng)用系統(tǒng)上線前、業(yè)務(wù)增長期和設(shè)配運(yùn)維過程中數(shù)據(jù)中心容量規(guī)劃，在保障應(yīng)用性能的前提下，合理布局軟硬件設(shè)備。

附圖說明

圖1為云平臺容量規(guī)劃場景示意圖；

圖2為基于機(jī)器學(xué)習(xí)的云平臺容量規(guī)劃流程圖；

圖3為單個物理節(jié)點(diǎn)上的虛擬化資源消耗的估算準(zhǔn)確度以及計算所需時間開銷統(tǒng)計圖。

具體實(shí)施方式

動態(tài)虛擬資源調(diào)度是主流云平臺的基本功能之一，實(shí)現(xiàn)虛擬機(jī)、容器等的動態(tài)遷移，實(shí)現(xiàn)云平臺的負(fù)載均衡，然而由于虛擬化帶來的額外開銷，將虛擬資源運(yùn)行在不同的物理主機(jī)上，虛擬化開銷代價也各不相同，從而影響整個云平臺的容量。本發(fā)明的容量預(yù)測將綜合考慮每臺物理主機(jī)和每臺虛擬主機(jī)能夠支撐的應(yīng)用系統(tǒng)的最大訪問量，形成動態(tài)的集群容量布局規(guī)劃，結(jié)合動態(tài)資源調(diào)度來實(shí)現(xiàn)動態(tài)實(shí)時容量預(yù)測。