[發(fā)明專利]一種計(jì)算機(jī)資源利用率優(yōu)化方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011539370.4
• 申請(qǐng)日: 2020-12-23
• 公開（公告）號(hào): CN112667394B
• 公開（公告）日: 2022-09-30
• 發(fā)明（設(shè)計(jì)）人: 蔣鍇;趙宇;張政偉;戴大偉;徐瑞
• 申請(qǐng)（專利權(quán)）人: 中國電子科技集團(tuán)公司第二十八研究所
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50;G06F9/48;G06N3/04;G06N3/08
• 代理公司: 江蘇圣典律師事務(wù)所 32237
• 代理人: 于瀚文;胡建華

本發(fā)明提供了一種計(jì)算機(jī)資源利用率優(yōu)化方法，包括：步驟1，進(jìn)行數(shù)據(jù)預(yù)處理；步驟2，使用LSTM神經(jīng)網(wǎng)絡(luò)對(duì)任務(wù)特征樣本和資源利用率之間的關(guān)系進(jìn)行編碼；步驟3，對(duì)真實(shí)集群運(yùn)行數(shù)據(jù)資源利用率序列進(jìn)行學(xué)習(xí)，生成資源利用率預(yù)測(cè)函數(shù)；步驟4，輸入測(cè)試數(shù)據(jù)中的任務(wù)運(yùn)行狀態(tài)，使用資源利用率預(yù)測(cè)函數(shù)進(jìn)行預(yù)測(cè)，將預(yù)測(cè)的資源利用率與測(cè)試數(shù)據(jù)中的資源利用率進(jìn)行對(duì)比，統(tǒng)計(jì)計(jì)算開銷和預(yù)測(cè)誤差，預(yù)測(cè)誤差包括均方誤差，平均絕對(duì)誤差，平均絕對(duì)誤差的標(biāo)準(zhǔn)差；預(yù)測(cè)結(jié)束后，對(duì)計(jì)算機(jī)資源利用率進(jìn)行優(yōu)化。本發(fā)明可以應(yīng)用于云資源利用率的優(yōu)化等。本發(fā)明的資源利用率優(yōu)化方法，具有預(yù)測(cè)準(zhǔn)確率高、優(yōu)化穩(wěn)定性好等優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種計(jì)算機(jī)資源利用率優(yōu)化方法。

背景技術(shù)

資源調(diào)度問題是云計(jì)算領(lǐng)域中的一個(gè)重要研究問題，這一問題的難點(diǎn)在于如何對(duì)集群資源進(jìn)行實(shí)時(shí)的準(zhǔn)確預(yù)測(cè)。

近年來人們開發(fā)出了很多資源調(diào)度的算法，但是這些算法都存在一些不足之處，有的算法對(duì)于使用資源的預(yù)測(cè)上過于粗略，有的算法使用基于規(guī)則的資源調(diào)度算法，無法預(yù)測(cè)真實(shí)集群中的資源使用。上述算法無法從而，我們提出了一種基于逆強(qiáng)化學(xué)習(xí)和LSTM神經(jīng)網(wǎng)絡(luò)的資源利用率預(yù)測(cè)方法，使用真實(shí)集群數(shù)據(jù)根據(jù)任務(wù)運(yùn)行情況預(yù)測(cè)出機(jī)器資源利用率的變化特征,便于對(duì)資源利用率進(jìn)行優(yōu)化。

發(fā)明內(nèi)容

發(fā)明目的：本發(fā)明所要解決的技術(shù)問題是針對(duì)現(xiàn)有技術(shù)的不足，提供一種計(jì)算機(jī)資源利用率優(yōu)化方法，包括如下步驟：

步驟1，提取一段時(shí)間內(nèi)集群運(yùn)行的真實(shí)數(shù)據(jù)，并進(jìn)行數(shù)據(jù)預(yù)處理；

步驟2，使用LSTM神經(jīng)網(wǎng)絡(luò)對(duì)任務(wù)特征樣本和資源利用率之間的關(guān)系進(jìn)行編碼；

步驟3，使用基于逆強(qiáng)化學(xué)習(xí)算法對(duì)真實(shí)集群運(yùn)行數(shù)據(jù)資源利用率序列進(jìn)行學(xué)習(xí)，生成資源利用率預(yù)測(cè)函數(shù)，所述逆強(qiáng)化學(xué)習(xí)算法包括策略網(wǎng)絡(luò)和判別網(wǎng)絡(luò)兩部分，所述策略網(wǎng)絡(luò)用于預(yù)測(cè)資源利用率，所述判別網(wǎng)絡(luò)用于評(píng)價(jià)策略網(wǎng)絡(luò)預(yù)測(cè)的好壞；

步驟4，輸入測(cè)試數(shù)據(jù)中的任務(wù)運(yùn)行狀態(tài)，使用資源利用率預(yù)測(cè)函數(shù)進(jìn)行預(yù)測(cè)，將預(yù)測(cè)的資源利用率與測(cè)試數(shù)據(jù)中的資源利用率進(jìn)行對(duì)比，統(tǒng)計(jì)計(jì)算開銷和預(yù)測(cè)誤差，預(yù)測(cè)誤差包括均方誤差，平均絕對(duì)誤差，平均絕對(duì)誤差的標(biāo)準(zhǔn)差。算法訓(xùn)練結(jié)束后，使用削峰填谷的方法將任務(wù)調(diào)度至預(yù)測(cè)資源利用率較低的計(jì)算機(jī)，從而對(duì)計(jì)算機(jī)資源利用率進(jìn)行優(yōu)化。

步驟1包括：

步驟1-1，對(duì)原始數(shù)據(jù)進(jìn)行分塊提?。喊凑照鎸?shí)集群運(yùn)行數(shù)據(jù)的時(shí)間戳順序，以設(shè)定的時(shí)間長(zhǎng)度，將大于一小時(shí)的集群運(yùn)行數(shù)據(jù)分為兩個(gè)以上連續(xù)時(shí)間段內(nèi)的小段運(yùn)行數(shù)據(jù)；所述設(shè)定的時(shí)間長(zhǎng)度根據(jù)集群資源利用率預(yù)測(cè)的需求確定；

步驟1-2，將兩個(gè)以上連續(xù)時(shí)間段內(nèi)的小段運(yùn)行數(shù)據(jù)打包成整段運(yùn)行軌跡，具體地，將運(yùn)行數(shù)據(jù)中的任務(wù)特征樣本和資源利用率序列分別打包為狀態(tài)變量和動(dòng)作變量；

步驟1-3，將運(yùn)行軌跡設(shè)定為能夠交互的預(yù)測(cè)環(huán)境，所述預(yù)測(cè)環(huán)境指與算法交互的環(huán)境，算法接受預(yù)測(cè)環(huán)境給定的狀態(tài)，對(duì)當(dāng)前狀態(tài)做出動(dòng)作，然后獲取預(yù)測(cè)環(huán)境的反饋。

步驟1-2中，狀態(tài)變量的定義為：

其中i為機(jī)器編號(hào)，t為當(dāng)前時(shí)刻，m為狀態(tài)變量中包含的歷史數(shù)據(jù)長(zhǎng)度，為t-m到t-1時(shí)刻第i臺(tái)機(jī)器上的任務(wù)運(yùn)行狀態(tài)，為t-m到t-1時(shí)刻第i臺(tái)機(jī)器的真實(shí)資源利用率；

動(dòng)作變量的定義為：

其中為t時(shí)刻機(jī)器i的預(yù)測(cè)資源利用率。

所述步驟2包括：

步驟2-1，將任務(wù)特征樣本輸入LSTM神經(jīng)網(wǎng)絡(luò)，所述任務(wù)特征樣本的定義為：