[發明專利]一種用于虛擬機遷移模型的訓練方法

有效

• 申請號: 202011293834.8
• 申請日: 2020-11-18
• 公開（公告）號: CN112306641B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 余顯;李振宇;孫勝;張廣興;刁祖龍;謝高崗
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06N3/0464;G06N3/08
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

1.一種用于虛擬機遷移模型的訓練方法，其特征在于，所述訓練方法包括如下步驟：

S1、構建初始遷移模型，并隨機初始化模型參數，其中，所述初始遷移模型為神經網絡；

S2、獲取初始環境狀態，將每一個虛擬機對應的初始環境狀態進行張量化表示，其中，每一個張量化表示的環境狀態包括虛擬機信息、虛擬機所在主機位置分布信息、虛擬機在主機的資源占用情況；

S3、以初始環境狀態對應的所有張量化表示作為起點，對初始化后的遷移模型進行回合制訓練，直至達到預設的訓練回合，其中，每回合訓練包括對遷移模型進行多次迭代訓練直至遷移模型收斂或者達到預設的迭代次數，其中每次迭代訓練包括：

S31、以當前時刻的環境狀態對應的所有張量化表示作為模型的輸入，

得到所有虛擬機需要進行的遷移動作；

S32、以當前的探索概率探索新動作以替換步驟S31中得到的虛擬機的遷移動作；

S33、基于當前時刻虛擬機的遷移動作獲得遷移動作執行后的下一時刻的環境狀態；

S34、根據當前時刻和下一時刻的環境狀態，計算當前時刻執行遷移動作的綜合獎賞值；其中，遷移模型的綜合獎賞值包括能耗獎賞值、過載獎賞值和遷移獎賞值的加權和，其中：

能耗獎賞值通過如下方式計算：

過載獎賞值通過如下方式計算：

遷移獎賞值通過如下方式計算：

綜合獎賞值通過如下方式計算:

r_t(s_t,a_t)＝α·r_power(s_t,a_t)+β·r_overload(s_t,a_t)+γ·r_migrs(s_t,a_t)

其中，s_t表示數據中心虛擬機環境狀態信息，a_t表示虛擬機的遷移動作，idle_rate、over_rate和migrs分別表示活躍主機數占比、過載主機數占比、虛擬機遷移數量，α、β、γ分別是能耗獎賞值、過載獎賞值和遷移獎賞值的權重，且α+β+γ＝1；S35、基于遷移模型的綜合獎賞值更新遷移模型的參數以及探索概率以進行下一次迭代訓練；

S4、動態采集數據中心的虛擬機環境狀態信息對完成回合制訓練的遷移模型進行在線訓練直至遷移模型收斂。

2.根據權利要求1所述的一種用于虛擬機遷移模型的訓練方法，其特征在于，所述步驟S2中獲取的初始環境狀態為人工模擬的初始環境狀態和實時在線初始環境狀態中的一種。

3.根據權利要求2所述的一種用于虛擬機遷移模型的訓練方法，其特征在于，人工模擬的初始環境狀態通過如下方式獲得：

S21、隨機初始化當前環境中每個主機的所有資源維度的資源大小；

S22、隨機初始化每個虛擬機的所有資源維度的負載大小；

S23、隨機將虛擬機分配到一個主機上，其中，虛擬機所需資源不超過其所在主機資源的上限。

4.根據權利要求3所述的一種用于虛擬機遷移模型的訓練方法，其特征在于，所述步驟S32以如下方式中的一種進行新動作的探索：

第一種探索，隨機產生新的遷移動作；

第二種探索，以預設的分布概率在遷移模型產生的動作基礎上進行微調得到新的遷移動作。

5.根據權利要求4所述的一種用于虛擬機遷移模型的訓練方法，其特征在于，所述每回合訓練中，在達到預設迭代次數或遷移模型收斂時結束當前回合的訓練；

其中，所述預設迭代次數設置為200次；

所述遷移模型收斂是指在某次訓練后該遷移模型的綜合獎賞值的累計平均值與此次訓練前相比沒有增加或者增加的比率低于0.1％。