[發明專利]一種云計算環境中的資源管理方法及系統

在審

• 申請號: 202111562519.5
• 申請日: 2021-12-20
• 公開（公告）號: CN114217974A
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 張偉哲;王德勝;林軍任;韓嘯;武化龍;范慶陽;何慧;方濱興
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/455;G06F11/34
• 代理公司: 黑龍江立超同創知識產權代理有限責任公司 23217
• 代理人: 楊立超

1.一種云計算環境中的資源管理方法，其特征在于，包括以下步驟：

步驟一、實時采集每個虛擬節點的資源信息，所述資源信息包括CPU使用時間、空閑內存和帶寬信息；

步驟二、獲取每個虛擬節點的CPU、內存及帶寬資源配置量；

步驟三、根據所述資源信息和CPU、內存及帶寬資源配置量進行計算提取，獲得每個虛擬節點的CPU、內存及帶寬使用率；所述CPU、內存及帶寬資源配置量和CPU、內存及帶寬使用率共同構成狀態集；

步驟四、利用基于深度確定性策略梯度的資源管理算法對所述狀態集進行訓練學習，獲得每個虛擬節點的資源配置決策；

步驟五、根據所述資源配置決策對每個虛擬節點的資源進行動態調節。

2.根據權利要求1所述的一種云計算環境中的資源管理方法，其特征在于，步驟三中CPU使用率uc_i、內存使用率um_i及帶寬使用率ub_i計算公式分別為：

其中，cpu(t)表示t時刻CPU使用時間；c_i表示CPU資源配置量；f_i表示空閑內存；m_i表示內存資源配置量；recv(t)表示t時刻帶寬收包數；trans(t)表示t時刻帶寬發包數；b_i表示帶寬資源配置量。

3.根據權利要求2所述的一種云計算環境中的資源管理方法，其特征在于，步驟四的具體步驟包括：

步驟四一、初始化當前Actor網絡π_θ(S)、當前Critic網絡Q_ω(S,A)、目標Actor網絡π′_θ′(S)和目標Critic網絡Q′_ω′(S,A)，并創建經驗池；

步驟四二、初始化環境并獲取當前t時刻狀態信息；

步驟四三、以狀態集中當前t時刻狀態s_t為輸入，根據Actor網絡π_θ(S)計算獲得離散動作并加入噪聲，獲得當前t時刻動作a_t：

式中，π_θ(s_t)表示當前t時刻Actor網絡；表示滿足均值為μ、方差為σ²的正態分布的噪聲；

步驟四四、根據當前t時刻狀態s_t利用基于比率的動作解碼算法對當前t時刻動作a_t進行解碼，得到解碼后的資源配置動作；

步驟四五、按照解碼后的資源配置動作進行資源配置；

步驟四六、獲取狀態集中t+1時刻狀態s_t+1，并根據下述獎勵函數公式計算獲得即時獎勵r_t：

r_t＝-λ₁Bads-λ₂Vars+λ₃Evav

式中，λ₁、λ₂、λ₃表示權重參數；Bads表示處于資源過度利用或未充分利用狀態的虛擬實例的數量；Vars表示CPU、內存及帶寬使用率的方差之和，值越小說明虛擬節點的資源利用率越均衡；Evav表示對每個資源管理動作操作的評價值，值越大說明越認可；

步驟四七、將當前狀態s_t、t時刻動作a_t、t+1時刻狀態s_t+1和即時獎勵r_t即s_t,a_t,s_t+1,r_t存入經驗池；

步驟四八、從經驗池中進行mini-batch取樣，并基于下述公式對當前t時刻Critic網絡中的參數ω進行梯度更新：

式中，E表示期望值；Q_ω(s_t,a_t)表示當前t時刻Critic網絡；表示對當前Critic網絡的參數ω求導；y_t表示目標值，y_t＝r_t+γQ′_ω′(s_t+1,π′_θ′(s_t+1))，γ表示折損率，Q′_ω′(s_t+1,π′_θ′(s_t+1))表示t+1時刻目標Critic網絡，π′_θ′(s_t+1)表示t+1時刻目標Actor網絡；

步驟四九、從經驗池中進行mini-batch取樣，并基于下述公式對當前t時刻Actor網絡中的參數θ進行梯度更新：

式中，表示對當前Critic網絡的參數a求導；表示當前Actor網絡的參數θ求導；

步驟四十、通過下列公式更新目標Actor網絡的參數θ′：θ′←τθ+(1-τ)θ′；通過下列公式更新目標Critic網絡的參數ω′：ω′←τω+(1-τ)ω′；其中，τ表示動量因子；

步驟四十一、迭代循環執行步驟四二至步驟四十，直至達到預設最大迭代次數則停止迭代執行。