[發明專利]一種負載預測方法、裝置及設備

在審

• 申請號: 202210103339.9
• 申請日: 2022-01-27
• 公開（公告）號: CN114490065A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 楊照軍;陳嵐;張賀;姚振杰
• 申請（專利權）人: 中國科學院微電子研究所
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 柳虹

1.一種負載預測方法，其特征在于，應用于計算集群系統，所述計算集群系統包括多個計算節點，所述方法包括：

獲取所述計算節點中多個負載的時間序列數據；所述多個負載包括中央處理器CPU、內存、磁盤和網絡；

將所述時間序列數據輸入至預先構建的負載預測模型，得到所述計算節點的CPU負載預測值；所述負載預測模型是在基于注意力機制的神經網絡模型和自回歸模型的基礎上訓練得到的。

2.根據權利要求1所述的方法，其特征在于，所述負載預測模型的構建方式如下：

獲取所述計算節點中多個負載的訓練時間序列數據以及CPU負載訓練值；

利用所述訓練時間序列數據和所述CPU負載訓練值，對初始負載預測模型進行訓練，得到所述負載預測模型。

3.根據權利要求2所述的方法，其特征在于，所述初始負載預測模型包括預處理層、循環層、卷積層、注意力機制層、自回歸模型和全連接層。

4.根據權利要求3所述的方法，其特征在于，所述將所述時間序列數據輸入至預先構建的負載預測模型，得到所述計算節點的CPU負載預測值包括：

將所述時間序列數據輸入所述預處理層進行歸一化處理，得到輸入序列；

將所述輸入序列輸入所述自回歸模型，得到線性特征向量；

將所述輸入序列輸入所述循環層，得到隱層狀態矩陣，所述隱層狀態矩陣包括多個時刻的隱層狀態向量；

將所述隱層狀態矩陣輸入所述卷積層，得到所述計算節點中多個負載的依賴關系特征矩陣；

將所述依賴關系特征矩陣輸入所述注意力機制層，得到非線性特征向量；

將所述隱層狀態矩陣中的最后一個時刻的隱層狀態向量、所述線性特征向量和所述非線性特征向量輸入所述全連接層，得到所述計算節點的CPU負載預測值。

5.根據權利要求4所述的方法，其特征在于，所述將所述依賴關系特征矩陣輸入所述注意力機制層，得到非線性特征向量包括：

將所述依賴關系特征矩陣輸入所述注意力機制層，計算所述依賴關系特征矩陣中的每個行特征向量和所述最后一個時刻的隱層狀態向量的相似度，得到每個行特征向量的相似度，利用激活函數計算所述每個行特征向量的相似度得到每個行特征向量的權重，對所述每個行特征向量利用對應的權重進行加權求和，得到非線性特征向量。

6.根據權利要求2所述的方法，其特征在于，所述方法還包括：

獲取所述計算節點中多個負載的驗證時間序列數據以及CPU負載驗證值；

將所述驗證時間序列數據輸入所述負載預測模型，得到所述計算節點的CPU負載預測值；

當所述CPU負載預測值與所述CPU負載驗證值不同時，將所述驗證時間序列數據重新作為所述訓練時間序列數據，對所述負載預測模型進行更新。

7.根據權利要求3-5任意一項所述的方法，其特征在于，所述循環層為循環神經網絡RNN、長短期記憶網絡LSTM或門控循環單元GRU。

8.根據權利要求7所述的方法，其特征在于，所述長短期記憶網絡LSTM中加入殘差連接機制。

9.一種負載預測裝置，其特征在于，所述裝置包括：

第一獲取單元，用于獲取計算節點中多個負載的時間序列數據；所述多個負載包括中央處理器CPU、內存、磁盤和網絡；

第一預測單元，用于將所述時間序列數據輸入至預先構建的負載預測模型，得到所述計算節點的CPU負載預測值；所述負載預測模型是在基于注意力機制的神經網絡模型和自回歸模型的基礎上訓練得到的。

10.一種負載預測設備，其特征在于，包括：處理器、存儲器、系統總線；

所述處理器以及所述存儲器通過所述系統總線相連；

所述存儲器用于存儲一個或多個程序，所述一個或多個程序包括指令，所述指令當被所述處理器執行時使所述處理器執行權利要求1-8任一項所述的方法。