[發明專利]一種基于多任務學習時間序列的云平臺工作負載預測方法

有效

• 申請號: 202011396557.3
• 申請日: 2020-12-03
• 公開（公告）號: CN112486687B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 王進;馬夢涵;李辰宇;徐其成;舒雅寧;彭浩;孫開偉;劉彬
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F11/30;G06N3/04;G06N3/08
• 代理公司: 重慶輝騰律師事務所 50215
• 代理人: 王海軍

本發明涉及大數據處理技術和云平臺資源負載技術領域，特別涉及一種基于多任務學習時間序列的云平臺工作負載預測方法，包括獲取工作負載數據，采用滑動窗口的方法劃分數據，對劃分的每個時間間隔的數據構建基礎特征、交叉特征、時序趨勢特征、用戶行為關聯特征，并采用二維SHAP進行特征選擇；將選擇的特征輸入傳入TCN?LSTM模型中，采用多任務學習的方式，共有三個任務，分別為：預測T時間段的CPU平均利用率、預測T時間段的正在運行的作業數、預測T時間段的平均內存利用率；本發明通過對工作負載相關的指標的歷史趨勢進行把控，而不單一只關注當前監控點的工作負載情況，快速的感知業務的波峰波谷，從而對云平臺的資源進行動態的調度。

技術領域

本發明涉及大數據處理技術和云平臺資源負載技術領域，特別涉及一種基于多任務學習時間序列的云平臺工作負載預測方法。

背景技術

云計算時代，一些架構可根據業務工作負載進行彈性資源調整，這種方式可以有效減少資源在空閑期的浪費以及在繁忙期的業務過載，同時給用戶帶來極致的性價比服務。在彈性資源調度的背后，對工作負載的預測是一個重要環節。如何快速感知業務的波峰波谷，是對資源動態調整需要應該考慮的問題。

傳統的資源控制系統以閾值作為決策依據，只關注當前監控點的工作負載情況，缺少對歷史數據以及工作負載趨勢的把控，且一般只關注平臺工作負載數據，缺少對用戶行為的把控；目前很多云平臺用戶提交作業需要申請隊列資源，那么只關注當前監控點的工作負載情況會造成滯后問題；若在某個時間段的工作負載呈現一個上升的趨勢，如果只考慮這個時間段的工作負載這個單一指標進行判斷，而不考慮每個任務的任務類型、監控數據、隊列類型、隊列狀態等指標，可能會出現由于預測不準確而造成資源短缺或者資源浪費的情況。

發明內容

為了解決上述問題，本發明提出一種基于多任務學習時間序列的云平臺工作負載預測方法，包括以下步驟：

獲取工作負載數據，并對獲取的數據進行預處理，工作負載數據至少包括隊列類型、隊列狀態、磁盤類型、CPU利用率、內存利用率、作業數；

采用滑動窗口的方法劃分數據，將當前時刻前24個小時劃分為144個時間間隔，并用其預測當前時刻之后10個時間間隔的平均工作負載；

對劃分的每個時間間隔的數據構建基礎特征、交叉特征、時序趨勢特征、用戶行為關聯特征，并采用二維SHAP進行特征選擇；

將選擇的特征輸入傳入TCN-LSTM模型中，采用多任務學習的方式，共有三個任務，分別為：預測T時間段的CPU平均利用率、預測T時間段的正在運行的作業數、預測T時間段的平均內存利用率。

進一步的，對獲取的數據進行預處理包括：

對缺失的CPU利用率和內存利用率采用24小時內的CPU利用率和內存利用率進行線性加權得到的結果進行填充；

剔除數據集中24小時內已完成的作業數與CPU利用率和內存利用率成反比的數據；

對于每24個小時的數據采用三支決策的方法，對正在運行的作業數進行歸一化操作。

進一步的，采用三支決策的方法進行歸一化操作包括：

將當前24小時的工作負載分為平穩期、抖動期和波動期，對應三支決策中的正域、負域和邊界域，對于處于負域的序列采用log平滑操作；

對于處于邊界域的一個樣本D，找到最近的K個樣本，若K中處在正域的數據為N個，則處在負域的數據為K-N個，則可以得到樣本D處于正域和負域的條件概率，引入代價最小化的原則直到邊界域的所有樣本劃分完畢。

進一步的，工作負載時序趨勢特征的獲取包括：

對于每一個樣本，每隔一個時間間隔對CPU利用率和內存利用率做一階差分、二階差分、三階差分操作；