[發明專利]基于融合學習和假設檢驗的內存回收趨勢預警裝置及方法

在審

• 申請號: 202210042623.X
• 申請日: 2022-01-14
• 公開（公告）號: CN114398235A
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 金勇;吳澤君;雷發林;王艷華;苑志云;李國瑩;簡擁軍;高陽
• 申請（專利權）人: 建信金融科技有限責任公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F9/50;G06F12/02;G06N3/04;G06N3/08
• 代理公司: 北京潤平知識產權代理有限公司 11283
• 代理人: 何智超

本發明實施方式提供了一種基于融合學習和假設檢驗的內存回收趨勢預警裝置、方法及設備。其中基于融合學習和假設檢驗的內存回收趨勢預警裝置包括：特征工程模塊，用于通過關聯分析確定與監測量存在相關關系的變量，所述監測量為內存回收事件；融合學習模塊，用于根據所確定的變量的歷史值和融合學習模型得到所述變量的預測值；以及趨勢預警模塊，用于根據M?K檢驗方法對所述變量的預測值進行檢測，根據檢測結果對所述監測量進行預警。本發明提供的實施方式能夠提前對業務系統的異常和告警提供預警，提升業務系統的穩定性。

技術領域

本發明涉及GC故障技術領域，具體地涉及一種基于融合學習和假設檢驗的內存回收趨勢預警裝置、一種基于融合學習和假設檢驗的內存回收趨勢預警方法、一種基于融合學習和假設檢驗的內存回收趨勢預警設備以及對應的存儲介質。

背景技術

趨勢預測，一般是針對具有時間屬性的數據進行分析，根據事物發展的連續性原理，應用機器學習或者數理統計方法對歷史資料進行建模分析，來推測、預計分析目標的近期或中遠期的趨勢變化規律。趨勢預測分析方法，在證劵市場分析、房地產市場分析、超市銷量分析等領域都存在較廣泛的應用，特別地，在IT系統智能監控領域，有一些業務場景需要提前知道何時會達到預警值而告警，如FullGC(Full Garbage Collection)何時會大幅增長，從而提醒運維人員提前做好應急準備，其它的應用場景很多，如CPU利用率的預測、磁盤使用率的預測、網絡流量預測、系統容量預測等。

趨勢分析的相關技術主要有傳統方法，如移動平均法、ARIMA、Holt-Winters法(即三次指數平滑)、Prophet法(對STL模型的改進)等；以及深度學習方法，如長短期記憶網絡模型(Long Short-Term Memory，LSTM)等。傳統趨勢預測方法效果一般不太好，實踐中有較多限制，例如ARIMA算法主要是針對單變量趨勢分析，并且需要對序列進行平穩化處理，而真實的數據一般難以達到平穩化要求。

發明內容

本發明實施例的目的是提供一種基于融合學習和假設檢驗的內存回收趨勢預警裝置、方法及設備，其采用LSTM與XGBoost算法的融合學習。因為LSTM算法能充分考慮到時間記憶，符合時序數據特點，并且能結合多維度的影響因素進行綜合預測分析。

XGBoost(eXtreme Gradient Boosting)是一種基于樹模型的隨機梯度提升算法，是經過優化的分布式梯度提升庫，旨在高效、靈活且可移植。XGBoost方法也可用于多維時間序列的回歸預測問題。與LSTM的預測原理不同，經過兩者的融合學習可以提升預測效果。

本發明實施方式針對IT系統中內存回收的監控GC日志序列數據，擬采用LSTM和XGBoost的融合學習算法實現多維多步預測，即考慮監控日志多維度特征數據之間的綜合影響，利用前若干時刻的數據預測后若干步數據，如前100個時刻的數據預測后20個時刻的數據，從而得到當前時刻后面20個時刻點的趨勢預測圖。另一方面，對于預測序列趨勢，考慮到固定閾值過于依賴經驗，因此采用假設檢驗方法確認是否存在統計意義上的異常趨勢拐點，為異常趨勢的出現提前預警。為了實現上述目的，本發明第一方面提供一種基于融合學習和假設檢驗的內存回收趨勢預警裝置，所述裝置包括：特征工程模塊，用于通過關聯分析確定與監測量存在相關關系的變量；融合學習模塊，用于根據所確定的變量的歷史值和融合學習模型得到所述變量的預測值；以及趨勢預警模塊，用于根據M-K檢驗方法對所述變量的預測值進行檢測，根據檢測結果對所述監測量進行預警。

優選的，所述特征工程模塊包括：變量提取子模塊，用于從數據文件中提取變量；數據切片子模塊，用于根據預設粒度將提取的變量進行時間切片；以及相關性分析子模塊，用于通過關聯分析從時間切片后的變量中確定與監測量存在相關關系的變量。