[發明專利]時序數據容量預測方法、裝置、電子設備及存儲介質

在審

• 申請號: 202011431810.4
• 申請日: 2020-12-10
• 公開（公告）號: CN112231193A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 張文池;隋楷心;程博
• 申請（專利權）人: 北京必示科技有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06K9/62
• 代理公司: 北京華創智道知識產權代理事務所(普通合伙) 11888
• 代理人: 彭隨麗

本發明涉及計算機技術領域，公開了一種時序數據容量預測方法、裝置、電子設備及存儲介質，所述方法包括：對時序數據進行預處理；所述預處理至少包括異常點剔除、指標缺失段長度判斷與指標缺失段修復其中的一種；提取時序數據的特征并判斷所述時序數據是否具有周期性特征，輸出包括未來節假日效應的預測結果，并與時序數據容量閾值進行比較，若超過所述時序數據閾值則產生警告；若所述時序數據不具有周期性特征：將預處理后的時序數據分割為多個連續的正常段并將多個連續的正常段劃分為多個連續的特征段；在多個連續的特征段中找到與最尾部的若干個連續的特征段特征匹配的另外若干個連續段，以此另外若干個連續段對時序數據容量進行預測。本發明能夠自動判斷時序數據的類型，根據不同類型的時序采用不同的模型，并且能夠有相對較快的運行速度。

技術領域

本發明涉及計算機技術領域，更具體地說，涉及一種時序數據容量預測方法、裝置、電子設備及存儲介質。

背景技術

隨著計算機和互聯網技術的發展，網上業務帶來了極大的便利。業務系統中往往涉及多個業務指標（如交易量、磁盤容量、文件系統使用率、內存使用率、CPU使用率等），業務指標數據往往有一個安全的上界，保證指標數據在安全上界以下對于業務的正常穩定是非常重要的。隨著業務的繼續開展和增長，這類指標數據往往也會有逐漸增長乃至超過安全上界的可能，對于即將或者已經逼近安全上界的指標數據，管理員往往需要進行擴容、清理庫等操作以保障系統的安全穩定。

現有技術通常采用基于告警閾值的處理方法，往往在指標數據到達閾值或者接近安全上界時才能夠發現擴容、清理的需要，此方法不僅不能控制獲得預警的時間，而且不能留給管理員足夠的操作時間。

傳統的時序算法通常面臨如下問題：數據整體平穩有周期性，但是在某個地方越來越高，傳統單一預測算法無法處理該種特征；訓練數據內存在異常值，影響預測模型的學習和后續預測；訓練數據內存在節假日，傳統算法無法預測或者處理不夠合理；指標數據近一段時間內發生了明顯的模式變化（如概念漂移）；在較高的準確度要求下，傳統算法預測指標資源消耗過多，時間過長。

發明內容

本發明的目的為解決上述問題，提出了一種時序數據容量預測方法，包括：

對時序數據進行預處理；所述預處理至少包括異常點剔除、指標缺失段長度判斷與指標缺失段修復其中的一種；通過魯棒統計的異常值篩選和指標周期分布特征，對于超出合理范圍的異常值進行了篩選標識、剔除和空缺位置插值補充。對于不應該納入預測的曲線特征段，算法會自動進行一定的推測，并將其從訓練集中剔除。

提取時序數據的特征并判斷所述時序數據是否具有周期性特征；

若所述時序數據具有周期性特征：

對預處理后的時序數據進行概念漂移檢測確定訓練集范圍；

將所述訓練集和提取的時序數據特征輸入周期性預測模型，其中對歷史節假日數據進行輪廓的回歸保存以得到節假日效應；

輸出包括未來節假日效應的預測結果，并與時序數據容量閾值進行比較，若超過所述時序數據閾值則產生警告；

若所述時序數據不具有周期性特征：

將預處理后的時序數據分割為多個連續的正常段并將多個連續的正常段劃分為多個連續的特征段；

在多個連續的特征段中找到與最尾部的若干個連續的特征段特征匹配的另外若干個連續段，以此另外若干個連續段對時序數據容量進行預測。

優選的，采用k倍標準差閾值算法對異常點進行剔除，其中所述標準差為歸一化中位數絕對偏差。

優選的，若時序數據缺失段長度超出設定長度，則不對此段時序數據進行修復；若時序數據缺失段長度未超出設定長度，采用線性插值的方法對此段時序數據進行修復，同時完成時間戳調整。