[發明專利]一種混雜數據流分流量峰值預測方法

有效

• 申請號: 201910525350.2
• 申請日: 2019-06-18
• 公開（公告）號: CN110417577B
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 章昭輝;蔣昌俊;王鵬偉;劉秋文
• 申請（專利權）人: 東華大學
• 主分類號: H04L12/24
• 分類號: H04L12/24;G06F17/10
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 翁若瑩;柏子雵

本發明的目的是：提高混雜數據流中分流量峰值預測的結果。為用戶或系統提供更加準確的系統流量信息，并對系統的彈性伸縮提供更為準確的指標參數。為了達到上述目的，本發明的技術方案是提供了一種混雜數據流分流量峰值預測模型與方法。本發明提出延遲相關系數模型，在原有的時差相關分析法中引入了滑動時間窗口，可以更有效地計算得到延遲時間與延遲相關系數。本發明提出的混雜數據流分流量峰值預測方法，在原有單一預測模型的結果基礎上引入輔助分流量對主分流量的影響，最終提高了最終峰值預測的結果。

技術領域

本發明涉及一種混雜數據流分流量峰值預測模型與方法，屬于網絡流量預測技術領域。

背景技術

隨著我們的社會進入一個由數字數據主導的時代，我們已經看到了前所未有的數據量、速度和多樣性。及時處理海量的高速數據已經成為一個主要的需求。處理大規模業務的流處理系統應運而生，如Storm、System S、Spark Streaming、Flink等。在流處理系統的實際應用中需要應對的一個復雜挑戰是主動的彈性伸縮。在大規模業務系統環境中,短時的大規模用戶合法行為聚集會造成系統行為異常,使得系統可用性受到極大的損害。這時需要對系統進行彈性伸縮以提高系統處理能力或提高資源利用率。

因此在主動的彈性伸縮中對于流量的峰值預測尤為重要。現有的主動彈性伸縮的研究中，較少研究流處理系統中存在業務相關的混雜數據流的分流量峰值預測方法。而分流量峰值預測方法能夠為主動彈性伸縮提供更為準確的伸縮方向。

現有的網絡流量預測將網絡流量視為一個整體的流量。在文獻中已經提出了幾種用于網絡流量預測的方法。傳統的線性模型包括自回歸模型(AR)、移動平均模型(MA)、自回歸移動平均模型(ARMA)、自回歸合成移動平均模型(ARIMA)等。同時隨著神經網絡，支持向量機等技術的不斷提出，出現了基于機器學習算法的預測模型，例如人工神經網絡，多層感知器(MLP)，深度(deep learning)等。這些預測模型能夠較好地解釋流量的隨機性和周期性。其中循環神經網絡(recurrent neural network，RNN)是一種引入循環反饋的深層神經網絡，考慮到時間序列的時序相關性，在學習具有長期依賴的時序數據上表現出更強的實用性。長短期記憶(long short-term memory，LSTM)循環神經網絡作為RNN的一種特殊模型，能夠學習時序數據之間的長期依賴關系，有效地解決了常規RNN訓練過程中的梯度消失和梯度爆炸問題，在時間序列預測領域得到廣泛應用。

但是上述方法將流量視為一體忽視了網絡流量作為混雜流，其中各數據流之間可能存在的相關性。因此在混雜數據流中，對于分流量的預測缺少相關性的研究。同時由于混雜流中任意一時刻的數據的不確定性，導致混雜流中不同數據流之間的相關性難以確定。

發明內容

本發明的目的是：提高混雜數據流中分流量峰值預測的結果，為用戶或系統提供更加準確的系統流量信息，并對系統的彈性伸縮提供更為準確的指標參數。

為了達到上述目的，本發明的技術方案是提供了一種混雜數據流分流量峰值預測方法，其特征在于，包括以下步驟：

步驟1、輸入混雜數據流，混雜數據流包括要預測的主分流量及輔助分流量；

步驟2、計算混雜數據流中要預測的主分流量與其他輔助分流量之間的延遲相關系數與延遲時間，包括以下步驟：

步驟201、將主分流量定義為X＝{x₁，x₂，…，x_l}，將輔助分流量定義為P＝{y₁，y₂，…，y_l}，式中，l為觀測值個數，x_l表示主分流量中第l個觀測值，y_l表示輔助分流量中第l個觀測值，計算主分流量X與輔助分流量Y之間的延遲相關系數，得到最佳的延遲時間與延遲相關系數；