[發明專利]基于深度學習的區域網絡流量預測方法

有效

• 申請號: 202011201026.4
• 申請日: 2020-11-02
• 公開（公告）號: CN112291808B
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 潘志文;徐佳璐;劉楠;尤肖虎
• 申請（專利權）人: 東南大學;網絡通信與安全紫金山實驗室
• 主分類號: H04W24/06
• 分類號: H04W24/06;H04W28/16;H04L41/14;H04L41/147;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 沈廉

1.一種基于深度學習的區域網絡流量預測方法，其特征在于該預測方法包括如下步驟：

步驟1：獲取區域網絡流量序列，統計其在每個時刻使用的流量值：

步驟2：根據區域流量序列的空間相關性以及時間相關性，抽取對應特性的流量矩陣序列作為深度學習預測模型的輸入；其中時間相關性包括緊密性、周期性、趨勢性：

(2.1)空間相關流量矩陣序列的獲得：任一坐標為(x,y)區域的流量值不僅與該區域過去時刻的流量值相關，還與附近r個區域的流量值也存在相關，即區域流量之間存在空間相關性，其中r的取值與模型復雜度和預測精度有關，可根據預測需求確定；為預測t+1時刻區域(x,y)的流量值將t＝1,2,3…時刻目標區域(x,y)的流量值與其周圍共(2r+1)×(2r+1)個區域的流量一起，得到空間相關性流量矩陣序列其中任一時刻t的流量矩陣如下

(2.2)不同時間相關特性流量矩陣序列的獲得：為了預測t+1時刻區域(x,y)的流量值可利用時間序列的相關性，包括緊密性、周期性、趨勢性，抽取對應特性的流量矩陣作為輸入，得到三個輸入流量矩陣序列，即緊密性流量矩陣序列、周期性流量矩陣序列、趨勢性流量矩陣序列；

步驟3：對于步驟2得到的三個輸入流量矩陣序列，分別用3D卷積神經網絡和卷積長短期記憶人工神經網絡ConvLSTM進行時間和空間相關性的提取；

由于3D卷積的卷積核在2D卷積的基礎上增加了時間維度，因此能在卷積的過程中同時提取空間和時間相關性；而ConvLSTM在能提取時間相關性的長短期記憶人工神經網絡LSTM模塊的基礎上將全連接層改為了卷積運算，即加入了空間相關性的提取；

步驟4：融合三個流量矩陣序列各自由3D卷積和ConvLSTM提取的特征，基于注意力機制進行最終的流量預測；

(4.1)三個流量矩陣序列各自由3D卷積和ConvLSTM提取的特征在時間維度進行合并，通過一層1×1卷積融合各個通道的信息，輸出融合后的時空特征，記為U，其中H和W表示空間維度大小，C表示時間維度大小；

(4.2)對該特征U通過SE模塊，以時間維度的注意力機制對特征的重要性進行自適應選擇，具體過程如下：

首先在時間維度進行全局平均池化，即對于輸入特征時間維度的每一個切片U_c，其輸出為

即通過全局平均池化得到全局的空間信息，其中Z_c是輸出特征Z在時間維度的切片，即Z＝{Z₁,Z₂,…Z_C}，U_c是輸出特征U在時間維度的切片，即U＝{U₁,U₂,…U_C}；

所述輸出特征Z，通過全連接層來提取時間維度的重要性系數，如下：

S＝δ₂(W₂δ₁(W₁Z)) (10)

其中，δ₁表示Relu激活函數，δ₂表示sigmoid激活函數，為全連接神經網絡的權重，d表示縮放系數，用于降維減少參數量，與模型復雜度相關，根據需求確定；最終輸出特征的每個時間切片為：

即對于輸入特征U_c通過乘以重要性系數S_c來進行時間層面的自適應特征選擇；其中S_c是S在每個時間切片的重要性系數，即S＝{S₁,S₂,…S_C}，是在時間維度的切片，即

(4.3)以上特征前兩維表示空間信息，第三維表示時間信息，將X展開成一維的特征向量，通過多層感知機MLP神經網絡模型得到區域流量序列的最終預測結果

其中δ表示激活函數，用Relu激活函數；

所述獲取區域網絡流量序列具體為：

(1.1)將網絡覆蓋面積劃分成N×M個1km×1km的網格區域，N、M為自然數，記左上角區域坐標為(0,0)，右下角區域坐標為(N-1,M-1)；對每個區域內的所有用戶網絡流量值以時間間隔T分鐘進行采樣，并求和得到每個區域對應的區域流量序列

其中(x,y)表示對應區域的坐標；為區域流量；

(1.2)對區域流量序列進行尺度壓縮和歸一化，即對進行如下處理：

其中μ表示區域(x,y)歷史流量的平均值，σ表示區域(x,y)歷史流量的標準差，ε為常數；

所述

緊密性流量矩陣序列：緊密性表示t+1時刻的流量值受最近l_c個時刻流量值的影響，因此抽取的緊密性流量矩陣序列為

其中l_c表示抽取的緊密性流量矩陣序列長度，其取值可以根據模型復雜度以及精度，由仿真擇優確定；

周期性流量矩陣序列：周期性表示流量序列存在以天為周期的重復變化特性，因此抽取的流量矩陣序列可以表示為

其中l_p表示抽取的流量序列的長度，其取值可以根據模型復雜度以及精度，由仿真擇優確定，p表示相鄰流量矩陣的時間間隔，此處用一天的間隔來表示周期性，因此，p＝1440/T，1440表示一天共1440分鐘；

趨勢性流量矩陣序列：趨勢性表示流量序列存在隨著季節變化的特性，因此抽取的流量矩陣序列可以表示為

其中l_q表示抽取的流量序列的長度，其取值可以根據模型復雜度以及精度，由仿真擇優確定，q表示相鄰流量矩陣的時間間隔，此處用一星期的間隔來表示趨勢性，因此q＝1440×7/T；

所述空間相關性的提取具體為：

(3.1)時空特征提取特征提取：對于表示緊密性、周期性、趨勢性三部分的輸入序列

采用同樣的網絡結構進行特征提取，因此，緊密性序列為：

對于輸入流量矩陣序列采用3D卷積神經網絡進行時空特征提取，其過程為：

其中*表示矩陣相乘，W_ml和b_m分別表示卷積神經網絡的權重和偏置，需要通過訓練進行優化，activation表示激活函數，此處采用Relu激活函數，如下所示：

對于輸入流量矩陣序列采用ConvLSTM進行時空特征提取，其過程為：

C_t＝f_t⊙C_t-1+i_t⊙tanh(W_xc*X_t+W_hc*H_t-1+b_c) (7)

H_t＝o_t⊙tanh(C_t) (9)

其中*表示矩陣相乘，⊙表示矩陣元素相乘，C_t表示細胞狀態，H_t表示隱藏層狀態，i_t表示輸入門，f_t表示遺忘門，o_t表示輸出門，δ表示激活函數，一般可用sigmoid激活函數，W和b分別表示ConvLSTM的權重和偏差，需要通過訓練序列進行優化得到；

(3.2)時空特征融合：為了同時利用3D卷積神經網絡和ConvLSTM提取的時間和空間相關性，需要通過融合層對兩者提取的特征進行特征融合；融合過程為兩者在時間維度進行合并，再經由一層1×1卷積進行特征降維，即以一種類似集成學習的方式集成了3D卷積和ConvLSTM提取的特征，有利于提高模型的可靠性。