[發(fā)明專利]基于深度學(xué)習(xí)的區(qū)域網(wǎng)絡(luò)流量預(yù)測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011201026.4
• 申請(qǐng)日: 2020-11-02
• 公開（公告）號(hào): CN112291808B
• 公開（公告）日: 2022-12-23
• 發(fā)明（設(shè)計(jì)）人: 潘志文;徐佳璐;劉楠;尤肖虎
• 申請(qǐng)（專利權(quán)）人: 東南大學(xué);網(wǎng)絡(luò)通信與安全紫金山實(shí)驗(yàn)室
• 主分類號(hào): H04W24/06
• 分類號(hào): H04W24/06;H04W28/16;H04L41/14;H04L41/147;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 沈廉

1.一種基于深度學(xué)習(xí)的區(qū)域網(wǎng)絡(luò)流量預(yù)測(cè)方法，其特征在于該預(yù)測(cè)方法包括如下步驟：

步驟1：獲取區(qū)域網(wǎng)絡(luò)流量序列，統(tǒng)計(jì)其在每個(gè)時(shí)刻使用的流量值：

步驟2：根據(jù)區(qū)域流量序列的空間相關(guān)性以及時(shí)間相關(guān)性，抽取對(duì)應(yīng)特性的流量矩陣序列作為深度學(xué)習(xí)預(yù)測(cè)模型的輸入；其中時(shí)間相關(guān)性包括緊密性、周期性、趨勢(shì)性：

(2.1)空間相關(guān)流量矩陣序列的獲得：任一坐標(biāo)為(x,y)區(qū)域的流量值不僅與該區(qū)域過去時(shí)刻的流量值相關(guān)，還與附近r個(gè)區(qū)域的流量值也存在相關(guān)，即區(qū)域流量之間存在空間相關(guān)性，其中r的取值與模型復(fù)雜度和預(yù)測(cè)精度有關(guān)，可根據(jù)預(yù)測(cè)需求確定；為預(yù)測(cè)t+1時(shí)刻區(qū)域(x,y)的流量值將t＝1,2,3…時(shí)刻目標(biāo)區(qū)域(x,y)的流量值與其周圍共(2r+1)×(2r+1)個(gè)區(qū)域的流量一起，得到空間相關(guān)性流量矩陣序列其中任一時(shí)刻t的流量矩陣如下

(2.2)不同時(shí)間相關(guān)特性流量矩陣序列的獲得：為了預(yù)測(cè)t+1時(shí)刻區(qū)域(x,y)的流量值可利用時(shí)間序列的相關(guān)性，包括緊密性、周期性、趨勢(shì)性，抽取對(duì)應(yīng)特性的流量矩陣作為輸入，得到三個(gè)輸入流量矩陣序列，即緊密性流量矩陣序列、周期性流量矩陣序列、趨勢(shì)性流量矩陣序列；

步驟3：對(duì)于步驟2得到的三個(gè)輸入流量矩陣序列，分別用3D卷積神經(jīng)網(wǎng)絡(luò)和卷積長(zhǎng)短期記憶人工神經(jīng)網(wǎng)絡(luò)ConvLSTM進(jìn)行時(shí)間和空間相關(guān)性的提取；

由于3D卷積的卷積核在2D卷積的基礎(chǔ)上增加了時(shí)間維度，因此能在卷積的過程中同時(shí)提取空間和時(shí)間相關(guān)性；而ConvLSTM在能提取時(shí)間相關(guān)性的長(zhǎng)短期記憶人工神經(jīng)網(wǎng)絡(luò)LSTM模塊的基礎(chǔ)上將全連接層改為了卷積運(yùn)算，即加入了空間相關(guān)性的提取；

步驟4：融合三個(gè)流量矩陣序列各自由3D卷積和ConvLSTM提取的特征，基于注意力機(jī)制進(jìn)行最終的流量預(yù)測(cè)；

(4.1)三個(gè)流量矩陣序列各自由3D卷積和ConvLSTM提取的特征在時(shí)間維度進(jìn)行合并，通過一層1×1卷積融合各個(gè)通道的信息，輸出融合后的時(shí)空特征，記為U，其中H和W表示空間維度大小，C表示時(shí)間維度大小；

(4.2)對(duì)該特征U通過SE模塊，以時(shí)間維度的注意力機(jī)制對(duì)特征的重要性進(jìn)行自適應(yīng)選擇，具體過程如下：

首先在時(shí)間維度進(jìn)行全局平均池化，即對(duì)于輸入特征時(shí)間維度的每一個(gè)切片U_c，其輸出為

即通過全局平均池化得到全局的空間信息，其中Z_c是輸出特征Z在時(shí)間維度的切片，即Z＝{Z₁,Z₂,…Z_C}，U_c是輸出特征U在時(shí)間維度的切片，即U＝{U₁,U₂,…U_C}；

所述輸出特征Z，通過全連接層來提取時(shí)間維度的重要性系數(shù)，如下：

S＝δ₂(W₂δ₁(W₁Z)) (10)

其中，δ₁表示Relu激活函數(shù)，δ₂表示sigmoid激活函數(shù)，為全連接神經(jīng)網(wǎng)絡(luò)的權(quán)重，d表示縮放系數(shù)，用于降維減少參數(shù)量，與模型復(fù)雜度相關(guān)，根據(jù)需求確定；最終輸出特征的每個(gè)時(shí)間切片為：

即對(duì)于輸入特征U_c通過乘以重要性系數(shù)S_c來進(jìn)行時(shí)間層面的自適應(yīng)特征選擇；其中S_c是S在每個(gè)時(shí)間切片的重要性系數(shù)，即S＝{S₁,S₂,…S_C}，是在時(shí)間維度的切片，即

(4.3)以上特征前兩維表示空間信息，第三維表示時(shí)間信息，將X展開成一維的特征向量，通過多層感知機(jī)MLP神經(jīng)網(wǎng)絡(luò)模型得到區(qū)域流量序列的最終預(yù)測(cè)結(jié)果

其中δ表示激活函數(shù)，用Relu激活函數(shù)；

所述獲取區(qū)域網(wǎng)絡(luò)流量序列具體為：

(1.1)將網(wǎng)絡(luò)覆蓋面積劃分成N×M個(gè)1km×1km的網(wǎng)格區(qū)域，N、M為自然數(shù)，記左上角區(qū)域坐標(biāo)為(0,0)，右下角區(qū)域坐標(biāo)為(N-1,M-1)；對(duì)每個(gè)區(qū)域內(nèi)的所有用戶網(wǎng)絡(luò)流量值以時(shí)間間隔T分鐘進(jìn)行采樣，并求和得到每個(gè)區(qū)域?qū)?yīng)的區(qū)域流量序列

其中(x,y)表示對(duì)應(yīng)區(qū)域的坐標(biāo)；為區(qū)域流量；

(1.2)對(duì)區(qū)域流量序列進(jìn)行尺度壓縮和歸一化，即對(duì)進(jìn)行如下處理：

其中μ表示區(qū)域(x,y)歷史流量的平均值，σ表示區(qū)域(x,y)歷史流量的標(biāo)準(zhǔn)差，ε為常數(shù)；

所述

緊密性流量矩陣序列：緊密性表示t+1時(shí)刻的流量值受最近l_c個(gè)時(shí)刻流量值的影響，因此抽取的緊密性流量矩陣序列為

其中l(wèi)_c表示抽取的緊密性流量矩陣序列長(zhǎng)度，其取值可以根據(jù)模型復(fù)雜度以及精度，由仿真擇優(yōu)確定；

周期性流量矩陣序列：周期性表示流量序列存在以天為周期的重復(fù)變化特性，因此抽取的流量矩陣序列可以表示為

其中l(wèi)_p表示抽取的流量序列的長(zhǎng)度，其取值可以根據(jù)模型復(fù)雜度以及精度，由仿真擇優(yōu)確定，p表示相鄰流量矩陣的時(shí)間間隔，此處用一天的間隔來表示周期性，因此，p＝1440/T，1440表示一天共1440分鐘；

趨勢(shì)性流量矩陣序列：趨勢(shì)性表示流量序列存在隨著季節(jié)變化的特性，因此抽取的流量矩陣序列可以表示為

其中l(wèi)_q表示抽取的流量序列的長(zhǎng)度，其取值可以根據(jù)模型復(fù)雜度以及精度，由仿真擇優(yōu)確定，q表示相鄰流量矩陣的時(shí)間間隔，此處用一星期的間隔來表示趨勢(shì)性，因此q＝1440×7/T；

所述空間相關(guān)性的提取具體為：

(3.1)時(shí)空特征提取特征提取：對(duì)于表示緊密性、周期性、趨勢(shì)性三部分的輸入序列

采用同樣的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行特征提取，因此，緊密性序列為：

對(duì)于輸入流量矩陣序列采用3D卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行時(shí)空特征提取，其過程為：

其中*表示矩陣相乘，W_ml和b_m分別表示卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重和偏置，需要通過訓(xùn)練進(jìn)行優(yōu)化，activation表示激活函數(shù)，此處采用Relu激活函數(shù)，如下所示：

對(duì)于輸入流量矩陣序列采用ConvLSTM進(jìn)行時(shí)空特征提取，其過程為：

C_t＝f_t⊙C_t-1+i_t⊙tanh(W_xc*X_t+W_hc*H_t-1+b_c) (7)

H_t＝o_t⊙tanh(C_t) (9)

其中*表示矩陣相乘，⊙表示矩陣元素相乘，C_t表示細(xì)胞狀態(tài)，H_t表示隱藏層狀態(tài)，i_t表示輸入門，f_t表示遺忘門，o_t表示輸出門，δ表示激活函數(shù)，一般可用sigmoid激活函數(shù)，W和b分別表示ConvLSTM的權(quán)重和偏差，需要通過訓(xùn)練序列進(jìn)行優(yōu)化得到；

(3.2)時(shí)空特征融合：為了同時(shí)利用3D卷積神經(jīng)網(wǎng)絡(luò)和ConvLSTM提取的時(shí)間和空間相關(guān)性，需要通過融合層對(duì)兩者提取的特征進(jìn)行特征融合；融合過程為兩者在時(shí)間維度進(jìn)行合并，再經(jīng)由一層1×1卷積進(jìn)行特征降維，即以一種類似集成學(xué)習(xí)的方式集成了3D卷積和ConvLSTM提取的特征，有利于提高模型的可靠性。