[發明專利]基于全局注意力時域卷積網絡的網絡故障預測方法

有效

• 申請號: 202110088723.1
• 申請日: 2021-01-22
• 公開（公告）號: CN112910695B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 嚴靈毓;邊帆;高榕;李可;王春枝;葉志偉
• 申請（專利權）人: 湖北工業大學
• 主分類號: H04L41/0631
• 分類號: H04L41/0631;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

1.基于全局注意力時域卷積網絡的網絡故障預測方法，其特征在于，包括如下步驟：

步驟1，將網絡故障數據進行序列化并劃分訓練集和測試集；

步驟2，構建一個基于全局注意力時域卷積網絡模型，包含時域卷積網絡層，全局注意力層以及門控融合層；

步驟2的具體實現方式如下；

步驟(2.1)，構建一個時域卷積網絡層，時域卷積網絡層包括因果卷積，擴張卷積，殘差連接部分，時域卷積網絡層的輸入是向量集合：

x＝(x₁,x₂,x₃,...,x_t)

其中，x_t表示的是輸入的故障時間序列；

因果卷積對輸入的向量進行計算和特征提取，因果卷積具有很強的時間限制，在t時刻的故障預測，只能用t時刻之前的故障數據進行網絡故障預測：

其中，p是對t時刻之前的故障數據進行特征提取，T表示的是特征提取數據的截至時間；

因果卷積對特征的提取取決于卷積核的大小，為能學習到更多的時間故障信息，引入擴張卷積，增大感受野的范圍，并減小計算量：

f_{k_d}＝(d-1)×(f_k-1)+f_k

其中，f_{k_d}表示的是添加擴張卷積之后的卷積核大小，d表示的是在卷積核內部插入的空洞數，f_k表示的是插入前的卷積核大小；

為了避免在深度學習中出現梯度消失，使用ReLU函數作為激活函數：

經過因果卷積，擴張卷積，激活函數，Dropout層輸出F(x)，為了提高模型的泛化能力，解決深層的網絡結構引起的梯度爆炸問題，使用殘差連接：

H＝x+F(x)

其中，x表示輸入的向量集合，H表示經過殘差塊結構之后的輸出結果；

步驟(2.2)，構建一個全局注意力層，用全局注意力機制來挖掘網絡故障之間的復雜關系，在得到預測可能發生網絡故障的時候，利用全局注意力機制從目標對象中選擇信息，得到不同的部分對于網絡故障的影響程度，計算公式如下：a＝h^TReLU(W_a[h_t]+b_a)，其中，a指的是全局注意力向量，W_a和b_a為全局注意力網絡的權重矩陣和偏移向量，h_t表示的是輸入特征，h^T是表示將隱藏層的輸出表示為注意力權重向量的投影，將ReLU作為激活函數，通過softmax函數，將注意力向量進行歸一化，得到a_t，a_t表示t時刻的網絡故障的注意力權重：

a_t,i表示的是t時刻之前的第i個時刻的值，在經過全局注意力層之后，注意力分數和網絡故障預測加權表示：

h_t＝∑H_t·a_t

步驟(2.3)，構建一個門控融合層，用于對網絡故障影響的多種結果進行融合，得出最終對網絡故障的預測結果：

g＝sigmoid(w₁u_i+w₂h_t+b)

out＝g*u_i+(1-g)*h_t

其中，g表示的是Gate門控融合，w₁，w₂分別表示的是兩個權重，b表示的是偏置值，u_i表示的是故障時間向量；

步驟3，利用訓練集對步驟2構建的基于全局注意力時域卷積網絡模型進行訓練；

步驟4，利用訓練好的網絡模型預測網絡故障。

2.根據權利要求1所述的基于全局注意力時域卷積網絡的網絡故障預測方法，其特征在于：步驟1的具體實現方式如下；

步驟(1.1)，對于網絡故障的數據，根據其發生的時間節點參照時間序列化基準轉化為樣本序列；

步驟(1.2)，對于序列化的數據，將70％的網絡故障數據作為訓練集，30％的網絡故障數據作為測試集。

3.根據權利要求1所述的基于全局注意力時域卷積網絡的網絡故障預測方法，其特征在于：在門控融合層采用sigmoid函數作為激活函數。