[發明專利]基于注意力機制的CliqueNet航班延誤預測方法

在審

• 申請號: 202010002111.1
• 申請日: 2020-01-02
• 公開（公告）號: CN110956342A
• 公開（公告）日: 2020-04-03
• 發明（設計）人: 屈景怡;曹磊;蔡為;賈云飛;陳敏;楊俊
• 申請（專利權）人: 中國民航大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/30;G06N3/04;G06N3/08
• 代理公司: 天津企興智財知識產權代理有限公司 12226
• 代理人: 蘇沖

1.基于注意力機制的CliqueNet航班延誤預測方法，其特征在于：包括按順序進行的下列步驟：

步驟一：對航班數據做數據預處理，對連續數據和離散數據分別進行Min-Max編碼和Mean-Encoder編碼,構建輸入矩陣R；

步驟二：利用隨機連接團簇和雙重標定對步驟一中預處理的數據進行特征提取；

步驟三：重復步驟一、步驟二，得到最終特征矩陣；

步驟四：將上述步驟三得到的最終特征矩陣進行全局平均池化，并輸入全連接層變為一維特征矩陣，利用softmax分類器對一維特征矩陣進行分類，并使用交叉熵損失函數計算此次網絡訓練的損失值；

步驟五：利用誤差反向傳播算法進行梯度計算，計算各層誤差項和權值梯度；

步驟六：根據步驟四中所得損失值判斷網絡是否收斂，如判定結果為不收斂，則重復所述步驟五，直到網絡收斂為止。

2.根據權利要求1所述的基于注意力機制的CliqueNet航班延誤預測方法，其特征在于：所述步驟一的具體方法為：對航班數據預處理，預處理主要為對航班數據進行清洗和編碼，對異常值使用SQL語句直接進行刪除；較少比例的缺省值，直接采用均值進行填充，并對連續性特征和高基數離散特征的數據分別采用Min-Max和Mean-Encoder編碼，構建輸出矩陣R。

3.根據權利要求1所述的基于注意力機制的CliqueNet航班延誤預測方法，其特征在于：所述步驟二的具體的方法為：對航班延誤數據進行數據預處理之后，輸入到神經網絡模型當中，然后經過改進的隨機連接團簇，隨即連接團簇在第一階段輸入層X₀對所有層進行初始化，每個更新層與下一層相連，準備更新下一層，在第二階段，各層的網絡之間進行隨機的傳遞，按照以下公式進行計算：

其中分別表示相對于第i層X_i^(k)的前、后層的特征，k值表示第幾階段，W_li和W_hi依次表示和前后層做卷積操作的參數，本文中卷積操作均用*表示，g(θ,s)表示算計函數，參數θ表示輸入特征值，參數s表示隨機種子，使用隨機團簇連接時，將s從2計數，即保證每層輸入至少來自其它2層的輸入，最大取值為團簇中設置的層數，即s＝range[2,layer_num]，f(·)表示非線性激活函數，用與參數傳遞的非線性映射；將第一個團簇提取得到的特征圖輸入到轉換層，進行雙重標定。

4.根據權利要求1所述的基于注意力機制的CliqueNet航班延誤預測方法，其特征在于：所述步驟四的具體方法為：將所述步驟三的特征矩陣輸入到全局平均池化層，同時輸入到全連接層當中，得到一維輸入矩陣，提取的最終特征由全局池化層將維度大小為n×n×c的矩陣轉換為一維向量V＝[v₁,v₂,…,v_c]，全連接后經過Softmax分類器，按照以下公式計算，后輸出loss交叉熵損失數值函數，

將V映射成s_i一維概率向量并取對數與標簽值{y⁽ⁱ⁾＝j}做交叉熵運算，即得到向量空間中兩個向量空間的距離，并根據結果中概率最大值做出預測。

5.根據權利要求1所述的基于注意力機制的CliqueNet航班延誤預測方法，其特征在于：所述步驟五的具體方法為：定義標簽和預測值之間的誤差函數，通過隨機梯度下降不斷調整網絡的權重和偏置，使網絡不斷擬合目標函數。

6.根據權利要求1所述的基于注意力機制的CliqueNet航班延誤預測方法，其特征在于：所述步驟六的具體方法為：根據步驟五對網絡的初始化參數進行調整，并進行神經網絡的訓練不斷調整參數，將分類結果和實際值比對并計算差值而作為損失值，然后將損失值和實現設定的分類閾值做比較，如果損失值小于分類閾值則判定網絡收斂，否則判定為不收斂；當判定結果為收斂時，輸出網絡結果，當判定結果為不收斂時，則根據公式調整卷積神經網絡初始化參數，其中，W^l表示第l層的輸出權重，表示損失函數對權重的導數，η為學習率。