[發(fā)明專利]融合注意力選擇機制的CondenseNet算法

在審

• 申請?zhí)枺?/td>: 202010002106.0
• 申請日: 2020-01-02
• 公開（公告）號: CN111160488A
• 公開（公告）日: 2020-05-15
• 發(fā)明（設(shè)計）人: 屈景怡;趙婭倩;賈云飛;陳敏;楊俊
• 申請（專利權(quán)）人: 中國民航大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 天津企興智財知識產(chǎn)權(quán)代理有限公司 12226
• 代理人: 蘇沖

1.融合注意力選擇機制的CondenseNet算法，其特征在于：包括按順序進行的下列步驟：

步驟一：通過m個網(wǎng)絡(luò)結(jié)構(gòu)塊對卷積神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)進行特征提取，每個結(jié)構(gòu)塊包含n組完整的特征變換層，每個特征變換層包含1個1×1學(xué)習(xí)卷積層、1個3×3分組卷積層以及一個CBAM模塊，數(shù)據(jù)通過每一層特征變換層得到相對應(yīng)的特征矩陣；

步驟二：將m個網(wǎng)絡(luò)結(jié)構(gòu)塊級聯(lián)連接，n組特征變換層堆疊，每層網(wǎng)絡(luò)采用稠密連接的方式連接到后續(xù)所有層，通過網(wǎng)絡(luò)結(jié)構(gòu)塊的數(shù)據(jù)經(jīng)過特征提取得到最終的特征矩陣；

步驟三：將上述步驟二得到的最終特征矩陣進行全局平均池化并輸入全連接層變?yōu)橐痪S特征矩陣，并利用softmax分類器對一維特征矩陣進行分類，計算此次網(wǎng)絡(luò)訓(xùn)練的損失值；

步驟四：利用誤差反向傳播算法進行梯度計算，計算各層誤差項和權(quán)值梯度；

步驟五：根據(jù)步驟三中所得損失值判斷網(wǎng)絡(luò)是否收斂，如不收斂，依據(jù)步驟四中權(quán)值梯度調(diào)整卷積神經(jīng)網(wǎng)絡(luò)初始化參數(shù)重新進行訓(xùn)練，如已收斂則輸出網(wǎng)絡(luò)訓(xùn)練結(jié)果。

2.根據(jù)權(quán)利要求1所述的融合注意力選擇機制的CondenseNet算法，其特征在于：所述步驟一的具體方法為：將數(shù)據(jù)輸入到網(wǎng)絡(luò)結(jié)構(gòu)塊中，通過第一個特征變換層，分別對數(shù)據(jù)進行卷積操作，每個卷積層的輸入是上一個卷積層的輸出，隨后輸入一個CBAM模塊，實現(xiàn)特征重標定，最后輸出特征矩陣。

3.根據(jù)權(quán)利要求1所述的融合注意力選擇機制的CondenseNet算法，其特征在于：所述步驟二的具體方法為：在單個結(jié)構(gòu)塊中與每個結(jié)構(gòu)塊之間，每層網(wǎng)絡(luò)采用稠密連接的方式；在單個結(jié)構(gòu)塊中，通過第1層特征變換層經(jīng)過特征提取到的特征矩陣依次輸入到第2個、第3個、第4個、一直到第n層特征變換層中；通過第2層特征變換層經(jīng)過特征提取到的特征矩陣依次輸入到第3個、第4個、第5個、一直到第n層特征變換層中，通過m個網(wǎng)絡(luò)結(jié)構(gòu)塊的數(shù)據(jù)得到最終的特征矩陣。

4.根據(jù)權(quán)利要求1所述的融合注意力選擇機制的CondenseNet算法，其特征在于：所述步驟三的具體方法為：首先，對最終特征矩陣進行全局平均池化，使用和最終特征矩陣大小一致的濾波器計算特征矩陣中數(shù)據(jù)的平均值；然后，輸入全連接層，全連接層中每個神經(jīng)元分別對全局平均池化后的特征矩陣中的數(shù)據(jù)進行非線性變換得到一維特征矩陣；最后，將一維特征矩陣輸入softmax分類器進行分類。

5.根據(jù)權(quán)利要求1所述的融合注意力選擇機制的CondenseNet算法，其特征在于：所述步驟三中計算此次網(wǎng)絡(luò)訓(xùn)練的損失值的方法是：首先，計算每個類別j出現(xiàn)的概率p(y＝j(luò)|x)；然后用h_θ(x)表示q個輸出概率，則函數(shù)為：

其中，h_θ(x)表示卷積神經(jīng)網(wǎng)絡(luò)的輸出，i為樣本序號，θ為模型參數(shù)，為歸一化因子；

最后使用交叉熵作為損失函數(shù)計算損失值，其表達式為：

其中表示損失值，1{y⁽ⁱ⁾＝j(luò)}表示當y⁽ⁱ⁾＝j(luò)時值為1，否則為0，r為樣本數(shù)。

6.根據(jù)權(quán)利要求1所述的融合注意力選擇機制的CondenseNet算法，其特征在于：所述步驟四的具體方法為：首先，根據(jù)softmax分類器結(jié)果計算最后一層損失值并作為最后一層的誤差項；然后，利用誤差反向傳播算法的鏈式法則計算各層誤差項，第m個結(jié)構(gòu)塊的誤差項等于第m+1個結(jié)構(gòu)塊的誤差項乘以兩者之間與卷積層相連的權(quán)重矩陣；

利用公式計算對應(yīng)隱藏層的梯度值，其中，J表示該層損失值，表示第l層第j個特征矩陣到l層第i個特征矩陣的連接權(quán)重，表示第l個卷積層的第j個特征矩陣的誤差項，表示第l-1層第i個特征矩陣。

7.根據(jù)權(quán)利要求1所述的融合注意力選擇機制的CondenseNet算法，其特征在于：所述步驟五的具體方法為：首先，將分類結(jié)果和實際值比對并計算差值而作為損失值；然后將損失值和實現(xiàn)設(shè)定的分類閾值做比較，如小于分類閾值則判定網(wǎng)絡(luò)收斂，否則不收斂；最后，如收斂輸出網(wǎng)絡(luò)結(jié)果，當判定為不收斂時，則根據(jù)步驟四中所得權(quán)值梯度調(diào)整卷積神經(jīng)網(wǎng)絡(luò)初始化參數(shù)按照以下公式更新權(quán)值梯度，并重新訓(xùn)練網(wǎng)絡(luò)。

W(t+1)＝W(t)+V(t+1)

式中t表示迭代次數(shù)，V(t)是動量項，μ為動量因子，它決定了歷史權(quán)重修正量對本次權(quán)重修正的貢獻大小；η為學(xué)習(xí)率；λ為權(quán)重衰減系數(shù)，W表示卷積神經(jīng)網(wǎng)絡(luò)初始化參數(shù)。