[發(fā)明專利]融合注意力選擇機(jī)制的CondenseNet算法

在審

• 申請?zhí)枺?/td>: 202010002106.0
• 申請日: 2020-01-02
• 公開（公告）號: CN111160488A
• 公開（公告）日: 2020-05-15
• 發(fā)明（設(shè)計(jì)）人: 屈景怡;趙婭倩;賈云飛;陳敏;楊俊
• 申請（專利權(quán)）人: 中國民航大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 天津企興智財知識產(chǎn)權(quán)代理有限公司 12226
• 代理人: 蘇沖

本發(fā)明提供了一種融合注意力選擇機(jī)制的CondenseNet算法，包括通過m個網(wǎng)絡(luò)結(jié)構(gòu)塊對卷積神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)進(jìn)行特征提取，每個結(jié)構(gòu)塊包含n組完整的特征變換層，數(shù)據(jù)通過每一層特征變換層得到相對應(yīng)的特征矩陣；將m個網(wǎng)絡(luò)結(jié)構(gòu)塊級聯(lián)連接，通過網(wǎng)絡(luò)結(jié)構(gòu)塊的數(shù)據(jù)經(jīng)過特征提取得到最終的特征矩陣；將上述得到的特征矩陣計(jì)算網(wǎng)絡(luò)訓(xùn)練的損失值；計(jì)算各層誤差項(xiàng)和權(quán)值梯度；根據(jù)損失值判斷網(wǎng)絡(luò)是否收斂，如不收斂，依據(jù)權(quán)值梯度調(diào)整卷積神經(jīng)網(wǎng)絡(luò)初始化參數(shù)重新進(jìn)行訓(xùn)練，如已收斂則輸出網(wǎng)絡(luò)訓(xùn)練結(jié)果。本發(fā)明所述的融合注意力選擇機(jī)制的CondenseNet算法，高效利用多維特征信息，增強(qiáng)深層網(wǎng)絡(luò)的學(xué)習(xí)和表達(dá)能力，提高分類準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明屬于深度學(xué)習(xí)以及大數(shù)據(jù)技術(shù)領(lǐng)域，尤其是涉及一種融合注意力選擇機(jī)制的CondenseNet算法。

背景技術(shù)

面對海量、高維的大樣本數(shù)據(jù)，深度學(xué)習(xí)因其快速、準(zhǔn)確、智能的強(qiáng)大優(yōu)勢，在計(jì)算機(jī)視覺、自然語言處理領(lǐng)域成為炙手可熱的處理問題方法，近幾年隨著相關(guān)技術(shù)的創(chuàng)新，深度學(xué)習(xí)領(lǐng)域不斷取得突破性進(jìn)展，學(xué)者們先后通過增加網(wǎng)絡(luò)深度來提升網(wǎng)絡(luò)性能；優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)來提升網(wǎng)絡(luò)準(zhǔn)確率與網(wǎng)絡(luò)適用性，但是傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搭建的深度學(xué)習(xí)網(wǎng)絡(luò)隨著層數(shù)的增加精度會達(dá)到飽和，甚至降低，梯度消失現(xiàn)象愈發(fā)明顯，從而導(dǎo)致網(wǎng)絡(luò)無法訓(xùn)練，而采用更好的網(wǎng)絡(luò)初始化參數(shù)和更高效的激勵函數(shù)也無法從根本上解決網(wǎng)絡(luò)訓(xùn)練問題。

文獻(xiàn)“Huang G,Liu S,Van der Maaten L,et al.CondenseNet:An EfficientDenseNet using Learned Group Convolutions[C].Proceedings of the IEEEConference on Computer Vision and Pattern Recognition,2018:2752-2761.”中提出一種新型的網(wǎng)絡(luò)結(jié)構(gòu)，即CondenseNet(An Efficient DenseNet using Learned GroupConvolutions)，文章從特征圖入手，通過對特征圖的極致利用使網(wǎng)絡(luò)達(dá)到更好的效果和更少的參數(shù)，CondenseNet在保證網(wǎng)絡(luò)中間層與層之間最大程度的信息傳輸前提下，直接將所有的層連接起來，即每一層的輸入來自前面所有層的輸出，使得網(wǎng)絡(luò)更窄的同時減少參數(shù)，減輕梯度消失現(xiàn)象，有效抑制過擬合，減少計(jì)算量。但是采用稠密連接的層連接方式必然帶來的一個問題是網(wǎng)絡(luò)的冗余連接以及大量的占用內(nèi)存。文獻(xiàn)“Woo S,Park J,Lee JY,etal.CBAM:Convolutional block attention module[C].Proceedings of the EuropeanConference on Computer Vision(ECCV),Munich,Germany,2018:3-19.”中提出一種全新的特征重標(biāo)定機(jī)制，即CBAM(Convolutional Block Attention Module)，這種機(jī)制顯式地建模特征通道與空間通道之間的相互依賴關(guān)系，通過學(xué)習(xí)的方式來自動獲取到每個特征通道的重要程度，依照重要程度去提升有用的特征并抑制對當(dāng)前任務(wù)作用不大的特征。如果能將上述兩種極具優(yōu)勢的高性能網(wǎng)絡(luò)融合創(chuàng)新，取其精華，去其糟粕，既可以在加深網(wǎng)絡(luò)深度的同時消除梯度消失現(xiàn)象，減少參數(shù)，深度挖掘數(shù)據(jù)特征，同時又可以在空間維度的方面著手增加可自動學(xué)習(xí)的特征重標(biāo)定機(jī)制，自適應(yīng)的重新校準(zhǔn)通道的特征響應(yīng)，將會得到一種準(zhǔn)確率更高、適應(yīng)性更強(qiáng)、網(wǎng)絡(luò)性能更優(yōu)的深度學(xué)習(xí)算法。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明旨在提出一種融合注意力選擇機(jī)制的CondenseNet算法，以提供一種準(zhǔn)確率高、適應(yīng)性強(qiáng)、網(wǎng)絡(luò)性能優(yōu)的深度學(xué)習(xí)算法。

為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

一種融合注意力選擇機(jī)制的CondenseNet算法，包括按順序進(jìn)行的下列步驟：步驟一：通過m個網(wǎng)絡(luò)結(jié)構(gòu)塊對卷積神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)進(jìn)行特征提取，每個結(jié)構(gòu)塊包含n組完整的特征變換層，每個特征變換層包含1個1×1學(xué)習(xí)卷積層、1個3×3分組卷積層以及一個CBAM模塊，數(shù)據(jù)通過每一層特征變換層得到相對應(yīng)的特征矩陣；