[發明專利]卷積神經網絡的多尺度特征通道的動態選擇方法

在審

• 申請號: 202010576724.6
• 申請日: 2020-06-23
• 公開（公告）號: CN111667058A
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 申嘯塵;喬國坤;周有喜
• 申請（專利權）人: 新疆愛華盈通信息技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06T3/40;G06K9/46
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種卷積神經網絡的多尺度特征通道的動態選擇方法，包括以下步驟：采用concat結合多尺度卷積核所提取的特征圖；通過SE機制對通道分配權重；采用1*1卷積核對分配權重后的輸出通道數進行壓縮。本發明能夠在增加較少卷積神經網絡運算模型運算量的基礎上，明顯提高模型的精度。

技術領域

本發明涉及卷積神經網絡技術領域，具體來說，涉及一種卷積神經網絡的多尺度特征通道的動態選擇方法。

背景技術

卷積神經網絡(Convolutional Neural Networks，CNN)是一類包含卷積計算且具有深度結構的前饋神經網絡(Feedforward Neural Networks)，是深度學習(deeplearning)的代表算法之一。卷積神經網絡具有表征學習(representation learning)能力，能夠按其階層結構對輸入信息進行平移不變分類(shift-invariantclassification)，因此也被稱為“平移不變人工神經網絡(Shift-Invariant ArtificialNeural Networks,SIANN)”。

對卷積神經網絡的研究始于二十世紀80至90年代，時間延遲網絡和LeNet-5是最早出現的卷積神經網絡；在二十一世紀后，隨著深度學習理論的提出和數值計算設備的改進，卷積神經網絡得到了快速發展，并被應用于計算機視覺、自然語言處理等領域。

卷積神經網絡仿造生物的視知覺(visual perception)機制構建，可以進行監督學習和非監督學習，其隱含層內的卷積核參數共享和層間連接的稀疏性使得卷積神經網絡能夠以較小的計算量對格點化(grid-like topology)特征，例如像素和音頻進行學習、有穩定的效果且對數據沒有額外的特征工程(feature engineering)要求。

GoogLeNet是2014年Christian Szegedy提出的一種全新的深度學習結構，在這之前的AlexNet、VGG等結構都是通過增大網絡的深度(層數)來獲得更好的訓練效果，但層數的增加會帶來很多負作用，比如overfit、梯度消失、梯度爆炸等。inception的提出則從另一種角度來提升訓練結果：能更高效的利用計算資源，通過并行不同大小的卷積核，增強模型對不同尺度特征的擬合能力，從而在相同的計算量下能提取到更多的特征，從而提升訓練結果。

SE-net通過添加通道注意力機制，通過顯式地建模通道之間的相互依賴關系，自適應地重新校準通道式的特征響應。

GoogleNet效果好，但并沒有太多對運算量的限制，在并行卷積后使用concat對來自不同卷積尺度卷積核的特征圖進行拼接，這意味著，如果每個卷積核具有n個輸出通道，那么每次進行卷積后，輸出的特征圖數量就會變成m*n(m代表總共并行了多少個其它尺寸卷積核)，而輸出特征圖的增多，會大大增加運算負擔。這樣的結構，大大的增加了運算成本，并不適合在小模型上使用。

發明內容

本發明的目的在于提出一種卷積神經網絡的多尺度特征通道的動態選擇方法，以克服現有技術中存在的上述不足。

為實現上述技術目的，本發明的技術方案是這樣實現的：

一種卷積神經網絡的多尺度特征通道的動態選擇方法，所述方法包括以下步驟：

采用concat結合多尺度卷積核所提取的特征圖；

通過SE機制對通道分配權重；

采用1*1卷積核對分配權重后的輸出通道數進行壓縮。

一種電子設備，包括：存儲器和處理器，所述存儲器和所述處理器之間互相通信連接，所述存儲器中存儲有計算機指令，所述處理器通過執行所述計算機指令，從而執行如上所述的動態選擇方法。