[發明專利]一種卷積神經網絡構建方法

有效

• 申請號: 201710958482.5
• 申請日: 2017-10-16
• 公開（公告）號: CN107633296B
• 公開（公告）日: 2019-10-22
• 發明（設計）人: 張寶昌;王曉迪;蔚保國;王垚;羅益;賈瑞才;欒尚禎
• 申請（專利權）人: 中國電子科技集團公司第五十四研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 河北東尚律師事務所 13124
• 代理人: 王文慶

本發明公開了一種卷積神經網絡構建方法，屬于神經網絡技術領域。其在卷積神經網絡前向傳遞時，在每個原始卷積核上，通過手調核與原始卷積核的點乘，實現對原始卷積核的調制，得到調制卷積核，并用該調制卷積核代替原始卷積核進行神經網絡的前向傳遞，以達到特征增強的效果。本發明方法對神經網絡做出了極大優化，使得網絡所須學習的核總量減少，此外，通過調制產生子卷積核對原始網絡結構中冗余學習的核通過進行編排，還能夠達到模型壓縮的目的。

技術領域

本發明涉及圖像識別、人工智能及神經網絡技術領域，特別是指一種卷積神經網絡構建方法。

背景技術

近些年來，隨著超大規模分類數據集合和并行計算工具GPU的出現，深度卷積神經網絡(deep convolution neural networks,DCNNs)在計算機視覺領域快讀發展，并獲得了學術界的廣泛關注。這種端到端的網絡通過大量數據訓練樣本驅動訓練，借助隨機梯度下降等優化算法自主學習模型參數，能夠非常有效地抽象出原始圖片的高級特征，在目標識別、檢測、分割等計算機視覺任務中取得了突破性的進展。

DCNNs性能的提高依賴于訓練數據的擴展以及復雜的模型結構，然而現實生活中的許多實際問題，通常卻只有小規模數據的支持，直接利用目標任務的小規模的訓練數據，很難獲得高性能的DCNN。與神經網絡不同，傳統的機器學習算法通過手調特征來進行特征提取和分類，較為重要的手調特征包括方向梯度直方圖(Histogram of OrientedGradient,HOG)、尺度不變特征變換(Scale-invariant feature transform,SIFT)、Gabor變換等。基于特征提取的DCNNs是完全基于數據驅動的技術，而手調特征編碼特征的過程則不需要進行學習，因此也不依賴大規模的訓練數據集。此外，傳統的DCNNs在訓練過程中通常存在冗余學習的卷積核，當神經網絡的層數增加時，網絡的數據會迅速增加，所以訓練好后，保存的模型也會非常占存儲空間。

可見，現有技術中的深度卷積神經網絡存在訓練樣本量大、耗費存儲空間的問題。

發明內容

有鑒于此，本發明提出一種卷積神經網絡構建方法，該方法能夠實現對神經網絡的優化，在不降低神經網絡性能的同時實現特征優化和模型壓縮。

基于上述目的，本發明提供的技術方案是：

一種卷積神經網絡構建方法，用于構建圖像識別卷積神經網絡，所述圖像識別卷積神經網絡包括順次連接的輸入層、四個加入手工調制核的卷積層、第一最大池化層、全連接層、Dropout層和輸出層；其中，輸入層對輸入的圖片進行擴展，得到多通道的輸入；每個卷積層中，先進行卷積，而后再對數據進行歸一化，然后輸入第二最大池化層，最后將池化結果輸入到激活層，如此一個卷積層結束；第四個卷積層沒有第二最大池化層，第四個卷積層的輸出輸入到第一最大池化層中；在訓練時，每次迭代的訓練過程中，通過反傳計算更新所有卷積層和全連接層的權值以進行迭代，直到訓練完成；整個卷積神經網絡的構建包括以下過程：

(1)利用手調核對一組本體核進行調制，生成調制核；所述本體核為三維卷積核，其維度為N×W×W，其中N為通道數，W為卷積核的尺寸；所述手調核由N個W×W大小的手工核組成；所述調制核的維度為N×N×W×W；

(2)進行調制核的前向卷積，生成輸出特征圖；

(3)輸入一個圖像矩陣到調制核卷積層中，并依次經過第一最大池化層、全連接層、Dropout層的處理，得到最終的輸出特征圖；

(4)進行卷積神經網絡模型的梯度反傳，反傳過程中，在每個原始卷積核上，通過手調核與原始卷積核的點乘，實現對原始卷積核的調制，得到調制卷積核，并用該調制卷積核代替原始卷積核進行神經網絡的前向傳遞，以達到特征增強的效果。

可選的，所述手調核為學習出來的手調核，在卷積神經網絡的反傳過程中，也對手調核進行更新，使其進行自學習，由此得到調制效果較好的手工核。