[發明專利]一種基于并列卷積單元的深度卷積神經網絡方法

在審

• 申請號: 201711049899.6
• 申請日: 2017-10-31
• 公開（公告）號: CN107766934A
• 公開（公告）日: 2018-03-06
• 發明（設計）人: 龐彥偉;侯聰聰
• 申請（專利權）人: 天津大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所12201
• 代理人: 程毓英

技術領域

本發明涉及模式識別、計算機視覺和圖像處理領域，特別涉及基于深度卷積神經網絡的圖像分類和物體識別的方法。

背景技術

近幾年來，基于卷積神經網絡思想的深度學習模型廣泛的應用于計算機視覺領域的圖像分類、目標識別、物體檢測等多個任務上，并且取得了顯著的效果。

卷積神經網絡(CNNs,Convolutional Neural Networks)提供了一種端到端的學習模型，通常由若干個卷積層、激活層和池化層交替組成。其中，卷積層通過卷積核與輸入特征做卷積運算進行特征提取，可以學習到分級的特征。淺層卷積層主要提取邊緣、方向等信息，深層卷積層則用于提取深層次的語義結構特征。因此，卷積濾波器決定了提取到的特征的質量，對于卷積神經網絡的性能至關重要。

為了提高卷積神經網絡的性能，相關研究人員提出了很多又深又寬的網絡結構，這些網絡結構都有很多個卷積濾波器，從而導致網絡有很多參數，降低了計算效率，增加了計算復雜度。為了減少網絡參數，降低計算復雜度，[1]和[2]提出了兩種方法。[1]中提出了一種簡化的卷積(simplified convolution)。該方法按照傳統卷積的原理把傳統的卷積分為兩步執行，第一步提取特征通道內信息，由輸入特征卷積得到中間響應特征，在該過程中，輸入特征與中間特征一一對應，并且每個中間響應特征中的響應點，其只與相對應的輸入特征有關；第二步提取特征通道間信息，由中間響應特征得到輸出特征，在該過程中，每個輸出特征中的每個響應點由所有的中間響應特征中相同位置響應點生成，與其他響應點無關。[2]中提出了一種移動網絡(MobileNets)，該網絡根據因式分解把卷積分為濾波和組合兩個過程，濾波過程中，對每個輸入特征采用單獨的濾波器；組合過程中，采用尺寸為1的濾波器對濾波器過程輸出的特征進行組合，得到濾波器過程輸出特征的線性組合。

以上兩種方法雖然能夠減少網絡參數，降低計算復雜度，但是會在第一個過程中丟失部分信息，影響網絡分類性能。為了減少信息損失，本專利提出了一種新的方法，用于進一步提升深度卷積神經網絡的性能。

參考文獻

[1]Sun M,Song Z,Jiang X,et al.Learning pooling for convolutional neural network[J].Neurocomputing,2017,224:96-104.

[2]Howard AG,Zhu M,Chen B,et al.MobileNets:Efficient Convolutional Neural Networks for Mobile Vision Applications.CoRR,abs/1704.04861,2017.

發明內容

本專利申請提供一種基于并列卷積單元的深度神經網絡方法，以解決現有技術中簡化傳統卷積后網絡性能下降的問題，該方法能夠有效地提取特征，提高網絡分類性能。為了解決上述問題，本發明提供如下的技術方案：

一種基于并列卷積單元的深度卷積神經網絡方法,其訓練階段包括下列步驟：

1)收集數據：收集不同類別的圖像，并標記數據的標簽；

2)結構設計：定義并列卷積單元由一個簡化卷積和一個簡化卷積的變形并列組成，其中，簡化卷積的變形是將原簡化卷積中采用的兩個濾波器的位置進行互換，設置深度卷積神經網絡結構，包括并列卷積單元的數量及組合方式，設定每個卷積層特征圖的個數和大小，設定池化方式及池化窗口尺寸；

3)初始化：通過隨機初始化的方法對卷積核的參數進行初始化，并設定迭代次數。

4)前向計算：把訓練數據批量輸入到該網絡中，

(1)當第一個卷積層計算結束后，輸出特征尺寸為A×B×C,其中A×B表示特征圖的大小，C表示特征通道數；

(2)設第二個卷積層的兩個濾波器為W×H×1×Z和1×1×Z×Z，其中Z與C相等，將第二個卷積層與第一個卷積層的輸出特征做卷積，輸出特征尺寸均為A×B×C；

(3)第三個卷積層的濾波器W×H×1×Z與第二層的濾波器1×1×Z×Z的輸出特征做卷積，輸出特征尺寸為A×B×C，第三層的濾波器1×1×Z×Z與第二層的濾波器W×H×1×Z的輸出特征做卷積，輸出特征尺寸為A×B×C，第三層兩個濾波器的輸出特征合并作為第三層的輸出特征，尺寸為A×B×(C×2)，作為下一層的輸入特征；

(4)按照步驟(1)-(3)計算后續的卷積層；