[發明專利]一種分段密集連接型深度網絡構建方法

有效

• 申請號: 201810542036.0
• 申請日: 2018-05-30
• 公開（公告）號: CN108846475B
• 公開（公告）日: 2021-10-26
• 發明（設計）人: 朱建清;曾煥強;陳婧;蔡燦輝;杜永兆;傅玉青;林露馨
• 申請（專利權）人: 華僑大學
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 泉州市文華專利代理有限公司 35205
• 代理人: 張浠娟

本發明涉及一種應用于目標檢測、目標分類或目標識別系統的分段密集連接型深度網絡構建方法，首先把深度網絡中各串連續連接的卷積層劃分為多個小段；其次，對每個小段內的卷積層進行密集連接，即段內密集連接；然后，對每個小段進行密集連接，即段間密集連接，從而實現了對連續連接的卷積層的分段密集連接。最后，在各串連續連接的卷積層之間配合上最大池化層，并在最后的最大池化層之后配上全連接層，就完成了分段密集連接型深度網絡的構建。借助分段密集連接的機制，一方面有利于訓練更深的深度網絡，進而有利提升深度網絡的特征學習能力；另一方面，由于分段劃分，各個小段內只包含少數卷積層，能夠有效地避免因密集連接所帶來的龐大計算量。

技術領域

本發明涉及機器視覺和人工智能領域，特別涉及一種分段密集連接型深度網絡構建方法，可應用于目標檢測、目標分類和目標識別系統。

背景技術

卷積神經網絡是目前最流行的一種深度學習算法。近年來涌現出大量基于卷積神經網絡的目標檢測、目標分類和目標識別算法，這些算法的準確性很大程度上依賴于卷積神經網絡特征學習能力。

密集連接網絡DenseNet(Huang G,Liu Z,Maaten L V D,et al.DenselyConnected Convolutional Networks[C].IEEE Conference on Computer Vision andPattern Recognition,2016.)是目前特征學習能力最強的深度網絡之一。DenseNet的直接密集連接機制是指在一連串的卷積層中，對于每一個卷積層皆把其之前所有卷積層在通道(Channel)方向進行連接后作為其輸入。顯然，隨著網絡深度的增加，越排在后方的卷積層會累積到越多的輸入，引起計算量的急劇增長。為了避免這種情況，DenseNet不得不對那些連接后過于龐大的輸入數據，利用1×1卷積核進行特征壓縮。然而，引入這種壓縮機制后，網絡設計的復雜度增加，且這種壓縮本身亦可能損害深度網絡的特征學習能力。

發明內容

本發明的目的在于提出一種應用于目標檢測、目標分類或目標識別系統的分段密集連接型深度網絡構建方法，該方法計算量適中，可提升卷積神經網絡的特征學習能力。

為實現上述目的，本發明采用如下技術方案：

一種分段密集連接型深度網絡構建方法，應用于目標檢測、目標分類或目標識別系統，包括以下步驟：

步驟1、連續卷積層的分段，把深度網絡中各串連續連接的卷積層劃分為多個小段；

步驟2、段內密集連接，即對每個小段內的卷積層進行密集連接；

步驟3、段間密集連接，即對不同小段再次進行密集連接；

步驟4、在各串連續連接的卷積層之間配合上最大池化層，并在最后的最大池化層之后配上全連接層，就構成了分段密集型深度網絡。

所述步驟1中，C＝{C₁,C₂,C₃,…,C_K}為K個連續連接的卷積層，對其進行劃分，得到M個小段S＝{S₁,S₂,…,S_i,…,S_M}，每個小段上有N個卷積層，第i個小段S_i＝{C_(i-1)×N+1,C_(i-1)×N+2,…,C_(i-1)×N+j,…,C_i×N}；

所述步驟2中，所述段內密集連接是指把第i個小段S_i的第j個卷積層C_(i-1)×N+j之前且屬于同一段的所有卷積層{C_(i-1)×N+1,C_(i-1)×N+2,…,C_(i-1)×N+j-1}在通道方向上進行連接，并將連接后的結果作為C_(i-1)×N+j的輸入；