[發明專利]非隨機Dropout正則化的卷積神經網絡設計方法

在審

• 申請號: 201710901017.8
• 申請日: 2017-09-28
• 公開（公告）號: CN107742152A
• 公開（公告）日: 2018-02-27
• 發明（設計）人: 李瀟;龐彥偉;梁金升
• 申請（專利權）人: 天津大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所12201
• 代理人: 程毓英

技術領域

本發明涉及人機交互、計算機視覺和深度學習領域，特別涉及一種非隨機Dropout正則化的方法。

背景技術

圖像分類是計算機視覺中一個十分重要的研究領域，它是行人檢測、人臉檢測、車輛檢測等應用的基礎，可以廣泛地用于智能監控、無人駕駛汽車以及圖像檢索等領域。圖像分類技術是眾多應用的基礎，人們對它的性能要求也越來越高。與此同時，憑借優異的分類效果，卷積神經網絡得到越來越多的重視。因此，技術人員自然而然地將卷積神經網絡和圖像分類結合在了一起。但是，由于訓練數據的有限性和卷及神經網絡結構的復雜性，卷積神經網絡極易出現過擬合問題，影響了分類性能。

正則化是卷積神經網絡中的重要技術，它有效解決了神經網絡的過擬合問題，提升了神經網絡的檢測性能。在目前眾多的正則化方法中，丟棄(Dropout)[1]方法是最簡單有效的方法，因此是使用最廣泛的一種方法。傳統的Dropout是一種隨機的方法，它以一定的概率(比如0.5)隨機地在特征圖上選取一部分特征點，然后將這一部分特征點的激活值設置為零，這一部分被置零的特征點將不會參與到卷積神經網絡的正向傳播和反向傳播的訓練過程中。但是，傳統的Dropout方法有一定的局限性，例如：

1、Dropout是一種隨機方法。因為這種方法的隨機性，分類的結果很難重復。也就是說，運行兩次同樣的程序，將會產生兩個不同的分類的準確率。

2、因為Dropout方法是隨機選取一部分特征點，并沒有對不同特征值(比如大值和小值)進行區分。而不同的值的特征點的重要性往往是不同的，如果能利用特征點的這種特性，分類的結果和網絡的性能將會進一步得到提升。

除了傳統的Dropout方法之外，科研人員也提出了其他的一些正則化方法。例如，丟棄連接(DropConnect)[2]也是一種正則化方法，這種方法是隨機地選取一部分卷積核的參數(特征點的權重)并將它們置零來實現的正則化。但是這種方法同樣是隨機的方法，和傳統Dropout具有同樣的問題。Max-drop[3]方法是將Dropout層置于每一個卷積層之后，再在卷積神經網絡的訓練過程中，去掉特征圖中的最大值，從而去掉特征圖中的關鍵信息來得到通用的普遍信息。上述的這些方法都采用了不同的方式選取特征點進行置零，這些方法大都是通過自己設計的算法來篩選出需要置零的特征點。這些算法比較復雜，有的方法甚至需要進行多次循環才能確定是否應該將某一特征點置零。

參考文獻

[1]Srivastava,N.,Hinton,G.E.,Krizhevsky,A.,Sutskever,I.,&Salakhutdinov,R.(2014).Dropout:a simple way to prevent neural networks from overfitting.Journal of Machine Learning Research,15(1),1929-1958.

[2]Wan,L.,Zeiler,M.,Zhang,S.,Cun,Y.L.,&Fergus,R.(2013).Regularization of neural networks using dropconnect.In Proceedings of the 30th International Conference on Machine Learning.

[3]Park S,Kwak N(2016).Analysis on the Dropout Effect in Convolutional Neural Networks.Asian Conference on Computer Vision.Springer,Cham,2016:189-204.

發明內容

本發明的目的是克服現有Dropout方法設計過程存在隨機性，信息利用不充分等缺點，提出一種適用于圖像分類的非隨機Dropout正則化的卷積神經網絡設計方法。技術方案如下：

一種非隨機Dropout正則化的卷積神經網絡設計方法，用于圖像分類，對隨機Dropout正則化的卷積神經網絡設計方法進行改進。在訓練過程中，將特征圖上所有小于某一個閾值的特征點置零，置零后的特征點不參與網絡訓練過程中的正向傳播和反向傳播過程，在測試過程中不進行Dropout操作。

具體包括下列步驟：

步驟1：數據準備過程：準備好訓練圖像和相應的類標；

步驟2：網絡設計過程：設計卷積神經網絡的結構；設定卷積層的個數以及每個卷積層特征圖的個數和大小；