[發明專利]深度卷積神經網絡初始化和訓練方法、裝置、介質及設備

在審

• 申請號: 201911138266.1
• 申請日: 2019-11-20
• 公開（公告）號: CN112825121A
• 公開（公告）日: 2021-05-21
• 發明（設計）人: 周軍;丁松;王洋;江武明
• 申請（專利權）人: 北京眼神智能科技有限公司;北京眼神科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京恩赫律師事務所 11469
• 代理人: 劉守憲;李善學

本發明公開了一種深度卷積神經網絡初始化和訓練方法、裝置、介質及設備，屬于模式識別領域。該初始化方法包括：獲取DCNN、與DCNN對應的簡易網絡和初始訓練集，初始訓練集包括多個類別的樣本，樣本上設置有表示該樣本類別的標簽；使用初始訓練集訓練簡易網絡；將初始訓練集的樣本輸入訓練好的簡易網絡，得到每個樣本在簡易網絡的特征層或分類層的輸出；將初始訓練集中每個樣本的標簽替換為該樣本在簡易網絡的特征層或分類層的輸出，得到更新后的訓練集；使用更新后的訓練集預訓練DCNN，完成DCNN的初始化。本發明能夠使得任何結構的不易收斂的DCNN獲得更好的初始化，使其更易收斂，加快訓練速度。

技術領域

本發明涉及模式識別領域，特別是指一種深度卷積神經網絡初始化和訓練方法、裝置、介質及設備。

背景技術

卷積神經網絡(Convolutional Neural Network，CNN)，也簡稱為網絡，是一類模式識別方法。該方法旨在使用卷積的方法對圖像等數據進行表征量化，進而完成分類或是回歸任務。該方法目前在圖像分類、語音識別等方向表現出了優異的性能。

近年來隨著深度學習的發展，為了顯著的提升模型準確率，網絡的計算量和參數隨之大幅增加，這種巨大的網絡模型也稱為深度卷積神經網絡(Deep ConvolutionalNeural Network，DCNN)模型。當DCNN應用于圖像識別訓練時，由于網絡層數很多，訓練會十分困難不易收斂，需要一種合適的初始化來保證訓練過程的穩定。

現有技術為基于方差不變性的高斯分布初始化方法，例如Xavierinitialization，kaiming initialization等，此類方法假設特征圖的神經元間是獨立同分布的，在參數初始化時，保證網絡前饋各層神經元間的方差不會變化過大，反饋時各層神經元間的梯度不會過大，進而使得網絡在訓練時不會出現梯度發散和梯度消失。

但是，現有的基于方差不變性的高斯分布初始化方法并不能很好的解決訓練會困難不易收斂的問題，即便使用BatchNorm收斂速度也比較慢。尤其是在復雜的神經網絡結構中(例如googlenet,inception_resnet，mobilenet等)，現有初始化技術并不能很好解決訓練困難的問題，需要憑借經驗手動調節分支層高斯方差來獲得更合適的初始化分布，工作量巨大且不能獲得穩定的結果。

發明內容

為解決上述技術問題，本發明提供一種深度卷積神經網絡初始化和訓練方法、裝置、介質及設備，本發明能夠使得任何結構的不易收斂的DCNN獲得更好的初始化，使其更易收斂，加快訓練速度。

本發明提供技術方案如下：

第一方面，本發明提供一種深度卷積神經網絡初始化方法，所述方法包括：

獲取DCNN、與DCNN對應的簡易網絡和初始訓練集，所述初始訓練集包括多個類別的樣本，所述樣本上設置有表示該樣本類別的標簽；

使用初始訓練集訓練所述簡易網絡；

將初始訓練集的樣本輸入訓練好的簡易網絡，得到每個樣本在簡易網絡的特征層或分類層的輸出；

將初始訓練集中每個樣本的標簽替換為該樣本在簡易網絡的特征層或分類層的輸出，得到更新后的訓練集；

使用更新后的訓練集預訓練DCNN，完成DCNN的初始化。

進一步的，使用初始訓練集訓練所述簡易網絡時，采用的是多分類交叉熵損失函數，使用更新后的訓練集預訓練DCNN時，采用的是歐幾里得損失函數。

進一步的，所述DCNN和簡易網絡用于人臉識別，所述初始訓練集的樣本通過如下方法得到：

對人臉圖像進行人臉檢測和關鍵點定位，得到人臉區域和人臉關鍵點，所述人臉關鍵點包括左眼坐標和右眼坐標；