[發(fā)明專利]訓練深度卷積神經(jīng)網(wǎng)絡模型的方法、裝置及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201710977989.5
• 申請日: 2017-10-17
• 公開（公告）號: CN107590534B
• 公開（公告）日: 2021-02-09
• 發(fā)明（設計）人: 萬韶華
• 申請（專利權）人: 北京小米移動軟件有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06K9/62
• 代理公司: 北京三高永信知識產(chǎn)權代理有限責任公司 11138
• 代理人: 林錦瀾

本公開是關于一種訓練深度卷積神經(jīng)網(wǎng)絡模型的方法、裝置及存儲介質(zhì)，所述方法包括：在通過梯度后向傳播算法訓練深度卷積神經(jīng)網(wǎng)絡模型的過程中，當深度卷積神經(jīng)網(wǎng)絡模型中目標層包括的目標節(jié)點的輸出值作為下一層包括的N個節(jié)點的輸入值時，在目標節(jié)點與該N個節(jié)點之間添加N個輔助節(jié)點；其中，目標層為深度卷積神經(jīng)網(wǎng)絡包括的任一層，目標節(jié)點為目標層包括的任一節(jié)點，N大于1且小于或等于下一層包括的節(jié)點的總個數(shù)；通過N個輔助節(jié)點對目標節(jié)點與該N個節(jié)點之間的權值進行訓練。本公開通過添加輔助節(jié)點的方式，不需要專門為中間計算結果動態(tài)申請內(nèi)存空間，使梯度后向傳播算法變得簡潔高效，極大的加速了深度卷積神經(jīng)網(wǎng)絡模型的訓練過程。

技術領域

本公開涉及網(wǎng)絡技術領域，尤其涉及一種訓練深度卷積神經(jīng)網(wǎng)絡模型的方法、裝置及存儲介質(zhì)。

背景技術

深度卷積神經(jīng)網(wǎng)絡模型是一種能夠高效的進行圖像識別的網(wǎng)絡模型。也即是，可以通過深度卷積神經(jīng)網(wǎng)絡模型包括的卷積層、激活層、池化層和全連接層進行處理，最后通過深度卷積神經(jīng)網(wǎng)絡模型包括的類別概率層直接輸出最終的圖像識別結果，避免了對圖像的復雜前期預處理。然而，在使用深度卷積神經(jīng)網(wǎng)絡模型對圖像進行識別之前，還需要對深度卷積神經(jīng)網(wǎng)絡模型進行訓練。

由于深度卷積神經(jīng)網(wǎng)絡模型中的每一層都包括有多個節(jié)點，因此深度卷積神經(jīng)網(wǎng)絡模型的訓練是指深度卷積神經(jīng)網(wǎng)絡模型中的相鄰兩層節(jié)點之間的權值的訓練，從而確定一組使得圖像識別率較高的權值。所以，亟需一種能夠提高圖像識別率的深度卷積神經(jīng)網(wǎng)絡模型訓練方法。

發(fā)明內(nèi)容

為克服相關技術中存在的問題，本公開提供一種訓練深度卷積神經(jīng)網(wǎng)絡模型的方法、裝置及存儲介質(zhì)。

根據(jù)本公開實施例的第一方面，提供一種訓練深度卷積神經(jīng)網(wǎng)絡模型的方法，所述方法包括：

在通過梯度后向傳播算法訓練深度卷積神經(jīng)網(wǎng)絡模型的過程中，當所述深度卷積神經(jīng)網(wǎng)絡模型中目標層包括的目標節(jié)點的輸出值作為下一層包括的N個節(jié)點的輸入值時，在所述目標節(jié)點與所述N個節(jié)點之間添加N個輔助節(jié)點；

其中，所述目標層為所述深度卷積神經(jīng)網(wǎng)絡包括的任一層，所述目標節(jié)點為所述目標層包括的任一節(jié)點，所述N大于1且小于或等于所述下一層包括的節(jié)點的總個數(shù)；

通過所述N個輔助節(jié)點對所述目標節(jié)點與所述N個節(jié)點之間的權值進行訓練。

可選地，所述通過所述N個輔助節(jié)點對所述目標節(jié)點與所述N個節(jié)點之間的權值進行訓練，包括：

計算所述N個節(jié)點相對于所述目標節(jié)點的梯度；

將所述N個節(jié)點相對于所述目標節(jié)點的梯度分別與損失函數(shù)相對于所述N個節(jié)點的梯度對應相乘，所述損失函數(shù)是指以所述深度卷積神經(jīng)網(wǎng)絡模型中相鄰兩層的節(jié)點之間的權值為自變量的復合函數(shù)；

當每相乘得到一個中間計算結果時，將計算得到的中間計算結果存儲至對應的輔助節(jié)點中；

當所述N個輔助節(jié)點中均已存儲有中間計算結果時，將所述N個輔助節(jié)點中存儲的中間計算結果傳遞給所述目標節(jié)點；

基于所述N個輔助節(jié)點存儲的中間計算結果對所述目標節(jié)點與所述N個節(jié)點之間的權值進行訓練。

可選地，所述基于所述N個輔助節(jié)點存儲的中間計算結果對所述目標節(jié)點與所述N個節(jié)點之間的權值進行訓練，包括：

在所述目標節(jié)點中將所述N個輔助節(jié)點中存儲的中間計算結果相加，得到所述損失函數(shù)相對于所述目標節(jié)點的梯度；

基于所述損失函數(shù)相對于所述目標節(jié)點的梯度，對所述目標節(jié)點與所述N個節(jié)點之間的權值進行訓練。

可選地，所述將所述N個節(jié)點相對于所述目標節(jié)點的梯度分別與損失函數(shù)相對于所述N個節(jié)點的梯度對應相乘之前，還包括：