[發明專利]訓練卷積神經網絡模型的方法、裝置及存儲介質

有效

• 申請號: 201710675297.5
• 申請日: 2017-08-09
• 公開（公告）號: CN107480773B
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 萬韶華
• 申請（專利權）人: 北京小米移動軟件有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 林錦瀾

本公開是關于一種訓練卷積神經網絡模型的方法、裝置及存儲介質，涉及深度學習技術領域，該方法包括：對于卷積神經網絡模型包括的多個隱含層中的每個隱含層，基于隱含層的隱藏概率從隱含層包括的多個節點中選擇目標節點，該多個隱含層的隱藏概率不相同；基于從多個隱含層中選擇的目標節點對卷積神經網絡模型進行訓練。由于不同的隱含層對應不同的輸入值，因此，當采用不同的隱藏概率從不同的隱含層中選擇目標節點進行訓練時，相較于相關技術中對所有隱含層均采用相同的隱藏概率進行訓練，可以有效的提高卷積神經網絡模型的圖像識別準確率。

技術領域

本公開涉及深度學習技術領域，尤其涉及一種訓練卷積神經網絡模型的方法、裝置及存儲介質。

背景技術

近年來，深度學習技術被廣泛的用于圖像識別和分類領域。其中，深度學習技術中采用的卷積神經網絡模型一般均為多層的卷積網絡。在訓練該卷積神經網絡模型時，如果訓練集中的樣本較少，就容易導致過擬合，從而造成圖像識別準確率降低。為了解決上述問題，可以采用Dropout算法對卷積神經網絡模型進行訓練。

相關技術中，卷積神經網絡模型可以包括一個輸入層、一個輸出層和多個隱含層，該多個隱含層位于輸入層和輸出層之間，輸入層與第一個隱含層連接，第一個隱含層的輸出值作為與其相鄰的下一個隱含層的輸入值，最后一個隱含層的輸出值則作為輸出層的輸入值。當采用Dropout算法對卷積神經網絡模型進行訓練時，對于卷積神經網絡模型中的每個隱含層，可以根據預設概率從該隱含層包括的多個節點中選擇目標節點，并根據從該多個隱含層中選擇的目標節點對卷積神經網絡模型進行訓練。

發明內容

為克服相關技術中采用相同的預設概率對卷積神經網絡模型進行訓練時造成的卷積神經網絡模型的圖像識別準確率較低的問題，本公開提供一種訓練卷積神經網絡模型的方法、裝置及存儲介質。

根據本公開實施例的第一方面，提供一種訓練卷積神經網絡模型的方法，包括：

對于卷積神經網絡模型包括的多個隱含層中的每個隱含層，基于所述隱含層的隱藏概率從所述隱含層包括的多個節點中選擇目標節點，所述多個隱含層的隱藏概率不相同；

基于從所述多個隱含層中選擇的目標節點對所述卷積神經網絡模型進行訓練。

可選地，所述基于所述隱含層的隱藏概率從所述隱含層包括的多個節點中選擇目標節點之前，還包括：

確定所述卷積神經網絡模型包括的多個隱含層中每個隱含層的隱藏概率，所述多個隱含層的隱藏概率按照所述多個隱含層輸出值的抽象程度從高到低的順序依次升高。

可選地，所述確定卷積神經網絡模型包括的多個隱含層中每個隱含層的隱藏概率，包括：

對于所述卷積神經網絡模型包括的多個隱含層中的每個隱含層，獲取所述隱含層的輸出值；

基于所述隱含層的輸出值，確定所述隱含層的隱藏概率。

可選地，所述基于所述隱含層的輸出值，確定所述隱含層的隱藏概率，包括：

對所述隱含層的輸出值進行奇異值分解，得到N個奇異值，所述N為大于1的正整數；

計算所述N個奇異值的平方和，并計算所述N個奇異值的平方和與預設比例的乘積，得到目標平方和；

將所述N個奇異值按照從大到小的順序進行排序，得到排序結果；

確定所述排序結果中的第M個奇異值，其中，所述排序結果中的前M個奇異值的平方和大于所述目標平方和，且所述排序結果中的前M-1個奇異值的平方和小于所述目標平方和，所述M為大于或等于1的正整數；

將所述M和所述N的比值確定為所述隱含層的隱藏概率。

可選地，所述確定卷積神經網絡模型包括的多個隱含層中每個隱含層的隱藏概率，包括：