[發明專利]訓練深度卷積神經網絡模型的方法、裝置及存儲介質

有效

• 申請號: 201710977989.5
• 申請日: 2017-10-17
• 公開（公告）號: CN107590534B
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 萬韶華
• 申請（專利權）人: 北京小米移動軟件有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06K9/62
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 林錦瀾

1.一種基于深度卷積神經網絡模型的圖像識別方法，其特征在于，所述方法包括：

在通過梯度后向傳播算法訓練深度卷積神經網絡模型的過程中，當所述深度卷積神經網絡模型中目標層包括的目標節點的輸出值作為下一層包括的N個節點的輸入值時，在所述目標節點與所述N個節點之間添加N個輔助節點；

其中，所述目標層為所述深度卷積神經網絡包括的任一層，所述目標節點為所述目標層包括的任一節點，所述N大于1且小于或等于所述下一層包括的節點的總個數；

通過所述N個輔助節點對所述目標節點與所述N個節點之間的權值進行訓練，從而得到一組使得圖像識別率較高的權值；

使用訓練后的深度卷積神經網絡模型進行圖像識別；

其中，所述通過所述N個輔助節點對所述目標節點與所述N個節點之間的權值進行訓練，從而得到一組使得圖像識別率較高的權值，包括：

計算所述N個節點相對于所述目標節點的梯度；

將所述N個節點相對于所述目標節點的梯度分別與損失函數相對于所述N個節點的梯度對應相乘，所述損失函數是指以所述深度卷積神經網絡模型中相鄰兩層的節點之間的權值為自變量的復合函數；

當每相乘得到一個中間計算結果時，將計算得到的中間計算結果存儲至對應的輔助節點中；

當所述N個輔助節點中均已存儲有中間計算結果時，將所述N個輔助節點中存儲的中間計算結果傳遞給所述目標節點；

基于所述N個輔助節點存儲的中間計算結果對所述目標節點與所述N個節點之間的權值進行訓練，從而得到一組使得圖像識別率較高的權值。

2.根據權利要求1所述的方法，其特征在于，所述基于所述N個輔助節點存儲的中間計算結果對所述目標節點與所述N個節點之間的權值進行訓練，從而得到一組使得圖像識別率較高的權值，包括：

在所述目標節點中將所述N個輔助節點中存儲的中間計算結果相加，得到所述損失函數相對于所述目標節點的梯度；

基于所述損失函數相對于所述目標節點的梯度，對所述目標節點與所述N個節點之間的權值進行訓練，從而得到一組使得圖像識別率較高的權值。

3.根據權利要求1或2所述的方法，其特征在于，所述將所述N個節點相對于所述目標節點的梯度分別與損失函數相對于所述N個節點的梯度對應相乘之前，還包括：

從所述N個節點中分別獲取損失函數相對于所述N個節點的梯度。

4.根據權利要求2所述的方法，其特征在于，所述在所述目標節點中將所述N個輔助節點中存儲的中間計算結果相加，得到所述損失函數相對于所述目標節點的梯度之后，還包括：

將所述損失函數相對于所述目標節點的梯度存儲至所述目標節點中。

5.一種基于深度卷積神經網絡模型的圖像識別裝置，其特征在于，所述裝置包括：

添加模塊，用于在通過梯度后向傳播算法訓練深度卷積神經網絡模型的過程中，當所述深度卷積神經網絡模型中目標層包括的目標節點的輸出值作為下一層包括的N個節點的輸入值時，在所述目標節點與所述N個節點之間添加N個輔助節點；

其中，所述目標層為所述深度卷積神經網絡包括的任一層，所述目標節點為所述目標層包括的任一節點，所述N大于1且小于或等于所述下一層包括的節點的總個數；

訓練模塊，用于通過所述N個輔助節點對所述目標節點與所述N個節點之間的權值進行訓練，從而得到一組使得圖像識別率較高的權值；使用訓練后的深度卷積神經網絡模型進行圖像識別；

所述訓練模塊包括：

計算子模塊，用于計算所述N個節點相對于所述目標節點的梯度；

相乘子模塊，用于將所述N個節點相對于所述目標節點的梯度分別與損失函數相對于所述N個節點的梯度對應相乘，所述損失函數是指以所述深度卷積神經網絡模型中相鄰兩層的節點之間的權值為自變量的復合函數；

存儲子模塊，用于當每相乘得到一個中間計算結果時，將計算得到的中間計算結果存儲至對應的輔助節點中；

傳遞子模塊，用于當所述N個輔助節點中均已存儲有中間計算結果時，將所述N個輔助節點中存儲的中間計算結果傳遞給所述目標節點；

訓練子模塊，用于基于所述N個輔助節點存儲的中間計算結果對所述目標節點與所述N個節點之間的權值進行訓練，從而得到一組使得圖像識別率較高的權值。