[發明專利]卷積網絡訓練方法和裝置

在審

• 申請號: 201811351684.4
• 申請日: 2018-11-14
• 公開（公告）號: CN111191782A
• 公開（公告）日: 2020-05-22
• 發明（設計）人: 侯國梁
• 申請（專利權）人: 普天信息技術有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 孫清然;王琦

1.一種卷積網絡訓練方法，其特征在于，包括：

對于每批小批訓練圖片mini-batch，在利用深度卷積網絡，提取其中每張圖片的特征向量后，根據所述特征向量，計算相應的損失值，并基于內聚原則確定相應的內聚性損失值；

根據所述內聚性損失值對所述損失值進行修正，根據所述修正的結果，對所述深度卷積網絡的參數進行反向傳播調整，完成本次小批訓練圖片的訓練。

2.根據權利要求1所述的方法，其特征在于，所述基于內聚原則確定相應的內聚性損失值包括：

對于當前所述mini-batch的訓練樣本對應的每一類c，根據本mini-batch對應的第c類特征向量，對當前的第c類特征向量的均值和當前的第c類特征向量的標準差分別進行更新；

利用更新后的所述和所述按照按照，計算損失修正值其中，為當前所述mini-batch中第c類的第i個特征向量，N為當前所述mini-batch中參與訓練的第c類的特征向量數量；‖*‖₂|*|表示將其中的向量*的2范數，max()表示在向量所有維度上分別執行取較大值為結果的操作；β為預設的比例系數；

利用當前所有類的損失修正值和所有類的特征向量的均值，按照進行異常值去除處理，并對所述異常值去除處理后得到的按照進行取較大值為結果的操作；其中M為類總數；

根據所述取較大值為結果的操作后得到的按照得到所述內聚性損失值loss_σ。

3.根據權利要求2所述的方法，其特征在于，對當前的所述第c類特征向量的均值進行更新包括：

如果當前所述為初始值0，則將所述更新為當前所述mini-batch中參與訓練的第c類特征向量的均值；

如果當前所述不為初始值0，則按照得到更新后的其中，為當前所述mini-batch中參與訓練的第c類特征向量的均值，α為預設的權重系數；0≤α≤1；等式右側的為更新前的第c類特征向量的均值，等式左側的為更新后的第c類特征向量的均值。

4.根據權利要求2所述的方法，其特征在于，對當前的所述第c類特征向量的標準差進行更新包括：

如果當前所述為初始值0，則將所述更新為當前所述mini-batch中參與訓練的第c類特征向量的標準差；

如果當前所述不為初始值0，則按照得到更新后的其中，為當前所述mini-batch中參與訓練的第c類特征向量的標準差，α為預設的權重系數；0≤α≤1；等式右側的為更新前的第c類特征向量的標準差，等式左側的為更新后的第c類特征向量的標準差。

5.根據權利要求1所述的方法，其特征在于，所述根據所述內聚性損失值對所述損失值進行修正包括：

按照loss′＝loss+loss_σ，對所述損失值loss進行修正，得到修正后的損失值loss′，其中，loss_σ為所述內聚性損失值。

6.一種卷積網絡訓練裝置，其特征在于，包括：

第一單元，用于對于每批小批訓練圖片mini-batch，在利用深度卷積網絡，提取其中每張圖片的特征向量后，根據所述特征向量，計算相應的損失值，并基于內聚原則確定相應的內聚性損失值；

第二單元，用于根據所述內聚性損失值對所述損失值進行修正，根據所述修正的結果，對所述深度卷積網絡的參數進行反向傳播調整，完成本次小批訓練圖片的訓練。