[發明專利]卷積網絡訓練方法和裝置

在審

• 申請號: 201811351684.4
• 申請日: 2018-11-14
• 公開（公告）號: CN111191782A
• 公開（公告）日: 2020-05-22
• 發明（設計）人: 侯國梁
• 申請（專利權）人: 普天信息技術有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 孫清然;王琦

本申請公開了一種卷積網絡訓練方法和裝置，其中方法包括：對于每批小批訓練圖片mini?batch，在利用深度卷積網絡，提取其中每張圖片的特征向量后，根據所述特征向量，計算相應的損失值，并基于內聚原則確定相應的內聚性損失值；根據所述內聚性損失值對所述損失值進行修正，根據所述修正的結果，對所述深度卷積網絡的參數進行反向傳播調整，完成本次小批訓練圖片的訓練。采用本發明，可以有效解決數據規模較大時訓練性能急劇下降的問題。

技術領域

本發明涉及移動通信技術，特別是涉及一種卷積網絡訓練方法和裝置。

背景技術

近年來，卷積深度學習技術在各項工程中逐漸發揮了重要作用。綜合來說，除了強化學習和以生成式對抗網絡(GAN)為代表的多網絡模型外，簡單的端到端深度卷積網絡主要解決視覺方面的三個問題：分類問題，回歸問題和基于特征的距離相似度問題。

深度卷積網絡的距離相似度用于解決諸如人臉識別，以圖搜圖等用于判別圖和圖之間的相似度問題，甚至通過閾值間接達到分類問題。

現有的網絡訓練方法通常是利用卷積提取特征，通過構造正負樣本對的方式，對于bottleneck層進行設計，并通過不同的距離算法，實現整個網絡能夠將正樣本靠近，負樣本遠離達到有一定相似度識別能力的深度卷積網絡。

發明人在實現本發明的過程中，發現：當前網絡訓練方案的各類算法在設計過程中主要考慮能夠實現距離相似度區分，但是沒有考慮到采用同類盡量靠近的方式。這樣，雖然現有的網絡訓練方案在一定規模的數據預測效果較好，但是，數據增大到一定規模使得向量密布所在的維度空間時，便會由于空間飽和情況，而使得相互之間的區分度迅速下降，從而導致性能急劇下降。

例如，假設樣本輸出為二維向量(x1,x2)，采用現有的網絡訓練方法，正常訓練好的距離估計實現框圖如圖1所示。對應的向量映射到二維空間示意圖如圖2所示。從上述圖中可以看出，訓練好的深度卷積網絡雖然能夠正確區分正負樣本，并且也有較好的對于相似圖片聚集的效果，但當在推理過程中，圖片數量增加，雖然有區分度，但是并不能使得(gf)，(ab)，(cd)達到盡量聚攏的情況，并且假設e被錯誤標記在gf所在類內時，就有可能較為嚴重的影響到方案的性能(采用上述傳統的網絡訓練方法會將egf進行收攏聚集操作)。

發明內容

有鑒于此，本發明的主要目的在于提供一種卷積網絡訓練方法和裝置，可以解決數據規模較大時訓練性能急劇下降的問題。

為了達到上述目的，本發明提出的技術方案為：

一種卷積網絡訓練方法，包括：

對于每批小批訓練圖片mini-batch，在利用深度卷積網絡，提取其中每張圖片的特征向量后，根據所述特征向量，計算相應的損失值，并基于內聚原則確定相應的內聚性損失值；

根據所述內聚性損失值對所述損失值進行修正，根據所述修正的結果，對所述深度卷積網絡的參數進行反向傳播調整，完成本次小批訓練圖片的訓練。

較佳地，所述基于內聚原則確定相應的內聚性損失值包括：

對于當前所述mini-batch的訓練樣本對應的每一類c，根據本mini-batch對應的第c類特征向量，對當前的第c類特征向量的均值和當前的第c類特征向量的標準差分別進行更新；

利用更新后的所述和所述按照計算損失修正值其中，為當前所述mini-batch中第c類的第i個特征向量，N為當前所述mini-batch中參與訓練的第c類的特征向量數量；‖*‖₂表示將其中的向量*的2范數，max()表示在向量所有維度上分別執行取較大值為結果的操作；β為預設的比例系數；

利用當前所有類的損失修正值和所有類的特征向量的均值，按照進行異常值去除處理，并對所述異常值去除處理后得到的按照進行取較大值為結果的操作；其中M為類總數；