[發明專利]神經網絡的訓練方法、訓練裝置和電子設備

在審

• 申請號: 201910507780.1
• 申請日: 2019-06-12
• 公開（公告）號: CN112085041A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 徐麟;孫瀚;陳志遠
• 申請（專利權）人: 北京地平線機器人技術研發有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 北京彩和律師事務所 11688
• 代理人: 劉磊;閆桑田

1.一種神經網絡的訓練方法，包括：

通過神經網絡從一批樣本獲得樣本距離矩陣，所述樣本距離矩陣包括所述一批樣本中的同類樣本距離和異類樣本距離；

計算出與所述樣本距離矩陣對應的最優傳輸規劃矩陣；

基于所述樣本距離矩陣與所述最優傳輸規劃矩陣的乘積的加權之和，確定最優傳輸損失函數值；以及

基于所述最優傳輸損失函數值更新所述神經網絡和所述最優傳輸規劃矩陣的參數。

2.如權利要求1所述的神經網絡的訓練方法，其中，通過神經網絡從一批樣本獲得樣本距離矩陣包括：

通過所述神經網絡從所述一批樣本獲得同類樣本距離矩陣；

通過所述神經網絡從所述一批樣本獲得異類樣本距離矩陣；以及

逐元素合并所述同類樣本距離矩陣和所述異類樣本距離矩陣以獲得樣本距離矩陣。

3.如權利要求2所述的神經網絡的訓練方法，其中，

所述同類樣本距離是第一冪函數，所述第一冪函數的底數是自然常數，且所述第一冪函數的指數是縮放參數與樣本間的歐氏距離的乘積；以及

所述異類樣本距離是第二冪函數，所述第二冪函數的底數是自然常數，所述第二冪函數的指數是所述縮放參數與樣本間的歐氏距離的鉸鏈損失值的乘積。

4.如權利要求1所述的神經網絡的訓練方法，其中，基于所述樣本距離矩陣與所述最優傳輸規劃矩陣的乘積的加權和計算最優傳輸損失函數值包括：

將用于表示一對樣本間的相似性的二元標簽作為用于計算所述加權和的權重；以及

基于所述權重來對所述樣本距離矩陣與所述最優傳輸規劃矩陣的乘積加權以獲得所述最優傳輸損失函數值。

5.如權利要求4所述的神經網絡的訓練方法，其中，基于所述最優傳輸損失函數值更新所述神經網絡和所述最優傳輸規劃矩陣的參數包括：

基于所述最優傳輸損失函數值通過梯度下降的方式更新所述神經網絡。

6.如權利要求5所述的神經網絡的訓練方法，其中，基于所述最優傳輸損失函數值通過梯度下降的方式更新所述神經網絡包括：

計算所述最優傳輸規劃矩陣與其對應的特征差值以及所述權重的差值的乘積；

將所述乘積對于所述多個樣本求和以計算出所述最優傳輸損失函數值的梯度；以及

基于所述梯度通過梯度下降的方式更新所述神經網絡。

7.如權利要求1所述的神經網絡的訓練方法，其中，通過神經網絡從一批樣本獲得樣本距離矩陣包括：

通過深度神經網絡從所述一批樣本獲得特征圖；以及

通過深度矩陣學習網絡從所述特征圖獲得所述樣本距離矩陣。

8.如權利要求1所述的神經網絡的訓練方法，其中，所述一批樣本包括二維圖像、二維手繪草圖和三維物體形狀中的至少一個。

9.一種神經網絡的訓練裝置，包括：

距離矩陣獲得單元，用于通過神經網絡從一批樣本獲得樣本距離矩陣，所述樣本距離矩陣包括所述一批樣本中的同類樣本距離和異類樣本距離；

傳輸矩陣獲得單元，用于計算出與所述距離矩陣獲得單元所獲得的所述樣本距離矩陣對應的最優傳輸規劃矩陣；

損失函數確定單元，用于基于所述距離矩陣獲得單元所獲得的所述樣本距離矩陣與所述傳輸矩陣獲得單元所獲得的所述最優傳輸規劃矩陣的乘積的加權之和，確定最優傳輸損失函數值；以及

參數更新單元，用于基于所述損失函數確定單元所確定的所述最優傳輸損失函數值更新所述神經網絡和所述最優傳輸規劃矩陣的參數。