[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、訓(xùn)練裝置和電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201910507780.1
• 申請(qǐng)日: 2019-06-12
• 公開（公告）號(hào): CN112085041A
• 公開（公告）日: 2020-12-15
• 發(fā)明（設(shè)計(jì)）人: 徐麟;孫瀚;陳志遠(yuǎn)
• 申請(qǐng)（專利權(quán)）人: 北京地平線機(jī)器人技術(shù)研發(fā)有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04
• 代理公司: 北京彩和律師事務(wù)所 11688
• 代理人: 劉磊;閆桑田

公開了一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、神經(jīng)網(wǎng)絡(luò)的訓(xùn)練裝置和電子設(shè)備。該神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法包括：通過神經(jīng)網(wǎng)絡(luò)從一批樣本獲得樣本距離矩陣，所述樣本距離矩陣包括所述一批樣本中的同類樣本距離和異類樣本距離；計(jì)算出與所述樣本距離矩陣對(duì)應(yīng)的最優(yōu)傳輸規(guī)劃矩陣；基于所述樣本距離矩陣與所述最優(yōu)傳輸規(guī)劃矩陣的乘積的加權(quán)之和，確定最優(yōu)傳輸損失函數(shù)值；以及，基于所述最優(yōu)傳輸損失函數(shù)值更新所述神經(jīng)網(wǎng)絡(luò)和所述最優(yōu)傳輸規(guī)劃矩陣的參數(shù)。這樣，通過對(duì)一批樣本當(dāng)中的難樣本進(jìn)行挖掘，提高了網(wǎng)絡(luò)的訓(xùn)練的收斂速率和性能。

技術(shù)領(lǐng)域

本申請(qǐng)涉及深度學(xué)習(xí)領(lǐng)域，且更為具體地，涉及一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練裝置和電子設(shè)備。

背景技術(shù)

在深度學(xué)習(xí)領(lǐng)域中，通過學(xué)習(xí)數(shù)據(jù)的語義嵌入度量，縮小數(shù)據(jù)類內(nèi)差異(或距離)，使相似的同類樣本聚集在一起，以及擴(kuò)大數(shù)據(jù)類間差異(或距離)，使不相似的異類樣本分開是物體識(shí)別任務(wù)的重要基礎(chǔ)。

隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展，深度度量學(xué)習(xí)近年來越來越受到重視。在深度度量學(xué)習(xí)中，通過端到端地訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，可以學(xué)習(xí)到復(fù)雜的高度非線性的數(shù)據(jù)深度特征表示(從輸入空間到低維語義嵌入度量空間)。

深度度量學(xué)習(xí)到的深度特征表示和語義嵌入度量在視覺識(shí)別中有廣泛的應(yīng)用場(chǎng)景和優(yōu)異的識(shí)別性能，例如，二維(2D)自然圖像檢索/分類、人臉識(shí)別、三維(3D)物體檢索/分類、多源異構(gòu)視覺感知數(shù)據(jù)跨模態(tài)檢索(例如2D圖像/視頻、3D物體、文本數(shù)據(jù)之間的檢索匹配)等。

因此，期望提供改進(jìn)的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方案。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，提出了本申請(qǐng)。本申請(qǐng)的實(shí)施例提供了一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、神經(jīng)網(wǎng)絡(luò)的訓(xùn)練裝置和電子設(shè)備，其使用區(qū)分同類樣本和異類樣本的樣本距離矩陣及其對(duì)應(yīng)的最優(yōu)傳輸規(guī)劃矩陣來構(gòu)造最優(yōu)傳輸損失函數(shù)值并以此訓(xùn)練神經(jīng)網(wǎng)絡(luò)，從而學(xué)習(xí)樣本重要性驅(qū)動(dòng)的距離度量，提高了網(wǎng)絡(luò)訓(xùn)練的收斂速率。

根據(jù)本申請(qǐng)的一方面，提供了一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，包括：通過神經(jīng)網(wǎng)絡(luò)從一批樣本獲得樣本距離矩陣，所述樣本距離矩陣包括所述一批樣本中的同類樣本距離和異類樣本距離；計(jì)算出與所述樣本距離矩陣對(duì)應(yīng)的最優(yōu)傳輸規(guī)劃矩陣；基于所述樣本距離矩陣與所述最優(yōu)傳輸規(guī)劃矩陣的乘積的加權(quán)之和，確定最優(yōu)傳輸損失函數(shù)值；以及，基于所述最優(yōu)傳輸損失函數(shù)值更新所述神經(jīng)網(wǎng)絡(luò)和所述最優(yōu)傳輸規(guī)劃矩陣的參數(shù)。

根據(jù)本申請(qǐng)的另一方面，提供了一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練裝置，包括：距離矩陣獲得單元，用于通過神經(jīng)網(wǎng)絡(luò)從一批樣本獲得樣本距離矩陣，所述樣本距離矩陣包括所述一批樣本中的同類樣本距離和異類樣本距離；傳輸矩陣獲得單元，用于計(jì)算出與所述距離矩陣獲得單元所獲得的所述樣本距離矩陣對(duì)應(yīng)的最優(yōu)傳輸規(guī)劃矩陣；損失函數(shù)確定單元，用于基于所述距離矩陣獲得單元所獲得的所述樣本距離矩陣與所述傳輸矩陣獲得單元所獲得的所述最優(yōu)傳輸規(guī)劃矩陣的乘積的加權(quán)之和，確定最優(yōu)傳輸損失函數(shù)值；以及，參數(shù)更新單元，用于基于所述損失函數(shù)確定單元所確定的所述最優(yōu)傳輸損失函數(shù)值更新所述神經(jīng)網(wǎng)絡(luò)和所述最優(yōu)傳輸規(guī)劃矩陣的參數(shù)。

根據(jù)本申請(qǐng)的再一方面，提供了一種電子設(shè)備，包括：處理器；以及，存儲(chǔ)器，在所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令在被所述處理器運(yùn)行時(shí)使得所述處理器執(zhí)行如上所述的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法。

根據(jù)本申請(qǐng)的又一方面，提供了一種計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令在被處理器運(yùn)行時(shí)使得所述處理器執(zhí)行如上所述的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法。

本申請(qǐng)?zhí)峁┑纳窠?jīng)網(wǎng)絡(luò)的訓(xùn)練方法、神經(jīng)網(wǎng)絡(luò)的訓(xùn)練裝置和電子設(shè)備使用包括一批樣本中的同類樣本距離和異類樣本距離的樣本距離矩陣來通過最優(yōu)傳輸方法計(jì)算出最優(yōu)傳輸規(guī)劃矩陣，使得能夠按照樣本的重要性賦予難樣本更高的權(quán)重，這樣，通過基于最優(yōu)傳輸規(guī)劃矩陣構(gòu)造最優(yōu)傳輸損失函數(shù)并以此訓(xùn)練神經(jīng)網(wǎng)絡(luò)，可以使得神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)到樣本重要性驅(qū)動(dòng)的距離度量，從而提高網(wǎng)絡(luò)訓(xùn)練的收斂速率。

附圖說明