[發(fā)明專利]深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811528375.X
• 申請(qǐng)日: 2018-12-13
• 公開(kāi)（公告）號(hào): CN109816092B
• 公開(kāi)（公告）日: 2020-06-05
• 發(fā)明（設(shè)計(jì)）人: 柴振華;孟歡歡
• 申請(qǐng)（專利權(quán)）人: 北京三快在線科技有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 莎日娜

本申請(qǐng)公開(kāi)了一種深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，屬于計(jì)算機(jī)技術(shù)領(lǐng)域，用于解決現(xiàn)有技術(shù)中訓(xùn)練的神經(jīng)網(wǎng)絡(luò)在復(fù)雜場(chǎng)景下性能較低的問(wèn)題。所述方法包括：獲取設(shè)置有預(yù)設(shè)類別標(biāo)簽的若干訓(xùn)練樣本，基于所述若干訓(xùn)練樣本，訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型；其中，所述神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù)用于根據(jù)與各所述訓(xùn)練樣本的區(qū)分難度成正比的第一權(quán)值進(jìn)行加權(quán)運(yùn)算，確定所述神經(jīng)網(wǎng)絡(luò)模型的損失值。本申請(qǐng)實(shí)施例公開(kāi)的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，通過(guò)自適應(yīng)提升區(qū)分難度較大的訓(xùn)練樣本在訓(xùn)練樣本中的重要性，避免區(qū)分難度較大的樣本被訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)錯(cuò)誤分類，有助于提升所述神經(jīng)網(wǎng)絡(luò)的性能。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別是涉及一種深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

近年來(lái)，深度學(xué)習(xí)在模式識(shí)別領(lǐng)域取得了顯著的進(jìn)展，其關(guān)鍵因素可以包括：網(wǎng)絡(luò)模型豐富靈活、運(yùn)算能力強(qiáng)、更適應(yīng)大數(shù)據(jù)處理。隨著神經(jīng)網(wǎng)絡(luò)被應(yīng)用于不同任務(wù)，對(duì)于神經(jīng)網(wǎng)絡(luò)模型的改進(jìn)也是本領(lǐng)域技術(shù)人員研究的關(guān)鍵問(wèn)題。現(xiàn)有技術(shù)中對(duì)神經(jīng)網(wǎng)絡(luò)模型的改進(jìn)主要集中在兩個(gè)方面：網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)。其中，常用于分類模型訓(xùn)練的損失函數(shù)主要是Softmax loss，以及2016年在國(guó)際頂會(huì)議ECCV上基于Softmax改進(jìn)的Center loss。然而，申請(qǐng)人通過(guò)對(duì)現(xiàn)有技術(shù)中采用Center loss作為損失函數(shù)的神經(jīng)網(wǎng)絡(luò)進(jìn)行研究發(fā)現(xiàn)，如果訓(xùn)練神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本中存在噪聲較大的樣本或區(qū)分性較弱的訓(xùn)練樣本，利用現(xiàn)有的損失函數(shù)訓(xùn)練得到的模型進(jìn)行測(cè)試，對(duì)訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)的分類或識(shí)別結(jié)果的提升都是有限的。因此，結(jié)合訓(xùn)練樣本的特點(diǎn)進(jìn)行深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練，才能夠提升訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)的性能,進(jìn)而提升應(yīng)用訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)進(jìn)行分類識(shí)別的準(zhǔn)確性。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，有助于提升訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)的性能，從而提升應(yīng)用訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)進(jìn)行分類識(shí)別的準(zhǔn)確性。

為了解決上述問(wèn)題，第一方面，本申請(qǐng)實(shí)施例提供了一種深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，包括：

獲取設(shè)置有預(yù)設(shè)類別標(biāo)簽的若干訓(xùn)練樣本；

基于所述若干訓(xùn)練樣本，訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型；

其中，所述神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù)用于根據(jù)與各所述訓(xùn)練樣本的區(qū)分難度成正比的第一權(quán)值進(jìn)行加權(quán)運(yùn)算，確定所述神經(jīng)網(wǎng)絡(luò)模型的損失值，每個(gè)所述訓(xùn)練樣本的區(qū)分難度與所述訓(xùn)練樣本距相應(yīng)類別中心的距離成正比，所述相應(yīng)類別中心為對(duì)所述若干訓(xùn)練樣本聚類后得到類別中包含所述訓(xùn)練樣本的類別的類別中心。

第二方面，本申請(qǐng)實(shí)施例提供了一種深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練裝置，包括：

訓(xùn)練樣本獲取模塊，用于獲取設(shè)置有預(yù)設(shè)類別標(biāo)簽的若干訓(xùn)練樣本；

模型訓(xùn)練模塊，用于基于所述若干訓(xùn)練樣本，訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型；

其中，所述神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù)用于根據(jù)與各所述訓(xùn)練樣本的區(qū)分難度成正比的第一權(quán)值進(jìn)行加權(quán)運(yùn)算，確定所述神經(jīng)網(wǎng)絡(luò)模型的損失值。

第三方面，本申請(qǐng)實(shí)施例還公開(kāi)了一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)本申請(qǐng)實(shí)施例所述的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法。

第四方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)本申請(qǐng)實(shí)施例公開(kāi)的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法的步驟。