[發(fā)明專利]訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的方法、系統(tǒng)和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010968722.1
• 申請日: 2020-09-15
• 公開（公告）號: CN112232480A
• 公開（公告）日: 2021-01-15
• 發(fā)明（設(shè)計）人: 蒲恒;劉強(qiáng)
• 申請（專利權(quán)）人: 深圳力維智聯(lián)技術(shù)有限公司;南京中興力維軟件有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 深圳鼎合誠知識產(chǎn)權(quán)代理有限公司 44281
• 代理人: 彭家恩;彭愿潔

訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的方法、系統(tǒng)和存儲介質(zhì)，所述方法包括：獲取訓(xùn)練數(shù)據(jù)；構(gòu)造第一旁路分支；構(gòu)造第二旁路分支；計算預(yù)測概率分布和第一旁路分支預(yù)測概率分布、第二旁路分支預(yù)測概率分布；計算預(yù)測概率分布與實(shí)際分布的損失、第一旁路分支預(yù)測概率分布與實(shí)際分布的損失和第二旁路分支預(yù)測概率分布與實(shí)際分布的損失；計算預(yù)測概率分布、第一旁路分支預(yù)測概率分布和第二旁路分支預(yù)測概率分布兩兩間的散度損失；對神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進(jìn)行迭代優(yōu)化。本發(fā)明中所構(gòu)造的旁路分支的隱層與神經(jīng)網(wǎng)絡(luò)模型的隱層一一對應(yīng)，且引入散度損失作為整體模型參數(shù)優(yōu)化的依據(jù)之一，從而使得多個分支的優(yōu)化目標(biāo)一致，提升了神經(jīng)網(wǎng)絡(luò)模型的性能。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，具體涉及訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的方法、系統(tǒng)和存儲介質(zhì)。

背景技術(shù)

傳統(tǒng)的訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的方法通常是在模型的輸出層施加監(jiān)督信號，通過損失函數(shù)來度量模型輸出與真實(shí)值的差異，并且通過梯度下降法來更新模型參數(shù)，以使得網(wǎng)絡(luò)輸出能夠符合真實(shí)值，從而完成模型的訓(xùn)練過程。但是由于網(wǎng)絡(luò)模型的設(shè)計可能存在不合理之處，從而阻止了梯度流在網(wǎng)絡(luò)中的流動，造成了神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程中存在梯度消失或者參數(shù)冗余等問題。為了解決這一問題，通常的做法是在網(wǎng)絡(luò)的中間隱層引入旁路分支，直接連接一全連接層，并在全連接層上施加監(jiān)督信號直接對中間隱層進(jìn)行監(jiān)督。

然而神經(jīng)網(wǎng)絡(luò)的特征表示能力是分層級的，一般地，神經(jīng)網(wǎng)絡(luò)的高層具有抽取細(xì)節(jié)信息的能力，層級越高，特征表示能力越強(qiáng)，特征也越抽象，特征的語義信息也更加豐富。由于神經(jīng)網(wǎng)絡(luò)的這種特性，直接在中間隱層引入全連接層并施加監(jiān)督信號將會破壞神經(jīng)網(wǎng)絡(luò)的分層表示能力，從而在一定程度上破壞神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程，使得多個分支的優(yōu)化目標(biāo)不一致，導(dǎo)致模型的性能，如識別能力或者分類能力得不到有效提升。

發(fā)明內(nèi)容

本申請?zhí)峁┮环N訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的方法、系統(tǒng)和存儲介質(zhì)，能夠在使用旁路分支訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型時，使得多個分支的優(yōu)化目標(biāo)一致，從而更好地提升模型的性能。

根據(jù)第一方面，一種實(shí)施例中提供一種訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的方法，包括：

獲取訓(xùn)練數(shù)據(jù)；

以神經(jīng)網(wǎng)絡(luò)模型的其中一隱層為第一旁路分支輸入層構(gòu)造第一旁路分支，所述第一旁路分支的輸入數(shù)據(jù)為所述第一旁路分支輸入層的輸出數(shù)據(jù)，所述第一旁路分支的隱層與所述神經(jīng)網(wǎng)絡(luò)模型中第一旁路分支輸入層和全連接層之間的隱層一一對應(yīng)，所述第一旁路分支的全連接層為所述神經(jīng)網(wǎng)絡(luò)模型的全連接層；

以所述神經(jīng)網(wǎng)絡(luò)模型的其中另一隱層為第二旁路分支輸入層構(gòu)造第二旁路分支，所述第二旁路分支的輸入數(shù)據(jù)為所述第二旁路分支輸入層的輸出數(shù)據(jù)，所述第二旁路分支的隱層與所述神經(jīng)網(wǎng)絡(luò)模型中第二旁路分支輸入層和全連接層之間的隱層一一對應(yīng)，所述第二旁路分支的全連接層為所述神經(jīng)網(wǎng)絡(luò)模型的全連接層；

通過所述神經(jīng)網(wǎng)絡(luò)模型對所述訓(xùn)練數(shù)據(jù)的計算，得到所述訓(xùn)練數(shù)據(jù)的預(yù)測概率分布，以及所述第一旁路分支輸入層和所述第二旁路分支輸入層的輸出數(shù)據(jù)；

通過所述第一旁路分支對所述第一旁路分支輸入層的輸出數(shù)據(jù)的計算，得到所述訓(xùn)練數(shù)據(jù)的第一旁路分支預(yù)測概率分布；通過所述第二旁路分支對所述第二旁路分支輸入層的輸出數(shù)據(jù)的計算，得到所述訓(xùn)練數(shù)據(jù)的第二旁路分支預(yù)測概率分布；

根據(jù)第一損失函數(shù)，分別計算所述預(yù)測概率分布與實(shí)際分布的損失、所述第一旁路分支預(yù)測概率分布與實(shí)際分布的損失以及所述第二旁路分支預(yù)測概率分布與實(shí)際分布的損失；

計算所述預(yù)測概率分布、所述第一旁路分支預(yù)測概率分布和所述第二旁路分支預(yù)測概率分布兩兩間的散度損失；