[發(fā)明專利]深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法和系統(tǒng)、電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201611097445.1
• 申請(qǐng)日: 2016-12-02
• 公開（公告）號(hào): CN108154222B
• 公開（公告）日: 2020-08-11
• 發(fā)明（設(shè)計(jì)）人: 石建萍;趙恒爽
• 申請(qǐng)（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 北京思源智匯知識(shí)產(chǎn)權(quán)代理有限公司 11657
• 代理人: 毛麗琴

本發(fā)明實(shí)施例公開了深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法和系統(tǒng)、電子設(shè)備，其中，方法包括：在前向傳播過程中，利用深度神經(jīng)網(wǎng)絡(luò)模型對(duì)樣本圖像進(jìn)行場(chǎng)景分析檢測(cè)，獲得中間網(wǎng)絡(luò)層輸出的第一場(chǎng)景分析預(yù)測(cè)結(jié)果和末個(gè)網(wǎng)絡(luò)層輸出的第二場(chǎng)景分析預(yù)測(cè)結(jié)果；確定第一場(chǎng)景分析預(yù)測(cè)結(jié)果和樣本圖像的場(chǎng)景分析標(biāo)注信息之間的第一差異、以及第二場(chǎng)景分析預(yù)測(cè)結(jié)果和樣本圖像的場(chǎng)景分析標(biāo)注信息之間的第二差異；在反向傳播過程中，根據(jù)第一差異調(diào)整第一網(wǎng)絡(luò)層的參數(shù)、并根據(jù)第一差異和第二差異調(diào)整第二網(wǎng)絡(luò)層的參數(shù)；其中：第一網(wǎng)絡(luò)層包括中間網(wǎng)絡(luò)層和末個(gè)網(wǎng)絡(luò)層之間的至少一網(wǎng)絡(luò)層，第二網(wǎng)絡(luò)層包括除第一網(wǎng)絡(luò)層外的其他網(wǎng)絡(luò)層。本發(fā)明實(shí)施例可以獲得更好的網(wǎng)絡(luò)模型優(yōu)化結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)，尤其是一種深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法和洗頭膏、電子設(shè)備。

背景技術(shù)

對(duì)于神經(jīng)網(wǎng)絡(luò)，可以明顯發(fā)現(xiàn)，網(wǎng)絡(luò)的表達(dá)能力和性能隨著網(wǎng)絡(luò)深度的增加而增強(qiáng)。然而，網(wǎng)絡(luò)并非越深越好。除了計(jì)算代價(jià)問題，在網(wǎng)絡(luò)深度較深時(shí)，繼續(xù)增加網(wǎng)絡(luò)層數(shù)并不能提高網(wǎng)絡(luò)性能，反而可能退化。另外，對(duì)于深度很深的神經(jīng)網(wǎng)絡(luò)，由于梯度消失等原因，如何訓(xùn)練一個(gè)深度很深的神經(jīng)網(wǎng)絡(luò)卻一直是一個(gè)困擾人們的問題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種用于進(jìn)行深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的技術(shù)方案。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，包括：

在前向傳播過程中，利用深度神經(jīng)網(wǎng)絡(luò)模型對(duì)樣本圖像進(jìn)行場(chǎng)景分析檢測(cè)，獲得所述深度神經(jīng)網(wǎng)絡(luò)模型的中間網(wǎng)絡(luò)層輸出的第一場(chǎng)景分析預(yù)測(cè)結(jié)果以及末個(gè)網(wǎng)絡(luò)層輸出的第二場(chǎng)景分析預(yù)測(cè)結(jié)果；

確定所述第一場(chǎng)景分析預(yù)測(cè)結(jié)果和所述樣本圖像的場(chǎng)景分析標(biāo)注信息之間的第一差異、以及所述第二場(chǎng)景分析預(yù)測(cè)結(jié)果和所述樣本圖像的場(chǎng)景分析標(biāo)注信息之間的第二差異；

在反向傳播過程中，根據(jù)所述第一差異調(diào)整第一網(wǎng)絡(luò)層的參數(shù)、并根據(jù)所述第一差異和所述第二差異調(diào)整第二網(wǎng)絡(luò)層的參數(shù)；其中：所述第二網(wǎng)絡(luò)層包括所述深度神經(jīng)網(wǎng)絡(luò)模型中位于所述中間網(wǎng)絡(luò)層和所述末個(gè)網(wǎng)絡(luò)層之間的至少一網(wǎng)絡(luò)層，所述第一網(wǎng)絡(luò)層包括所述深度神經(jīng)網(wǎng)絡(luò)模型中至少一除所述第二網(wǎng)絡(luò)層之外的其他網(wǎng)絡(luò)層。

基于上述方法的另一實(shí)施例中，所述中間網(wǎng)絡(luò)層包括所述深度神經(jīng)網(wǎng)絡(luò)模型中的多個(gè)網(wǎng)絡(luò)層；不同的中間網(wǎng)絡(luò)層進(jìn)行參數(shù)調(diào)整的網(wǎng)絡(luò)層不同。

基于上述方法的另一實(shí)施例中，所述深度神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)層數(shù)量為N，所述中間網(wǎng)絡(luò)層為所述深度神經(jīng)網(wǎng)絡(luò)模型中在前向傳播方向上的第M層；其中，N的取值為大于2的整數(shù)，M的取值為大于2、且小于N的整數(shù)。

基于上述方法的另一實(shí)施例中，M的取值大于N/2。

基于上述方法的另一實(shí)施例中，根據(jù)所述第一差異和所述第二差異調(diào)整各第二網(wǎng)絡(luò)層的參數(shù)，包括：

為所述第一差異和所述第二差異確定不同的權(quán)重；

根據(jù)所述第一差異及其權(quán)重、所述第二差異及其權(quán)重調(diào)整所述第二網(wǎng)絡(luò)層的參數(shù)。

基于上述方法的另一實(shí)施例中，所述第一差異的權(quán)重小于所述第二差異的權(quán)重。

基于上述方法的另一實(shí)施例中，所述中間網(wǎng)絡(luò)層包括輔助分類層；

所述第一場(chǎng)景分析預(yù)測(cè)結(jié)果包括所述輔助分類層輸出的對(duì)所述樣本圖像中各像素的場(chǎng)景分類預(yù)測(cè)結(jié)果。

基于上述方法的另一實(shí)施例中，所述方法還包括：

對(duì)所述深度神經(jīng)網(wǎng)絡(luò)模型網(wǎng)絡(luò)訓(xùn)練完成后，去除所述輔助分類層。

基于上述方法的另一實(shí)施例中，確定所述第一場(chǎng)景分析預(yù)測(cè)結(jié)果和所述樣本圖像的場(chǎng)景分析標(biāo)注信息之間的第一差異，包括：