[發(fā)明專(zhuān)利]一種卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、圖像識(shí)別方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010529092.8
• 申請(qǐng)日: 2020-06-11
• 公開(kāi)（公告）號(hào): CN111680795A
• 公開(kāi)（公告）日: 2020-09-18
• 發(fā)明（設(shè)計(jì)）人: 王世安
• 申請(qǐng)（專(zhuān)利權(quán)）人: 廣州工程技術(shù)職業(yè)學(xué)院
• 主分類(lèi)號(hào): G06N3/08
• 分類(lèi)號(hào): G06N3/08;G06N3/04
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 沈闖

本申請(qǐng)公開(kāi)了一種卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、圖像識(shí)別方法和裝置，其中卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法包括：獲取待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)；將測(cè)度損失和軟最大損失結(jié)合，構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)的類(lèi)信息和節(jié)點(diǎn)結(jié)構(gòu)的學(xué)習(xí)損失函數(shù)，基于反向傳播算法和隨機(jī)梯度下降法，通過(guò)學(xué)習(xí)損失函數(shù)對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。節(jié)點(diǎn)結(jié)構(gòu)和類(lèi)信息的丟失可以加快訓(xùn)練的收斂速度，同時(shí)保持或提高訓(xùn)練精度，故本申請(qǐng)中以節(jié)點(diǎn)結(jié)構(gòu)和類(lèi)信息作為訓(xùn)練時(shí)的訓(xùn)練指標(biāo)，同時(shí)結(jié)合將測(cè)度損失和軟最大損失構(gòu)建訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)時(shí)的學(xué)習(xí)損失函數(shù)，解決了現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，在面對(duì)小型的卷積神經(jīng)網(wǎng)絡(luò)時(shí)，難以適用的技術(shù)問(wèn)題。

技術(shù)領(lǐng)域

本申請(qǐng)涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、圖像識(shí)別方法和裝置。

背景技術(shù)

隨著人工智能技術(shù)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別及語(yǔ)音識(shí)別等領(lǐng)域體現(xiàn)出強(qiáng)大優(yōu)勢(shì)。在進(jìn)行識(shí)別的過(guò)程中，首先根據(jù)不同的識(shí)別需求，對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到卷積神經(jīng)網(wǎng)絡(luò)模型，然后通過(guò)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對(duì)應(yīng)的識(shí)別。

現(xiàn)有技術(shù)中對(duì)卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，主要是針對(duì)訓(xùn)練集圖像的類(lèi)信息進(jìn)行的，該訓(xùn)練方法在面對(duì)小型的卷積神經(jīng)網(wǎng)絡(luò)(卷積層數(shù)不超過(guò)10層)時(shí)，難以適用。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)?zhí)峁┝艘环N卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、圖像識(shí)別方法和裝置，解決了現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，在面對(duì)小型的卷積神經(jīng)網(wǎng)絡(luò)時(shí)，難以適用的技術(shù)問(wèn)題。

本申請(qǐng)第一方面提供了一種卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，包括：

獲取待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)；

將測(cè)度損失和軟最大損失結(jié)合，構(gòu)建所述卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)的類(lèi)信息和節(jié)點(diǎn)結(jié)構(gòu)的學(xué)習(xí)損失函數(shù)，其中，所述學(xué)習(xí)損失函數(shù)為：

L＝βL_metric+(λ-β)L_{soft max}；

式中，L為學(xué)習(xí)損失函數(shù)，β為損失的重量，L_metric為測(cè)度損失，λ為軟最大損失和測(cè)度損失的重量之和，L_{soft max}為軟最大損失；

基于反向傳播算法和隨機(jī)梯度下降法，通過(guò)所述學(xué)習(xí)損失函數(shù)對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

可選地，所述卷積神經(jīng)網(wǎng)絡(luò)包括：兩個(gè)第一卷積單元、三個(gè)第二卷積單元和兩個(gè)完全連接單元；

所述第一卷積單元包括：卷積層、池化層、激活層、退出層和規(guī)范化層和卷積脫落層；

所述第二卷積單元包括：卷積層、激活層、退出層和規(guī)范化層和卷積脫落層。

可選地，所述測(cè)度損失的計(jì)算過(guò)程包括：

獲取訓(xùn)練階段時(shí)，由第一完全連接單元的第一輸出構(gòu)成的第一輸出集合，所述第一輸出集合為：其中，x_i為第i個(gè)第一輸出，N為第一輸出集合中第一輸出的個(gè)數(shù)；

獲取類(lèi)信息的對(duì)應(yīng)圖像構(gòu)成的對(duì)應(yīng)圖像集合，所述對(duì)應(yīng)圖像集合為其中，y_i'為第i'個(gè)對(duì)應(yīng)圖像，N'為對(duì)應(yīng)圖像集合中的對(duì)應(yīng)圖像個(gè)數(shù)；

根據(jù)所述第一輸出和所述對(duì)應(yīng)圖像，構(gòu)建所述測(cè)度損失對(duì)應(yīng)的損失函數(shù)；

其中，所述測(cè)度損失對(duì)應(yīng)的損失函數(shù)為：