[發(fā)明專利]一種卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、圖像識(shí)別方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010529092.8
• 申請(qǐng)日: 2020-06-11
• 公開（公告）號(hào): CN111680795A
• 公開（公告）日: 2020-09-18
• 發(fā)明（設(shè)計(jì)）人: 王世安
• 申請(qǐng)（專利權(quán)）人: 廣州工程技術(shù)職業(yè)學(xué)院
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/04
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 沈闖

1.一種卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，包括：

獲取待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)；

將測度損失和軟最大損失結(jié)合，構(gòu)建所述卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)的類信息和節(jié)點(diǎn)結(jié)構(gòu)的學(xué)習(xí)損失函數(shù)，其中，所述學(xué)習(xí)損失函數(shù)為：

L＝βL_metric+(λ-β)L_softmax；

式中，L為學(xué)習(xí)損失函數(shù)，β為損失的重量，L_metric為測度損失，λ為軟最大損失和測度損失的重量之和，L_softmax為軟最大損失；

基于反向傳播算法和隨機(jī)梯度下降法，通過所述學(xué)習(xí)損失函數(shù)對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，所述卷積神經(jīng)網(wǎng)絡(luò)包括：兩個(gè)第一卷積單元、三個(gè)第二卷積單元和兩個(gè)完全連接單元；

所述第一卷積單元包括：卷積層、池化層、激活層、退出層和規(guī)范化層和卷積脫落層；

所述第二卷積單元包括：卷積層、激活層、退出層和規(guī)范化層和卷積脫落層。

3.根據(jù)權(quán)利要求2所述的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，所述測度損失的計(jì)算過程包括：

獲取訓(xùn)練階段時(shí)，由第一完全連接單元的第一輸出構(gòu)成的第一輸出集合，所述第一輸出集合為：其中，x_i為第i個(gè)第一輸出，N為第一輸出集合中第一輸出的個(gè)數(shù)；

獲取類信息的對(duì)應(yīng)圖像構(gòu)成的對(duì)應(yīng)圖像集合，所述對(duì)應(yīng)圖像集合為其中，y_i'為第i'個(gè)對(duì)應(yīng)圖像，N'為對(duì)應(yīng)圖像集合中的對(duì)應(yīng)圖像個(gè)數(shù)；

根據(jù)所述第一輸出和所述對(duì)應(yīng)圖像，構(gòu)建所述測度損失對(duì)應(yīng)的損失函數(shù)；

其中，所述測度損失對(duì)應(yīng)的損失函數(shù)為：

式中，p為對(duì)應(yīng)圖像的編號(hào)，s_i,j∈{0,1}，當(dāng)y_i'＝y(tǒng)_j'時(shí)s_i,j＝1，否則s_i,j＝0，α為內(nèi)斯特羅夫動(dòng)量，d_Wi,j為x_i和x_j之間的平方距離，d_Wi,j＝(x_i-x_j)^TW(x_i-x_j)，W為參數(shù)矩陣。

4.根據(jù)權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，所述軟最大損失L_softmax是λ為1且β為0的測度損失值。

5.一種圖像識(shí)別方法，其特征在于，包括：

獲取待識(shí)別圖像和用于識(shí)別所述待識(shí)別圖像的卷積神經(jīng)網(wǎng)絡(luò)模型，其中所述卷積神經(jīng)網(wǎng)絡(luò)模型通過權(quán)利要求1至4中任一項(xiàng)所述的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法訓(xùn)練得到；

通過所述卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)所述待識(shí)別圖像進(jìn)行識(shí)別。

6.一種卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練裝置，其特征在于，包括：

獲取單元，用于獲取待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)；

函數(shù)構(gòu)建單元，用于將測度損失和軟最大損失結(jié)合，構(gòu)建所述卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)的類信息和節(jié)點(diǎn)結(jié)構(gòu)的學(xué)習(xí)損失函數(shù)，其中，所述學(xué)習(xí)損失函數(shù)為：

L＝βL_metric+(λ-β)L_softmax；

式中，L為學(xué)習(xí)損失函數(shù)，β為損失的重量，L_metric為測度損失，λ為軟最大損失和測度損失的重量之和，L_softmax為軟最大損失；

訓(xùn)練單元，用于基于反向傳播算法和隨機(jī)梯度下降法，通過所述學(xué)習(xí)損失函數(shù)對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

7.根據(jù)權(quán)利要求6所述的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練裝置，其特征在于，所述卷積神經(jīng)網(wǎng)絡(luò)包括：兩個(gè)第一卷積單元、三個(gè)第二卷積單元和兩個(gè)完全連接單元；

所述第一卷積單元包括：卷積層、池化層、激活層、退出層和規(guī)范化層和卷積脫落層；

所述第二卷積單元包括：卷積層、激活層、退出層和規(guī)范化層和卷積脫落層。