[發(fā)明專利]模型訓(xùn)練方法、圖像識(shí)別方法、裝置及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202210115369.1
• 申請(qǐng)日: 2022-01-30
• 公開(kāi)（公告）號(hào): CN114529796A
• 公開(kāi)（公告）日: 2022-05-24
• 發(fā)明（設(shè)計(jì)）人: 楊馥魁
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06V10/82
• 分類號(hào): G06V10/82;G06V10/764;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京樂(lè)知新創(chuàng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11734
• 代理人: 王曌寅

1.一種模型訓(xùn)練方法，所述方法包括：

將第一樣本圖像輸入至學(xué)生模型的編碼子網(wǎng)絡(luò)，獲取所述第一樣本圖像對(duì)應(yīng)的第一均值和第一方差，所述學(xué)生模型包括編碼子網(wǎng)絡(luò)和解碼子網(wǎng)絡(luò)；

基于所述第一均值和所述第一方差確定所述第一樣本圖像的第一樣本隱特征；

將所述第一樣本隱特征輸入至所述學(xué)生模型的所述解碼子網(wǎng)絡(luò)，獲得第一樣本重構(gòu)圖像；

基于所述第一均值、所述第一方差、所述第一樣本圖像、所述第一樣本隱特征和所述第一樣本重構(gòu)圖像確定蒸餾損失值；

基于所述蒸餾損失值調(diào)整所述學(xué)生模型的參數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述將第一樣本圖像輸入至學(xué)生模型的編碼子網(wǎng)絡(luò)，獲取所述第一樣本圖像對(duì)應(yīng)的第一均值和第一方差包括：

將所述第一樣本圖像輸入至所述編碼子網(wǎng)絡(luò)包括的神經(jīng)卷積網(wǎng)絡(luò)和全連接層；

基于所述神經(jīng)卷積網(wǎng)絡(luò)和所述全連接層的輸出，確定所述第一樣本圖像對(duì)應(yīng)的所述第一均值和所述第一方差。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述第一均值和所述第一方差確定所述第一樣本圖像的第一樣本隱特征，包括：

基于高斯分布生成第一隨機(jī)高斯噪聲；

將所述第一方差、所述第一均值、所述第一隨機(jī)高斯噪聲作為高斯分布函數(shù)的輸入，確定所述高斯分布函數(shù)的輸出為所述第一樣本圖像的所述第一樣本隱特征。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述第一均值、所述第一方差、所述第一樣本圖像和所述第一樣本重構(gòu)圖像確定蒸餾損失值，包括：

基于所述第一均值和所述第一方差確定第一損失值；

基于所述第一樣本圖像和所述第一樣本重構(gòu)圖像確定第二損失值；

基于標(biāo)注隱特征與所述第一樣本隱特征確定第三損失值；

基于所述第一損失值、所述第二損失值和所述第三損失值之和，確定所述蒸餾損失值；

所述標(biāo)注隱特征由教師模型基于所述第一樣本圖像確定。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述基于所述第一均值和所述第一方差確定第一損失值，包括：

將所述第一方差的平方的對(duì)數(shù)值減去所述第一均值的平方與所述第一方差的平方之和，得到的結(jié)果加1，確定為所述第一損失值。

6.根據(jù)權(quán)利要求4所述的方法，其中，所述基于所述第一樣本圖像和所述第一樣本重構(gòu)圖像確定第二損失值，包括：

確定所述第一樣本圖像與所述第一樣本重構(gòu)圖像的平方差為所述第二損失值。

7.根據(jù)權(quán)利要求6所述的方法，其中，所述基于標(biāo)注隱特征與所述第一樣本隱特征確定第三損失值包括：

將所述第一樣本圖像輸入至所述教師模型，基于所述教師模型的輸出，確定所述標(biāo)注隱特征；

確定所述第一樣本隱特征和所述標(biāo)注隱特征的平方差為所述第三損失值。

8.根據(jù)權(quán)利要求7所述的方法，其中，所述將所述樣本圖像輸入至教師模型，基于所述教師模型的輸出，確定所述標(biāo)注隱特征，包括：

將所述第一樣本圖像輸入至教師模型的編碼子網(wǎng)絡(luò)，獲得所述第一樣本圖像的第二均值和第二方差；

基于所述第二均值和所述第二方差，確定所述第一樣本圖像的標(biāo)注隱特征。

9.根據(jù)權(quán)利要求1所述的方法，其中，所述將第一樣本圖像輸入至學(xué)生模型的編碼子網(wǎng)絡(luò)，獲取所述第一樣本圖像對(duì)應(yīng)的第一均值和第一方差之前，所述方法還包括：

將第二樣本圖像輸入至教師模型的編碼子網(wǎng)絡(luò)，獲取所述第二樣本圖像的第三均值和第三方差；

基于所述第三均值和所述第三方差，確定所述第二樣本圖像的第二樣本隱特征；

將所述第二樣本隱特征輸入至所述教師模型的編碼子網(wǎng)絡(luò)，獲得第二樣本重構(gòu)圖像；

基于所述第二均值、所述第二方差、所述第二樣本圖像、所述第二樣本隱特征和所述第二樣本重構(gòu)圖像確定訓(xùn)練損失值；

基于所述訓(xùn)練損失值調(diào)整所述教師模型的參數(shù)。