[發(fā)明專利]模型訓練方法、圖像識別方法、裝置及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202210115369.1
• 申請日: 2022-01-30
• 公開（公告）號: CN114529796A
• 公開（公告）日: 2022-05-24
• 發(fā)明（設(shè)計）人: 楊馥魁
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V10/764;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京樂知新創(chuàng)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11734
• 代理人: 王曌寅

本公開提供了模型訓練方法、圖像識別方法、裝置及電子設(shè)備，涉及人工智能技術(shù)領(lǐng)域，具體為深度學習、計算機視覺等技術(shù)領(lǐng)域，可應(yīng)用于圖像等場景。具體實現(xiàn)方案為：將第一樣本圖像輸入至學生模型的編碼子網(wǎng)絡(luò)，獲取所述第一樣本圖像對應(yīng)的第一均值和第一方差，所述學生模型包括編碼子網(wǎng)絡(luò)和解碼子網(wǎng)絡(luò)；基于所述第一均值和所述第一方差確定所述第一樣本圖像的第一樣本隱特征；將所述第一樣本隱特征輸入至所述學生模型的所述解碼子網(wǎng)絡(luò)，獲得第一樣本重構(gòu)圖像；基于所述第一均值、所述第一方差、所述第一樣本圖像、所述第一樣本隱特征和所述第一樣本重構(gòu)圖像確定蒸餾損失值；基于所述蒸餾損失值調(diào)整所述學生模型的參數(shù)。

技術(shù)領(lǐng)域

本公開涉及人工智能技術(shù)領(lǐng)域，具體為深度學習、計算機視覺等技術(shù)領(lǐng)域，可應(yīng)用于圖像處理場景，尤其涉及人工智能的模型訓練方法、圖像識別方法、裝置及電子設(shè)備。

背景技術(shù)

人工智能(Artificial Intelligence，AI)是利用數(shù)字計算機或者數(shù)字計算機控制的機器模擬、延伸和擴展人的智能，感知環(huán)境、獲取知識并使用知識獲得最佳結(jié)果的理論、方法、技術(shù)及應(yīng)用系統(tǒng)。換句話說，人工智能是計算機科學的一個分支，它企圖了解智能的實質(zhì)，并生產(chǎn)出一種新的能以人類智能相似的方式作出反應(yīng)的智能機器。人工智能也就是研究各種智能機器的設(shè)計原理與實現(xiàn)方法，使機器具有感知、推理與決策的功能。

知識蒸餾(Knowledge Distillation)是指通過預(yù)先訓練好的教師模型(復(fù)雜但性能優(yōu)越)訓練學生模型(精簡、復(fù)雜度低)，以使得學生模型可以具有與教師模型相同或相似的數(shù)據(jù)處理能力的模型訓練方法。

發(fā)明內(nèi)容

本公開提供了一種模型訓練方法、圖像識別方法、裝置及電子設(shè)備。

根據(jù)本公開的第一方面，提供了一種模型訓練方法，所述方法包括：

將第一樣本圖像輸入至學生模型的編碼子網(wǎng)絡(luò)，獲取所述第一樣本圖像對應(yīng)的第一均值和第一方差，所述學生模型包括編碼子網(wǎng)絡(luò)和解碼子網(wǎng)絡(luò)；

基于所述第一均值和所述第一方差確定所述第一樣本圖像的第一樣本隱特征；

將所述第一樣本隱特征輸入至所述學生模型的所述解碼子網(wǎng)絡(luò)，獲得第一樣本重構(gòu)圖像；

基于所述第一均值、所述第一方差、所述第一樣本圖像、所述第一樣本隱特征和所述第一樣本重構(gòu)圖像確定蒸餾損失值；

基于所述蒸餾損失值調(diào)整所述學生模型的參數(shù)。

根據(jù)本公開的第二方面，提供了一種圖像識別方法，基于上述所述的學生模型的編碼子網(wǎng)絡(luò)實現(xiàn)，包括：

將待識別圖像輸入至所述編碼子網(wǎng)絡(luò)，獲取所述待識別圖像的第四均值和第四方差；

基于所述第四均值和所述第四方差，確定所述待識別圖像的隱特征；

基于所述待識別圖像的隱特征，識別所述待識別圖像中的生物學特征。

根據(jù)本公開的第三方面，提供了一種模型訓練裝置，包括：

第一輸入單元，用于將第一樣本圖像輸入至學生模型的編碼子網(wǎng)絡(luò)，獲取所述第一樣本圖像對應(yīng)的第一均值和第一方差；

第一確定單元，用于基于所述第一均值和所述第一方差確定所述第一樣本圖像的第一樣本隱特征；

第二輸入單元，用于將所述第一樣本隱特征輸入至所述學生模型的解碼子網(wǎng)絡(luò)，獲得第一樣本重構(gòu)圖像；

第二確定單元，用于基于所述第一均值、所述第一方差、所述第一樣本圖像、所述第一樣本隱特征和所述第一樣本重構(gòu)圖像確定蒸餾損失值；

調(diào)整單元，用于基于所述蒸餾損失值調(diào)整所述學生模型的參數(shù)。