[發(fā)明專利]學(xué)生模型訓(xùn)練方法、裝置、設(shè)備、介質(zhì)和程序產(chǎn)品

有效

• 申請(qǐng)?zhí)枺?/td>: 202011506263.1
• 申請(qǐng)日: 2020-12-18
• 公開(kāi)（公告）號(hào): CN112508120B
• 公開(kāi)（公告）日: 2023-10-10
• 發(fā)明（設(shè)計(jì)）人: 楊喜鵬;譚嘯;孫昊
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06V10/774
• 分類號(hào): G06V10/774;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本申請(qǐng)公開(kāi)了一種學(xué)生模型訓(xùn)練方法、裝置、設(shè)備、介質(zhì)和程序產(chǎn)品，涉及計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)等人工智能技術(shù)領(lǐng)域。具體實(shí)現(xiàn)方案為：獲取圖像訓(xùn)練樣本輸入至學(xué)生模型后得到的學(xué)生特征數(shù)據(jù)；獲取所述圖像訓(xùn)練樣本輸入至訓(xùn)練好的教師模型后得到的教師特征數(shù)據(jù)；所述教師特征數(shù)據(jù)與所述學(xué)生特征數(shù)據(jù)相關(guān)聯(lián)；根據(jù)所述學(xué)生特征數(shù)據(jù)，確定目標(biāo)權(quán)重?cái)?shù)據(jù)；根據(jù)所述學(xué)生特征數(shù)據(jù)、所述教師特征數(shù)據(jù)和所述目標(biāo)權(quán)重?cái)?shù)據(jù)，指導(dǎo)對(duì)所述學(xué)生模型的后續(xù)訓(xùn)練。本申請(qǐng)?zhí)岣吡怂?xùn)練學(xué)生模型的學(xué)習(xí)能力和模型效果。

技術(shù)領(lǐng)域

本申請(qǐng)涉及人工智能技術(shù)領(lǐng)域，尤其涉及計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)等方面，具體涉及一種學(xué)生模型訓(xùn)練方法、裝置、設(shè)備、介質(zhì)和程序產(chǎn)品。

背景技術(shù)

近年來(lái)在計(jì)算機(jī)視覺(jué)等技術(shù)領(lǐng)域，深度學(xué)習(xí)網(wǎng)絡(luò)被證明是一種極具成效的問(wèn)題解決方式。

為了便于模型的部署以及面向移動(dòng)端的推廣，通常采用知識(shí)蒸餾的方式，將復(fù)雜、學(xué)習(xí)能力強(qiáng)的教師模型學(xué)到的特征表示“知識(shí)”蒸餾出來(lái)，傳遞給參數(shù)量小、學(xué)習(xí)能力弱的學(xué)生模型。

然而，現(xiàn)有的知識(shí)蒸餾方法訓(xùn)練得到的學(xué)生模型的學(xué)習(xí)能力和模型效果普遍較低，不利于模型的使用和推廣。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┝艘环N能夠提升學(xué)生模型學(xué)習(xí)能力和模型效果的學(xué)生模型訓(xùn)練方法、裝置、設(shè)備、介質(zhì)和程序產(chǎn)品。

根據(jù)本申請(qǐng)的一方面，提供了一種學(xué)生模型訓(xùn)練方法，包括：

獲取圖像訓(xùn)練樣本輸入至學(xué)生模型后得到的學(xué)生特征數(shù)據(jù)；

獲取所述圖像訓(xùn)練樣本輸入至訓(xùn)練好的教師模型后得到的教師特征數(shù)據(jù)；所述教師特征數(shù)據(jù)與所述學(xué)生特征數(shù)據(jù)相關(guān)聯(lián)；

根據(jù)所述學(xué)生特征數(shù)據(jù)，確定目標(biāo)權(quán)重?cái)?shù)據(jù)；

根據(jù)所述學(xué)生特征數(shù)據(jù)、所述教師特征數(shù)據(jù)和所述目標(biāo)權(quán)重?cái)?shù)據(jù)，指導(dǎo)對(duì)所述學(xué)生模型的后續(xù)訓(xùn)練。

根據(jù)本申請(qǐng)的另一方面，還提供了一種學(xué)生模型訓(xùn)練裝置，包括：

學(xué)生特征數(shù)據(jù)獲取模塊，用于獲取圖像訓(xùn)練樣本輸入至學(xué)生模型后得到的學(xué)生特征數(shù)據(jù)；

教師特征數(shù)據(jù)獲取模塊，用于獲取所述圖像訓(xùn)練樣本輸入至訓(xùn)練好的教師模型后得到的教師特征數(shù)據(jù)；所述教師特征數(shù)據(jù)與所述學(xué)生特征數(shù)據(jù)相關(guān)聯(lián)；

目標(biāo)權(quán)重確定模塊，用于根據(jù)所述學(xué)生特征數(shù)據(jù)，確定目標(biāo)權(quán)重?cái)?shù)據(jù)；

訓(xùn)練指導(dǎo)模塊，用于根據(jù)所述學(xué)生特征數(shù)據(jù)、所述教師特征數(shù)據(jù)和所述目標(biāo)權(quán)重?cái)?shù)據(jù)，指導(dǎo)對(duì)所述學(xué)生模型的后續(xù)訓(xùn)練。

根據(jù)本申請(qǐng)的另一方面，還提供了一種電子設(shè)備，包括：

至少一個(gè)處理器；以及

與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，

所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行本申請(qǐng)任一實(shí)施例提供的一種學(xué)生模型訓(xùn)練方法。

根據(jù)本申請(qǐng)的另一方面，還提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行本申請(qǐng)任一實(shí)施例提供的一種學(xué)生模型訓(xùn)練方法。

根據(jù)本申請(qǐng)的另一方面，還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)本申請(qǐng)任一實(shí)施例提供的一種學(xué)生模型訓(xùn)練方法。

根據(jù)本申請(qǐng)的技術(shù)，提高了所訓(xùn)練學(xué)生模型的學(xué)習(xí)能力和模型效果。

應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識(shí)本申請(qǐng)的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本申請(qǐng)的范圍。本申請(qǐng)的其它特征將通過(guò)以下的說(shuō)明書(shū)而變得容易理解。

附圖說(shuō)明