[發(fā)明專利]用于生成模型簇的方法、裝置及計(jì)算機(jī)程序產(chǎn)品

在審

• 申請(qǐng)?zhí)枺?/td>: 202111472591.9
• 申請(qǐng)日: 2021-11-30
• 公開（公告）號(hào): CN114186681A
• 公開（公告）日: 2022-03-15
• 發(fā)明（設(shè)計(jì)）人: 張婉平;溫圣召
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/04
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

本公開提供了用于生成模型簇的方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品，涉及人工智能領(lǐng)域，具體涉及深度學(xué)習(xí)、計(jì)算機(jī)視覺技術(shù)領(lǐng)域，可用于人臉圖像處理、人臉圖像識(shí)別場(chǎng)景下。具體實(shí)現(xiàn)方案為：對(duì)預(yù)訓(xùn)練的教師模型進(jìn)行不同程度的模型蒸餾，得到多個(gè)學(xué)生模型；基于訓(xùn)練數(shù)據(jù)集中的訓(xùn)練數(shù)據(jù)，分別通過教師模型得到第一特征信息，通過多個(gè)學(xué)生模型得到第二特征信息；根據(jù)第一特征信息和第二特征信息確定損失函數(shù)；基于損失函數(shù)更新多個(gè)學(xué)生模型；將訓(xùn)練后的多個(gè)學(xué)生模型確定為目標(biāo)模型簇。本公開可以得到包括不同規(guī)模的、高準(zhǔn)確度的多個(gè)學(xué)生模型的模型簇。

技術(shù)領(lǐng)域

本公開涉及人工智能領(lǐng)域，具體涉及深度學(xué)習(xí)、計(jì)算機(jī)視覺技術(shù)領(lǐng)域，尤其涉及用于生成模型簇的方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)以及計(jì)算機(jī)程序產(chǎn)品，可用于人臉圖像處理、人臉圖像識(shí)別等場(chǎng)景下。

背景技術(shù)

目前，隨著人工智能技術(shù)的發(fā)展，應(yīng)用于各實(shí)際場(chǎng)景中的網(wǎng)絡(luò)模型得到長足的發(fā)展。并且，隨著芯片產(chǎn)業(yè)的發(fā)展，市面上出現(xiàn)了各種算力的芯片。如何快速高效地得到適配各種芯片的算力的網(wǎng)絡(luò)模型，成為了當(dāng)前面臨的一項(xiàng)挑戰(zhàn)。

發(fā)明內(nèi)容

本公開提供了一種用于生成模型簇的方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)以及計(jì)算機(jī)程序產(chǎn)品。

根據(jù)第一方面，提供了一種用于生成模型簇的方法，包括：對(duì)預(yù)訓(xùn)練的教師模型進(jìn)行不同程度的模型蒸餾，得到多個(gè)學(xué)生模型；基于訓(xùn)練數(shù)據(jù)集中的訓(xùn)練數(shù)據(jù)，分別通過教師模型得到第一特征信息，通過多個(gè)學(xué)生模型得到第二特征信息；根據(jù)第一特征信息和第二特征信息確定損失函數(shù)；基于損失函數(shù)更新多個(gè)學(xué)生模型；將訓(xùn)練后的多個(gè)學(xué)生模型確定為目標(biāo)模型簇。

根據(jù)第二方面，提供了一種用于生成模型簇的裝置，包括：蒸餾單元，被配置成對(duì)預(yù)訓(xùn)練的教師模型進(jìn)行不同程度的模型蒸餾，得到多個(gè)學(xué)生模型；得到單元，被配置成基于訓(xùn)練數(shù)據(jù)集中的訓(xùn)練數(shù)據(jù)，分別通過教師模型得到第一特征信息，通過多個(gè)學(xué)生模型得到第二特征信息；損失單元，被配置成根據(jù)第一特征信息和第二特征信息確定損失函數(shù)；更新單元，被配置成基于損失函數(shù)更新多個(gè)學(xué)生模型；確定單元，被配置成將訓(xùn)練后的多個(gè)學(xué)生模型確定為目標(biāo)模型簇。

根據(jù)第三方面，提供了一種電子設(shè)備，包括：至少一個(gè)處理器；以及與至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，存儲(chǔ)器存儲(chǔ)有可被至少一個(gè)處理器執(zhí)行的指令，指令被至少一個(gè)處理器執(zhí)行，以使至少一個(gè)處理器能夠執(zhí)行如第一方面任一實(shí)現(xiàn)方式描述的方法。

根據(jù)第四方面，提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行如第一方面任一實(shí)現(xiàn)方式描述的方法。

根據(jù)第五方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括：計(jì)算機(jī)程序，計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面任一實(shí)現(xiàn)方式描述的方法。

根據(jù)本公開的技術(shù)，提供了一種生成包括多個(gè)模型的模型簇的方法，根據(jù)由教師模型蒸餾得到的多個(gè)學(xué)生模型與教師模型之間關(guān)于特征信息的損失，更新多個(gè)學(xué)生模型，得到了包括不同規(guī)模的、高準(zhǔn)確度的多個(gè)學(xué)生模型的模型簇。

應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識(shí)本公開的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用于更好地理解本方案，不構(gòu)成對(duì)本公開的限定。其中：

圖1是根據(jù)本公開的一個(gè)實(shí)施例可以應(yīng)用于其中的示例性系統(tǒng)架構(gòu)圖；

圖2是根據(jù)本公開的用于生成模型簇的方法的一個(gè)實(shí)施例的流程圖；

圖3是根據(jù)本實(shí)施例的用于生成模型簇的方法的應(yīng)用場(chǎng)景的示意圖；

圖4是根據(jù)本公開的用于生成模型簇的方法的又一個(gè)實(shí)施例的流程圖；

圖5是根據(jù)本公開的用于生成模型簇的裝置的一個(gè)實(shí)施例的結(jié)構(gòu)圖；