[發(fā)明專利]用于生成模型簇的方法、裝置及計(jì)算機(jī)程序產(chǎn)品

在審

• 申請(qǐng)?zhí)枺?/td>: 202111472591.9
• 申請(qǐng)日: 2021-11-30
• 公開(kāi)（公告）號(hào): CN114186681A
• 公開(kāi)（公告）日: 2022-03-15
• 發(fā)明（設(shè)計(jì)）人: 張婉平;溫圣召
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/04
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

1.一種用于生成模型簇的方法，包括：

對(duì)預(yù)訓(xùn)練的教師模型進(jìn)行不同程度的模型蒸餾，得到多個(gè)學(xué)生模型；

基于訓(xùn)練數(shù)據(jù)集中的訓(xùn)練數(shù)據(jù)，分別通過(guò)所述教師模型得到第一特征信息，通過(guò)所述多個(gè)學(xué)生模型得到第二特征信息；

根據(jù)所述第一特征信息和所述第二特征信息確定損失函數(shù)；

基于所述損失函數(shù)更新所述多個(gè)學(xué)生模型；

將訓(xùn)練后的多個(gè)學(xué)生模型確定為目標(biāo)模型簇。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)所述第一特征信息和所述第二特征信息確定損失函數(shù)，包括：

根據(jù)所述教師模型的第一特征信息和每個(gè)學(xué)生模型的第二特征信息之間的損失函數(shù)，得到總損失函數(shù)；以及

所述基于所述損失函數(shù)更新所述多個(gè)學(xué)生模型，包括：

根據(jù)所述總損失函數(shù)，更新所述多個(gè)學(xué)生模型。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述對(duì)預(yù)訓(xùn)練的教師模型進(jìn)行不同程度的模型蒸餾，得到多個(gè)學(xué)生模型，包括：

對(duì)所述教師模型中用于特征提取的卷積通道分別進(jìn)行不同程度的減少，得到所述多個(gè)學(xué)生模型。

4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，其中，還包括：

根據(jù)用于部署模型的目標(biāo)芯片的算力，確定所述目標(biāo)模型簇中適配于所述目標(biāo)芯片的目標(biāo)學(xué)生模型。

5.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，其中，所述教師模型為人臉識(shí)別模型，所述人臉識(shí)別模型通過(guò)如下方式訓(xùn)練得到：

獲取訓(xùn)練樣本集，其中，所述訓(xùn)練樣本集中的訓(xùn)練樣本包括樣本人臉圖像和分類標(biāo)簽；

利用機(jī)器學(xué)習(xí)方法，以訓(xùn)練樣本中的樣本人臉圖像為輸入，以所輸入的樣本人臉圖像對(duì)應(yīng)的分類標(biāo)簽為期望輸出，訓(xùn)練得到所述人臉識(shí)別模型。

6.一種用于生成模型簇的裝置，包括：

蒸餾單元，被配置成對(duì)預(yù)訓(xùn)練的教師模型進(jìn)行不同程度的模型蒸餾，得到多個(gè)學(xué)生模型；

得到單元，被配置成基于訓(xùn)練數(shù)據(jù)集中的訓(xùn)練數(shù)據(jù)，分別通過(guò)所述教師模型得到第一特征信息，通過(guò)所述多個(gè)學(xué)生模型得到第二特征信息；

損失單元，被配置成根據(jù)所述第一特征信息和所述第二特征信息確定損失函數(shù)；

更新單元，被配置成基于所述損失函數(shù)更新所述多個(gè)學(xué)生模型；

確定單元，被配置成將訓(xùn)練后的多個(gè)學(xué)生模型確定為目標(biāo)模型簇。

7.根據(jù)權(quán)利要求6所述的裝置，其中，所述損失單元，進(jìn)一步被配置成：

根據(jù)所述教師模型的第一特征信息和每個(gè)學(xué)生模型的第二特征信息之間的損失函數(shù)，得到總損失函數(shù)；以及

所述更新單元，進(jìn)一步被配置成：

根據(jù)所述總損失函數(shù)，更新所述多個(gè)學(xué)生模型。

8.根據(jù)權(quán)利要求6所述的裝置，其中，所述蒸餾單元，進(jìn)一步被配置成：

對(duì)所述教師模型中用于特征提取的卷積通道分別進(jìn)行不同程度的減少，得到所述多個(gè)學(xué)生模型。

9.根據(jù)權(quán)利要求6-8中任一項(xiàng)所述的裝置，其中，還包括：

適配單元，被配置成根據(jù)用于部署模型的目標(biāo)芯片的算力，確定所述目標(biāo)模型簇中適配于所述目標(biāo)芯片的目標(biāo)學(xué)生模型。

10.根據(jù)權(quán)利要求6-8中任一項(xiàng)所述的裝置，其中，所述教師模型為人臉識(shí)別模型；以及

還包括：訓(xùn)練單元，被配置成通過(guò)如下方式訓(xùn)練得到所述人臉識(shí)別模型：

獲取訓(xùn)練樣本集，其中，所述訓(xùn)練樣本集中的訓(xùn)練樣本包括樣本人臉圖像和分類標(biāo)簽；利用機(jī)器學(xué)習(xí)方法，以訓(xùn)練樣本中的樣本人臉圖像為輸入，以所輸入的樣本人臉圖像對(duì)應(yīng)的分類標(biāo)簽為期望輸出，訓(xùn)練得到所述人臉識(shí)別模型。