[發(fā)明專利]模型蒸餾方法、裝置、存儲(chǔ)介質(zhì)及設(shè)備

在審

• 申請?zhí)枺?/td>: 202011313330.8
• 申請日: 2020-11-20
• 公開（公告）號: CN112465138A
• 公開（公告）日: 2021-03-09
• 發(fā)明（設(shè)計(jì)）人: 吳天博;王健宗;程寧
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N5/02
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 熊永強(qiáng)

1.一種模型蒸餾方法，其特征在于，包括：

獲取用于對預(yù)設(shè)的學(xué)生模型進(jìn)行訓(xùn)練的訓(xùn)練樣本數(shù)據(jù)；

采用所述預(yù)設(shè)的學(xué)生模型和預(yù)設(shè)的老師模型分別對所述訓(xùn)練樣本數(shù)據(jù)進(jìn)行識(shí)別，得到所述訓(xùn)練樣本數(shù)據(jù)的老師識(shí)別結(jié)果和學(xué)生識(shí)別結(jié)果，其中，所述預(yù)設(shè)的學(xué)生模型由所述預(yù)設(shè)的老師模型指導(dǎo)訓(xùn)練得到；

由所述老師識(shí)別結(jié)果獲取用于對所述預(yù)設(shè)的學(xué)生模型的識(shí)別結(jié)果進(jìn)行調(diào)整的權(quán)重參數(shù)；

計(jì)算所述老師識(shí)別結(jié)果和所述學(xué)生識(shí)別結(jié)果之間的對數(shù)，并利用所述權(quán)重參數(shù)對所述對數(shù)進(jìn)行加權(quán)運(yùn)算，以及將計(jì)算得到的數(shù)值作為損失值對所述預(yù)設(shè)的學(xué)生模型進(jìn)行調(diào)整。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述老師識(shí)別結(jié)果為多個(gè)，所述老師識(shí)別結(jié)果表示識(shí)別概率；

所述由所述老師識(shí)別結(jié)果獲取用于對所述預(yù)設(shè)的學(xué)生模型的識(shí)別結(jié)果進(jìn)行調(diào)整的權(quán)重參數(shù)，包括：

獲取用于對所述老師識(shí)別結(jié)果進(jìn)行平衡的平衡參數(shù)；

以所述預(yù)設(shè)的老師模型的識(shí)別順序，將得到的所述多個(gè)老師識(shí)別結(jié)果按照所述平衡參數(shù)進(jìn)行分組，得到依次排列的多個(gè)老師識(shí)別組，其中，所述多個(gè)老師識(shí)別組中每個(gè)老師識(shí)別組中包含相同數(shù)目的老師識(shí)別結(jié)果；

分別計(jì)算所述每個(gè)老師識(shí)別組中多個(gè)老師識(shí)別結(jié)果的平均值，并將得到的多個(gè)平均值作為平衡處理后的權(quán)重參數(shù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述學(xué)生識(shí)別結(jié)果為多個(gè)；

所述計(jì)算所述老師識(shí)別結(jié)果和所述學(xué)生識(shí)別結(jié)果之間的對數(shù)，并利用所述權(quán)重參數(shù)對所述對數(shù)進(jìn)行加權(quán)運(yùn)算，包括：

以所述識(shí)別順序，將得到的所述多個(gè)學(xué)生識(shí)別結(jié)果按照所述平衡參數(shù)進(jìn)行分組，得到依次排列的多個(gè)學(xué)生識(shí)別組，其中，所述多個(gè)學(xué)生識(shí)別組中每個(gè)學(xué)生識(shí)別組包含相同數(shù)目的學(xué)生識(shí)別結(jié)果，每個(gè)所述老師識(shí)別組與每個(gè)所述學(xué)生識(shí)別組按照所述識(shí)別順序一一對應(yīng)；

分別計(jì)算所述每個(gè)學(xué)生識(shí)別組中多個(gè)學(xué)生識(shí)別結(jié)果的平均值；

分別計(jì)算所述每個(gè)學(xué)生識(shí)別組的平均值與對應(yīng)的老師識(shí)別組的平均值的對數(shù)，得到多個(gè)平衡處理后的對數(shù)；

將所述平衡處理后的權(quán)重參數(shù)與所述平衡處理后的對數(shù)進(jìn)行加權(quán)運(yùn)算。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述獲取用于對所述老師識(shí)別結(jié)果進(jìn)行平衡的平衡參數(shù)，包括：

獲取所述多個(gè)老師識(shí)別結(jié)果中老師識(shí)別結(jié)果的數(shù)目；

確定所述多個(gè)老師識(shí)別結(jié)果中老師識(shí)別結(jié)果的數(shù)目所屬的預(yù)設(shè)閾值范圍；

從平衡參數(shù)庫中確定與所述預(yù)設(shè)閾值范圍對應(yīng)的目標(biāo)平衡參數(shù)，將所述目標(biāo)平衡參數(shù)作為對老師識(shí)別結(jié)果進(jìn)行平衡的平衡參數(shù)，所述平衡參數(shù)庫中包括至少一個(gè)平衡參數(shù)，以及所述至少一個(gè)平衡參數(shù)中每個(gè)平衡參數(shù)與預(yù)設(shè)閾值范圍之間的對應(yīng)關(guān)系。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將計(jì)算得到的數(shù)值作為損失值對所述預(yù)設(shè)的學(xué)生模型進(jìn)行調(diào)整，包括：

驗(yàn)證所述損失值是否滿足收斂狀態(tài)條件；

若所述損失值不滿足所述收斂條件，則確定所述損失值所屬的損失程度；

根據(jù)所述損失程度對所述預(yù)設(shè)的學(xué)生模型中的參數(shù)進(jìn)行調(diào)整。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述驗(yàn)證所述損失值是否滿足收斂狀態(tài)條件，包括：

獲取用于計(jì)算所述損失值的損失函數(shù)的最小取值，若所述損失值與所述最小值不相同，則確定所述損失值不滿足所述收斂條件；或者，

驗(yàn)證所述損失值是否小于預(yù)設(shè)損失閾值，若所述損失值大于或等于所述預(yù)設(shè)損失閾值，則確定所述損失值不滿足所述收斂條件。