[發(fā)明專利]模型訓(xùn)練方法及裝置、存儲(chǔ)介質(zhì)、計(jì)算設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011415641.5
• 申請(qǐng)日: 2020-12-04
• 公開（公告）號(hào): CN112784677A
• 公開（公告）日: 2021-05-11
• 發(fā)明（設(shè)計(jì)）人: 段魁;蔡濤;陳新澤;黃冠;都大龍
• 申請(qǐng)（專利權(quán)）人: 上海芯翌智能科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 張振軍

1.一種模型訓(xùn)練方法，其特征在于，包括：

將訓(xùn)練數(shù)據(jù)輸入至構(gòu)建好的基準(zhǔn)模型和老師模型，所述基準(zhǔn)模型的網(wǎng)絡(luò)層數(shù)小于所述老師模型的網(wǎng)絡(luò)層數(shù)；

獲取所述基準(zhǔn)模型針對(duì)所述訓(xùn)練數(shù)據(jù)的第一輸出結(jié)果和老師模型針對(duì)所述訓(xùn)練數(shù)據(jù)的第二輸出結(jié)果，所述第一輸出結(jié)果包括針對(duì)每一類別的第一分類概率，所述第二輸出結(jié)果包括針對(duì)每一類別第二分類概率；

基于每一類別的第一分類概率生成非該類別的第三分類概率，以及基于每一類別第二分類概率生成非該類別的第四分類概率，以得到每一類別的第一概率分布和第二概率分布，所述第一概率分布包括各個(gè)類別及其第一分類概率、非該類別及其第三分類概率，所述第二概率分布包括各個(gè)類別及其第二分類概率、非該類別及其概率；

利用每一類別下的第一概率分布和第二概率分布計(jì)算KL散度，以及計(jì)算所述基準(zhǔn)模型自身的誤差；

利用所述KL散度以及所述基準(zhǔn)模型自身的誤差在所述基準(zhǔn)模型中進(jìn)行反向傳播，以用于調(diào)整所述基準(zhǔn)模型的網(wǎng)絡(luò)參數(shù)。

2.根據(jù)權(quán)利要求1所述的模型訓(xùn)練方法，其特征在于，所述利用所述KL散度以及所述基準(zhǔn)模型自身的誤差在所述基準(zhǔn)模型中進(jìn)行反向傳播包括：

計(jì)算所述KL散度與第一權(quán)重的乘積以及所述基準(zhǔn)模型自身的誤差與第二權(quán)重的乘積之和，以作為響應(yīng)誤差；

利用所述響應(yīng)誤差在所述基準(zhǔn)模型中進(jìn)行反向傳播。

3.根據(jù)權(quán)利要求1所述的模型訓(xùn)練方法，其特征在于，所述計(jì)算所述基準(zhǔn)模型自身的誤差包括：

采用Focalloss計(jì)算所述基準(zhǔn)模型自身的誤差。

4.根據(jù)權(quán)利要求1所述的模型訓(xùn)練方法，其特征在于，所述計(jì)算所述基準(zhǔn)模型自身的誤差包括：

獲取所述訓(xùn)練數(shù)據(jù)針對(duì)每一類別的樣本比例，所述樣本比例為包含該類別的樣本數(shù)與在該類別下有效樣本總數(shù)量的比值；

根據(jù)所述第一輸出結(jié)果計(jì)算所述基準(zhǔn)模型的原始誤差；

將所述原始誤差與所述樣本比例進(jìn)行加權(quán)，以得到所述準(zhǔn)模型自身的誤差。

5.根據(jù)權(quán)利要求1所述的模型訓(xùn)練方法，其特征在于，所述將訓(xùn)練數(shù)據(jù)輸入至構(gòu)建好的基準(zhǔn)模型和老師模型之前還包括：

獲取原始樣本數(shù)據(jù)，所述原始樣本數(shù)據(jù)為標(biāo)注好的行人圖像，所述原始樣本數(shù)據(jù)中包括關(guān)鍵點(diǎn)；

根據(jù)所述原始樣本數(shù)據(jù)的關(guān)鍵點(diǎn)的坐標(biāo)，將行人的上半身圖像或下半身圖像進(jìn)行隨機(jī)擦除，并更改所述行人圖像中的屬性值，以得到所述訓(xùn)練數(shù)據(jù)。

6.根據(jù)權(quán)利要求1所述的模型訓(xùn)練方法，其特征在于，利用行人重識(shí)別模型作為人體模型的預(yù)訓(xùn)練模型，所述基準(zhǔn)模型中網(wǎng)絡(luò)架構(gòu)的Backbone中的網(wǎng)絡(luò)參數(shù)是直接調(diào)用所述行人重識(shí)別模型中的網(wǎng)絡(luò)參數(shù)的。

7.根據(jù)權(quán)利要求1所述的模型訓(xùn)練方法，其特征在于，所述將訓(xùn)練數(shù)據(jù)輸入至構(gòu)建好的基準(zhǔn)模型和老師模型之前還包括：

獲取原始樣本數(shù)據(jù)，所述原始樣本數(shù)據(jù)包括具有多種屬性的樣本；

將具備第一屬性的樣本輸入至預(yù)先訓(xùn)練好的生成式對(duì)抗網(wǎng)絡(luò)，以生成具備第二屬性的樣本，所述第一屬性與所述第二屬性屬于同一類別，所述具備第二屬性的樣本為數(shù)量小于預(yù)設(shè)門限的樣本。

8.根據(jù)權(quán)利要求1至7任一項(xiàng)所述的模型訓(xùn)練方法，其特征在于，所述構(gòu)建好的基準(zhǔn)模型在初始化時(shí)采用Kaiming算法初始化權(quán)重，所述構(gòu)建好的基準(zhǔn)模型在全連接層采用Normal初始化權(quán)重。

9.根據(jù)權(quán)利要求1至7任一項(xiàng)所述的模型訓(xùn)練方法，其特征在于，所述基準(zhǔn)模型是基于ResNet18構(gòu)建的，所述老師模型是基于ResNet101構(gòu)建的。