[發(fā)明專利]一種標(biāo)簽篩選方法及裝置

在審

• 申請?zhí)枺?/td>: 202111164295.2
• 申請日: 2021-09-30
• 公開（公告）號: CN114021720A
• 公開（公告）日: 2022-02-08
• 發(fā)明（設(shè)計）人: 李遠(yuǎn)輝;王奇剛;舒紅喬
• 申請（專利權(quán)）人: 聯(lián)想（北京）有限公司
• 主分類號: G06N5/02
• 分類號: G06N5/02;G06N20/00;G06K9/62;G06V10/774
• 代理公司: 北京樂知新創(chuàng)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11734
• 代理人: 王瞾寅

本申請實施例公開了一種標(biāo)簽篩選方法及裝置，獲得與多個老師模型對應(yīng)的指導(dǎo)標(biāo)簽，所述指導(dǎo)標(biāo)簽通過老師模型對訓(xùn)練樣本預(yù)測獲得；根據(jù)真實標(biāo)簽對所述指導(dǎo)標(biāo)簽進(jìn)行篩選，確定滿足篩選條件的目標(biāo)標(biāo)簽；根據(jù)所述目標(biāo)標(biāo)簽對學(xué)生模型進(jìn)行蒸餾指導(dǎo)，獲得更新后的學(xué)生模型；應(yīng)用本申請實施例提供的方法，能夠在較短時間內(nèi)訓(xùn)練獲得具有較高精度的學(xué)生模型。

技術(shù)領(lǐng)域

本申請涉及神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及一種標(biāo)簽篩選方法及裝置。

背景技術(shù)

在做模型部署應(yīng)用時，可以通過老師模型對學(xué)生模型進(jìn)行指導(dǎo)，以使學(xué)生在老師模型的指導(dǎo)下達(dá)到較高的精度。然而對于一些復(fù)雜的場景，老師模型由于結(jié)構(gòu)復(fù)雜可以通過自己學(xué)習(xí)訓(xùn)練進(jìn)而達(dá)到較高的精度，但是在這種場景中，由老師模型指導(dǎo)學(xué)生模型不僅不能使學(xué)生模型獲得較高的精度，還可能導(dǎo)致任務(wù)場景過于復(fù)雜導(dǎo)致學(xué)生模型相對于本來對于單個場景下精度的再次下降。

發(fā)明內(nèi)容

本申請?zhí)峁┝艘环N標(biāo)簽篩選方法及裝置，以至少解決現(xiàn)有技術(shù)中存在的以上技術(shù)問題。

本申請一方面提供一種標(biāo)簽篩選方法，所述方法包括：獲得與多個老師模型對應(yīng)的指導(dǎo)標(biāo)簽，所述指導(dǎo)標(biāo)簽通過老師模型對訓(xùn)練樣本預(yù)測獲得；根據(jù)真實標(biāo)簽對所述指導(dǎo)標(biāo)簽進(jìn)行篩選，確定滿足篩選條件的目標(biāo)標(biāo)簽；根據(jù)所述目標(biāo)標(biāo)簽對學(xué)生模型進(jìn)行蒸餾指導(dǎo)，獲得更新后的學(xué)生模型。

在一可實施方式中，所述獲得與多個老師模型對應(yīng)的指導(dǎo)標(biāo)簽，包括：獲得訓(xùn)練樣本，所述訓(xùn)練樣本為單一場景訓(xùn)練樣本，所述單一場景訓(xùn)練樣本標(biāo)注有至少一個維度的真實標(biāo)簽；獲得針對單一場景的多個老師模型，其中，不同老師模型針對所述訓(xùn)練樣本所具有的優(yōu)勢不同；通過所述多個老師模型對所述訓(xùn)練樣本進(jìn)行預(yù)測，獲得所述至少一個維度的指導(dǎo)標(biāo)簽。

在一可實施方式中，所述獲得與多個老師模型對應(yīng)的指導(dǎo)標(biāo)簽，包括：獲得訓(xùn)練樣本，所述訓(xùn)練樣本為多個場景訓(xùn)練樣本，所述多個場景訓(xùn)練樣本標(biāo)注有多個維度的真實標(biāo)簽；獲得針對多個場景中每一場景的老師模型；每個老師模型用于預(yù)測一個場景中至少一個維度的真實標(biāo)簽；通過所述多個老師模型對所述訓(xùn)練樣本進(jìn)行訓(xùn)練，獲得所述多個維度的指導(dǎo)標(biāo)簽。

在一可實施方式中，所述根據(jù)真實標(biāo)簽對所述指導(dǎo)標(biāo)簽進(jìn)行篩選，確定滿足篩選條件的目標(biāo)標(biāo)簽，包括：對所述指導(dǎo)標(biāo)簽和所述真實標(biāo)簽進(jìn)行比較，獲得第一比較值；根據(jù)所述第一比較值對所述指導(dǎo)標(biāo)簽進(jìn)行調(diào)整，以確定所述目標(biāo)標(biāo)簽。

在一可實施方式中，所述根據(jù)所述第一比較值對所述指導(dǎo)標(biāo)簽進(jìn)行調(diào)整，以確定所述目標(biāo)標(biāo)簽，包括：對與同一訓(xùn)練樣本對應(yīng)的第一比較值進(jìn)行篩選，確定數(shù)值最小的第一比較值；將與所述數(shù)值最小的第一比較值對應(yīng)的指導(dǎo)標(biāo)簽確定為目標(biāo)標(biāo)簽。

在一可實施方式中，所述根據(jù)所述第一比較值對所述指導(dǎo)標(biāo)簽進(jìn)行調(diào)整，以確定所述目標(biāo)標(biāo)簽，包括：基于與同一訓(xùn)練樣本對應(yīng)的第一比較值確定優(yōu)勢權(quán)值；根據(jù)所述優(yōu)勢權(quán)值對與所述指導(dǎo)標(biāo)簽進(jìn)行加權(quán)，獲得目標(biāo)標(biāo)簽。

在一可實施方式中，所述根據(jù)所述目標(biāo)標(biāo)簽對學(xué)生模型進(jìn)行蒸餾指導(dǎo)，獲得更新后的學(xué)生模型，包括：通過與所述目標(biāo)標(biāo)簽對應(yīng)的訓(xùn)練樣本對所述學(xué)生模型進(jìn)行訓(xùn)練，獲得訓(xùn)練標(biāo)簽；根據(jù)所述目標(biāo)標(biāo)簽和所述訓(xùn)練標(biāo)簽確定指導(dǎo)數(shù)據(jù)；根據(jù)所述指導(dǎo)數(shù)據(jù)對所述學(xué)生模型進(jìn)行蒸餾指導(dǎo)，獲得更新后的學(xué)生模型。

在一可實施方式中，所述根據(jù)所述目標(biāo)標(biāo)簽和所述訓(xùn)練標(biāo)簽確定指導(dǎo)數(shù)據(jù)，包括：對所述目標(biāo)標(biāo)簽和所述訓(xùn)練標(biāo)簽進(jìn)行比較，獲得第二比較值；對所述目標(biāo)標(biāo)簽和所述真實標(biāo)簽進(jìn)行比較，獲得第三比較值；對所述第二比較值和第三比較值進(jìn)行整合，獲得指導(dǎo)數(shù)據(jù)。

在一可實施方式中，所述根據(jù)所述目標(biāo)標(biāo)簽和所述訓(xùn)練標(biāo)簽確定指導(dǎo)數(shù)據(jù)，包括：對所述目標(biāo)標(biāo)簽對應(yīng)的老師模型的中間層進(jìn)行數(shù)據(jù)抽取，獲得第一中間數(shù)據(jù)；對所述訓(xùn)練標(biāo)簽對應(yīng)的學(xué)生模型的中間層進(jìn)行數(shù)據(jù)抽取，獲得第二中間數(shù)據(jù)；對所述第一中間數(shù)據(jù)和所述第二中間數(shù)據(jù)進(jìn)行整合，確定第四比較值；對所述第四比較值和所述第二比較值進(jìn)行整合，獲得第五比較值；其中，所述第五比較值用于確定所述指導(dǎo)數(shù)據(jù)。