[發(fā)明專利]對象分類模型訓(xùn)練、對象分類和對象推薦方法及裝置

在審

• 申請?zhí)枺?/td>: 202310414442.X
• 申請日: 2023-04-13
• 公開（公告）號: CN116304841A
• 公開（公告）日: 2023-06-23
• 發(fā)明（設(shè)計）人: 李昂;張曉露;周俊
• 申請（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號: G06F18/24
• 分類號: G06F18/24;G06F18/214;G06F18/23;G06F18/22;G06F16/9535;G06F18/213;G06N3/08;G06N3/082;G06N3/0464;G06N3/045
• 代理公司: 北京永新同創(chuàng)知識產(chǎn)權(quán)代理有限公司 11376
• 代理人: 林錦輝;劉景峰

本說明書實施例提供對象分類模型訓(xùn)練方法、對象分類方法、對象推薦方法及裝置。在每次模型訓(xùn)練時，經(jīng)由對象分類模型確定當(dāng)前訓(xùn)練對象樣本和各個聚類中心對象樣本的分類預(yù)測結(jié)果，各個當(dāng)前樣本聚類通過對全量訓(xùn)練對象樣本集進(jìn)行聚類得到。確定當(dāng)前訓(xùn)練對象樣本與各個聚類中心對象樣本之間的樣本相似度，并且基于當(dāng)前訓(xùn)練對象樣本與各個聚類中心對象樣本之間的樣本相似度以及各個聚類中心對象樣本的分類預(yù)測結(jié)果，確定當(dāng)前訓(xùn)練對象樣本的軟標(biāo)簽。隨后，根據(jù)當(dāng)前訓(xùn)練對象樣本的分類預(yù)測結(jié)果和軟標(biāo)簽，確定當(dāng)前損失函數(shù)；并且基于當(dāng)前損失函數(shù)，調(diào)整對象分類模型的當(dāng)前模型參數(shù)。

技術(shù)領(lǐng)域

本說明書實施例通常涉及人工智能領(lǐng)域，尤其涉及基于自蒸餾的對象分類模型訓(xùn)練方法、對象分類方法、對象推薦方法及裝置。

背景技術(shù)

隨著人工智能技術(shù)的發(fā)展，比如深度神經(jīng)網(wǎng)絡(luò)的對象分類模型已經(jīng)被廣泛地應(yīng)用于工業(yè)應(yīng)用系統(tǒng)中，比如，電子商務(wù)平臺、搜索引擎、支付平臺、社交網(wǎng)絡(luò)、視頻共享系統(tǒng)、廣告系統(tǒng)等。在上述應(yīng)用系統(tǒng)中，可以使用訓(xùn)練對象樣本訓(xùn)練出對象分類模型，并使用所訓(xùn)練出的對象分類模型對目標(biāo)對象進(jìn)行對象分類預(yù)測，隨后根據(jù)對象分類預(yù)測結(jié)果進(jìn)行應(yīng)用決策。例如，在應(yīng)用場景是例如營銷、推薦、廣告等活動時，可以根據(jù)針對目標(biāo)對象的對象分類預(yù)測結(jié)果來決策是否向用戶推送目標(biāo)對象。然而，在實際應(yīng)用時，用戶經(jīng)常會點擊不感興趣的對象或者對對象有興趣但是沒有點擊，這種行為會導(dǎo)致所收集的模型訓(xùn)練數(shù)據(jù)存在標(biāo)簽噪音，進(jìn)而影響對象分類模型的訓(xùn)練效果。

發(fā)明內(nèi)容

本說明書實施例提供基于自蒸餾的對象分類模型訓(xùn)練方法、對象分類方法、對象推薦方法及裝置。利用該基于自蒸餾的對象分類模型訓(xùn)練方法及裝置，借助聚類將訓(xùn)練數(shù)據(jù)集壓縮至有限類別來將全局信息存儲到聚類中心對象樣本，并且在確定軟標(biāo)簽時，僅僅計算目標(biāo)對象樣本與所有聚類的聚類中心對象樣本之間的樣本相似度，而無需確定目標(biāo)對象樣本與整個訓(xùn)練數(shù)據(jù)集中的各個訓(xùn)練數(shù)據(jù)樣本之間的樣本相似度，從而在經(jīng)由聚類中心對象樣本引入全局信息的同時節(jié)省了訓(xùn)練代價，進(jìn)而提升對象分類模型的訓(xùn)練效果。

根據(jù)本說明書實施例的一個方面，提供一種基于自蒸餾的對象分類模型訓(xùn)練方法，包括：將當(dāng)前訓(xùn)練對象樣本和各個當(dāng)前樣本聚類的聚類中心對象樣本分別提供給對象分類模型進(jìn)行分類預(yù)測，得到所述當(dāng)前訓(xùn)練對象樣本和各個聚類中心對象樣本的分類預(yù)測結(jié)果，所述各個當(dāng)前樣本聚類通過對全量訓(xùn)練對象樣本集進(jìn)行聚類得到；確定所述當(dāng)前訓(xùn)練對象樣本與各個聚類中心對象樣本之間的樣本相似度；基于所述當(dāng)前訓(xùn)練對象樣本與各個聚類中心對象樣本之間的樣本相似度以及各個聚類中心對象樣本的分類預(yù)測結(jié)果，確定所述當(dāng)前訓(xùn)練對象樣本的軟標(biāo)簽；根據(jù)所述當(dāng)前訓(xùn)練對象樣本的分類預(yù)測結(jié)果和軟標(biāo)簽，確定當(dāng)前損失函數(shù)；以及基于所述當(dāng)前損失函數(shù)，調(diào)整所述對象分類模型的當(dāng)前模型參數(shù)。

可選地，在上述方面的一個示例中，根據(jù)所述當(dāng)前訓(xùn)練對象樣本的分類預(yù)測結(jié)果和軟標(biāo)簽，確定當(dāng)前損失函數(shù)可以包括：根據(jù)所述當(dāng)前訓(xùn)練對象樣本的分類預(yù)測結(jié)果和原始分類標(biāo)簽，確定當(dāng)前原始標(biāo)簽損失項；根據(jù)所述當(dāng)前訓(xùn)練對象樣本的分類預(yù)測結(jié)果和軟標(biāo)簽，確定當(dāng)前蒸餾損失項；以及基于所述當(dāng)前原始標(biāo)簽損失項和所述當(dāng)前蒸餾損失項，確定所述當(dāng)前損失函數(shù)。

可選地，在上述方面的一個示例中，根據(jù)所述當(dāng)前訓(xùn)練對象樣本的分類預(yù)測結(jié)果和軟標(biāo)簽，確定當(dāng)前損失函數(shù)還可以包括：確定所述當(dāng)前訓(xùn)練對象樣本相對于當(dāng)前樣本聚類的當(dāng)前對比聚類損失項。基于所述當(dāng)前原始標(biāo)簽損失項和所述當(dāng)前蒸餾損失項，確定所述當(dāng)前損失函數(shù)可以包括：基于所述當(dāng)前原始標(biāo)簽損失項、所述當(dāng)前蒸餾損失項和所述當(dāng)前對比聚類損失項，確定所述當(dāng)前損失函數(shù)。

可選地，在上述方面的一個示例中，所述各個當(dāng)前樣本聚類通過對全量訓(xùn)練對象樣本集中的正樣本和負(fù)樣本分別進(jìn)行聚類得到。