[發(fā)明專利]內(nèi)容召回模型的訓(xùn)練方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210926881.4
• 申請日: 2022-08-03
• 公開（公告）號: CN115391589A
• 公開（公告）日: 2022-11-25
• 發(fā)明（設(shè)計(jì)）人: 黃強(qiáng);解忠乾;羅川江
• 申請（專利權(quán)）人: 杭州網(wǎng)易云音樂科技有限公司
• 主分類號: G06F16/635
• 分類號: G06F16/635;G06F16/65;G06K9/62
• 代理公司: 北京同達(dá)信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 張春玲

1.一種內(nèi)容召回模型的訓(xùn)練方法，其特征在于，包括：

獲取訓(xùn)練樣本集；

根據(jù)預(yù)先建立的內(nèi)容召回模型，針對所述樣本集中的每一樣本數(shù)據(jù)執(zhí)行如下操作：

將所述樣本數(shù)據(jù)中的樣本媒體資源特征、樣本用戶的歷史點(diǎn)擊媒體資源特征輸入所述內(nèi)容召回模型，輸出所述樣本媒體資源的預(yù)測分值；

根據(jù)所述樣本媒體資源的預(yù)測分值、所述樣本用戶針對所述樣本媒體資源的操作行為標(biāo)簽以及預(yù)設(shè)的內(nèi)容召回模型的損失函數(shù)，對所述內(nèi)容召回模型的各參數(shù)進(jìn)行迭代優(yōu)化，直至所述內(nèi)容召回模型收斂，得到訓(xùn)練后的內(nèi)容召回模型，所述損失函數(shù)包括聚類損失和樣本損失，所述聚類損失是根據(jù)生成的聚類中心向量與所述樣本用戶的歷史點(diǎn)擊媒體資源特征向量之間的類內(nèi)距離、以及所述聚類中心向量之間的類間距離確定的。

2.如權(quán)利要求1所述的方法，其特征在于，所述樣本集中的樣本數(shù)據(jù)包括正樣本和負(fù)樣本；所述樣本集通過以下方式生成：

根據(jù)客戶端請求的媒體資源特征、所述客戶端的樣本用戶的歷史點(diǎn)擊媒體資源特征、以及所述客戶端的樣本用戶針對請求的所述媒體資源的操作行為特征，獲得候選樣本；

遍歷各個候選樣本，若當(dāng)前候選樣本為正樣本，則將所述當(dāng)前候選樣本存儲至樣本池；

若當(dāng)前候選樣本為負(fù)樣本，且根據(jù)設(shè)置的負(fù)采樣比例確定需要負(fù)采樣，則從負(fù)采樣池中隨機(jī)選擇一條負(fù)采樣樣本存儲至樣本池，所述負(fù)采樣池中的負(fù)采樣樣本為設(shè)定其他用戶的曝光樣本；

若當(dāng)前候選樣本為負(fù)樣本，且根據(jù)設(shè)置的負(fù)采樣比例確定不需要負(fù)采樣，則將當(dāng)前候選樣本存儲至樣本池，所述樣本池中的正樣本和負(fù)樣本構(gòu)成所述樣本集。

3.如權(quán)利要求2所述的方法，其特征在于，根據(jù)客戶端請求的媒體資源特征、所述客戶端的樣本用戶的歷史點(diǎn)擊媒體資源特征、以及所述客戶端的樣本用戶針對請求的所述媒體資源的操作行為特征，獲得候選樣本，具體包括：

接收客戶端發(fā)送的媒體資源請求，向所述客戶端返回目標(biāo)媒體資源列表；

分別提取所述客戶端的樣本用戶的歷史點(diǎn)擊媒體資源特征，以及各個目標(biāo)媒體資源特征；

獲取所述客戶端的樣本用戶針對所述各個目標(biāo)媒體資源的操作行為標(biāo)簽；

針對每一目標(biāo)媒體資源，將所述客戶端的樣本用戶的歷史點(diǎn)擊媒體資源特征、所述目標(biāo)媒體資源特征以及所述客戶端的樣本用戶針對所述目標(biāo)媒體資源的行為標(biāo)簽進(jìn)行拼接，獲得所述目標(biāo)媒體資源對應(yīng)的樣本；

將所述各個目標(biāo)媒體資源對應(yīng)的樣本確定為候選樣本。

4.如權(quán)利要求1～3任一項(xiàng)所述的方法，其特征在于，所述內(nèi)容召回模型包括向量層、興趣抽取層和注意力層；

將所述樣本數(shù)據(jù)中的樣本媒體資源特征和樣本用戶的歷史點(diǎn)擊媒體資源特征輸入所述內(nèi)容召回模型，輸出所述樣本媒體資源的預(yù)測分值，具體包括：

將樣本媒體資源特征和樣本用戶的歷史點(diǎn)擊媒體資源特征輸入所述向量層，獲得樣本媒體資源特征向量和樣本用戶的歷史點(diǎn)擊媒體資源特征向量；

將所述樣本媒體資源特征向量和所述樣本用戶的歷史點(diǎn)擊媒體資源特征向量輸入所述興趣抽取層，根據(jù)生成的各個聚類中心向量對所述樣本用戶的歷史點(diǎn)擊媒體資源特征向量進(jìn)行聚類，獲得所述樣本用戶的興趣向量；

將所述樣本媒體資源特征向量和所述樣本用戶的興趣向量輸入所述注意力層執(zhí)行注意力機(jī)制操作，獲得所述樣本用戶的目標(biāo)興趣向量；

根據(jù)所述樣本媒體資源特征向量與所述樣本用戶的目標(biāo)興趣向量確定所述預(yù)測分值。

5.如權(quán)利要求4所述的方法，其特征在于，根據(jù)生成的各個聚類中心向量對所述樣本用戶的歷史點(diǎn)擊媒體資源特征向量進(jìn)行聚類，獲得所述樣本用戶的興趣向量，具體包括：

針對所述樣本用戶的每一歷史點(diǎn)擊媒體資源特征，分別計(jì)算所述歷史點(diǎn)擊媒體資源特征向量與各個聚類中心向量之間的距離；

將所述歷史點(diǎn)擊媒體資源特征向量與相距距離最小的聚類中心向量歸為一類；

根據(jù)歸類到所述各個聚類中心向量的歷史點(diǎn)擊媒體資源向量生成相應(yīng)的所述樣本用戶的興趣向量。