[發(fā)明專利]推廣內(nèi)容的評(píng)價(jià)方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910361747.2
• 申請(qǐng)日: 2019-04-30
• 公開（公告）號(hào): CN110189163A
• 公開（公告）日: 2019-08-30
• 發(fā)明（設(shè)計(jì)）人: 程建明
• 申請(qǐng)（專利權(quán)）人: 北京三快在線科技有限公司
• 主分類號(hào): G06Q30/02
• 分類號(hào): G06Q30/02;G06N3/08
• 代理公司: 北京市隆安律師事務(wù)所 11323
• 代理人: 權(quán)鮮枝

本申請(qǐng)公開了推廣內(nèi)容的評(píng)價(jià)方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。所述方法包括：根據(jù)推廣數(shù)據(jù)生成樣本數(shù)據(jù)；所述樣本數(shù)據(jù)包括多個(gè)標(biāo)簽，且至少包括與喚起行為對(duì)應(yīng)的喚起標(biāo)簽；將所述樣本數(shù)據(jù)輸入到基于深度學(xué)習(xí)網(wǎng)絡(luò)的多目標(biāo)模型中進(jìn)行訓(xùn)練，得到推廣內(nèi)容的評(píng)價(jià)模型；所述多目標(biāo)模型包括與各標(biāo)簽分別對(duì)應(yīng)的子網(wǎng)絡(luò)；根據(jù)所述推廣內(nèi)容的評(píng)價(jià)模型對(duì)待評(píng)價(jià)的推廣內(nèi)容進(jìn)行評(píng)價(jià)。該技術(shù)方案的有益效果在于，考慮到了與APP相關(guān)的推廣內(nèi)容的喚起行為，適用站內(nèi)與站外結(jié)合的復(fù)雜場(chǎng)景，能夠有效評(píng)估設(shè)備從站外跳轉(zhuǎn)到站內(nèi)APP的可能性；在樣本利用率上由于加入了喚起標(biāo)簽，并采用多目標(biāo)模型，提高了樣本多樣性和特征豐富度，緩解了樣本偏差問題，提高了評(píng)價(jià)準(zhǔn)確率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及內(nèi)容推廣技術(shù)領(lǐng)域，具體涉及推廣內(nèi)容的評(píng)價(jià)方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

如何評(píng)價(jià)推廣內(nèi)容與用戶需求的契合度一直是一個(gè)難題，深度學(xué)習(xí)的不斷發(fā)展為推廣內(nèi)容的評(píng)價(jià)帶來了新的解決思路，通過將用戶與推廣內(nèi)容相關(guān)的各類行為作為樣本進(jìn)行學(xué)習(xí)，可以預(yù)估一個(gè)推廣內(nèi)容是否能夠被用戶點(diǎn)擊等等。但是這也帶來了新的問題，深度學(xué)習(xí)模型的種類、樣本的選擇等都是影響評(píng)價(jià)效果的因素。現(xiàn)有技術(shù)中的評(píng)價(jià)方式存在支持的場(chǎng)景較少、樣本利用率低等缺陷，有待改進(jìn)。

發(fā)明內(nèi)容

鑒于上述問題，提出了本申請(qǐng)以便提供一種克服上述問題或者至少部分地解決上述問題的推廣內(nèi)容的評(píng)價(jià)方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

依據(jù)本申請(qǐng)的一個(gè)方面，提供了一種推廣內(nèi)容的評(píng)價(jià)方法，包括：

根據(jù)推廣數(shù)據(jù)生成樣本數(shù)據(jù)；樣本數(shù)據(jù)包括多個(gè)標(biāo)簽，且至少包括與喚起行為對(duì)應(yīng)的喚起標(biāo)簽；

將樣本數(shù)據(jù)輸入到基于深度學(xué)習(xí)網(wǎng)絡(luò)的多目標(biāo)模型中進(jìn)行訓(xùn)練，得到推廣內(nèi)容的評(píng)價(jià)模型；多目標(biāo)模型包括與各標(biāo)簽分別對(duì)應(yīng)的子網(wǎng)絡(luò)；

根據(jù)推廣內(nèi)容的評(píng)價(jià)模型對(duì)待評(píng)價(jià)的推廣內(nèi)容進(jìn)行評(píng)價(jià)。

可選地，將樣本數(shù)據(jù)輸入到基于深度學(xué)習(xí)網(wǎng)絡(luò)的多目標(biāo)模型中進(jìn)行訓(xùn)練，得到推廣內(nèi)容的評(píng)價(jià)模型包括：

基于梯度下降的方法，降低多目標(biāo)模型使用的損失函數(shù)的值，對(duì)各子網(wǎng)絡(luò)的參數(shù)同時(shí)進(jìn)行更新。

可選地，推廣數(shù)據(jù)包括推廣內(nèi)容的展現(xiàn)數(shù)據(jù)；

多個(gè)標(biāo)簽還包括：與點(diǎn)擊行為對(duì)應(yīng)的點(diǎn)擊標(biāo)簽，與轉(zhuǎn)化行為對(duì)應(yīng)的轉(zhuǎn)化標(biāo)簽；

根據(jù)推廣內(nèi)容的評(píng)價(jià)模型對(duì)待評(píng)價(jià)的推廣內(nèi)容進(jìn)行評(píng)價(jià)包括：預(yù)估待評(píng)價(jià)的推廣內(nèi)容的點(diǎn)擊率、喚起率和轉(zhuǎn)化率。

可選地，多目標(biāo)模型使用的損失函數(shù)包括若干個(gè)交叉熵?fù)p失函數(shù)，各交叉熵?fù)p失函數(shù)分別用于計(jì)算一項(xiàng)差異性信息，差異性信息包括如下的一種或多種：

點(diǎn)擊標(biāo)簽與相應(yīng)子網(wǎng)絡(luò)預(yù)估值的差異；

點(diǎn)擊標(biāo)簽、喚起標(biāo)簽與相應(yīng)子網(wǎng)絡(luò)預(yù)估值的差異；

點(diǎn)擊標(biāo)簽、喚起標(biāo)簽、轉(zhuǎn)化標(biāo)簽與相應(yīng)子網(wǎng)絡(luò)預(yù)估值的差異。

可選地，根據(jù)推廣數(shù)據(jù)生成樣本數(shù)據(jù)包括：

根據(jù)推廣數(shù)據(jù)抽取如下的一維或多維原始特征，得到相應(yīng)的特征序列：設(shè)備特征，用戶特征，推廣內(nèi)容特征，上下文特征。

可選地，根據(jù)推廣數(shù)據(jù)生成樣本數(shù)據(jù)還包括：

對(duì)原始特征進(jìn)行如下的一種或多種處理，得到相應(yīng)的特征序列：特征embedding處理，one-hot編碼處理，multi-hot編碼處理，特征歸一化，特征分桶，特征交叉。

可選地，深度學(xué)習(xí)網(wǎng)絡(luò)包括如下的一種或多種：

深度神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)，長(zhǎng)短期記憶網(wǎng)絡(luò)，變換網(wǎng)絡(luò)。

依據(jù)本發(fā)明的另一方面，提供了一種推廣內(nèi)容的評(píng)價(jià)裝置，包括：