[發(fā)明專利]一種基于核心興趣網(wǎng)絡(luò)的點(diǎn)擊率預(yù)測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110369914.5
• 申請(qǐng)日: 2021-04-07
• 公開(kāi)（公告）號(hào): CN113034196A
• 公開(kāi)（公告）日: 2021-06-25
• 發(fā)明（設(shè)計(jì)）人: 於志文;徐恩;郭斌;崔禾磊
• 申請(qǐng)（專利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類號(hào): G06Q30/02
• 分類號(hào): G06Q30/02;G06N3/04;G06N3/08
• 代理公司: 西北工業(yè)大學(xué)專利中心 61204
• 代理人: 金鳳

本發(fā)明提供了一種基于核心興趣網(wǎng)絡(luò)的點(diǎn)擊率預(yù)測(cè)方法。聚焦點(diǎn)擊率預(yù)測(cè)任務(wù)下的時(shí)序數(shù)據(jù)中的長(zhǎng)序列問(wèn)題。提出了核心興趣網(wǎng)絡(luò)模型，將一個(gè)長(zhǎng)序列切分成多個(gè)子序列，在每個(gè)子序列中提取用戶的核心興趣，每個(gè)子序列提取的核心興趣將向下一個(gè)子序列傳遞，模型完成對(duì)整個(gè)長(zhǎng)序列用戶興趣的學(xué)習(xí)，通過(guò)提取用戶的核心興趣，這是用戶在更高層次和更穩(wěn)定的興趣傳遞給下一個(gè)子序列的數(shù)據(jù)中的噪聲較小，更有利于學(xué)習(xí)用戶的興趣。本發(fā)明不僅可以用于推薦系統(tǒng)中的興趣提取，還可以用于處理其他序列數(shù)據(jù)中的長(zhǎng)序列問(wèn)題。在推薦系統(tǒng)序列化預(yù)測(cè)場(chǎng)景有很多應(yīng)用前景。

技術(shù)領(lǐng)域

本發(fā)明涉及商品點(diǎn)擊率預(yù)測(cè)和基于深度學(xué)習(xí)的序列化推薦系統(tǒng)領(lǐng)域，尤其是一種基于點(diǎn)擊率預(yù)測(cè)方法，為一種基于神經(jīng)網(wǎng)絡(luò)的商品推薦方法。

背景技術(shù)

隨著互聯(lián)網(wǎng)的發(fā)展，收集到用戶的信息是越來(lái)越多，如何利用該信息提取用戶興趣變得尤為重要。獲取用戶興趣，給用戶推薦相應(yīng)的物品帶給公司巨大的收益。谷歌公司百分之八十以上的收入來(lái)自廣告。廣告的計(jì)費(fèi)模式有很多，其中傳統(tǒng)廣告計(jì)費(fèi)方式有：以展示量收費(fèi)，即根據(jù)給用戶展示的次數(shù)收費(fèi)；以長(zhǎng)期租賃的方式收費(fèi)，即固定位置展示一定的時(shí)間收取相應(yīng)的費(fèi)用。但隨著行業(yè)的發(fā)展更細(xì)致的方式更利于雙方交易，如今則出現(xiàn)了，以點(diǎn)擊量付費(fèi)，用戶點(diǎn)擊了廣告才收取相應(yīng)費(fèi)用，所以對(duì)一個(gè)公司來(lái)說(shuō)提高點(diǎn)擊率CTR則格外重要。

典型的CTR預(yù)測(cè)方法有微軟研究院提出的邏輯回歸模型(LR)；斯坦福大學(xué)Friedman等人提出一種解決特征組合問(wèn)題的方案GDBT；日本大阪大學(xué)Steffen Rendle等人于2010年提出FM模型，旨在解決數(shù)據(jù)量大而稀疏的情況下的特征組合的問(wèn)題。但是由于深度學(xué)習(xí)優(yōu)秀的擬合能力。并且端到端的學(xué)習(xí)方式，不需要再進(jìn)行特征工程，使得深度學(xué)習(xí)在推薦領(lǐng)域大放異彩。

如今CTR的主流方法都是基于深度學(xué)習(xí)，而且如今已有很多代表工作。它們大致分為兩類一類是基于池化的方法，將用戶的各個(gè)歷史行為分別學(xué)習(xí)它們的表征形式，最后通過(guò)求和或是平均的方式來(lái)學(xué)習(xí)到用戶最終的興趣，如DIN、FNN、NFM。這種方式忽略了用戶行為之間的依賴性。另外一類是基于時(shí)序的方法，將用戶各個(gè)時(shí)間購(gòu)買的物品視為時(shí)間序列，用LSTM/GRU等模型從時(shí)序中捕獲用戶的興趣，最終依據(jù)用戶興趣對(duì)候選物品進(jìn)行點(diǎn)擊率預(yù)測(cè)。然而，當(dāng)序列長(zhǎng)度相對(duì)較長(zhǎng)時(shí)，例如超過(guò)100時(shí)，這些解決方案無(wú)法處理這種情況。這是由于RNN的消失梯度問(wèn)題，即模型不能學(xué)習(xí)距離太遠(yuǎn)行為的信息。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于核心興趣網(wǎng)絡(luò)的點(diǎn)擊率預(yù)測(cè)方法。本發(fā)明提出了一種新的核心利益網(wǎng)絡(luò)(CIN)模型，以減輕CTR預(yù)測(cè)中長(zhǎng)序列的梯度消失問(wèn)題。提出一種基于核心興趣網(wǎng)絡(luò)的點(diǎn)擊率預(yù)測(cè)方法。本發(fā)明利用以下原理：本發(fā)明聚焦點(diǎn)擊率(Click Through Rate,CTR)預(yù)測(cè)任務(wù)下的時(shí)序數(shù)據(jù)中的長(zhǎng)序列問(wèn)題。為了緩解臭名昭著的LSTM/GRU的梯度消失問(wèn)題，提出了核心興趣網(wǎng)絡(luò)(Core Interest Network,CIN)模型，將一個(gè)長(zhǎng)序列切分成多個(gè)子序列，在每個(gè)子序列中提取用戶的核心興趣。每個(gè)子序列提取的核心興趣將向下一個(gè)子序列傳遞。通過(guò)這種方法，模型完成對(duì)整個(gè)長(zhǎng)序列用戶興趣的學(xué)習(xí)。通過(guò)提取用戶核心興趣，這是用戶更高階更穩(wěn)定的興趣，使得傳遞給下一子序列數(shù)據(jù)中噪音更少，更利于學(xué)習(xí)到用戶的興趣。同時(shí)加入了多層感知機(jī)(Multi-Layer Perception,MLP)這一深度學(xué)習(xí)方法，可以從數(shù)據(jù)中學(xué)習(xí)任意函數(shù)，增加了點(diǎn)擊率預(yù)測(cè)的準(zhǔn)確性。

本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案包括以下步驟：

步驟1：獲取用戶屬性描述、用戶行為列表、廣告信息以及上下文信息；

步驟2：將用戶行為序列按session切分，每個(gè)session中依據(jù)用戶行為數(shù)據(jù)，提取用戶核心興趣：

u_t＝σ(W^ui_t+U^uh_t-1+b^u),