[發(fā)明專利]一種融合域特征交互的基于注意力網(wǎng)絡(luò)學(xué)習(xí)的點(diǎn)擊率預(yù)測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011551798.0
• 申請(qǐng)日: 2020-12-24
• 公開(kāi)（公告）號(hào): CN112561599A
• 公開(kāi)（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 肖迎元;韓永亮
• 申請(qǐng)（專利權(quán)）人: 天津理工大學(xué)
• 主分類號(hào): G06Q30/02
• 分類號(hào): G06Q30/02;G06N3/04;G06N20/00
• 代理公司: 天津耀達(dá)律師事務(wù)所 12223
• 代理人: 張耀

一種融合域特征交互的基于注意力網(wǎng)絡(luò)學(xué)習(xí)的點(diǎn)擊率預(yù)測(cè)方法，屬于互聯(lián)網(wǎng)廣告點(diǎn)擊率預(yù)測(cè)領(lǐng)域。本發(fā)明首先利用特征與標(biāo)記之間的相關(guān)性大小，將特征進(jìn)行重排序并劃分在不同的域中。然后在特征二階交互過(guò)程中，提出域內(nèi)和域間的獨(dú)立交互，降低模型時(shí)間復(fù)雜度。在域內(nèi)特征交互過(guò)程中，提出新的交互方法并且使用注意力網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)域內(nèi)特征交互的重要性，提高特征交互深度。在特征高階交互過(guò)程中，使用多層感知機(jī)網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)特征高階交互。最后結(jié)合特征二階交互和高階交互結(jié)果，預(yù)測(cè)用戶點(diǎn)擊目標(biāo)物品的概率。本發(fā)明適用于廣告點(diǎn)擊通過(guò)率預(yù)測(cè)、用戶行為預(yù)測(cè)、用戶興趣預(yù)測(cè)等二分類預(yù)測(cè)問(wèn)題領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明屬于互聯(lián)網(wǎng)廣告點(diǎn)擊率預(yù)測(cè)領(lǐng)域。提出一種融合域特征交互的基于注意力網(wǎng)絡(luò)學(xué)習(xí)的點(diǎn)擊率預(yù)測(cè)方法。

背景技術(shù)

在線廣告是隨著互聯(lián)網(wǎng)的誕生與發(fā)展而衍生出的一種廣告形式，即有廣告發(fā)布需求的廣告主通過(guò)具備廣告發(fā)布能力的在線廣告發(fā)布商，將具有宣傳其產(chǎn)品或服務(wù)的廣告向互聯(lián)網(wǎng)用戶發(fā)布。點(diǎn)擊率(Click-Through-Rate,CTR)預(yù)測(cè)是根據(jù)給定的用戶點(diǎn)擊廣告的歷史數(shù)據(jù)以及其它輔助信息，預(yù)測(cè)出用戶點(diǎn)擊廣告的概率。但是互聯(lián)網(wǎng)中積累的大多數(shù)廣告日志具有數(shù)據(jù)稀疏、特征維度大等特征，這給如何使用模型高效地從數(shù)據(jù)中提取出有效信息以提高點(diǎn)擊率預(yù)測(cè)地準(zhǔn)確度帶來(lái)巨大的挑戰(zhàn)。

隨著數(shù)據(jù)挖掘、自然語(yǔ)言處理等技術(shù)的發(fā)展,在廣告點(diǎn)擊率預(yù)測(cè)方面已經(jīng)有了不少成熟的研究。因子分解機(jī)(FM)模型為每個(gè)特征學(xué)習(xí)隱向量，然后在用戶特征、廣告特征和輔助信息特征之間進(jìn)行交互，不但實(shí)現(xiàn)效率高，而且模型對(duì)數(shù)據(jù)中的噪聲具有很好的魯棒性,是工業(yè)界最常使用的在線廣告點(diǎn)擊率預(yù)測(cè)模型。但是FM方法僅對(duì)輸入的特征之間的線性相互作用進(jìn)行建模，不足以捕獲現(xiàn)實(shí)世間數(shù)據(jù)復(fù)雜的非線性關(guān)系。深度學(xué)習(xí)能夠自動(dòng)探索數(shù)據(jù)間的局部依賴關(guān)系并且可建立特征之間的密集表示,使得神經(jīng)網(wǎng)絡(luò)能夠在原始數(shù)據(jù)中提取出高階特征,這種有效學(xué)習(xí)高階隱含信息的能力也被應(yīng)用到了CTR預(yù)測(cè)中。基于FM的CTR預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)(DeepFM)模型由集成在并行結(jié)構(gòu)中的FM部分和神經(jīng)網(wǎng)絡(luò)部分組成。FM部分用于對(duì)特征的一階信息和特征之間的二階交互信息進(jìn)行建模，神經(jīng)網(wǎng)絡(luò)部分用于捕獲非線性的高階特征交互信息。這兩部分共享相同的嵌入空間，并且將它們的輸出匯總為最終預(yù)測(cè)。DeepFM模型可以有效的提高CTR預(yù)測(cè)的準(zhǔn)確率，并且不會(huì)產(chǎn)生巨大的模型參數(shù)，具有很好的擴(kuò)展性，被廣泛應(yīng)用于工業(yè)界中。

但是DeepFM忽略了特征交互的深度，在FM部分，使用簡(jiǎn)單的內(nèi)積操作作為特征交互規(guī)則，不能很好的挖掘出特征之間的深層聯(lián)系，同時(shí)隨著用戶歷史數(shù)據(jù)量的急劇增加，DeepFM在特征交互部分所花費(fèi)的時(shí)間也在急劇加大，導(dǎo)致模型整體的時(shí)間復(fù)雜度越來(lái)越大。因此建立更加有效的交互規(guī)則，捕獲特征之間的深層聯(lián)系是至關(guān)重要性。同時(shí)，在建立預(yù)測(cè)模型的過(guò)程中，考慮模型的時(shí)間復(fù)雜度，保證在低時(shí)間復(fù)雜度的情況下，還能夠得到更好的預(yù)測(cè)結(jié)果，對(duì)工業(yè)上的實(shí)際應(yīng)用是十分重要的。

發(fā)明內(nèi)容

本發(fā)明的目的是在降低模型復(fù)雜度的情況下還可以得到更好的CTR預(yù)測(cè)結(jié)果，提出一種融合域特征交互的基于注意力網(wǎng)絡(luò)學(xué)習(xí)的點(diǎn)擊率預(yù)測(cè)方法。

本發(fā)明提供的融合域特征交互的基于注意力網(wǎng)絡(luò)學(xué)習(xí)的點(diǎn)擊率預(yù)測(cè)方法，方法包括：

1)利用特征與標(biāo)記之間的相關(guān)性，將特征劃分在不同的域中。在點(diǎn)擊率預(yù)測(cè)領(lǐng)域，輸入空間中的特征多數(shù)是非數(shù)值型的離散數(shù)據(jù)，本發(fā)明使用信息增益率探索用戶特征、物品特征和其它輔助信息特征與標(biāo)記之間的相關(guān)性。根據(jù)相關(guān)性將輸入空間中的特征進(jìn)行分組化，把特征平均劃分在若干個(gè)不同的域中，每個(gè)特征都有唯一的所屬域。本發(fā)明隨機(jī)初始化域的個(gè)數(shù)，通過(guò)模型的學(xué)習(xí)能力，不斷優(yōu)化域的大小和個(gè)數(shù)。

2)特征嵌入向量表達(dá)。獨(dú)熱編碼(one-hot)可以提高模型的運(yùn)算效率，并且更加適用于非數(shù)值型的離散數(shù)據(jù)。模型輸入過(guò)程中，每個(gè)輸入樣本的特征經(jīng)過(guò)one-hot編碼后，得到對(duì)應(yīng)的輸入向量。但是因?yàn)榫薮蟮臄?shù)據(jù)量，導(dǎo)致特征輸入向量會(huì)變得高維且高稀疏，不利于實(shí)際應(yīng)用。本發(fā)明采用嵌入技術(shù)，將高維且高稀疏的特征輸入向量轉(zhuǎn)變?yōu)榈途S且稠密的特征嵌入向量。