[發明專利]一種基于核心興趣網絡的點擊率預測方法

在審

• 申請號: 202110369914.5
• 申請日: 2021-04-07
• 公開（公告）號: CN113034196A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 於志文;徐恩;郭斌;崔禾磊
• 申請（專利權）人: 西北工業大學
• 主分類號: G06Q30/02
• 分類號: G06Q30/02;G06N3/04;G06N3/08
• 代理公司: 西北工業大學專利中心 61204
• 代理人: 金鳳

1.一種基于核心興趣網絡的點擊率預測方法，其特征在于包括下述步驟：

步驟1：獲取用戶屬性描述、用戶行為列表、廣告信息以及上下文信息；

步驟2：將用戶行為序列按session切分，每個session中依據用戶行為數據，提取用戶核心興趣：

u_t＝σ(W^ui_t+U^uh_t-1+b^u),

r_t＝σ(W^ri_t+U^rh_t-1+b^r),

其中，u_t表示更新門，r_t表示重置門，表示t時刻產生的新記憶，h_t表示t時刻對應的隱藏狀態，σ表示sigmoid激活函數，是元素級的點積，W^u、W^r、W^h以及U^u、U^r、U^h表示系數參數，i_t表示第t個被輸入的用戶行為的向量表示，h_t表示用戶t時刻的隱狀態；

步驟3：根據用戶的隱狀態以及用戶各個時刻的真實行為計算輔助損失；

步驟4：將每個session提取的核心向后傳遞捕獲用戶動態興趣，描述為：

其中i_i,1表示第一階段第i個session的輸入數據，表示第i-1個session第t時刻(最后時刻)第二層GRU提取出的用戶核心興趣，表示第i個session開始時刻用戶行為向量的原始輸入，角標b表示用戶行為(behavior)特征；

步驟5：根據用戶行為與候選物品的相似度，計算對應的attention值；

步驟6：通過輔助損失函數以及目標損失函數來定義模型的損失，使用交叉熵損失函數來定義模型損失函數，描述為：

L＝L_target+α*L_aux

其中，L為系統全局損失值，L_target表示預測點擊率與真實點擊率的損失函數，L_aux表示輔助損失函數，α為超參，表示輔助損失所占比重；

步驟7：在得到全局損失L后，通過隨機梯度下降方法計算得到整個神經網絡模型參數更新迭代的大小及方向，設定迭代更新輪數，最終能夠得到模型收斂的參數，在得到模型的所有訓練后的參數以后，再將用戶的歷史行為以及候選物品作為輸入，模型最終能夠計算出點擊率，即該用戶點擊候選物品的概率，從而能夠點擊率預測任務。

2.根據權利要求1所述的基于核心興趣網絡的點擊率預測方法，其特征在于：

所述步驟1中，所述用戶屬性描述、用戶行為列表、廣告信息以及上下文信息，分別用one-hot編碼表示成x_p，x_b，x_a，x_c。

3.根據權利要求1所述的基于核心興趣網絡的點擊率預測方法，其特征在于：

所述步驟3中，輔助損失描述為：

其中，L_aux表示輔助損失，為t時刻第i層GRU對應的隱狀態，為t+1時刻用戶真實點擊的物品向量表示，為t+1時刻用戶沒有點擊過的物品，即負樣本的向量表示，另外N表示樣本數量，t表示時刻。

4.根據權利要求1所述的基于核心興趣網絡的點擊率預測方法，其特征在于：

所述步驟5中，attention值描述為：

其中，a_t為t時刻的隱狀態與被預測物品e_a之間的attention值，e_a表示目標廣告的embedding向量，W為為系數矩陣，結合attention值與GRU的公式，更新門的值考慮attention值的大小，其中h′_t分別是更新狀態和隱狀態。