[發明專利]一種基于特征選擇與交互模型的點擊率預測方法

在審

• 申請號: 202211238632.2
• 申請日: 2022-10-11
• 公開（公告）號: CN115438876A
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 何浩明;古萬榮;毛宜軍;柯海萍;盧澤倫;陳梓明;何亦琛
• 申請（專利權）人: 華南農業大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

本發明公開了一種基于特征選擇與交互模型的點擊率預測方法，包括以下步驟：1)構建特征選擇與交互模型，所述特征選擇與交互模型包括：稀疏輸入層、嵌入層、SENET層、雙線性交互層、組合層、多隱藏層和輸出層；2)將特征向量輸入到特征選擇與交互模型中，特征選擇與交互模型最終輸出點擊率預測得分；本發明的SENET層可以動態學習特征的重要性，提高了重要特征的權重，并抑制了不重要特征的權重；同時引入了三種類型的雙線性交互層來學習特征交互，使特征間的交互更加充分，優化點擊率預測。

技術領域

本發明涉及點擊率預測的技術領域，尤其是指一種基于特征選擇與交互模型的點擊率預測方法。

背景技術

目前CTR領域提出了許多模型，如邏輯回歸(LR)、多項式-2(Poly2)、基于樹的模型、基于張量的模型、貝葉斯模型和基于因子分解機的模型。隨著深度學習在計算機視覺和自然語言處理等許多研究領域的巨大成功，近年來提出了許多基于深度學習的CTR模型。因此，對CTR預測的深度學習也成為該領域的研究趨勢，一些基于神經網絡的模型已經被提出并取得了成功，如因子分解機支持的神經網絡(FNN)、注意力因子分解機(AFM)、deepFM、XDeepFM等。同時，不同的特征對目標任務具有不同的重要性，但許多相關工作以簡單的方式計算特征交互，如哈達瑪積和內積，該種方式并不能使特征進行充分的交互，因此特征交互是CTR預測領域的一個關鍵挑戰。

發明內容

本發明的目的在于為解決現有技術中的不足，提供了一種基于特征選擇與交互模型的點擊率預測方法，以細粒度的方式動態學習特征和特征交互的重要性，以此來提高點擊率預測的準確率。

本發明通過下述技術方案實現：一種基于特征選擇與交互模型的點擊率預測方法，包括以下步驟：

1)構建特征選擇與交互模型，所述特征選擇與交互模型包括：

稀疏輸入層，用于對所輸入的特征向量采用稀疏表示；

嵌入層，用于將特征向量嵌入到稠密向量中，得到嵌入向量；

SENET層，用于將嵌入向量轉換為類SENET嵌入向量；

雙線性交互層，用于對嵌入向量和類SENET嵌入向量上的二階特征交互進行建模；

組合層，用于合并雙線性交互層的輸出，得到交叉特征；

多隱藏層，用于將交叉特征輸入到深度網絡中，生成密集實值特征向量；

輸出層，用于將密集實值特征向量輸入到點擊率預測函數中，最終輸出點擊率預測得分；

2)將特征向量輸入到特征選擇與交互模型中，特征選擇與交互模型最終輸出點擊率預測得分。

進一步，所述嵌入層輸出的嵌入向量為E＝[e₁，e₂，···，e_i，··e_f]，其中f表示特征個數，e_i表示第i個特征的嵌入，且e_i∈R^k，R^k代表k維空間上所有的點，k表示嵌入層的維數。

進一步，所述SENET層包括以下步驟：

1.1)壓縮

將嵌入向量E＝[e₁，···，e_f]壓縮為統計向量Z＝[z₁，···，z_i，···，z_f]，其中i∈[1，···，f]，z_i為標量值，表示關于第i個特征所表示的全局信息，z_i的計算公式如公式(1)所示：