[發明專利]一種基于特征選擇與交互模型的點擊率預測方法

在審

• 申請號: 202211238632.2
• 申請日: 2022-10-11
• 公開（公告）號: CN115438876A
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 何浩明;古萬榮;毛宜軍;柯海萍;盧澤倫;陳梓明;何亦琛
• 申請（專利權）人: 華南農業大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

1.一種基于特征選擇與交互模型的點擊率預測方法，其特征在于，包括以下步驟：

1)構建特征選擇與交互模型，所述特征選擇與交互模型包括：

稀疏輸入層，用于對所輸入的特征向量采用稀疏表示；

嵌入層，用于將特征向量嵌入到稠密向量中，得到嵌入向量；

SENET層，用于將嵌入向量轉換為類SENET嵌入向量；

雙線性交互層，用于對嵌入向量和類SENET嵌入向量上的二階特征交互進行建模；

組合層，用于合并雙線性交互層的輸出，得到交叉特征；

多隱藏層，用于將交叉特征輸入到深度網絡中，生成密集實值特征向量；

輸出層，用于將密集實值特征向量輸入到點擊率預測函數中，最終輸出點擊率預測得分；

2)將特征向量輸入到特征選擇與交互模型中，特征選擇與交互模型最終輸出點擊率預測得分。

2.根據權利要求1所述的一種基于特征選擇與交互模型的點擊率預測方法，其特征在于：所述嵌入層輸出的嵌入向量為E＝[e₁，e₂，…，e_i，··e_f]，其中f表示特征個數，e_i表示第i個特征的嵌入，且e_i∈R^k，R^k代表k維空間上所有的點，k表示嵌入層的維數。

3.根據權利要求1所述的一種基于特征選擇與交互模型的點擊率預測方法，其特征在于，所述SENET層包括以下步驟：

1.1)壓縮

將嵌入向量E＝[e₁，…，e_f]壓縮為統計向量Z＝[z₁，…，z_i，…，z_f]，其中i∈[1，…，f]，z_i為標量值，表示關于第i個特征所表示的全局信息，z_i的計算公式如公式(1)所示：

其中，Fsq表示壓縮函數，k表示嵌入層的維數，e_i^(t)表示第i個向量中的第t個值，t表示e_i向量一列值的第t個值；

1.2)激勵

用于基于統計向量Z學習每個特征嵌入的權重，使用兩個完全連接層來學習權重，第一個連接層是具有參數W₁的維度縮減層，參數W₁具有縮減比r，第二個連接層通過參數W₂增加維數，計算公式如公式(2)所示：

A＝F_ex(Z)＝σ₂(W₂σ₁(W₁Z)) (2)；

其中，A為權重向量，且A∈R^f，σ1和σ2均為激活函數，學習參數為r為還原比，f為特征個數；

1.3)重新加權

將嵌入向量E和權重向量A中對應的值相乘，輸出類SENET嵌入向量V＝{v₁，…，v_i，…，v_f}，類SENET嵌入向量V如公式(3)所示：

V＝F_ReWeight(A,E)＝[a₁·e₁,...,a_f·e_f]＝[v₁,...,v_f] (3)；

其中a_i∈R，e_i∈R^k，v_i∈R^k，k表示嵌入層的維數，SENET層使用了兩個完全連接層動態學習特征的重要性。