[發明專利]一種改進嵌入層的廣告點擊率預測模型訓練方法

在審

• 申請號: 202111627057.0
• 申請日: 2021-12-28
• 公開（公告）號: CN114282669A
• 公開（公告）日: 2022-04-05
• 發明（設計）人: 沈學利;韓倩雯
• 申請（專利權）人: 遼寧工程技術大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06K9/62
• 代理公司: 北京華夏正合知識產權代理事務所(普通合伙) 11017
• 代理人: 韓登營

1.一種改進嵌入層的廣告點擊率預測模型訓練方法，其特征在于，包括如下步驟：

S1：獲取預處理后的數據集，其中，每個樣本數據包含離散化特征和連續特征，對于特征處理部分只考慮分類特征的情況，通過對連續性特征進行離散化分類來進行數據預處理信息；

S2：通過改進的嵌入層有效的將高維稀疏的數據映射為低維特征數據，其中，改進的嵌入層是普通嵌入層與自注意力模塊相結合，更好的學習特征內部聯系并賦予權重過濾無用信息；

S3：一方面通過邏輯回歸對低階顯性特征進行處理，豐富對低階顯性特征表達的缺失，另一方面將低維特征數據輸入到特征提取網絡，提取二階特征組合信息；

S4：將低階部分訓練結果與高階訓練結果通過函數歸一化得到最終預測值。

2.根據權利要求1所述的改進嵌入層的廣告點擊率預測模型訓練方法，其特征在于，自注意力機制的計算是在特征提取前相對于自身之間的內部聯系進行訓練，突出有效信息并加快訓練速度，將特征向量輸出的通過與權重矩陣相乘得到對應的張量，即查詢張量Q、鍵張量K和值張量V，通過公式計算得出對應的賦予權重之后的矩陣，公式如下：

3.根據權利要求2所述的改進嵌入層的廣告點擊率預測模型訓練方法，其特征在于，通過分別對相應特征進行復制和內積操作，用o(p,i,j)表示第i個特征的復制操作，用表示第i個特征和第j個特征的內積操作；

輸出嵌入特征e_f和交互特征i_f，假設有個m特征可以構造如下：

γ是從操作到索引的映射，i_f可以按如下方式構建：

i_f＝[p_1，2，p_1，3，...，p_m-1，m]

其中p_i，j是第i個特征和第j個特征之間的內積運算的值：

連接嵌入特征e_f和交互特征i_f構成了該層的輸出：

f＝[e_f，i_f]

多層感知機用于提取高階特征和預測，首先對f進行批量歸一化，其結果表示為：

f_dnn＝BN(f)

其中貝葉斯是指批處理規范化，用來加速訓練提高預測精確度，對于MLP的每一層添加批處理規范化，并使用校正后的線性單位relu，最后使用sigmoid函數完成概率預測的任務。