[發明專利]基于多行為的點擊預測模型訓練方法及裝置

在審

• 申請號: 202310849548.2
• 申請日: 2023-07-12
• 公開（公告）號: CN116578875A
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 劉艷剛;董輝;王芳
• 申請（專利權）人: 深圳須彌云圖空間科技有限公司
• 主分類號: G06F18/214
• 分類號: G06F18/214;G06F18/25;G06N3/08;G06F16/9535
• 代理公司: 北京嘉科知識產權代理事務所(特殊普通合伙) 11687
• 代理人: 彭杰

1.一種基于多行為的點擊預測模型訓練方法，其特征在于，包括：

構建特征處理網絡、特征系數網絡、用戶特征融合網絡和目標特征融合網絡，并利用所述特征處理網絡、所述特征系數網絡、所述用戶特征融合網絡和所述目標特征融合網絡構建點擊預測模型；

獲取訓練數據，其中，所述訓練數據包括用戶與目標之間的多種行為信息；

將多種行為信息輸入所述點擊預測模型：

通過所述特征處理網絡處理多種行為信息，得到每種行為信息對應行為下所述用戶的嵌入表示和所述目標的嵌入表示；

通過所述特征系數網絡處理多種行為信息，得到每種行為信息對應行為下所述用戶的嵌入表示的系數；

通過所述用戶特征融合網絡處理多種行為下所述用戶的嵌入表示和各種行為下所述用戶的嵌入表示的系數，得到所述用戶的最終表示，以及通過所述目標特征融合網絡處理多種行為下所述目標的嵌入表示，得到所述目標的最終表示；

根據所述用戶的最終表示和所述目標的最終表示，利用目標損失函數計算損失值，依據所述損失值更新所述點擊預測模型的模型參數，以完成對所述點擊預測模型的訓練。

2.根據權利要求1所述的方法，其特征在于，按照如下方式構建所述特征處理網絡，包括：

所述特征處理網絡包括多個預設網絡層和一個特征劃分層，第l個預設網絡層如下：

；

為第l個預設網絡層輸出的第k種行為信息對應的嵌入表示，為非線性激活函數，為第l-1個預設網絡層輸出的第k種行為信息對應的嵌入表示，為第k種行為信息對應的權重參數；

其中，所述特征劃分層用于將最后一個預設網絡層輸出的第k種行為信息對應的嵌入表示劃分得到第k種行為信息對應的第k種行為下所述用戶的嵌入表示和所述目標的嵌入表示。

3.根據權利要求1所述的方法，其特征在于，按照如下方式構建所述特征系數網絡，包括：

；

其中，為第k種行為信息對應的第k種行為下第u個用戶的嵌入表示的系數，為以自然常數e為底的指數函數，N為所有行為信息的種類的數量，m用于表示行為信息的種類的序號，為第m種行為信息對應的權重參數，為第u個用戶產生第m種行為的次數，m初始值為1，當m等于k，為第k種行為信息對應的權重參數，為第u個用戶產生第k種行為的次數。

4.根據權利要求1所述的方法，其特征在于，按照如下方式構建用戶特征融合網絡，包括：

；

其中，為第u個用戶的最終表示，N為所有行為信息的種類的數量，m用于表示行為信息的種類的序號，m初始值為1，為第m種行為信息對應的第m種行為下第u個用戶的嵌入表示的系數，為第m種行為信息對應的第m種行為下第u個用戶的嵌入表示，為第k種行為信息對應的權重參數，為非線性激活函數，為偏差矩陣。

5.根據權利要求1所述的方法，其特征在于，按照如下方式構建所述目標特征融合網絡，包括：

；

其中，為第i個目標的最終表示，為多層感知器，為特征拼接函數，表示將所有行為下第i個目標的嵌入表示拼接在一起。

6.根據權利要求1所述的方法，其特征在于，所述目標損失函數：

；

其中，為第u個用戶的最終表示，為第h個目標的最終表示，為第j個目標的最終表示，第u個用戶在第h個目標上至少產生一種行為，是的正例，第u個用戶在第j個目標上不產生任何一種行為，是的負例，和均來自，T是轉置符號，為非線性激活函數，表示∈[1,C],∈[1,D],∈[1,P],C為所有用戶的數量，D為第u個用戶至少產生一種行為的所有目標的數量，P為第u個用戶不產生任何一種行為的所有目標的數量。

7.根據權利要求1所述的方法，其特征在于，獲取訓練數據之后，所述方法還包括：

從所述訓練數據中確定出所述用戶與所述目標之間的目標行為的行為信息以及各種輔助行為的行為信息；

將所述目標行為的行為信息和每種輔助行為的行為信息作為一個訓練樣本，得到多個訓練樣本；

基于多個訓練樣本，利用對比學習的方法對所述點擊預測模型進行訓練，使得所述點擊預測模型捕捉到所述目標行為和各種輔助行為之間的共性。