[發(fā)明專利]一種基于殘差學(xué)習(xí)的點(diǎn)擊率預(yù)測(cè)融合方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010984847.3
• 申請(qǐng)日: 2020-09-18
• 公開(kāi)（公告）號(hào): CN112102004B
• 公開(kāi)（公告）日: 2022-08-30
• 發(fā)明（設(shè)計(jì)）人: 吳樂(lè);陳雷;鮑俊梅;洪日昌;汪萌
• 申請(qǐng)（專利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類號(hào): G06Q30/02
• 分類號(hào): G06Q30/02;G06Q30/06;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 安徽省合肥新安專利代理有限責(zé)任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于殘差學(xué)習(xí)的點(diǎn)擊率預(yù)測(cè)融合方法，其特征是按如下步驟進(jìn)行：

步驟1、根據(jù)點(diǎn)擊率預(yù)測(cè)數(shù)據(jù)特點(diǎn)構(gòu)造訓(xùn)練數(shù)據(jù)集：

令U表示用戶集，且U＝{u₁,u₂,...u_a,...u_m}，u_a表示第a個(gè)用戶，m表示用戶總數(shù)，1≤a≤m；令V表示產(chǎn)品集，且V＝{v₁,v₂,...,v_b,...,v_n}，v_b表示第b個(gè)產(chǎn)品，n表示產(chǎn)品總數(shù)，1≤b≤n；令C_ab表示第a個(gè)用戶u_a對(duì)第b個(gè)產(chǎn)品v_b的點(diǎn)擊情況，當(dāng)C_ab＝1時(shí)，表示第a個(gè)用戶u_a點(diǎn)擊第b個(gè)產(chǎn)品v_b；當(dāng)C_ab＝0時(shí)，表示第a個(gè)用戶u_a未點(diǎn)擊第b個(gè)產(chǎn)品v_b，用戶對(duì)產(chǎn)品的點(diǎn)擊矩陣為C＝{C_ab}_m×n；剔除所述點(diǎn)擊矩陣為C＝{C_ab}_m×n中的空數(shù)據(jù)，從而得到篩選后的點(diǎn)擊矩陣；

令用戶屬性矩陣X_u＝{x_u1,x_u2,...,x_ua,...,x_um}，其中，x_ua表示第a個(gè)用戶u_a的d_u維屬性向量；令產(chǎn)品屬性矩陣X_v＝{x_v1,x_v2,...,x_vb,...,x_vn}，其中，x_vb表示第b個(gè)產(chǎn)品v_b的d_v維屬性向量；

根據(jù)所述篩選后的點(diǎn)擊矩陣，將第a個(gè)用戶u_a的d_u維屬性向量x_ua和與第a個(gè)用戶u_a有點(diǎn)擊關(guān)系的產(chǎn)品屬性向量拼接成一條點(diǎn)擊率預(yù)測(cè)特征向量，從而得到所有具有點(diǎn)擊關(guān)系的用戶和產(chǎn)品之間的點(diǎn)擊率預(yù)測(cè)特征向量所構(gòu)成的歷史點(diǎn)擊記錄集，記為D_train＝{(x₁,y₁),...(x_i,y_i),...,(x_N,y_N)}，其中，(x_i,y_i)表示第i條歷史點(diǎn)擊記錄，x_i表示第i條點(diǎn)擊率預(yù)測(cè)特征向量，y_i表示第i條點(diǎn)擊率預(yù)測(cè)特征向量的標(biāo)簽，且y_i∈{0,1}；1≤i≤N，N表示歷史點(diǎn)擊記錄的總量；

步驟2、獲得基于傳統(tǒng)機(jī)器學(xué)習(xí)的點(diǎn)擊率預(yù)測(cè)概率

步驟2.1、利用式(1)初始化ML模型的參數(shù)θ_ML：

θ_ML＝f_ML(y_n) (1)

式(1)中，f_ML(·)為ML模型的初始化函數(shù)；

步驟2.2、根據(jù)式(2)建立ML模型的損失函數(shù)L_ML：

式(2)中，l_ML(x_i)為ML模型中第i條點(diǎn)擊率預(yù)測(cè)特征向量x_i的損失函數(shù)，并有：

式(3)中，為模型訓(xùn)練后第i個(gè)條點(diǎn)擊率預(yù)測(cè)特征向量x_i的預(yù)測(cè)值，y(x_i)為第i個(gè)點(diǎn)擊率預(yù)測(cè)特征向量x_i的真實(shí)標(biāo)簽，loss_ML(·)為ML模型的損失函數(shù)，θ_ML為模型待優(yōu)化的參數(shù)；

步驟2.3、將所述歷史點(diǎn)擊記錄集D_train輸入初始化后的ML模型中，并利用式(4)更新ML模型待優(yōu)化的參數(shù)，使得式(3)的損失函數(shù)值達(dá)到最小，從而對(duì)ML模型進(jìn)行特征識(shí)別與建模，并得到基于傳統(tǒng)機(jī)器學(xué)習(xí)的點(diǎn)擊率預(yù)測(cè)模型及其點(diǎn)擊率預(yù)測(cè)概率

步驟3、定義當(dāng)前訓(xùn)練輪次為epoch，并初始化epoch＝1；

利用式(5)獲得點(diǎn)擊率預(yù)測(cè)概率與真實(shí)標(biāo)簽y之間在第epoch輪的殘差值

步驟4、獲取基于深度學(xué)習(xí)的擬合殘差預(yù)測(cè)概率

使用歷史點(diǎn)擊記錄集D_train和所述殘差值訓(xùn)練一個(gè)基于深度學(xué)習(xí)的擬合殘差預(yù)測(cè)模型，記為NN模型：

步驟4.1、定義當(dāng)前訓(xùn)練的批次為J，并初始化J＝1；

定義最大訓(xùn)練的批次為Batch表示每一批數(shù)據(jù)中包含的歷史點(diǎn)擊記錄的數(shù)量，并初始化NN模型的第epoch輪第J批的網(wǎng)絡(luò)參數(shù)W^epoch,J；

步驟4.2、根據(jù)式(6)建立NN模型中第epoch輪第J批歷史點(diǎn)擊記錄的損失函數(shù)

式(6)中，x_h表示第epoch輪第J批歷史點(diǎn)擊記錄中的第h條點(diǎn)擊率預(yù)測(cè)特征向量，1≤h≤Batch，表示NN模型中第epoch輪第J批數(shù)據(jù)中第h條點(diǎn)擊率預(yù)測(cè)特征向量x_h的損失函數(shù)，并有：

式(7)中，為NN模型訓(xùn)練后第epoch輪第J批數(shù)據(jù)中第h條點(diǎn)擊率預(yù)測(cè)特征向量x_h的預(yù)測(cè)值，為第epoch輪第J批數(shù)據(jù)中第h條點(diǎn)擊率預(yù)測(cè)特征向量x_h的殘差值，loss_NN(·)為NN模型的損失函數(shù)；

步驟4.3、將所述歷史點(diǎn)擊記錄集D_train輸入初始化后的NN模型中，并在NN模型進(jìn)行特征傳播的過(guò)程中，根據(jù)式(8)按批次更新NN模型的第epoch輪第J批的網(wǎng)絡(luò)參數(shù)W^epoch,J，使得式(6)中的損失函數(shù)達(dá)到最小，從而得到第epoch輪第J批基于深度學(xué)習(xí)的擬合殘差預(yù)測(cè)模型及其擬合殘差預(yù)測(cè)概率值

步驟5、根據(jù)式(9)得到第i條點(diǎn)擊率預(yù)測(cè)特征向量x_i在第epoch輪第J批次中經(jīng)過(guò)兩個(gè)模型聯(lián)合訓(xùn)練后的預(yù)測(cè)結(jié)果

式(9)中，表示第i條點(diǎn)擊率預(yù)測(cè)特征向量x_i在第epoch輪第J批次的基于深度學(xué)習(xí)的擬合殘差預(yù)測(cè)模型中的擬合殘差預(yù)測(cè)概率；

步驟6、令J+1賦值給J，并判斷J是否滿足若滿足條件，則返回步驟4.2順序執(zhí)行，若不滿足，則將第epoch輪第批次的預(yù)測(cè)結(jié)果作為第epoch輪兩個(gè)模型聯(lián)合訓(xùn)練的預(yù)測(cè)結(jié)果

步驟7、判斷當(dāng)前模型是否達(dá)到收斂，若未達(dá)到收斂，則利用式(10)計(jì)算新的殘差值并將epoch+1賦值給epoch，將賦值給將賦值給后，返回步驟4順序執(zhí)行，若達(dá)到收斂，則退出epoch循環(huán)，并得到N條歷史點(diǎn)擊記錄中每條記錄的最終預(yù)測(cè)結(jié)果其中，s(·)表示激活函數(shù)；表示第i條歷史點(diǎn)擊記錄(x_i,y_i)的最終預(yù)測(cè)結(jié)果；

步驟8、對(duì)預(yù)測(cè)結(jié)果進(jìn)行降序排序，并選擇前若干個(gè)最終預(yù)測(cè)結(jié)果所對(duì)應(yīng)的產(chǎn)品作為推薦列表推薦給相應(yīng)用戶，從而實(shí)現(xiàn)對(duì)用戶的個(gè)性化推薦工作。