[發(fā)明專利]基于U-Net網(wǎng)絡(luò)的互聯(lián)網(wǎng)廣告點(diǎn)擊率預(yù)估方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811599196.5
• 申請(qǐng)日: 2018-12-26
• 公開（公告）號(hào): CN109711883B
• 公開（公告）日: 2022-12-02
• 發(fā)明（設(shè)計(jì)）人: 劉若辰;張豪;焦李成;劉靜;慕彩虹;張向榮
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G06Q30/02
• 分類號(hào): G06Q30/02
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 陳宏社;王品華

1.一種基于深度卷積神經(jīng)網(wǎng)絡(luò)U-Net的互聯(lián)網(wǎng)廣告點(diǎn)擊率預(yù)估方法，其特征在于，包括如下步驟：

(1)獲取訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集：

(1a)選取N個(gè)按行排列且包含有原始特征和實(shí)際點(diǎn)擊率的互聯(lián)網(wǎng)廣告數(shù)據(jù)，其中，每個(gè)廣告數(shù)據(jù)的原始特征，包括廣告所針對(duì)人群的特征和廣告對(duì)應(yīng)產(chǎn)品的特征，廣告所針對(duì)人群的特征和廣告對(duì)應(yīng)產(chǎn)品的特征均由分類型特征和數(shù)值型特征組成，N≥500000；

(1b)對(duì)互聯(lián)網(wǎng)廣告數(shù)據(jù)按行進(jìn)行缺失值填補(bǔ)，并從得到的不包含空值的N個(gè)按行排列的互聯(lián)網(wǎng)廣告數(shù)據(jù)中選取M個(gè)廣告數(shù)據(jù)作為測(cè)試數(shù)據(jù)，剩余廣告數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，M≥20000；

(1c)分別對(duì)訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)中的分類型特征進(jìn)行類別編碼，對(duì)數(shù)值型特征進(jìn)行歸一化，得到訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集；

(2)獲取原始特征索引矩陣和原始特征值矩陣：

(2a)將訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集中數(shù)值型特征包含的數(shù)值分別按照從小到大的順序進(jìn)行排列，并將排列結(jié)果中每個(gè)數(shù)值對(duì)應(yīng)的序號(hào)作為數(shù)值型特征索引，將排列結(jié)果中的每個(gè)數(shù)值作為數(shù)值型特征值，同時(shí)將訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集中分類型特征包含的類別分別按照從小到大的順序進(jìn)行排列，并將排列結(jié)果中的每個(gè)類別對(duì)應(yīng)的序號(hào)作為分類型特征索引，將排列結(jié)果中的每個(gè)類別作為分類型特征值，分類型特征值的大小統(tǒng)一定義為a，a≥1；

(2b)將數(shù)值型特征索引和分類型特征索引的組合保存為原始特征索引矩陣，同時(shí)將數(shù)值型特征值和分類型特征值的組合保存為原始特征值矩陣；

(3)基于深度卷積神經(jīng)網(wǎng)絡(luò)U-Net構(gòu)建點(diǎn)擊率預(yù)估模型：

將深度卷積神經(jīng)網(wǎng)絡(luò)U-Net收縮路徑中的深度卷積模塊替換為由P個(gè)c×c卷積層組成的深度收縮模塊，并在深度收縮模塊與該U-Net的輸入層之間添加寬度線性收縮模塊，將擴(kuò)張路徑中的嵌套卷積模塊替換為包含P個(gè)轉(zhuǎn)置卷積層和P個(gè)d×d卷積層的擴(kuò)張模塊，同時(shí)將擴(kuò)張路徑中的輸出層替換為softmax分類器，得到點(diǎn)擊率預(yù)估模型，其中，P≥2，c≥1，d≥1；

(4)對(duì)點(diǎn)擊率預(yù)估模型進(jìn)行訓(xùn)練：

(4a)將訓(xùn)練數(shù)據(jù)集對(duì)應(yīng)的原始特征索引矩陣和原始特征值矩陣輸入點(diǎn)擊率預(yù)估模型中，利用寬度線性收縮模塊，對(duì)原始特征索引矩陣與原始特征值矩陣進(jìn)行線性組合，得到線性組合矩陣并保存；

(4b)利用深度收縮模塊，對(duì)線性組合矩陣、原始特征索引矩陣和原始特征值矩陣的組合結(jié)果進(jìn)行卷積，得到P組高階特征矩陣并保存；

(4c)利用擴(kuò)張模塊所包含的P個(gè)轉(zhuǎn)置卷積層對(duì)P組高階特征矩陣進(jìn)行轉(zhuǎn)置卷積，然后利用擴(kuò)張模塊所包含的P個(gè)d×d卷積層對(duì)轉(zhuǎn)置卷積的結(jié)果進(jìn)行卷積，并對(duì)卷積的結(jié)果進(jìn)行組合，得到組合高階特征矩陣，然后對(duì)該組合高階特征矩陣和線性組合矩陣以及P組高階特征矩陣進(jìn)行拼接并輸出；

(4d)利用softmax分類器對(duì)擴(kuò)張模塊的輸出結(jié)果進(jìn)行分類，得到點(diǎn)擊率預(yù)估結(jié)果并輸出；

(4e)利用softmax分類器輸出的點(diǎn)擊率預(yù)估結(jié)果和訓(xùn)練數(shù)據(jù)集的實(shí)際點(diǎn)擊率結(jié)果計(jì)算損失函數(shù)值，訓(xùn)練至損失函數(shù)值在j代內(nèi)不再減小時(shí)停止，得到訓(xùn)練好的點(diǎn)擊率預(yù)估模型，j≥50

(5)獲取互聯(lián)網(wǎng)廣告點(diǎn)擊率預(yù)估結(jié)果：

將測(cè)試數(shù)據(jù)集對(duì)應(yīng)的特征索引矩陣和特征值矩陣輸入步驟(4)訓(xùn)練好的點(diǎn)擊率預(yù)估模型，得到互聯(lián)網(wǎng)廣告點(diǎn)擊率預(yù)估結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于深度卷積神經(jīng)網(wǎng)絡(luò)U-Net的互聯(lián)網(wǎng)廣告點(diǎn)擊率預(yù)估方法，其特征在于，步驟(4a)所述的對(duì)原始特征索引矩陣與原始特征值矩陣進(jìn)行線性組合，組合公式為：

其中，y為線性組合矩陣，w₀為隨機(jī)初始化的常值，n表示輸入數(shù)據(jù)的特征數(shù)量，x_i、x_j分別表示輸入數(shù)據(jù)的第i列、第j列特征，w_i和w_ij為點(diǎn)擊率預(yù)估模型的權(quán)重參數(shù)。

3.根據(jù)權(quán)利要求1所述的基于深度卷積神經(jīng)網(wǎng)絡(luò)U-Net的互聯(lián)網(wǎng)廣告點(diǎn)擊率預(yù)估方法，其特征在于，步驟(4e)所述的利用點(diǎn)擊率預(yù)估結(jié)果和實(shí)際點(diǎn)擊率結(jié)果計(jì)算損失函數(shù)值，計(jì)算公式為：

其中，loss為損失函數(shù)值，n為模型輸入數(shù)據(jù)的個(gè)數(shù)，y_i為輸入數(shù)據(jù)實(shí)際點(diǎn)擊率結(jié)果，為輸入數(shù)據(jù)的點(diǎn)擊率預(yù)估結(jié)果，α為l2正則化系數(shù)，m為點(diǎn)擊率預(yù)估模型的權(quán)重參數(shù)數(shù)量，w_j是第j個(gè)權(quán)重參數(shù)。