[發(fā)明專利]一種基于深度學(xué)習(xí)的個(gè)性化文本推薦方法

有效

• 申請?zhí)枺?/td>: 202010013952.2
• 申請日: 2020-01-07
• 公開（公告）號: CN111209386B
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計(jì)）人: 程克非;郭小勇
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: G06F16/335
• 分類號: G06F16/335;G06N3/08
• 代理公司: 北京同恒源知識產(chǎn)權(quán)代理有限公司 11275
• 代理人: 趙榮之

1.一種基于深度學(xué)習(xí)的個(gè)性化文本推薦方法，其特征在于：包括以下步驟：

S1：用戶瀏覽新聞的歷史行為數(shù)據(jù)和文本數(shù)據(jù)預(yù)處理；具體包括：

S11：將數(shù)據(jù)集中的點(diǎn)擊信息數(shù)據(jù)進(jìn)行預(yù)處理操作，包括缺失值處理和異常值處理；

S12：按照每個(gè)用戶分組形成用戶瀏覽數(shù)據(jù)集、正采樣和負(fù)采樣數(shù)據(jù)集，所述正采樣數(shù)據(jù)集：即該用戶點(diǎn)擊操作過的數(shù)據(jù)；負(fù)采樣數(shù)據(jù)集：即用戶從所有未點(diǎn)擊過的數(shù)據(jù)中隨機(jī)挑選出的數(shù)據(jù)；

S13：按照時(shí)間戳進(jìn)行排序，數(shù)據(jù)只關(guān)注用戶與新聞交互的隱形反饋，即只關(guān)心用戶是否瀏覽了某篇新聞；在正采樣數(shù)據(jù)集中對于每個(gè)用戶都有其相應(yīng)的用戶瀏覽序列；

S14：對新聞瀏覽序列進(jìn)行編碼表示，被瀏覽位置使用獨(dú)熱碼表示，使用與新聞數(shù)量相同維度的向量進(jìn)行表示；對于每個(gè)點(diǎn)擊位置，只激活新聞被點(diǎn)擊相應(yīng)位置的數(shù)據(jù)，即該位標(biāo)1，其余位置為0；對用戶瀏覽時(shí)長進(jìn)行獨(dú)熱碼編碼表示，當(dāng)瀏覽時(shí)長大于15s，標(biāo)記為1，小于15s標(biāo)記為0；

S15：將點(diǎn)擊序列信息編碼后的向量，作為每個(gè)用戶瀏覽序列中一個(gè)條目的數(shù)據(jù)；

S2：特征提取器建模，具體包括：

S21：隱藏層設(shè)計(jì)；將用戶瀏覽數(shù)據(jù)集的one-hot編碼輸入后，在隱藏層中使用一個(gè)權(quán)重矩陣來對用戶瀏覽序列信息編碼向量降維，用于將高維稀疏向量映射到低維密集向量；權(quán)重矩陣的形式為m×n，其中m為稀疏向量的維度，n為密集向量的維度，且m大于n；隱藏層看作是重新對原始數(shù)據(jù)進(jìn)行降維編碼，而編碼規(guī)則是通過在網(wǎng)絡(luò)中訓(xùn)練權(quán)重而自動(dòng)生成的；

S22：輸出層設(shè)計(jì)；對于隱藏層中輸出狀態(tài)的信息，送入輸出層，輸出層的損失函數(shù)為條件概率函數(shù)，損失函數(shù)即為輸出單詞組的條件概率，損失函數(shù)公式如下：

式中，L表示損失，s表示用戶瀏覽數(shù)據(jù)集合，l_i表示數(shù)據(jù)集合中的每一個(gè)條件樣本，j表示函數(shù)運(yùn)算的每一個(gè)上下文，m表示步長窗口的最大值；

通過以l_i為中心的點(diǎn)擊序列來估算其上下文領(lǐng)域l_i+j的概率p(l_i+j|l_i)，其中：

v_l和v′_l是點(diǎn)擊列表l的輸入和輸出向量表示，參數(shù)j定義為點(diǎn)擊列表的中心前后滑動(dòng)的窗口長度，υ為所有用戶的點(diǎn)擊序列集合；

損失函數(shù)的總體目標(biāo)是最大化當(dāng)條件樣本發(fā)生時(shí)其上下文樣本序列發(fā)生的概率，最終得到的一個(gè)向量序列來表示條件樣本；

采用負(fù)采樣的優(yōu)化辦法優(yōu)化目標(biāo)函數(shù)，負(fù)采樣的原理為：生成一組點(diǎn)擊序列正對D_p(l,c)，即該用戶點(diǎn)擊操作過的數(shù)據(jù)，和一組點(diǎn)擊序列負(fù)對D_n(l,c)，即用戶從所有未點(diǎn)擊過的數(shù)據(jù)中隨機(jī)挑選出的數(shù)據(jù)，目標(biāo)函數(shù)變?yōu)槿缦滦问剑?/p>

其中參數(shù)l,c∈υ，v′_lb為用戶的瀏覽時(shí)長序列，在每個(gè)步驟中，研究目標(biāo)不僅預(yù)測相鄰的點(diǎn)擊列表，而且還要預(yù)測最終在某新聞的停留時(shí)間，用來進(jìn)一步優(yōu)化計(jì)算機(jī)結(jié)果，目標(biāo)函數(shù)通過隨機(jī)梯度上升進(jìn)行優(yōu)化求解；

S3：個(gè)性化推薦模型建模，具體包括：

S31：一維卷積網(wǎng)絡(luò)層設(shè)計(jì)；

S32：分類輸出層與損失函數(shù)設(shè)計(jì)。

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的個(gè)性化文本推薦方法，其特征在于：在步驟S31中，使用長度為1、2、3、4的一維卷積核，將步驟S2中所得的向量分別通過卷積運(yùn)算進(jìn)行卷積，并使用激活函數(shù)后，將不同卷積核的輸出結(jié)果進(jìn)行拼接，生成操作數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的個(gè)性化文本推薦方法，其特征在于：在步驟S32中，對于卷積層輸出狀態(tài)的信息，送入全連接層的輸出層，全連接層的激活函數(shù)使用softmax，softmax能夠?qū)⒍鄠€(gè)神經(jīng)元分別輸出，映射至(0,1)的區(qū)間內(nèi)，所有輸出的累加和為1，滿足概率的性質(zhì)，因此能夠?qū)⒚總€(gè)輸出看成相對應(yīng)分類的概率來理解，從而進(jìn)行分類；總分類數(shù)量即為總新聞的數(shù)量，最終選擇概率最高的多部生成推薦列表，損失函數(shù)使用分類交叉熵，其公式如下：

式中，用loss表示損失，n為樣本數(shù)，m為分類數(shù)；i表示樣本中所有位置，j表示分類既向量中分類的索引位置，y_ij為實(shí)際元素值，y′_ij為預(yù)測元素值；當(dāng)y_ij為1時(shí)，計(jì)算損失，y′_ij越接近于1，則損失越小，當(dāng)y_ij為0時(shí)，則不考慮y′_ij造成的損失。