[發(fā)明專利]一種基于深度學(xué)習(xí)的個性化文本推薦方法

有效

• 申請?zhí)枺?/td>: 202010013952.2
• 申請日: 2020-01-07
• 公開（公告）號: CN111209386B
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計）人: 程克非;郭小勇
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: G06F16/335
• 分類號: G06F16/335;G06N3/08
• 代理公司: 北京同恒源知識產(chǎn)權(quán)代理有限公司 11275
• 代理人: 趙榮之

本發(fā)明涉及一種基于深度學(xué)習(xí)的個性化文本推薦方法，包括以下步驟：S1：用戶瀏覽新聞的歷史行為數(shù)據(jù)和文本數(shù)據(jù)預(yù)處理；S2：特征提取器建模，具體包括：S21：隱藏層設(shè)計；S22：輸出層設(shè)計；S3：個性化推薦模型建模，具體包括：S31：一維卷積網(wǎng)絡(luò)層設(shè)計；S32：分類輸出層與損失函數(shù)設(shè)計。本發(fā)明有效的解決了操作數(shù)據(jù)稀疏性的問題，并且通過使用負(fù)采樣技術(shù)增強(qiáng)了模型訓(xùn)練效率；引入瀏覽時長作為全局變量，通過最終的目的來優(yōu)化編碼效果；通過利用項(xiàng)目嵌入的編碼方式，進(jìn)而有效的解決了項(xiàng)目冷啟動的問題；減少了深層結(jié)構(gòu)，增加并行的層次結(jié)構(gòu)，卷積層內(nèi)權(quán)重共享，參數(shù)相對較少。

技術(shù)領(lǐng)域

本發(fā)明屬于文本推薦技術(shù)領(lǐng)域，涉及一種基于深度學(xué)習(xí)的個性化文本推薦方法。

背景技術(shù)

推薦系統(tǒng)是人與信息的連接器，用以有的用戶特征以及用戶過往的交互去預(yù)測用戶與信息內(nèi)容未來可能的交互行為。推薦系統(tǒng)根據(jù)不同的用戶的歷史行為、用戶的興趣偏好或者用戶的人口統(tǒng)計學(xué)特征來選擇推薦算法，或建立推薦模型，使用推薦算法或模型來產(chǎn)生用戶可能感興趣的項(xiàng)目列表，并最終推送給用戶。

近些年，隨著深度學(xué)習(xí)的研究不斷發(fā)展，基于深度學(xué)習(xí)的推薦算法模型大量提出。基于深度學(xué)習(xí)的推薦模型具有許多優(yōu)點(diǎn)：與線性模型不同，深度神經(jīng)網(wǎng)絡(luò)能夠使用諸如relu、softmax、tanh等非線性激活函數(shù)對數(shù)據(jù)進(jìn)行建模；深度神經(jīng)網(wǎng)絡(luò)能夠從輸入數(shù)據(jù)中有效地學(xué)習(xí)潛在的表示因子和高階的特征交互，減輕了特征工程的工作，也可以有效的對稀疏數(shù)據(jù)進(jìn)行重新編碼和擴(kuò)充；另外，深度神經(jīng)網(wǎng)絡(luò)在一些序列的模型任務(wù)中成果顯著。

在word2vec模型中，給定無標(biāo)簽序列數(shù)據(jù)的情況下，其可以為語料庫中的數(shù)據(jù)個體產(chǎn)生一個能表達(dá)其序列含義的向量。該模型的核心思想是通過中心序列l(wèi)_i，來預(yù)測其上下文信息l_i+j，l_i表示數(shù)據(jù)集合中的每一個中心序列樣本，j表示函數(shù)運(yùn)算的每一個上下文序號，窗口一般設(shè)置為5，模型的總體目標(biāo)是最大化當(dāng)中心序列樣本發(fā)生時其上下文樣本序列發(fā)生的概率，最終得到的一個由概率值表示的序列，學(xué)習(xí)到序列問題中各項(xiàng)目的核心意義，并且可以有效的避免高頻項(xiàng)目對整體數(shù)據(jù)的影響。

卷積神經(jīng)網(wǎng)絡(luò)中的一維卷積，也常用于序列模型中。一維指的是卷積核的維度，其尺寸為k×1，k為卷積核在時間序列上滑動的時域窗口大小。一維卷積操作經(jīng)常使用在信號處理中，用于計算信號的延遲累積。假設(shè)一個信號發(fā)生器每個時刻t產(chǎn)生一個信號xt，其信息的衰減率為wk，即在k個時間步長后，信息為開始時的wk倍。對于要處理序列的問題，還要考慮時間的因素，不能使用普通的CNN網(wǎng)絡(luò)，引入一種稱為因果卷積的技術(shù)。因?yàn)闀r間序列上的一維卷積，具有輸入序列到輸出序列的結(jié)構(gòu)，輸入與輸出根據(jù)時間步一一對應(yīng)。因果卷積，就是對于時間序列中第t時間步的輸出只能依賴于前t步的輸入，為防止信息泄露，不能使用未來的信息。具體的表現(xiàn)就是在填充補(bǔ)零的方式上，在序列起始處填充(k-1)個值全為0的輸入信息，其中k為卷積核窗口長度。