[發(fā)明專利]基于RNN、注意力機(jī)制的新聞推薦方法及主題表征方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811245204.6
• 申請(qǐng)日: 2018-10-24
• 公開(kāi)（公告）號(hào): CN109492157B
• 公開(kāi)（公告）日: 2021-08-31
• 發(fā)明（設(shè)計(jì)）人: 緱錦;李威;王成;張璐
• 申請(qǐng)（專利權(quán)）人: 華僑大學(xué)
• 主分類號(hào): G06F16/9535
• 分類號(hào): G06F16/9535;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廈門市首創(chuàng)君合專利事務(wù)所有限公司 35204
• 代理人: 張松亭;李艾華

本發(fā)明涉及一種基于RNN、注意力機(jī)制的新聞推薦方法及主題表征方法，將傳統(tǒng)的主題模型與神經(jīng)網(wǎng)絡(luò)詞向量結(jié)合，可有效提升新聞內(nèi)容文本語(yǔ)義提取與表示的準(zhǔn)確性；利用RNN網(wǎng)絡(luò)刻畫用戶新聞瀏覽的序列性特征，可極大提升個(gè)性化新聞推薦內(nèi)容的時(shí)效性；利用注意力機(jī)制區(qū)分不同新聞對(duì)推薦預(yù)測(cè)的影響力權(quán)重，可捕捉到用戶興趣遷移，提升個(gè)性化新聞推薦內(nèi)容準(zhǔn)確性與新穎性；最后，結(jié)合DBSCAN密度聚類算法的注意力機(jī)制，通過(guò)密度聚類對(duì)新舊話題進(jìn)行啟發(fā)式發(fā)現(xiàn)，利用主題聚類結(jié)果動(dòng)態(tài)計(jì)算新聞的影響力權(quán)重，提升推薦話題的新穎性。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)挖掘和神經(jīng)網(wǎng)絡(luò)的技術(shù)領(lǐng)域，具體涉及一種基于RNN、注意力機(jī)制的新聞推薦方法及主題表征方法。

背景技術(shù)

隨著信息技術(shù)和互聯(lián)網(wǎng)的發(fā)展，人們逐漸從信息匱乏的時(shí)代走入了信息過(guò)載的時(shí)代。作為大眾獲取各類信息的主要途徑，各色新聞網(wǎng)站每天充斥著海量的信息。如何去篩選和過(guò)濾新聞內(nèi)容，如何抓住不同用戶的個(gè)性化需求，如何能跟進(jìn)用戶閱讀興趣的遷移，如何為用戶提供新穎、準(zhǔn)確、時(shí)效性強(qiáng)的個(gè)性化推薦已經(jīng)成為新聞網(wǎng)站面對(duì)的主要挑戰(zhàn)。在這種需求背景下，個(gè)性化新聞推薦系統(tǒng)應(yīng)運(yùn)而生。

目前新聞推薦系統(tǒng)主要有四種推薦策略：

第一種是基于熱門推薦。這是最常見(jiàn)的推薦策略。系統(tǒng)會(huì)設(shè)置一個(gè)固定時(shí)間窗口，然后統(tǒng)計(jì)過(guò)去時(shí)間窗口長(zhǎng)度的時(shí)間內(nèi)所有新聞的點(diǎn)擊量，對(duì)點(diǎn)擊量進(jìn)行排序，最后將排序結(jié)果推薦給用戶。

熱門推薦策略，優(yōu)點(diǎn)：可以及時(shí)推薦全網(wǎng)熱度高的新聞，實(shí)時(shí)性強(qiáng)，實(shí)現(xiàn)簡(jiǎn)單，推薦的新聞比較主流。缺點(diǎn)：無(wú)法區(qū)分不同用戶的個(gè)性化閱讀興趣的需求，推薦的內(nèi)容需要用戶自行過(guò)濾，無(wú)法刻畫用戶的興趣遷移。

第二種是基于協(xié)同過(guò)濾算法推薦。基于協(xié)同過(guò)濾算法是一種使用非常廣泛的推薦算法，其主要又可以細(xì)分為：(1)基于用戶的協(xié)同過(guò)濾推薦(UserCF)，根據(jù)用戶的瀏覽行為數(shù)據(jù)，找到和他興趣相似的其他用戶，找到其他用戶喜歡的新聞中該用戶沒(méi)有瀏覽過(guò)的推薦給目標(biāo)用戶；(2)基于物品的協(xié)同過(guò)濾推薦(ItemCF)，先通過(guò)兩個(gè)新聞被用戶同時(shí)瀏覽的行為統(tǒng)計(jì)，計(jì)算新聞之間的相似度，給用戶推薦和他之前瀏覽的新聞相似度較高的新聞。

基于用戶的協(xié)同過(guò)濾推薦算法，優(yōu)點(diǎn)：在數(shù)據(jù)集比較完善，內(nèi)容比較豐富的情況下，不用對(duì)新聞內(nèi)容具體挖掘，就能根據(jù)用戶之間隱含的興趣相關(guān)性，來(lái)做到較為準(zhǔn)確的推薦。缺點(diǎn)：用戶之間還是有明顯的差異性的，當(dāng)系統(tǒng)內(nèi)用戶數(shù)量較少時(shí)，很難找到與該用戶特別相近的用戶。而隨著用戶數(shù)量增多，維護(hù)用戶關(guān)聯(lián)相似矩陣的維護(hù)成本又很高。

基于物品的協(xié)同過(guò)濾推薦算法，優(yōu)點(diǎn)：新聞之間的相似性基本穩(wěn)定，可以進(jìn)行離線計(jì)算，可以根據(jù)用戶的瀏覽情況及時(shí)地更新推薦列表。缺點(diǎn)：沒(méi)有考慮用戶之間興趣的差異性，容易重復(fù)推薦太多相似的新聞，無(wú)法捕捉用戶的興趣遷移。隨著新聞數(shù)量增多，維護(hù)新聞相似矩陣的成本也很高。

第三種是隱語(yǔ)義模型LFM(latent factor model)。不同于協(xié)同過(guò)濾直接尋找相似用戶和相似新聞，LFM是通過(guò)隱含特征聯(lián)系用戶興趣和新聞，對(duì)于某個(gè)用戶，首先要得到他的興趣分類，然后從新聞分類中挑選他可能喜歡的新聞。具體的步驟為：采用了基于用戶閱讀行為統(tǒng)計(jì)的自動(dòng)聚類，以此得到各新聞所屬的分類；然后根據(jù)用戶瀏覽各類別新聞的頻率來(lái)計(jì)算用戶感興趣的新聞和感興趣的程度。最后根據(jù)用戶喜歡的分類，給他推薦可能喜歡的新聞。

第四種是基于內(nèi)容的推薦算法。不同于以上算法只考慮到用戶和用戶的瀏覽行為。基于內(nèi)容的推薦算法，可以根據(jù)用戶過(guò)去瀏覽的新聞的內(nèi)容，構(gòu)建“用戶畫像”，最后根據(jù)“用戶畫像”生成新聞推薦列表。基于內(nèi)容的推薦系統(tǒng)具體過(guò)程一般包括以下三步：

(1)物品表示(Item Representation)：為每個(gè)item抽取出一些特征(也就是item的content)來(lái)表示此item；

(2)特征學(xué)習(xí)(Profile Learning)：利用一個(gè)用戶過(guò)去喜歡(及不喜歡)的item的特征數(shù)據(jù)，來(lái)學(xué)習(xí)出此用戶的喜好特征(profile)；