[發明專利]基于雙重注意力機制的文本推薦系統

在審

• 申請號: 202111596462.0
• 申請日: 2021-12-21
• 公開（公告）號: CN114330291A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 僧德文;王嘉奕
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/216;G06N3/04;G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 孫孟輝

本發明公開一種基于雙重注意力機制的文本推薦系統。本發明首先獲取用戶評論數據，將數據預處理之后輸入到雙重注意力神經網絡中進行訓練，之后使用此模型對用戶對某個物品的評分進行預測。包括以下步驟：S1：獲取用戶評論數據；S2：對獲取到的數據進行預處理，使其滿足網絡訓練的需要，包括缺失值填充、異常值剔除以及構建一個用戶/物品?評論的哈希表；S3：將評論文本信息輸入到句向量工具中，得到評論的向量化形式；劃分訓練集、驗證集、測試集；S4：初始化神經網絡的各種超參數，將預處理后的訓練集數據輸入到網絡中進行訓練直至收斂；S5：在驗證集數據上調整網絡的各種超參數；然后在預處理后的測試集上進行預測，評估模型的性能表現。

技術領域

本發明涉及到一種基于雙重注意力機制的文本推薦系統，屬于推薦系統領域。

背景技術

評論數據相比于評分數據更能展現用戶對商品的喜好程度，同時相較于單個的數字評分，具體的文字能讓其他用戶更好地了解某個物品的屬性。而現在許多優秀的推薦模型大多都使用的是協同過濾的方法來預測用戶對某個物品的喜好程度，通過將評分矩陣進行分解，得到用戶與物品的特征向量，再將這兩個向量的點乘結果作為預測評分。雖然基于矩陣分解的推薦模型已取得了不錯的性能表現。但是受限于點乘操作，無法擬合特征之間的非線性關系以及無法加入其他相關信息，而且具有較低的可解釋性。

而引入了評論文本的模型能夠有效解決這些弊端，使模型更有效地理解用戶的偏好:在一條評論中可以抽取出用戶的情感傾向、用戶的喜好以及物品的一些特征，并且具有較好的可解釋性。但是用戶的評論具有隨意性，即一個用戶他的每條評論對模型的貢獻是不同的。詳細而貼近主題的評論應該被賦予更大的權重。而且評論之間存在著某種聯系，一條評論可能會受到前一條評論的影響，同時也會影響其他評論。

目前已經有許多研究致力于解決上述問題：ConvMF是最早將卷積神經網絡引入到評論推薦系統中的工作。ConvMF的主要思路是將卷積神經網絡與概率矩陣分解結合起來，使用網絡學習到的物品的特征作為物品特征向量的均值，從而進行推薦；Zheng等人提出的DeepCoNN完全使用了深度學習的方法對評論進行建模，使用了兩個平行的卷積神經網絡分別對用戶物品評論進行特征提取，再將得到的特征輸入到因子分解機中預測評分；Seo等人提出的D-Attn是首次將注意力機制引入到文本推薦系統中的模型，同樣使用兩個平行的卷積網絡進行特征提取，采用局部注意力機制和全局注意力機制對評論文本進行分析，找出對用戶和物品更重要的詞，進而提高推薦效果和推薦的可解釋性；Chen C等人提出的，通過卷積神經網絡提取到每條評論的表達，然后通過注意力網絡計算出每條評論的權重，再將得到的特征輸入到因子分解機中預測評分；Lu Y等人提出的TARMF在思路上與NARRE相近，方法上與ConvMF類似，引入了概率模型，通過序列化神經網絡提取特征，在計算出評論的權重后，得到用戶或者物品的表達，與概率矩陣分解后的用戶物品特征向量做比較，從而獲得推薦結果。雖然上述研究已經能在某些數據集上取得不錯的效果，但是都未能將評論之間的關系的信息融入到模型學習中，這會影響到最終的模型性能表現。

發明內容

本發明為了應對上述模型存在的缺陷，提出了一種基于雙重注意力機制的推薦算法：首先將所有評論映射成向量形式，再通過一個局部注意力網絡將其編碼為一個含有所有評論表示的矩陣，接著再通過一個全局注意力網絡將這個矩陣編碼為一個用戶向量，與自編碼器得到的用戶向量相加，得到最終的用戶特征表示；同理可以獲得物品的特征表示，將這兩個向量相加輸入到預測網絡之中得到最終的預測評分。具體技術方案如下：

基于雙重注意力機制的評論推薦系統的特征在于包括以下步驟：

步驟1：獲取用戶和物品的評論文本、評分信息；

步驟2：對上一步驟獲取到的數據進行預處理，使其滿足網絡訓練的需要，包括缺失值填充、異常值剔除以及構建一個用戶/物品-評論的哈希表；

步驟3：將評論文本信息輸入到句向量工具中，得到評論的向量化形式；劃分訓練集、驗證集、測試集；