[發明專利]一種基于層次注意力機制的社交圖像推薦方法

在審

• 申請號: 201811200827.1
• 申請日: 2018-10-16
• 公開（公告）號: CN109410080A
• 公開（公告）日: 2019-03-01
• 發明（設計）人: 吳樂;陳雷;汪萌;洪日昌;楊永暉
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06Q50/00
• 分類號: G06Q50/00;G06N3/04;G06F16/9535
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種基于層次注意力機制的社交圖像推薦方法，包括：1.構造異構數據：用戶對圖像的評分矩陣、用戶對圖像的上傳信息矩陣、用戶與用戶之間的社交關系矩陣；2.對異構數據和圖像集處理得到社交嵌入矩陣、內容嵌入矩陣、風格嵌入矩陣；3.將嵌入矩陣輸入到底層注意力網絡中得到社交語義信息；4.通過頂層注意力網絡得到社交語義信息的三個方面在影響用戶選擇圖像時所占的權值；5.根據特征矩陣、三個方面的社交語義信息矩陣以及它們所占的權值計算得到評分預測值，從而進行圖像推薦。本發明不僅利用用戶的上傳信息和用戶間的社交信息有效解決數據稀疏性問題，更通過層次注意力機制很好的解釋了用戶喜好，實現精準的社交圖像推薦。

技術領域

本發明涉及圖像推薦領域，具體地來說是一種基于層次注意力的社交圖像推薦方法。

技術背景

基于圖像的社交網絡近年來已經成為了最流行的社交網絡。隨著移動手機用戶的快速增加，很多用戶拍攝圖像并上傳到社交網絡平臺上分享他們生活。大量上傳的圖像導致了圖像過載，如何理解不同用戶的喜好并對其進行精準的圖像推薦成為了迫切的需要。

協同過濾算法可以有效的解決圖像推薦的問題，它通過對用戶歷史行為數據的挖掘，發現用戶的偏好并進行推薦。協同過濾算法雖然應用廣泛，但是用戶-圖像交互行為矩陣的稀疏性限制了它的推薦性能。為了解決協同過濾的數據稀疏性問題，2016年RuiningHe等人提出了VBPR算法，通過深度神經網絡CNN提取圖像的視覺特征，將圖像的視覺信息嵌入到已有的協同過濾算法中，充分挖掘了物品的內在屬性來提高推薦精度。

但是基于圖像視覺特征的協同過濾方法僅考慮了物品的內在屬性并沒有利用到用戶的內在屬性。社交圖像平臺一個很重要的特征就是不同用戶之間存在社交關系，因此當用戶在社交平臺上表現對圖像的偏好時，可以將社交關系嵌入到協同過濾算法中減輕數據稀疏性來提高系統推薦性能。

盡管人們越來越關注將各種輔助嵌入數據結合起來進行圖像推薦，但是如何更好地以全面的方式利用社交圖像平臺的特征來提高推薦性能仍在探索中。除了提高社交圖像推薦精度之外，如何挖掘不同用戶的喜好，從而對推薦結果做出合理的解釋也是需要解決的問題。

發明內容

本發明為解決現有技術的不足之處，提出一種基于層次注意力機制的社交圖像推薦方法，以期能夠充分用戶間的社交關系、用戶對圖像的行為數據和圖像視覺特征的嵌入有效的解決數據稀疏性問題，從而提高社交推薦精度；同時通過定義影響用戶對圖像選擇的三個方面的語義信息，并利用層次注意力機制來說明用戶對圖像選擇的影響力，從而很好的解決社交圖像推薦的可解釋性問題。

本發明為解決技術問題采用如下技術方案：

本發明一種基于層次注意力機制的社交圖像推薦方法的特點是按如下步驟進行：

步驟1、構造異構數據，包括：用戶對圖像的評分矩陣R、用戶對圖像的上傳信息矩陣L、用戶與用戶之間的社交關系矩陣S：