[發明專利]一種基于圖孿生網絡的推薦方法

在審

• 申請號: 202010578945.7
• 申請日: 2020-06-23
• 公開（公告）號: CN111881342A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 簡萌;張宸林;毋立芳;胡文進;鄧斯諾;盧哲;張恒
• 申請（專利權）人: 北京工業大學
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/9536;G06N3/04;G06N3/08;G06Q50/00
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

一種基于圖孿生網絡的推薦方法應用于個性化推薦領域。現有方法(1)缺乏知識擴展性，比如難以有效融合用戶社交關系信息；(2)多層特征信息傳播范式下，學到的特征會出現過平滑問題。因此本發明提出了一種基于圖孿生網絡的推薦方法，通過用戶、物品的交互信息建模用戶關系圖和物品關系圖，通過本發明設計的圖卷積層，以兩個同構有向圖的形式分別挖掘用戶關系信息和物品關系信息。最后，通過圖交互層聚合兩個通道的用戶特征和物品特征，充分提取用戶偏好信息和物品屬性信息。本發明有效保持U?I特征特性，顯著提高個性化推薦準確率，具備良好的模型可擴展性，有著廣闊的應用前景。

技術領域

本發明應用于基于U-I關系的推薦系統領域，具體涉及圖卷積神經網絡、注意力機制、用戶偏好信息以及物品屬性信息特征提取，U-I交互信息建模等數據挖掘與深度學習技術。

背景技術

個性化推薦是一個綜合性的分析任務，在社交網絡，音樂電臺，電子商務，個性化廣告，電影和視頻網站等領域應用廣泛，因此備受關注。近年來，深度學習在計算機視覺、自然語言處理等許多研究領域取得了巨大的成功，引起了人們的極大興趣。深度學習在推薦系統中的應用非常廣泛，在信息檢索和推薦系統研究領域中已經證明了它的有效性，是未來推薦系統的發展方向。但是，傳統的深度學習方法在復雜度和可擴展性方面存在著不足，模型訓練往往需要很長時間，如何平衡模型可擴展性和復雜度仍然是一個大的問題；與此同時，傳統的深度學習在推薦領域往往作為一種特征提取工具，僅僅依靠傳統的深度學習模型難以實現推薦系統的端到端的推薦實現。

圖神經網絡技術最早由Joan Bruna于2014年提出。研究發現，圖神經網絡可以對非歐氏空間的數據進行準確建模，有效地捕獲數據的內部依賴關系，為非歐式數據的分析處理開辟了新的天地。近幾年，圖神經網絡的研究有了很大的發展，Thomas Kpif于2017年提出了圖卷積神經網絡的概念，它為圖結構數據的處理提供了一個嶄新的思路，將深度學習中的卷積神經網絡應用到圖結構數據上。與此同時，Hamilton提出一種適用于大規模網絡的歸納式學習方式，實現了無需額外訓練就能為新增節點快速生成節點特征，極大緩解了圖卷積神經網絡的可擴展性問題。在推薦系統的研究上，Rianne van den Berg在2017年提出了GC-MC圖神經網絡推薦框架。2018年，Pinterest公司和Stanford公司聯合提出了基于圖卷積神經網絡的推薦系統模型PinSage，第一次將圖卷積神經網絡成功應用于業界推薦系統，為圖卷積神經網絡的應用落地提供了寶貴的借鑒意義和經驗；王翔、何向南等人在2019年提出了NGCF推薦方法，利用圖卷積網絡有效挖掘U-I交互信息。然而，上述方法大多將用戶物品信息建模到一張圖中，導致模型的復雜度和模型訓練時間難以得到有效的控制，而且，基于單圖的推薦方法缺乏知識擴展性，難以聚合多平臺U-I關系、用戶社交關系等其他信息來源。

注意力機制是目前廣為人談的熱點方向，近幾年在深度學習各個領域被廣泛應用。無論是機器視覺，自然語言處理等各種不同類型的任務中，都很容易遇到注意力模型的身影。注意力機制在建模位置權重，視覺權重，屬性權重等應用場景都有非常出眾的表現，在推薦系統領域中，注意力機制是聚合用戶偏好信息和物品屬性信息的必不可少的組成部分。尤其是多層神經網絡和softmax的低復雜度組合，在保證了復雜度的同時，能夠非常有效的提取用戶和物品的信息權重。

發明內容