[發明專利]基于協同過濾和長短記憶網絡的在線推薦系統

在審

• 申請號: 201811567618.0
• 申請日: 2018-12-21
• 公開（公告）號: CN109635204A
• 公開（公告）日: 2019-04-16
• 發明（設計）人: 胡金濤;饒若楠
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06N3/04;G06F17/50
• 代理公司: 上海交達專利事務所 31201
• 代理人: 王毓理;王錫麟

一種基于協同過濾和長短記憶網絡的在線推薦系統，包括：實時模塊、近線模塊和離線模塊，實時模塊實時接受用戶請求，經預處理后輸出至若干終端搭建的HDFS集群分布式文件系統，同時根據請求進行實時推薦和線上評估；近線模塊從實時模塊獲得用戶請求數據，并實時將請求通過消息隊列分發到分布式緩存中，并使用用戶請求中的特征對推薦模型進行離線訓練，離線訓練完成的推薦模型加載緩存中的數據進行增量式更新；離線模塊從特征池中加載特征，之后使用推薦模型在訓練集中進行訓練，訓練完成后的推薦模型通過自編碼器實現協同過濾來挖掘用戶的長期偏好，從而可以與長短記憶網絡結合在測試集中進行推薦模型預估，最后對推薦模型效果進行離線評估得到最終推薦結果。

技術領域

本發明涉及的是一種信息處理領域的技術，具體是一種基于協同過濾和長短記憶網絡的在線推薦系統。

背景技術

近些年，由于計算能力的提升和大數據存儲設備的增加，深度學習引起了人們的極大關注。目前，深度學習在語音識別、圖像處理、自然語言處理等領域都取得了很大的突破與成就，也已經有相關研究將深度學習運用在推薦系統領域。Sedhain,Suvash等人所著的Autorec:Autoencoders meet collaborative filtering.Proceedings of the 24thInternational Conference on World Wide Web.ACM,2015.提出了一種基于自編碼器的協同過濾方法，它通過自編碼器來直接學習相似矩陣里行或列數據的壓縮向量表達，均方誤差等指標優于傳統的協同過濾。Hidasi,Balázs等人所著的Session-basedrecommendations with recurrent neural networks.arXiv preprint arXiv:1511.06939(2016).提出了一種通過循環神經網絡，對基于session的用戶數據進行推薦。這種方法雖然利用到了時間序列數據，但只使用了一個session中的前一個物品對用戶進行推薦，無法發掘到用戶的長期偏好。

發明內容

本發明針對現有技術存在的上述不足，提出一種基于協同過濾和長短記憶網絡的在線推薦系統，能夠充分利用用戶的長期偏好以及短期偏好，提升了推薦結果的準確性和多樣性。

本發明是通過以下技術方案實現的：本發明包括：實時模塊、近線模塊和離線模塊，其中：實時模塊實時接受用戶請求，經預處理后輸出至若干終端搭建的HDFS集群分布式文件系統，同時根據請求進行實時推薦和線上評估；近線模塊從實時模塊獲得用戶請求數據，并實時將請求通過消息隊列分發到分布式緩存中，并使用用戶請求中的特征對推薦模型進行離線訓練，離線訓練完成的推薦模型加載緩存中的數據進行增量式更新；離線模塊從特征池中加載特征，之后使用推薦模型在訓練集中進行訓練，訓練完成后的推薦模型通過自編碼器實現協同過濾來挖掘用戶的長期偏好，從而可以與長短記憶網絡結合在測試集中進行推薦模型預估，最后對推薦模型效果進行離線評估得到最終推薦結果。

所述的特征包括但不限于：用戶訪問本系統時的日志，包括用戶ID、訪問時間、訪問的商品頁面和瀏覽時長等信息。

所述的實時推薦是指：實時模塊根據用戶的請求序列，提取出相對應特征，并利用推薦模型，對推薦模型的輸出的結果進行融合和打分重排，并將最終的推薦效果展現給用戶。

所述的線上評估是指：對推薦結果的準確率、召回率以及多樣性的評估。

所述的協同過濾是指：基于用戶對商品的評分或其他行為來為用戶提供個性化的推薦，并且不需要了解用戶或者商品的大量信息，分為基于用戶的協同過濾和基于商品的協同過濾。

所述的基于用戶的協同過濾是指：首先基于用戶對物品的偏好找到相似的鄰居用戶，然后將鄰居用戶喜歡的推薦給當前用戶，即通過相似度公式計算用戶相似矩陣，根據鄰居的相似度權重以及他們對物品的偏好，預測當前用戶可能感興趣商品，得到一個排序的物品列表作為推薦結果。