[發明專利]基于CNN和RNN的序列化推薦方法

有效

• 申請號: 201811548205.8
• 申請日: 2018-12-18
• 公開（公告）號: CN109885756B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 夏艷;文誼
• 申請（專利權）人: 湖南大學
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06N3/04
• 代理公司: 長沙正奇專利事務所有限責任公司 43113
• 代理人: 馬強;王娟

本發明提出了一種基于CNN和RNN相結合的序列化推薦算法，該算法利用CNN的局部特征學習能力來捕捉最近歷史行為數據中存在的相關關系，同時利用RNN的全局和序列學習能力來學習用戶歷史行為的長短期偏好，最后通過學習到的特征表達利用多層感知機預測用戶未來會產生的行為并提供推薦，實驗表明該算法的效果優于單一的基于CNN或RNN的序列化推薦。本發明具有很高的應用價值，可廣泛應用于互聯網電商、新聞門戶和娛樂等多種推薦場景。

技術領域

本發明涉及推薦系統的算法設計，設計了一種基于CNN和RNN的序列化推薦方法，可廣泛應用于互聯網電商，新聞門戶，娛樂等多種推薦場景。

背景技術

在信息社會中，互聯網已滲透在我們生活的各個方面。在日常的購物、音樂、電影等綜合性強且上下文復雜的應用場景下，如何更好的利用用戶及用戶產生的行為數據，為廣大互聯網用戶提供更好的推薦服務變得極為重要。

傳統的基于用戶歷史行為偏好和基本信息進行推薦是一種基于全局的思考方式，屬于對用戶整體偏好的推薦，然而實際中用戶的行為存在很多突變情況，用戶的近期行為會對接下來的行為產生影響，如用戶最近開始瀏覽新生兒用品，可能接下來用戶會關注嬰幼兒相關的新聞或商品。然而，這中短期行為的變化是一種很難被傳統模型捕捉到的，因此序列化推薦算法應運而生。序列化推薦是一種基于序列的思想來進行推薦即用戶的行為序列是存在一定的規律，最近的用戶行為會對用戶的下一次行為產生影響。常用的解決思路有基于馬爾可夫鏈的序列推薦，馬爾可夫的思想是認為用戶的前一次行為會對用戶的下一次行為產生影響，基于這個假設進行序列化推薦是可以實現的，但是這種強假設關系意味著用戶的行為必須具有很強的規律性，顯然很多場景是無法滿足這一條件的?；赗NN的序列化推薦也是在此基礎上進行改進，利用LSTM對長短期關系的學習能一定程度上緩解馬爾可夫模型帶來的這種強假設的限制，但是對于現實場景中存在大量的突然行為，這種行為會嚴重影響到序列模型的準確性。為了減少上述行為的影響，有研究者提出了基于CNN的短期行為的局部捕捉和組合，利用CNN能有效跳躍短的突變行為，但是CNN無法把握長期的行為偏好，這也是CNN方法的缺陷。

發明內容

本發明所要解決的技術問題是，針對現有技術存在的問題和不足，提出了一種基于CNN和RNN結合的序列化推薦方法，通過利用CNN和RNN各自優點，并將兩者有效的結合起來，從而解決目前序列化推薦中通常存在的考慮到最近情況而忽略了歷史情況或者考慮了歷史情況而忽略了最近行為的情況，同時對跳躍行為這種只利用RNN等序列模型無法學習到的行為進行學習，讓歷史行為的表達更為豐富從而提高序列化推薦的準確性。

為解決上述技術問題，本發明所提出的技術方案是：一種基于CNN和RNN結合的序列化推薦方法。該方法包括以下步驟：

1)將每個用戶的歷史行為序列item映射為一個d維的embedding向量，生成一個n*d維的矩陣，其中n代表item數，d代表每個item映射的緯度；

2)對于embedding向量，將每個映射的d維向量堆疊，利用CNN對堆疊結果的局部特征進行提取，采用多種不同大小的水平卷積核來學習多個item之間的特征關系，得到輸出向量vector1；同時采用垂直卷積核對每次輸入的所有item的關系進行綜合，得到輸出向量vector2；采用經典的LSTM作為序列模型單元，每次將一個item的embedding輸入到網絡中進行循環學習，將歷史的n個item的embedding輸入到LSTM，最終得到一個綜合的預測輸出，即一個LSTM學習到的基于歷史item序列的預測向量vector3；

3)將向量vector1、vector2和vector3拼接并得到一個長向量，將該長向量輸入到一個多層全聯接的神經網絡中，采用負采樣的方法進行輸出優化；最后根據模型輸出結果進行用戶推薦。