[發明專利]一種提升推薦模型時序數據挖掘能力的循環神經網絡方法

在審

• 申請號: 201711014934.0
• 申請日: 2017-10-25
• 公開（公告）號: CN107909427A
• 公開（公告）日: 2018-04-13
• 發明（設計）人: 祝宇;李昊;蔡登
• 申請（專利權）人: 浙江大學
• 主分類號: G06Q30/06
• 分類號: G06Q30/06;G06F17/30;G06N3/04;G06N3/08
• 代理公司: 杭州天勤知識產權代理有限公司33224
• 代理人: 胡紅娟

技術領域

本發明涉及機器學習以及個性化推薦領域，具體涉及一種提升推薦模型時序數據挖掘能力的循環神經網絡方法。

背景技術

信息社會的快速發展積累了大量的數據，用戶在互聯網上產生的歷史數據反映了其本身的興趣愛好。這些數據給各個互聯網廠商提供了預測用戶興趣并進行針對性推薦的可能。推薦系統是互聯網廠商為用戶推薦商品的有效方式，其準確性直接影響到廠商廣告投入的回報率，以及用戶的消費體驗。

目前推薦系統已廣泛地使用到商品、音樂、新聞等領域中。推薦模型多使用用戶的購買記錄尋找與其興趣相似的其他用戶，并利用其他用戶的購買記錄為該用戶推薦新商品。然而這一過程并未利用到用戶購買記錄的時間信息，對用戶興趣在時間上的變化缺乏足夠的支持。

傳統的推薦模型通過構建用戶-商品的評分矩陣來計算用戶或商品之間的相似度，并通過相似度的高低進行推薦。這一方法中，時間信息是沒有作用的，因此傳統的推薦模型對用戶興趣在時間上的變化是不夠敏感的。比如某一用戶某段時間對從未接觸的某類商品產生了興趣，隨著用戶興趣的產生、保持或者消失，其購買欲望通常帶有明顯的時間特征，因此，在推薦模型中使用時間信息來彌補推薦系統在利用時間上的空缺具備較高的創新性，并且對提升推薦系統的準確性也具有重要作用。

目前神經網絡已被證明在多個領域內能夠達到最佳的效果，使用神經網絡構建推薦系統具備較高的可行性。長短時記憶模型(Long Short Term Memory，LSTM模型)是神經網絡中利用時序信息的模型之一，但其同樣未能直接利用序列數據中每一項發生的具體時間信息。因此如何改造現有的神經網絡模型使其能夠有效地處理時間信息是一個很有價值的問題。而利用改造后的神經網絡模型來構建有效的推薦系統同樣是一個十分具備挑戰性的任務。

發明內容

本發明提供了一種提升推薦模型時序數據挖掘能力的循環神經網絡方法，可以增強神經網絡對時間的區分，使模型更易于處理長期數據中所包含的長期的一般特征和短期的臨時特征，強化模型對用戶的長期興趣和短期興趣的挖掘能力。

一種提升推薦模型時序數據挖掘能力的循環神經網絡方法，包括以下步驟：

步驟1，選擇一種神經網絡，將時間門組件添加到該神經網絡中，得到一個新的模型；

步驟2，根據用戶時序數據發生的時間，創建有時間間隔屬性的時序數據，將得到的數據輸入模型中；

步驟3，計算模型的輸出，得到模型在序列每一項上的預測值；

步驟4，根據步驟3得到的預測值和序列每一項的真實值計算模型的損失值，若損失值低于預設值并趨于平穩則執行步驟6，否則執行步驟5；

步驟5，根據損失值計算各個參數的梯度，并對參數進行更新，返回執行步驟3；

步驟6，根據當前模型預測用戶的興趣。

步驟1中，所述的神經網絡是LSTM模型，LSTM模型是長短時記憶模型。所述的時間門的運算公式為：

T_m＝σ_t(σ_Δt(Δt_mW_tt)+x_mW_xt+b_t)

其中，Δt_m指用戶瀏覽第m個商品與第m-1個商品之間的時間間隔，σ_Δt與σ_t表示兩個不同的激活函數，通常使用sigmoid(S型生長曲線函數，輸出值在0到1之間)和tanh(雙曲正切函數，輸出值在-1到1之間)作為激活函數，x_m代表用戶當前瀏覽的商品，W_xt，W_tt與b_t則表示時間門需要學習的三個參數，T_m作為該結構的輸出表示對時間信息的信息提取。

基于上述情況，可使用三種方式進行基于時間門的網絡改造。

方式1使用一個時間門結構，該時間門有兩個作用，分別是：通過控制輸入數據的記憶強度來有效地對短期興趣建模；通過同時考慮商品信息和時間間隔信息來有效地對長期興趣建模。其輸出結構公式為：

c_m＝f_m⊙c_m-1

+i_m⊙T_m⊙σ_c(x_mW_xc+h_m-₁W_hc+b_c)，