[發明專利]一種提升推薦模型時序數據挖掘能力的循環神經網絡方法

在審

• 申請號: 201711014934.0
• 申請日: 2017-10-25
• 公開（公告）號: CN107909427A
• 公開（公告）日: 2018-04-13
• 發明（設計）人: 祝宇;李昊;蔡登
• 申請（專利權）人: 浙江大學
• 主分類號: G06Q30/06
• 分類號: G06Q30/06;G06F17/30;G06N3/04;G06N3/08
• 代理公司: 杭州天勤知識產權代理有限公司33224
• 代理人: 胡紅娟

1.一種提升推薦模型時序數據挖掘能力的循環神經網絡方法，其特征在于，包括以下步驟：

步驟1，選擇一種神經網絡，對該神經網絡進行基于時間門的網絡改造，得到一個新的模型；

步驟2，根據用戶時序數據發生的時間，創建有時間間隔屬性的時序數據，將得到的數據輸入模型中；

步驟3，計算模型的輸出，得到模型在序列每一項上的預測值；

步驟4，根據步驟3得到的預測值和序列每一項的真實值計算模型的損失值，若損失值低于預設值并趨于平穩則執行步驟6，否則執行步驟5；

步驟5，根據損失值計算各個參數的梯度，并對模型參數進行更新，返回執行步驟3；

步驟6，根據當前的模型預測用戶的興趣。

2.根據權利要求1所述的提升推薦模型時序數據挖掘能力的循環神經網絡方法，其特征在于，步驟1中，所述的神經網絡是LSTM模型。

3.根據權利要求1所述的提升推薦模型時序數據挖掘能力的循環神經網絡方法，其特征在于，步驟1中，所述的時間門的運算公式為：

T_m＝σ_t(σ_△t(△t_mW_tt)+x_mW_xt+b_t)

其中，Δt_m指用戶瀏覽第m個商品與第m-1個商品之間的時間間隔，σ_Δt與σ_t表示兩個不同的激活函數，x_m代表用戶當前瀏覽的商品，W_xt，W_tt與b_t則表示時間門需要學習的三個參數，T_m作為該結構的輸出表示對時間信息的信息提取。

4.根據權利要求1所述的提升推薦模型時序數據挖掘能力的循環神經網絡方法，其特征在于，步驟1中，所述的基于時間門的網絡改造方式為：

使用一個時間門結構，其輸出結構的公式如下：

c_m＝f_m⊙c_m-1

+i_m⊙T_m⊙σ_c(x_mW_xc+h_m-1W_hc+b_c)，

o_m＝σ_o(x_mW_xo

+△t_mW_to+h_m-1W_ho+w_co⊙c_m+b_o)

其中，c_m-1與c_m分別表示前一時刻和當前時刻神經網絡的記憶單元，⊙表示元素項對應乘法，f_m和i_m則代表遺忘門和輸入門，T_m表示時間門，控制用戶的興趣隨時間的變化，σ_c與σ_o分別代表記憶單元和輸出單元的激活函數，x_m表示當前用戶的輸入，W_*和b_*則表示兩式中各自需要學習的參數，該結構輸出o_m作為用戶對商品興趣的衡量分數。