[發(fā)明專利]基于協(xié)同過濾和長(zhǎng)短記憶網(wǎng)絡(luò)的在線推薦系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811567618.0
• 申請(qǐng)日: 2018-12-21
• 公開（公告）號(hào): CN109635204A
• 公開（公告）日: 2019-04-16
• 發(fā)明（設(shè)計(jì)）人: 胡金濤;饒若楠
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): G06F16/9535
• 分類號(hào): G06F16/9535;G06N3/04;G06F17/50
• 代理公司: 上海交達(dá)專利事務(wù)所 31201
• 代理人: 王毓理;王錫麟

1.一種基于協(xié)同過濾和長(zhǎng)短記憶網(wǎng)絡(luò)的在線推薦系統(tǒng)，其特征在于，包括：實(shí)時(shí)模塊、近線模塊和離線模塊，其中：實(shí)時(shí)模塊實(shí)時(shí)接受用戶請(qǐng)求，經(jīng)預(yù)處理后輸出至若干終端搭建的HDFS集群分布式文件系統(tǒng)，同時(shí)根據(jù)請(qǐng)求進(jìn)行實(shí)時(shí)推薦和線上評(píng)估；近線模塊從實(shí)時(shí)模塊獲得用戶請(qǐng)求數(shù)據(jù)，并實(shí)時(shí)將請(qǐng)求通過消息隊(duì)列分發(fā)到分布式緩存中，并使用用戶請(qǐng)求中的特征對(duì)推薦模型進(jìn)行離線訓(xùn)練，離線訓(xùn)練完成的推薦模型加載緩存中的數(shù)據(jù)進(jìn)行增量式更新；離線模塊從特征池中加載特征，之后使用推薦模型在訓(xùn)練集中進(jìn)行訓(xùn)練，訓(xùn)練完成后的推薦模型通過自編碼器實(shí)現(xiàn)協(xié)同過濾來挖掘用戶的長(zhǎng)期偏好，從而可以與長(zhǎng)短記憶網(wǎng)絡(luò)結(jié)合在測(cè)試集中進(jìn)行推薦模型預(yù)估，最后對(duì)推薦模型效果進(jìn)行離線評(píng)估得到最終推薦結(jié)果；

所述的特征包括：用戶訪問本系統(tǒng)時(shí)的日志，包括用戶ID、訪問時(shí)間、訪問的商品頁面和瀏覽時(shí)長(zhǎng)信息；

所述的離線模塊中包含推薦模型，該推薦模型包括：實(shí)現(xiàn)基于用戶的協(xié)同過濾的自編碼器和長(zhǎng)短記憶網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征是，所述的實(shí)時(shí)推薦是指：實(shí)時(shí)模塊根據(jù)用戶的請(qǐng)求序列，提取出相對(duì)應(yīng)特征，并利用推薦模型，對(duì)推薦模型的輸出的結(jié)果進(jìn)行融合和打分重排，并將最終的推薦效果展現(xiàn)給用戶。

3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征是，所述的線上評(píng)估是指：對(duì)推薦結(jié)果的準(zhǔn)確率、召回率以及多樣性的評(píng)估。

4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征是，所述的協(xié)同過濾是指：基于用戶對(duì)商品的評(píng)分或其他行為來為用戶提供個(gè)性化的推薦，并且不需要了解用戶或者商品的大量信息，分為基于用戶的協(xié)同過濾和基于商品的協(xié)同過濾。

5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征是，所述的基于用戶的協(xié)同過濾是指：首先基于用戶對(duì)物品的偏好找到相似的鄰居用戶，然后將鄰居用戶喜歡的推薦給當(dāng)前用戶，即通過相似度公式計(jì)算用戶相似矩陣，根據(jù)鄰居的相似度權(quán)重以及他們對(duì)物品的偏好，預(yù)測(cè)當(dāng)前用戶可能感興趣商品，得到一個(gè)排序的物品列表作為推薦結(jié)果。

6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征是，所述的基于商品的協(xié)同過濾是指：基于用戶對(duì)物品的偏好找到相似的商品，然后將與用戶目前喜歡商品相似的新的商品推薦給用戶。

7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征是，所述的用戶間相似度利用余弦相似度計(jì)算得到：其中：w_uv表示用戶和的相似度，N(u)表示用戶產(chǎn)生行為的商品集合。

8.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征是，所述的長(zhǎng)短記憶網(wǎng)絡(luò)在循環(huán)神經(jīng)網(wǎng)絡(luò)中進(jìn)一步增設(shè)輸入門、遺忘門和輸出門且具有變化的自循環(huán)權(quán)重，從而在固定模型參數(shù)的情況下動(dòng)態(tài)改變不同時(shí)刻的積分尺度，該長(zhǎng)短記憶網(wǎng)絡(luò)包括：嵌入層、LSTM層和全連接層。

9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征是，當(dāng)系統(tǒng)中包含m個(gè)用戶，n個(gè)商品和一個(gè)部分觀測(cè)矩陣表示用戶是否與某個(gè)商品產(chǎn)生過行為；對(duì)于每個(gè)用戶u∈U＝{1…m}，將它表示為一個(gè)部分觀測(cè)的向量對(duì)于每個(gè)物品i∈I＝{1…n}，也將它表示為一個(gè)部分觀測(cè)的向量基于用戶的自編碼器的目標(biāo)在于對(duì)于每個(gè)部分觀測(cè)輸入r^(u)，先將它投影到一個(gè)k(k<n)維的隱空間中，接著將它在輸出空間重構(gòu)來預(yù)測(cè)用戶是否會(huì)購(gòu)買其他的商品；給定一組用戶與商品的購(gòu)買記錄自編碼器的目標(biāo)是：h(r；θ)＝f(W·g(Vr+μ)+b)，其中：f(·)和g(·)為激活函數(shù)，θ＝{W,V,μ,b}，和為編碼和解碼參數(shù)，和為偏置項(xiàng)。e＝g(Vr+μ)對(duì)應(yīng)編碼過程，f(W·e+b)對(duì)應(yīng)解碼過程；該自編碼器以最小化為目標(biāo)，通過反向傳播法來學(xué)習(xí)網(wǎng)絡(luò)中的參數(shù)θ。學(xué)習(xí)到參數(shù)θ后，對(duì)于每個(gè)輸入計(jì)算h(x；θ)作為預(yù)測(cè)結(jié)果。

10.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征是，所述的嵌入層將輸入壓縮為低維向量并保留商品間的相似關(guān)系，經(jīng)過嵌入層后輸出：e＝W_e·x+b_e，其中：為嵌入層權(quán)重，為嵌入層偏置；

所述的LSTM層用于學(xué)習(xí)用戶請(qǐng)求的時(shí)間序列，通過遺忘門、輸入門、輸出門和細(xì)胞狀態(tài)來解決梯度消失的問題，從而學(xué)習(xí)到長(zhǎng)期依賴關(guān)系，其中：遺忘門f_t決定從細(xì)胞狀態(tài)中丟棄多少信息，它會(huì)讀取h_t-1和x_t，輸出一個(gè)在0到1之間的值，1表示完全保留，0表示完全舍棄：f_t＝σ(W_f·[h_t-1,x_t]+b_f)，其中：σ為sigmoid函數(shù)，W_f和b_f為遺忘門的權(quán)重和偏置參數(shù)，h_t-1為t-1時(shí)刻的輸出，x_t為t時(shí)刻的輸入；

所述的輸入門i_t決定讓多少新的信息加入到細(xì)胞狀態(tài)中，具體為：首先sigmoid層決定哪些信息需要更新，接著由tanh層生成一個(gè)向量，即備選的用來更新的內(nèi)容輸入門i_t＝σ(W_i·[h_t-1,x_t]+b_i)，其中：tanh為雙曲正切函數(shù)，σ為sigmoid函數(shù)，W_C,W_i和b_C,b_i為輸入門的權(quán)重和偏置參數(shù)，h_t-1為t-1時(shí)刻的輸出，x_t為t時(shí)刻的輸入；接著將t-1時(shí)刻的狀態(tài)C_t-1與f_t相乘來丟棄掉需要丟棄的信息，再加上即t時(shí)刻的新候選值：

最后確定輸出值，首先通過一個(gè)sigmoid層來確定細(xì)胞狀態(tài)的哪些部分將輸出，接著將細(xì)胞狀態(tài)通過tanh進(jìn)行處理并將它和sigmoid層的輸出相乘，得到最終要輸出的部分：h_t＝o_t*tanhC_t，其中：o_t＝σ(W_o·[h_t-1,x_t]+b_o)，W_o和b_o為輸出門的權(quán)重和偏置參數(shù)，h_t-1為t-1時(shí)刻的輸出，x_t為t時(shí)刻的輸入。