[發(fā)明專利]基于注意力機制和卷積神經(jīng)網(wǎng)絡(luò)的用戶行為序列推薦方法

在審

• 申請?zhí)枺?/td>: 201910257110.9
• 申請日: 2019-04-01
• 公開（公告）號: CN110060097A
• 公開（公告）日: 2019-07-26
• 發(fā)明（設(shè)計）人: 鮮學(xué)豐;趙朋朋;劉建
• 申請（專利權(quán)）人: 蘇州市職業(yè)大學(xué)
• 主分類號: G06Q30/02
• 分類號: G06Q30/02;G06N3/08;G06N3/04
• 代理公司: 北京遠大卓悅知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11369
• 代理人: 史霞

本發(fā)明公開了一種基于注意力機制和卷積神經(jīng)網(wǎng)絡(luò)的用戶行為序列推薦方法，其中，包括以下步驟：采集用戶過往的行為數(shù)據(jù)作為長期偏好交互序列數(shù)據(jù)；利用注意力機制算法計算所述長期偏好交互序列數(shù)據(jù)中各行為數(shù)據(jù)的權(quán)重，并根據(jù)所述權(quán)重計算出用戶的長期偏好；選取一段時間內(nèi)的行為數(shù)據(jù)作為短期偏好交互序列數(shù)據(jù)；根據(jù)所述短期偏好交互序列數(shù)據(jù)，利用卷積神經(jīng)網(wǎng)絡(luò)算法計算出用戶的短期偏好；將用戶的長期偏好與短期偏好進行拼接，以產(chǎn)生用戶行為序列推薦；本發(fā)明能相比與傳統(tǒng)的擬合用戶?項目或項目?項目之間的交互的方法，夠快速有效的的結(jié)合用戶的長期偏好和短期偏好向用戶推薦。

技術(shù)領(lǐng)域

本發(fā)明涉及用戶行為序列推薦方法，更具體地說，涉及一種基于注意力機制和卷積神經(jīng)網(wǎng)絡(luò)的用戶行為序列推薦方法。

背景技術(shù)

隨著移動互聯(lián)網(wǎng)技術(shù)不斷發(fā)展，網(wǎng)絡(luò)中的信息量以指數(shù)規(guī)律迅速擴展和增加，網(wǎng)絡(luò)上的信息過載和信息迷航問題日益嚴(yán)重。為了給用戶提供滿意的信息和服務(wù)，推薦系統(tǒng)應(yīng)運而生，成為了眾多研究學(xué)者關(guān)注的研究領(lǐng)域。推薦系統(tǒng)通過預(yù)測用戶對信息資源的喜好程度來進行信息過濾。

隨著平臺經(jīng)濟的快速發(fā)展，亞馬遜，淘寶和優(yōu)步等許多公司正在創(chuàng)建自我生態(tài)系統(tǒng)，通過與產(chǎn)品和服務(wù)的互動來留住用戶。用戶可以在日常生活中通過移動設(shè)備訪問這些平臺，這樣就會生成了大量的行為日志。例如，2017年6月，優(yōu)步累積了6800萬用戶旅行數(shù)據(jù)；Foursquare上超過5000萬用戶已經(jīng)產(chǎn)生了超過110億的簽到。要構(gòu)建有效的推薦系統(tǒng)，關(guān)鍵因素是準(zhǔn)確地表征和理解用戶的興趣和品味，而這些一直在不斷的變動與發(fā)展。為了實現(xiàn)該目標(biāo)，序列推薦應(yīng)運而生，以基于用戶歷史活動序列來推薦用戶可能與之交互的項目。

與傳統(tǒng)的推薦系統(tǒng)不同，在序列推薦中，越來越多的數(shù)據(jù)來自系列的交易或會話。這些交易或會話形成用戶的序列模式，用戶接下來的可能訪問的項目更可能取決于用戶最近產(chǎn)生交互的項目。例如，一起購買牛奶和黃油導(dǎo)致用戶接下來購買面粉的概率高于單獨購買牛奶或黃油的概率。然而，傳統(tǒng)的推薦方法，如協(xié)同過濾，矩陣分解和Top-N推薦，不適合捕獲序列模式，因為它們不會對動作的順序進行建模。為了解決這個問題，早期的基于馬爾可夫鏈的序列方法通常采用單獨的模型來表征用戶的長期偏好和短期偏好，然后將它們集成在一起。然而，這些基于馬爾可夫鏈的方法建模每兩個相鄰項之間的局部順序行為，但難以建模高階關(guān)系。近年來，深度神經(jīng)網(wǎng)絡(luò)在相關(guān)領(lǐng)域得到了深入的研究，對序列推薦產(chǎn)生了很大的影響。用于建模用戶序列模式的最流行的神經(jīng)網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)。基于RNN的方法比傳統(tǒng)的順序方法更強大。然而，RNN假設(shè)時間依賴性單調(diào)變化，這意味著當(dāng)前或隱藏狀態(tài)比前一個更重要。在序列推薦中，并非所有相鄰動作都具有依賴關(guān)系。為了解決這個問題，有學(xué)者提出了采用卷積神經(jīng)網(wǎng)絡(luò)(CNN)的卷積濾波器對項目的嵌入向量進行卷積操作進而獲得局部的序列特征。然而，這種方法只是將用戶嵌入矩陣作為用戶的長期偏好，這不足以學(xué)習(xí)用戶的長期偏好。

因此，我們在本發(fā)明中提出了一種基于注意力機制和卷積神經(jīng)網(wǎng)絡(luò)的序列推薦方法。注意力機制用于建模用戶的長期偏好，卷積神經(jīng)網(wǎng)絡(luò)用于挖掘用戶的短期序列偏好，最后將這兩者結(jié)合來產(chǎn)生推薦。

發(fā)明內(nèi)容

本發(fā)明的一個目的是解決至少上述問題和/或缺陷，并提供至少后面將說明的優(yōu)點。

本發(fā)明提供所述的基于注意力機制和卷積神經(jīng)網(wǎng)絡(luò)的用戶行為序列推薦方法，能夠快速有效的的結(jié)合用戶的長期偏好和短期偏好向用戶推薦。

為了實現(xiàn)根據(jù)本發(fā)明的這些目的和其他優(yōu)點，提供了一種基于注意力機制和卷積神經(jīng)網(wǎng)絡(luò)的用戶行為序列推薦方法，其中，包括以下步驟：采集用戶過往的行為數(shù)據(jù)作為長期偏好交互序列數(shù)據(jù)；

利用注意力機制算法計算所述長期偏好交互序列數(shù)據(jù)中各行為數(shù)據(jù)的權(quán)重，并根據(jù)所述權(quán)重計算出用戶的長期偏好；

選取一段時間內(nèi)的行為數(shù)據(jù)作為短期偏好交互序列數(shù)據(jù)；

根據(jù)所述短期偏好交互序列數(shù)據(jù)，利用卷積神經(jīng)網(wǎng)絡(luò)算法計算出用戶的短期偏好；