[發(fā)明專利]面向流式數(shù)據(jù)的分布式在線推薦方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410089697.4
• 申請(qǐng)日: 2014-03-12
• 公開（公告）號(hào): CN103886047B
• 公開（公告）日: 2017-07-07
• 發(fā)明（設(shè)計(jì)）人: 張寅;邊科;王東輝;魏寶剛
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;H04L29/08
• 代理公司: 杭州求是專利事務(wù)所有限公司33200
• 代理人: 張法高

1.一種面向流式數(shù)據(jù)的分布式在線推薦方法，其特征在于包括以下步驟：

1)構(gòu)建分布式計(jì)算框架，分布式計(jì)算框架包括矩陣分解模塊和推薦結(jié)果處理模塊，矩陣分解模塊由若干工作單元組成，其中每個(gè)工作單元對(duì)應(yīng)用戶行為數(shù)據(jù)矩陣中的一組數(shù)據(jù)塊；

2)接收用戶行為數(shù)據(jù)并將用戶行為數(shù)據(jù)發(fā)送到對(duì)應(yīng)的工作單元，根據(jù)該用戶的推薦反饋，生成負(fù)樣本，即用戶可能不感興趣的物品，被推薦的物品中用戶沒用對(duì)其產(chǎn)生行為的有較大概率被選中為負(fù)樣本；

3)采用分布式隨機(jī)梯度下降算法，對(duì)用戶行為數(shù)據(jù)以及負(fù)樣本數(shù)據(jù)進(jìn)行矩陣分解訓(xùn)練，并保存新的訓(xùn)練結(jié)果；

4)采用協(xié)同過濾的方法，利用用戶行為數(shù)據(jù)離線計(jì)算物品相似度，并定時(shí)更新物品相似度數(shù)據(jù)；

5)對(duì)于某個(gè)用戶，利用物品相似度計(jì)算該用戶最近感興趣物品的相似物品集合，把該集合與該用戶的原推薦列表集合的并集作為用戶的候選推薦集合，并根據(jù)步驟3)中的矩陣分解訓(xùn)練結(jié)果計(jì)算該用戶對(duì)候選推薦集合中所有物品的預(yù)測得分，對(duì)得分排序，得到該用戶的推薦列表；

6)返回推薦列表，把推薦列表中的物品推薦給用戶。

2.根據(jù)權(quán)利要求1所述的面向流式數(shù)據(jù)的分布式在線推薦方法，其特征在于：所述的步驟1)為：構(gòu)建分布式計(jì)算框架，分布式計(jì)算框架包括矩陣分解模塊和推薦結(jié)果處理模塊，矩陣分解模塊接收用戶行為數(shù)據(jù)，根據(jù)用戶行為數(shù)據(jù)得到分解矩陣，矩陣分解模塊包含一個(gè)數(shù)據(jù)源節(jié)點(diǎn)負(fù)責(zé)獲取用戶行為數(shù)據(jù)，一個(gè)主節(jié)點(diǎn)負(fù)責(zé)數(shù)據(jù)分發(fā)與任務(wù)管理，若干個(gè)工作節(jié)點(diǎn)負(fù)責(zé)隨機(jī)梯度下降運(yùn)算進(jìn)行矩陣分解，若干數(shù)據(jù)節(jié)點(diǎn)負(fù)責(zé)存儲(chǔ)分解矩陣數(shù)據(jù)，推薦結(jié)果處理模塊包含一個(gè)請(qǐng)求節(jié)點(diǎn)負(fù)責(zé)接收推薦請(qǐng)求獲取候選集合，一個(gè)排序計(jì)算節(jié)點(diǎn)負(fù)責(zé)對(duì)候選集合進(jìn)行排序并得到最終的推薦列表。

3.根據(jù)權(quán)利要求1所述的面向流式數(shù)據(jù)的分布式在線推薦方法，其特征在于：所述的步驟2)為：接收用戶行為數(shù)據(jù)并將用戶行為數(shù)據(jù)發(fā)送到對(duì)應(yīng)的工作單元，根據(jù)該用戶的推薦反饋，生成負(fù)樣本，即用戶可能不感興趣的物品，被推薦的物品中用戶沒用對(duì)其產(chǎn)生行為的有較大概率被選中為負(fù)樣本,假設(shè)所有物品的數(shù)量為n，推薦反饋中未被該用戶接受的物品有m個(gè)，它們被選中的概率是普通物品的a倍,a為大于1的整數(shù)，選取負(fù)樣本時(shí)在1到n+(a-1)m之間產(chǎn)生隨機(jī)數(shù)x，從小到大掃描推薦反饋中未被該用戶接受的物品，每有一個(gè)未被該用戶接受的物品，則x減去a-1，直到物品編號(hào)大于x，此時(shí)編號(hào)為x的物品被選為負(fù)樣本。