[發(fā)明專利]一種基于Spark的個性化推薦方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201810322987.7
• 申請日: 2018-04-11
• 公開（公告）號: CN108647996B
• 公開（公告）日: 2022-04-19
• 發(fā)明（設(shè)計）人: 胡建國;晏斌;李凱祥;全小虎
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號: G06Q30/02
• 分類號: G06Q30/02;G06Q30/06
• 代理公司: 佛山幫專知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44387
• 代理人: 顏春艷

1.一種基于Spark的個性化推薦方法，其特征在于，所述個性化推薦方法，包括：

獲取用戶對商品的行為信息并進(jìn)行用預(yù)處理，獲取用戶對商品的隱式反饋；

根據(jù)用戶對商品的隱式反饋進(jìn)行用戶對商品的交互矩陣構(gòu)建處理，獲取用戶對商品的交互矩陣；

根據(jù)用戶對商品的交互矩陣進(jìn)行商品相似度矩陣計算處理，獲取商品相似度矩陣；

根據(jù)商品相似度矩陣進(jìn)行商品鄰近集構(gòu)建處理，獲取商品鄰近集；

根據(jù)商品鄰近集進(jìn)行用戶對商品的偏好值預(yù)測處理，獲取用戶對商品的偏好值；

根據(jù)用戶對商品的偏好值向用戶進(jìn)行商品推薦，并將推薦結(jié)果進(jìn)行展示；

所述根據(jù)用戶對商品的交互矩陣進(jìn)行商品相似度矩陣計算處理，包括：

對用戶對商品的交互矩陣進(jìn)行逆用戶頻率進(jìn)行相似度計算，獲取第一相似矩陣；

采用卷積神經(jīng)網(wǎng)絡(luò)對用戶對商品的交互矩陣進(jìn)行離線計算商品的相似度矩陣，獲取第二相似矩陣；

對第一相似矩陣和第二相似矩陣進(jìn)行線性加權(quán)融合處理，獲取商品相似度矩陣；

所述對用戶對商品的交互矩陣進(jìn)行逆用戶頻率進(jìn)行相似度計算，獲取第一相似矩陣，包括：

受啟發(fā)于信息檢索中利用逆文檔頻率修正單詞頻率，認(rèn)為活躍用戶對項目相似度貢獻(xiàn)應(yīng)小于不活躍用戶，引入IUF對活躍用戶進(jìn)行計算，以用戶評分總數(shù)定義用戶活躍度，取其對數(shù)的倒數(shù)作為懲罰項，獲得相似度計算方式如下：

其中，表示表示矩陣R按列求和得到的向量；表示從評分矩陣提取的商品i特征向量；g表示內(nèi)積運算；

按照相似度計算方式所示定義simCal，利用Spark的map算子遍歷計算RDD內(nèi)每一個項目對相似度，得到每一條記錄為以物品對為鍵，它們的相似度為值的彈性分布式數(shù)據(jù)集，存入數(shù)據(jù)倉庫Hive中，記為sim_item。

2.根據(jù)權(quán)利要求1所述的基于Spark的個性化推薦方法，其特征在于，所述獲取用戶對商品的行為信息并進(jìn)行用預(yù)處理，包括：

根據(jù)用戶對商品的行為信息按不同權(quán)重進(jìn)行線性加權(quán)轉(zhuǎn)換處理，獲取用戶對商品的隱式反饋；

所述用戶對商品的行為信息至少包括瀏覽、收藏、加入購物車、購買、評分或評論中的一種或多種組合；

所述隱式反饋為用戶對商品的興趣值。

3.根據(jù)權(quán)利要求1所述的基于Spark的個性化推薦方法，其特征在于，所述根據(jù)用戶對商品的隱式反饋進(jìn)行用戶對商品的交互矩陣構(gòu)建處理，包括：

根據(jù)用戶對商品的隱式反饋獲取用戶對商品的興趣值；

根據(jù)用戶對商品的興趣值進(jìn)行按照商品為鍵對應(yīng)的聚合處理，獲取商品為鍵對應(yīng)的聚合；

對商品為鍵對應(yīng)的聚合進(jìn)行字典轉(zhuǎn)換處理，獲取字典結(jié)構(gòu)；

根據(jù)字典結(jié)構(gòu)對商品為鍵對應(yīng)的聚合進(jìn)行稀疏向量重新表示處理，獲取用戶對商品的交互矩陣。

4.根據(jù)權(quán)利要求1所述的基于Spark的個性化推薦方法，其特征在于，所述卷積神經(jīng)網(wǎng)絡(luò)由輸入層、13個卷積層、3個全連接層和輸出層依次構(gòu)成。

5.根據(jù)權(quán)利要求1所述的基于Spark的個性化推薦方法，其特征在于，所述對第一相似矩陣和第二相似矩陣進(jìn)行線性加權(quán)融合處理的加權(quán)公式如下：

S＝(1-β)S¹+βS²；

其中，S為商品相似度矩陣，S¹為第一相似矩陣，S²為第二相似矩陣，β為相似度權(quán)重，0≤β≤1。

6.根據(jù)權(quán)利要求1所述的基于Spark的個性化推薦方法，其特征在于，所述根據(jù)商品相似度矩陣進(jìn)行商品鄰近集構(gòu)建處理，包括：

根據(jù)商品相似度矩陣獲取商品與商品之間的相似度；

對商品與商品之間的相似度進(jìn)行排序處理，獲取排序結(jié)果；

根據(jù)排序結(jié)果選取每個商品相似度較高的K個商品組成商品鄰近集。

7.根據(jù)權(quán)利要求1所述的基于Spark的個性化推薦方法，其特征在于，所述根據(jù)商品鄰近集進(jìn)行用戶對商品的偏好值預(yù)測處理，包括：

根據(jù)商品鄰近集計算用戶對商品的偏好值，獲取用戶對商品的偏好值。