[發明專利]一種基于Spark的個性化推薦方法及系統

有效

• 申請號: 201810322987.7
• 申請日: 2018-04-11
• 公開（公告）號: CN108647996B
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 胡建國;晏斌;李凱祥;全小虎
• 申請（專利權）人: 中山大學
• 主分類號: G06Q30/02
• 分類號: G06Q30/02;G06Q30/06
• 代理公司: 佛山幫專知識產權代理事務所(普通合伙) 44387
• 代理人: 顏春艷

本發明公開了一種基于Spark的個性化推薦方法及系統，其中，所述個性化推薦方法包括：獲取用戶對商品的行為信息并進行用預處理，獲取用戶對商品的隱式反饋；根據用戶對商品的隱式反饋進行用戶對商品的交互矩陣構建處理，獲取用戶對商品的交互矩陣；根據用戶對商品的交互矩陣進行商品相似度矩陣計算處理，獲取商品相似度矩陣；根據商品相似度矩陣進行商品鄰近集構建處理，獲取商品鄰近集；根據商品鄰近集進行用戶對商品的偏好值預測處理，獲取用戶對商品的偏好值；根據用戶對商品的偏好值向用戶進行商品推薦，并將推薦結果進行展示。在本發明實施例中，融合多源信息，充分利用用戶對商品的行為信息，緩解數據稀疏和冷啟動問題。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種基于Spark的個性化推薦方法及系統。

背景技術

傳統的推薦方法協同過濾算法，其僅僅基于用戶行為數據設計，不需要用戶和商品的具體屬性，在工業界得到了很廣泛的應用；基于協同過濾的自編碼模型學習用戶和項目的非線性表征，進而對目標用戶進行推薦；基于內容的推薦算法，給目標用戶推薦在內容上與該用戶以往感興趣的項目相似的項目；利用矩陣分解方法等線性結構學習用戶與項目隱向量，通過用戶和未知商品的隱向量的內積預測評分。

存在如下的缺點：協同過濾算法存在嚴重的數據稀疏問題和冷啟動問題，對于評分較少或沒有評分的用戶與商品，協同過濾方法則無法做出準確的推薦；經典的協同過濾方法采用淺層模型無法學習到用戶和項目的深層次特征；方法嚴重依賴人工設計特征，其有效性和擴展性非常有限。

發明內容

本發明的目的在于克服現有技術的不足，本發明提供了一種基于Spark的個性化推薦方法及系統，充分利用用戶對商品的行為信息，緩解數據稀疏和冷啟動問題。

為了解決上述技術問題，本發明實施例提供了一種基于Spark的個性化推薦方法，所述個性化推薦方法，包括：

獲取用戶對商品的行為信息并進行用預處理，獲取用戶對商品的隱式反饋；

根據用戶對商品的隱式反饋進行用戶對商品的交互矩陣構建處理，獲取用戶對商品的交互矩陣；

根據用戶對商品的交互矩陣進行商品相似度矩陣計算處理，獲取商品相似度矩陣；

根據商品相似度矩陣進行商品鄰近集構建處理，獲取商品鄰近集；

根據商品鄰近集進行用戶對商品的偏好值預測處理，獲取用戶對商品的偏好值；

根據用戶對商品的偏好值向用戶進行商品推薦，并將推薦結果進行展示。

優選地，所述獲取用戶對商品的行為信息并進行用預處理，包括：

根據用戶對商品的行為信息按不同權重進行線性加權轉換處理，獲取用戶對商品的隱式反饋；

所述用戶對商品的行為信息至少包括瀏覽、收藏、加入購物車、購買、評分或評論中的一種或多種組合；

所述隱式反饋為用戶對商品的興趣值。

優選地，所述根據用戶對商品的隱式反饋進行用戶對商品的交互矩陣構建處理，包括：

根據用戶對商品的隱式反饋獲取用戶對商品的興趣值；

根據用戶對商品的興趣值進行按照商品為鍵對應的聚合處理，獲取商品為鍵對應的聚合；

對商品為鍵對應的聚合進行字典轉換處理，獲取字典結構

根據字典結構對商品為鍵對應的聚合進行稀疏向量重新表示處理，獲取用戶對商品的交互矩陣。

優選地，所述根據用戶對商品的交互矩陣進行商品相似度矩陣計算處理，包括：

對用戶對商品的交互矩陣進行逆用戶頻率進行相似度計算，獲取第一相似矩陣；