[發明專利]基于大規模評分數據對用戶進行商品在線實時推薦的方法

在審

• 申請號: 201710292884.6
• 申請日: 2017-04-28
• 公開（公告）號: CN108154380A
• 公開（公告）日: 2018-06-12
• 發明（設計）人: 王成;文詩琪;張憶文;賴雄鳴;何霆;洪欣;鄭國旗
• 申請（專利權）人: 華僑大學;亞爾迪（廈門）科技有限公司
• 主分類號: G06Q30/02
• 分類號: G06Q30/02;G06Q30/06
• 代理公司: 廈門市首創君合專利事務所有限公司 35204
• 代理人: 張松亭;楊鍇

本發明涉及一種基于大規模評分數據對用戶進行商品在線實時推薦的方法，是一種基于并行樸素貝葉斯回歸模型的協同過濾推薦方法。首先，將數據存儲于Hadoop的HDFS上，并行讀取用戶對項目的評分數據，對評分進行四舍五入的取整和離散化；其次，將用戶和項目作為獨立屬性，離散化后的各評分作為類別，利用MapReduce框架實現的并行樸素貝葉斯分類模型計算用戶對商品各評分類別的概率；最后，通過求期望來預測用戶對商品的評分，應用于商品推薦。本方法解決了傳統協同過濾算法時空效率低，預測成功率低和實時性不佳的問題，提高了推薦的時空效率、準確率和成功率，適合于大規模評分數據上對用戶進行商品在線實時推薦。

技術領域

本發明涉及推薦系統、數據挖掘、大數據技術領域，更具體地說，涉及一種基于大規模 評分數據對用戶進行商品在線實時推薦的方法。

背景技術

近年來，隨著互聯網和電子商務的發展，網絡用戶和商品的數量都急劇上升，TB級別的 數據的產生標志著大數據時代的來臨。因此，如何從海量的數據中，獲取有價值的數據成為 一個越來越重要的問題。特別是在電子商務領域，電子商務企業很難分析和處理這么大量的 數據。因此，如何通過從海量消費者的消費行為中提取有價值的信息來發現消費者的興趣已 經成為當前的研究熱點。在大數據時代，數據的龐大規模和復雜性對傳統方案的處理和計算 能力提出了挑戰，也帶來了性能和精度的問題。因此，可以想到采用并行的推薦算法進行重 新設計，以擴展到大數據問題，克服精度和實時性的不足。

推薦系統是最廣泛使用的機器學習技術之一。協同過濾(CF)是目前電子商務推薦系統 中最成功的推薦算法。協同過濾可以分為基于內存和基于模型兩種。基于模型的協同過濾推 薦技術使用純評分數據來估計或學習模型進行預測。該模型可以是數據挖掘或機器學習算法。 眾所周知的基于模型的協同過濾推薦技術包括：貝葉斯信任網(BN)CF模型，聚類CF模型 和潛在語義CF模型。與基于存儲器的協同過濾算法相比，基于模型的協同過濾算法不僅可 以提高推薦速度，而且可以過濾噪聲數據，從而提高推薦的質量。因此，基于模型的協同過 濾推薦技術能夠以高效率和準確性處理可擴展性問題。

因此，將基于樸素貝葉斯模型的協同過濾推薦方法并行化可以達到更好的推薦效果。但 是，樸素貝葉斯方法通常用于分類問題，用于預測評分可能存在預測準確性不高、時空開銷 大、效率低等問題。

發明內容

本發明的目的在于克服現有技術的不足，提供一種推薦的效率和準確率的基于大規模評 分數據對用戶進行商品在線實時推薦的方法。

本發明的技術方案如下：

一種基于大規模評分數據對用戶進行商品在線實時推薦的方法，獲取用戶對商品的評分 數據，并對其進行離散化處理作為類別屬性，利用基于并行樸素貝葉斯分類模型計算用戶對 商品各評分類別的概率，通過期望求和預測用戶對商品的評分，獲得并行樸素貝葉斯回歸模 型；通過并行樸素貝葉斯回歸模型進行協同過濾推薦，實現商品在線實時推薦。

作為優選，獲取用戶對商品的評分數據后，將評分數據存儲于Hadoop的HDFS分布式 文件系統上；其中，用戶對商品的評分數據包括：用戶a，商品b，用戶a對商品b的評分r_a,b。

作為優選，將獲取的用戶對商品的評分離散化處理后，作為樸素貝葉斯的分類類別R_i， i∈[1,…,s]，表示有s種不同的評分。

作為優選，如果獲取的評分數據為整數，則評分數據直接作為分類類別；如果獲取的評 分數據為小數，則采用四舍五入的方式取整后，再作為分類類別；

則，

作為優選，確定評分數據為樸素貝葉斯分類的特征屬性。