[發(fā)明專利]一種評分數(shù)據(jù)噪聲消除方法

有效

• 申請?zhí)枺?/td>: 201810576917.4
• 申請日: 2018-05-31
• 公開（公告）號: CN108830315B
• 公開（公告）日: 2021-06-04
• 發(fā)明（設計）人: 陳炳才;劉杰;聶冰洋;趙楠;寧芊;余超;謝冬梅;潘偉民
• 申請（專利權）人: 大連理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/2458
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 溫福雪;侯明遠

本發(fā)明屬于數(shù)據(jù)挖掘技術領域，提供了一種評分數(shù)據(jù)噪聲消除方法，設計一種使用于協(xié)同過濾技術數(shù)據(jù)預處理過程中，主要目的是消除原始評分數(shù)據(jù)評分噪聲。該方法區(qū)別于已有方法的特色在于將用戶之間相似度關系和項目之間流行度差異信息結合起來對原始評分數(shù)據(jù)進行修正，以消除環(huán)境因素導致的評分偏移，以提高協(xié)同過濾技術的推薦準確度。該方法在進行噪聲處理過程中綜合考慮了項目之間流行度關系和用戶之間的相似關系，同時使用聚類算法提高了Weighted Slope One算法的擴展性.使用此方法來消除用戶評分時特征環(huán)境的影響，提高協(xié)同過濾技術的推薦精度。經實驗證明中經過修正后的評分數(shù)據(jù)相比較與原始評分數(shù)據(jù)在推薦精度上有明顯提高。

技術領域

本發(fā)明屬于數(shù)據(jù)挖掘技術領域，發(fā)明應用于協(xié)同過濾技術數(shù)據(jù)預處理過程中，主要目的是消除原始評分數(shù)據(jù)評分噪聲。該方法區(qū)別于已有方法的特色在于將用戶之間相似度關系和項目之間流行度差異信息結合起來對原始評分數(shù)據(jù)進行修正，以消除環(huán)境因素(例如用戶評分時情緒狀況)導致的評分偏移，以提高協(xié)同過濾技術的推薦準確度。

背景技術

協(xié)同過濾技術是個性化推薦技術中一種應用范圍廣的推薦算法，協(xié)同過濾技術的基本核心思想是利用群體智慧，認為相似用戶的喜好也是相似的，目前主要分為以下幾類：基于用戶(或項目)的協(xié)調過濾算法、基于模型的協(xié)同過濾算法、以及混合過濾算法等。目前協(xié)同過濾算法存在著冷啟動、數(shù)據(jù)稀疏、推薦精度低、評分噪聲等問題。

協(xié)同過濾算法的基本過程是構建用戶-項目評分矩陣，尋找用戶相似鄰居群體，根據(jù)鄰居群體的對此用戶未評價的項目的做出預測，然后根據(jù)結果對用戶做出相應的推薦。協(xié)同過濾技術算法核心步驟是利用評分矩陣來選取用戶相似群體，但是原始的用戶評分可能會有評分噪聲，例如用戶評分時情緒因素會導致評分出現(xiàn)偏移，從而導致后續(xù)協(xié)同過濾算法推薦精確度下降。因此需要對原始評分數(shù)據(jù)進行調整，減弱情緒等因素導致的評分偏移。

發(fā)明內容

本發(fā)明提出了一種基于模糊C均值聚類和Weighted Slope One算法的評分數(shù)據(jù)噪聲消除方法，目的在于消除環(huán)境因素(例如評分時用戶的情緒情況)，調整原始評分數(shù)據(jù)，提高協(xié)同過濾算法的推薦準確度。

本發(fā)明的技術方案：

一種評分數(shù)據(jù)噪聲消除方法，步驟如下：

步驟1.輸入用戶評分矩陣R、用戶集合User和項目集合Item；

步驟2.對評分矩陣數(shù)據(jù)進行平滑處理,得到平滑處理后的評分矩陣R'

2.1)首先將項目按照流行度不同劃分到三個集合中一個，三個集合分別是流行項目集合set_popular、普通項目集合set_ordinary和不流行項目集合set_npopular；

具體過程如下：

2.1.1)計算項目item的流行度popular(item)，計算方法如下：

其中，集合User(item)是對項目item評分過的用戶集合，r_u,item是用戶u對項目item的評分；

2.1.2)對評分矩陣評分數(shù)據(jù)進行k-means聚類，聚類個數(shù)為3，聚類后得到三個簇的中心分別為c₁、c₂、c₃，其中c₁c₂c₃；

2.1.3)如果將項目item劃分到流行項目集合set_popular；如果將項目item劃分到普通項目集合set_ordinary；如果將項目item劃分到不流行項目集合set_npopular；