[發明專利]一種基于大數據的信息推薦系統

有效

• 申請號: 202010154935.0
• 申請日: 2020-03-06
• 公開（公告）號: CN111382357B
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 高云峰
• 申請（專利權）人: 吉林農業科技學院
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/9532
• 代理公司: 北京卓特專利代理事務所(普通合伙) 11572
• 代理人: 段宇

本發明涉及一種基于大數據的信息推薦系統，包括數據采集模塊、數據分區模塊，數據挖掘分析模塊、數據存儲模塊、信息推薦模塊，終端模塊，云端模塊，數據挖掘分析模塊采用有效的機制來有效處理大量數據并解決稀疏性問題，既剔除了單一算法的缺點又提高了推薦效果。在系統架構方面，綜合了用戶意見評級和項目評級，能夠得到可靠的推薦結果。

技術領域

本發明涉及大數據技術領域，具體為一種基于大數據的信息推薦系統。

背景技術

近年來，大數據作為在可接受計算時間里獲取的、數據量超出傳統數據的工具，成為許多公司、科學界和政府越來越重視的信息資產。現存的挑戰是如何通過探索和分析數據來提取對于特定目的的相關需要信息。

由于網絡上可用信息的爆炸性增長，用戶面臨著大量選擇的關鍵挑戰，這就是信息過載問題，這對于用戶尋找準確信息是很困難的，這個問題也擴大了用戶對于有效信息篩選的科技手段的需求，他們希望科技可以幫助他們根據自己的需求找到合適的內容，例如書，電影和音樂，同時，像許多現實世界中的大數據應用一樣，用戶數、項目數和其他產生信息的激增給傳統的推薦系統帶來了許多問題。分析用戶興趣和喜好的需求使處理大量信息變得很必要。因此，推薦系統成為了解決上述困難的有效工具。它們旨在根據用戶過去的喜好和興趣提供個性化的建議。實際應用的示例包括電子政務，社交網絡，電子商務，電子學習等。

盡管有幾個推薦系統已經在小范圍的數據量中實現了優秀的性能，但是卻很難應用在大數據的背景下。尤其是，執行訓練任務的計算成本可能對于大規模數據高得負擔不起的，這可能會限制實際場景中的適用性。此外，考慮系統中的新偏好涉及進行離線計算，此項任務將會花費大量的時間隨著逐漸增加的數據量。另外，數據稀疏度也是一個關鍵問題，很有可能會給預測效果帶來消極影響。因此，建立大規模的推薦系統需要考慮到不同方面的問題，例如處理數據的稀疏度，縮短計算時間，提高預測質量和有效處理大規模的數據。

發明內容

本發明提出了一種基于大數據的信息推薦系統，解決了傳統推薦算法推薦結果單一、數據稀疏等問題。

一種基于大數據的信息推薦系統，包括數據采集模塊、數據分區模塊，數據挖掘分析模塊、數據存儲模塊、信息推薦模塊，終端模塊，云端模塊，

所述數據分區模塊用于確定訓練數據(RDD)的最佳分區數量

所述信息推薦模塊將數據挖掘分析模塊輸出的推薦信息執行默認推薦；

所述數據挖掘分析模塊訓練大數據分析模型的神經網絡參數和判斷規則，確定最優的參數和判斷規則，神經網絡參數中的每個節點代表一個接受輸入數據并產生輸出數據的函數，將每個節點的輸出用作下一個節點的輸入，依此類推，具體包括以下步驟：

S21.將RDD_train分為個區塊，即

S22.令p_r為用戶表達等級r∈[r_min，r_max]的概率，定義一組相關概率P＝(p_r(1)，p_r(2)，...，p_r(k))，其中k表示用來反映用戶意見的概率數，評級r(1)表示為喜好的概率高于表示r(2)的概率，依此類推，符號o表示系統中可能的評級數；

S23.為每個用戶u∈U提供一組評級R_u；

S24.為每個項目i∈I提供的一組用戶意見評級R_i；

S25.對每個用戶u∈U做以下步驟：

根據等式映射每個輸入實例X∈R|X|到相關表示A∈R|A|中，即將R_u表示為A_u；

通過等式估算用戶u的評級行為V_u；