[發(fā)明專利]一種基于云計(jì)算的智能推薦方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710242323.5
• 申請(qǐng)日: 2017-04-13
• 公開(kāi)（公告）號(hào): CN107133279A
• 公開(kāi)（公告）日: 2017-09-05
• 發(fā)明（設(shè)計(jì)）人: 張高鵬;韓賓;王明超
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06Q30/02;G06Q30/06
• 代理公司: 北京世譽(yù)鑫誠(chéng)專利代理事務(wù)所(普通合伙)11368
• 代理人: 魏秀枝

技術(shù)領(lǐng)域

本發(fā)明涉及資源推薦技術(shù)領(lǐng)域，具體涉及一種基于云計(jì)算的智能推薦方法及系統(tǒng)。

背景技術(shù)

在互聯(lián)網(wǎng)技術(shù)和信息技術(shù)的快速的發(fā)展下，人們生活的許多方面已經(jīng)受到了互聯(lián)網(wǎng)科技的影響，在我們使用互聯(lián)網(wǎng)產(chǎn)品的同時(shí)，數(shù)據(jù)總是在不斷地產(chǎn)生。某些大型企業(yè)每天的數(shù)據(jù)量已達(dá)數(shù)百TB，而數(shù)據(jù)的存儲(chǔ)總量也早已超過(guò)1000PB。在信息如此增長(zhǎng)的態(tài)勢(shì)下，雖然通過(guò)搜索技術(shù)可以過(guò)濾大部分不相關(guān)的商品，但是在龐大的數(shù)據(jù)庫(kù)中存在著大量的用戶潛在感興趣的商品，所以用戶需要一種篩選有效信息的服務(wù)，這種服務(wù)的需求直接導(dǎo)致推薦系統(tǒng)的產(chǎn)生。推薦系統(tǒng)可以從大量的信息中挖掘用戶的興趣，針對(duì)不同用戶的興趣提供個(gè)性化的服務(wù)。然而從大量的信息中挖掘用戶的興趣，一方面需要精確的挖掘算法，另一方面也需要強(qiáng)大的計(jì)算能力。雖然企業(yè)可以使用擁有強(qiáng)大計(jì)算能力的設(shè)備對(duì)用戶的愛(ài)好進(jìn)行挖掘，但由于這種高性能設(shè)備的使用，使成本大大的升高。云計(jì)算的出現(xiàn)恰恰滿足了企業(yè)進(jìn)行數(shù)據(jù)挖掘的需求，云計(jì)算可以在廉價(jià)的機(jī)器上實(shí)現(xiàn)大規(guī)模存儲(chǔ)和高速運(yùn)算，為企業(yè)進(jìn)行個(gè)性化服務(wù)提供了新的方式。

現(xiàn)有推薦系統(tǒng)中，使用最多的推薦算法就是協(xié)同過(guò)濾推薦算法，協(xié)同過(guò)濾算法法理論上可以推薦世界上的任何一種東西。它又分為兩種，基于用戶的協(xié)同過(guò)濾算法(UserCF)和基于項(xiàng)目協(xié)同過(guò)濾算法(ItemCF)。UserCF的主要思想是：基于用戶對(duì)物品的偏好找到相鄰鄰居用戶，然后將鄰居用戶喜歡的推薦給當(dāng)前用戶。計(jì)算上，就是將一個(gè)用戶對(duì)所有物品的偏好作為一個(gè)向量來(lái)計(jì)算用戶之間的相似度，找到K鄰居后，根據(jù)鄰居的相似度權(quán)重以及他們對(duì)物品的偏好，預(yù)測(cè)當(dāng)前用戶沒(méi)有偏好的未涉及物品，計(jì)算得到一個(gè)排序的物品列表作為推薦。ItemCF的原理和UserCF類似，只是在計(jì)算鄰居時(shí)采用物品本身，而不是從用戶的角度，即基于用戶對(duì)物品的偏好找到相似的物品，然后根據(jù)用戶的歷史偏好，推薦相似的物品。從計(jì)算的角度看，就是將所有用戶對(duì)某個(gè)物品的偏好作為一個(gè)向量來(lái)計(jì)算物品之間的相似度，得到物品的相似物品后，根據(jù)用戶歷史的偏好預(yù)測(cè)當(dāng)前用戶還沒(méi)有表示偏好的物品，計(jì)算得到一個(gè)排序的物品列表作為推薦。王國(guó)霞，劉賀平在“個(gè)性化系統(tǒng)綜述”(計(jì)算機(jī)工程與應(yīng)用，2012，48(7)：66-76.)論文中就講述了這種傳統(tǒng)的協(xié)同過(guò)濾推薦算法。

現(xiàn)有技術(shù)的缺點(diǎn)就是傳統(tǒng)推薦算法復(fù)雜度非常高而導(dǎo)致運(yùn)算效率低下，而且常規(guī)的數(shù)據(jù)挖掘往往都是建立在大規(guī)模數(shù)據(jù)集合之上，復(fù)雜的計(jì)算和大規(guī)模的數(shù)據(jù)受限于計(jì)算機(jī)的硬件限制無(wú)法取得理想的運(yùn)行結(jié)果。傳統(tǒng)的單機(jī)串行運(yùn)算已經(jīng)無(wú)法滿足高復(fù)雜度和大數(shù)據(jù)的處理需求。

發(fā)明內(nèi)容

本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)中的不足，提供一種基于云計(jì)算的智能推薦方法及系統(tǒng)，實(shí)現(xiàn)了推薦算法的并行化提高了算法的運(yùn)行效率。

為實(shí)現(xiàn)上述目的，本發(fā)明公開(kāi)了如下技術(shù)方案：

一種基于云計(jì)算的智能推薦方法，基于項(xiàng)目或物品的協(xié)同過(guò)濾算法在Hadoop云計(jì)算平臺(tái)上實(shí)現(xiàn)，包括如下步驟：

S1建立物品的同現(xiàn)矩陣：按用戶分組，找到每個(gè)用戶所選的物品，單獨(dú)出現(xiàn)計(jì)數(shù)及兩兩一組計(jì)數(shù)；

S2建立用戶對(duì)物品的評(píng)分矩陣：按用戶分組，找到每個(gè)用戶所選的物品及評(píng)分；

S3矩陣計(jì)算推薦結(jié)果：同現(xiàn)矩陣*評(píng)分矩陣＝推薦結(jié)果；

S4推薦結(jié)果存儲(chǔ)：將獲取的推薦結(jié)果發(fā)送至應(yīng)用層的數(shù)據(jù)庫(kù)中存儲(chǔ)；

S5結(jié)果推薦：應(yīng)用層根據(jù)推薦結(jié)果對(duì)用戶進(jìn)行推薦。

進(jìn)一步的，所述步驟S1中，建立物品的同現(xiàn)矩陣的具體步驟如下：

任意選取互聯(lián)網(wǎng)站上的用戶評(píng)分?jǐn)?shù)據(jù)集score.csv，每行3個(gè)字段，依次是用戶id、物品id和用戶對(duì)物品的評(píng)分，根據(jù)物品id進(jìn)行排序，如下表所示：

有n個(gè)用戶給物品101打分，則R₁₁＝n，有m個(gè)用戶同時(shí)給物品101和102打分，則R₁₂＝m，以此類推，最終，表中R的值組成的矩陣即為同現(xiàn)矩陣。

進(jìn)一步的，所述步驟S2中，建立用戶對(duì)物品的評(píng)分矩陣的具體步驟如下：

以用戶偏好作為一個(gè)評(píng)分矩陣，而每個(gè)用戶的評(píng)分矩陣是一個(gè)n維的向量，每個(gè)維度代表一個(gè)物品，偏好值就是向量的每個(gè)分量，0代表用戶對(duì)該物品無(wú)偏好，用戶對(duì)物品的評(píng)分矩陣同樣來(lái)自數(shù)據(jù)集score.csv，評(píng)分矩陣包括了用戶對(duì)所有物品的打分，若無(wú)打分，則矩陣此列為0。

進(jìn)一步的，所述步驟S3中，矩陣計(jì)算推薦結(jié)果采用MapReduce并行運(yùn)算，計(jì)算矩陣乘法。

一種基于云計(jì)算的智能推薦系統(tǒng)，包括：