[發(fā)明專利]一種新型智能推薦資源的系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201710398772.9
• 申請日: 2017-05-31
• 公開（公告）號: CN107273450A
• 公開（公告）日: 2017-10-20
• 發(fā)明（設(shè)計）人: 肖雪松
• 申請（專利權(quán)）人: 成都明途科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種新型智能推薦資源的系統(tǒng)，其特征在于，包括網(wǎng)絡(luò)資源收集模塊，所述網(wǎng)絡(luò)資源收集模塊包括爬蟲分配裝置和爬蟲執(zhí)行單元，所述網(wǎng)絡(luò)資源收集模塊連接有爬蟲依賴模塊和網(wǎng)頁分解模塊，網(wǎng)頁分解模塊連接有工作數(shù)據(jù)庫，工作收集庫連接有臨時增量數(shù)據(jù)庫，臨時增量數(shù)據(jù)庫連接有更新增量數(shù)據(jù)庫，更新增量數(shù)據(jù)庫連接有篩選模塊，篩選模塊連接有本地文件子系統(tǒng)和交互模塊，所述本地文件子系統(tǒng)與工作數(shù)據(jù)庫連接；

所述爬蟲依賴模塊用于配置網(wǎng)絡(luò)資源收集模塊與目標(biāo)網(wǎng)絡(luò)資源之間的依賴關(guān)系；網(wǎng)絡(luò)資源收集模塊能夠通過爬蟲依賴模塊建立的依賴關(guān)系，通過爬蟲分配裝置配置相應(yīng)爬蟲執(zhí)行單元執(zhí)行資源收集；

所述網(wǎng)頁分解模塊用于網(wǎng)頁的分解、去除廣告信息、去除噪聲；

所述工作數(shù)據(jù)庫用于和當(dāng)前用戶興趣內(nèi)容做相似度比較，根據(jù)相似度排序為用戶推送內(nèi)容；

所述更新增量數(shù)據(jù)庫用于存儲一個時間周期內(nèi)網(wǎng)站更新的內(nèi)容；

所述臨時增量數(shù)據(jù)庫用于存儲接著上次爬取斷點爬取到的內(nèi)容；

所述交互模塊用于分析用戶的興趣愛好，常輸入關(guān)鍵字；

所述篩選模塊用于篩選用戶在更新增量數(shù)據(jù)庫中交互模塊中得到關(guān)鍵字；

所述本地文件子系統(tǒng)用于存儲通過篩選模塊中的網(wǎng)頁數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的一種新型智能推薦資源的系統(tǒng)，其特征在于，所述本地文件子系統(tǒng)連接一個分布式文件子系統(tǒng)，所述分布式文件子系統(tǒng)，用于同步所述本地文件子系統(tǒng)中的網(wǎng)頁數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的一種新型智能推薦資源的系統(tǒng)，其特征在于，所述爬蟲分配裝置包括初始單元、網(wǎng)頁下載模塊、關(guān)閉單元，所述初始單元用于為網(wǎng)絡(luò)資源收集準(zhǔn)備必要的存儲空間及系統(tǒng)開銷；所述網(wǎng)頁下載模塊用于根據(jù)目標(biāo)網(wǎng)絡(luò)資源的數(shù)據(jù)類型選擇不同爬蟲程序收集目標(biāo)網(wǎng)絡(luò)資源的數(shù)據(jù)；所述關(guān)閉單元用于在收集裝置收集到所需要的目標(biāo)數(shù)據(jù)后釋放系統(tǒng)開銷以及在收集裝置出現(xiàn)異常時進(jìn)行異常處理。

4.根據(jù)權(quán)利要求1所述的一種新型智能推薦資源的系統(tǒng)，其特征在于，所述本地文件子系統(tǒng)包括URL過濾器，所述URL過濾器用于對收集的網(wǎng)頁數(shù)據(jù)進(jìn)行重排。

5.根據(jù)權(quán)利要求4所述的一種新型智能推薦資源的系統(tǒng)，其特征在于，所述URL過濾器為基于二進(jìn)制數(shù)組bitSet的過濾器。