[發(fā)明專利]一種定制互聯(lián)網(wǎng)數(shù)據(jù)的實(shí)現(xiàn)方法及裝置

有效

• 申請?zhí)枺?/td>: 201310576992.8
• 申請日: 2013-11-18
• 公開（公告）號: CN103559304A
• 公開（公告）日: 2014-02-05
• 發(fā)明（設(shè)計(jì)）人: 程座鵬
• 申請（專利權(quán)）人: 北京暴風(fēng)科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京凱特來知識產(chǎn)權(quán)代理有限公司 11260
• 代理人: 鄭立明;趙鎮(zhèn)勇

技術(shù)領(lǐng)域

本發(fā)明涉及通信技術(shù)領(lǐng)域，尤其涉及一種定制互聯(lián)網(wǎng)數(shù)據(jù)的實(shí)現(xiàn)方法及裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)中數(shù)據(jù)內(nèi)容的日益豐富，人們?yōu)榱烁奖愕孬@得自己關(guān)注的數(shù)據(jù)信息，通常需要采用定制的方式實(shí)現(xiàn)。

目前，為了能夠給用戶提供相應(yīng)的定制服務(wù)，采用的實(shí)現(xiàn)方式如圖1所示，具體可以包括以下處理過程：

首先，確定用戶需要定制的內(nèi)容，假設(shè)內(nèi)容為A，以及用戶需要定制的內(nèi)容所在的網(wǎng)站信息，假設(shè)內(nèi)容A會在網(wǎng)站a、b、c、d中出現(xiàn)；

之后，由定制服務(wù)提供商根據(jù)定制的內(nèi)容及其所在的網(wǎng)站信息開發(fā)相應(yīng)的內(nèi)容查詢代碼，具體可以包括：內(nèi)容A在a網(wǎng)站的查詢代碼，內(nèi)容A在b網(wǎng)站的查詢代碼，內(nèi)容A在c網(wǎng)站的查詢代碼，內(nèi)容A在d網(wǎng)站的查詢代碼；

最后，通過上述開發(fā)的內(nèi)容查詢代碼便可以到相應(yīng)的網(wǎng)站查詢獲得用戶定制的內(nèi)容，并提供給用戶。

可見，現(xiàn)有的定制內(nèi)容的實(shí)現(xiàn)過程完全沒有用戶能夠參與的接口，對于一些定制服務(wù)提供方通常為預(yù)先根據(jù)可能的用戶定制需求已經(jīng)開發(fā)完成相應(yīng)的內(nèi)容查詢代碼，對于需要定制內(nèi)容的用戶，其僅能夠在已經(jīng)預(yù)先設(shè)定的內(nèi)容中選擇需要定制的信息（即可以定制的內(nèi)容是由提供定制服務(wù)的網(wǎng)站進(jìn)行管理），如某類新聞或某類影片等信息，而無法根據(jù)自身的實(shí)際需求靈活定制自己想要的內(nèi)容。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種定制互聯(lián)網(wǎng)數(shù)據(jù)的實(shí)現(xiàn)方法及裝置，使得用戶可以根據(jù)自身的實(shí)際需求靈活地設(shè)定自己需要定制的內(nèi)容信息。

本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的：

一種定制互聯(lián)網(wǎng)數(shù)據(jù)的實(shí)現(xiàn)方法，包括：

獲取用戶配置信息，所述用戶配置信息中包含用戶需要定制的內(nèi)容信息和所述內(nèi)容信息所在的網(wǎng)站信息；

解析所述用戶配置信息，獲得預(yù)定格式的所述內(nèi)容信息和網(wǎng)站信息，并在所述網(wǎng)站信息包含的各個(gè)網(wǎng)站內(nèi)爬取獲得所述內(nèi)容信息對應(yīng)的網(wǎng)頁；

將爬取獲得的所述內(nèi)容信息對應(yīng)的網(wǎng)頁提供給用戶。

在所述網(wǎng)站信息包含的各個(gè)網(wǎng)站內(nèi)爬取獲得所述內(nèi)容信息對應(yīng)的網(wǎng)頁的步驟包括：

依次從包含網(wǎng)站信息的鏈接隊(duì)列中取出各個(gè)網(wǎng)站信息，在當(dāng)前取出的網(wǎng)站信息對應(yīng)的站點(diǎn)中抓取所述內(nèi)容信息對應(yīng)的網(wǎng)頁，并將所述網(wǎng)頁加入到網(wǎng)頁數(shù)據(jù)庫中，直至所述包含網(wǎng)站信息的鏈接隊(duì)列中的各個(gè)網(wǎng)站信息均被取出并完成抓取操作。

所述依次從包含網(wǎng)站信息的鏈接隊(duì)列中取出各個(gè)網(wǎng)站信息的步驟包括：

根據(jù)預(yù)先設(shè)定的調(diào)度頻率從所述包含網(wǎng)站信息的鏈接隊(duì)列中依次取出各個(gè)網(wǎng)站信息，若存在多個(gè)包含網(wǎng)站信息的鏈接隊(duì)列，還需要根據(jù)預(yù)先設(shè)置的針對各個(gè)包含網(wǎng)站信息的鏈接隊(duì)列的選取比例在各個(gè)包含網(wǎng)站信息的鏈接隊(duì)列中依次取出各個(gè)網(wǎng)站信息。

在當(dāng)前取出的網(wǎng)站信息對應(yīng)的站點(diǎn)中抓取所述內(nèi)容信息對應(yīng)的網(wǎng)頁的過程中還包括：

在當(dāng)前取出的網(wǎng)站信息對應(yīng)的站點(diǎn)中抓取鏈接信息，并將所述的鏈接信息插入到所述包含網(wǎng)站信息的鏈接隊(duì)列中。

該方法還包括：

當(dāng)用戶需要更新其定制的內(nèi)容信息和/或更新所述內(nèi)容信息所在的網(wǎng)站信息時(shí)，則修改所述用戶配置信息，或者，重新提交新的用戶配置信息。

一種定制互聯(lián)網(wǎng)數(shù)據(jù)的實(shí)現(xiàn)裝置，包括：

配置信息獲取單元，用于獲取用戶配置信息，所述用戶配置信息中包含用戶需要定制的內(nèi)容信息和所述內(nèi)容信息所在的網(wǎng)站信息；

模板引擎單元，用于解析所述配置信息獲取單元獲取的用戶配置信息，獲得預(yù)定格式的所述內(nèi)容信息和網(wǎng)站信息；

爬取單元，用于在所述模板引擎單元解析獲得的所述網(wǎng)站信息包含的各個(gè)網(wǎng)站內(nèi)爬取獲得所述內(nèi)容信息對應(yīng)的網(wǎng)頁；

定制信息返回單元，用于將所述爬取單元爬取獲得的所述內(nèi)容信息對應(yīng)的網(wǎng)頁提供給用戶。

所述爬取單元包括：

鏈接隊(duì)列建立模塊，用于將所述模板引擎單元解析獲得的所述網(wǎng)站信息加入到鏈接隊(duì)列中；

調(diào)度模塊，用于依次從所述鏈接隊(duì)列建立模塊建立的包含網(wǎng)站信息的鏈接隊(duì)列中取出各個(gè)網(wǎng)站信息；

抓取模塊，用于在所述調(diào)度模塊當(dāng)前取出的網(wǎng)站信息對應(yīng)的站點(diǎn)中抓取所述內(nèi)容信息對應(yīng)的網(wǎng)頁，并將所述網(wǎng)頁加入到網(wǎng)頁數(shù)據(jù)庫中，直至所述包含網(wǎng)站信息的鏈接隊(duì)列中的各個(gè)網(wǎng)站信息均被取出并完成抓取操作。