[發明專利]一種定制互聯網數據的實現方法及裝置

有效

• 申請號: 201310576992.8
• 申請日: 2013-11-18
• 公開（公告）號: CN103559304A
• 公開（公告）日: 2014-02-05
• 發明（設計）人: 程座鵬
• 申請（專利權）人: 北京暴風科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;趙鎮勇

1.一種定制互聯網數據的實現方法，其特征在于，包括：

獲取用戶配置信息，所述用戶配置信息中包含用戶需要定制的內容信息和所述內容信息所在的網站信息；

解析所述用戶配置信息，獲得預定格式的所述內容信息和網站信息，并在所述網站信息包含的各個網站內爬取獲得所述內容信息對應的網頁；

將爬取獲得的所述內容信息對應的網頁提供給用戶。

2.根據權利要求1所述的方法，其特征在于，在所述網站信息包含的各個網站內爬取獲得所述內容信息對應的網頁的步驟包括：

依次從包含網站信息的鏈接隊列中取出各個網站信息，在當前取出的網站信息對應的站點中抓取所述內容信息對應的網頁，并將所述網頁加入到網頁數據庫中，直至所述包含網站信息的鏈接隊列中的各個網站信息均被取出并完成抓取操作。

3.根據權利要求2所述的方法，其特征在于，所述依次從包含網站信息的鏈接隊列中取出各個網站信息的步驟包括：

根據預先設定的調度頻率從所述包含網站信息的鏈接隊列中依次取出各個網站信息，若存在多個包含網站信息的鏈接隊列，還需要根據預先設置的針對各個包含網站信息的鏈接隊列的選取比例在各個包含網站信息的鏈接隊列中依次取出各個網站信息。

4.根據權利要求2所述的方法，其特征在于，在當前取出的網站信息對應的站點中抓取所述內容信息對應的網頁的過程中還包括：

在當前取出的網站信息對應的站點中抓取鏈接信息，并將所述的鏈接信息插入到所述包含網站信息的鏈接隊列中。

5.根據權利要求1至4任一項所述的方法，其特征在于，該方法還包括：

當用戶需要更新其定制的內容信息和/或更新所述內容信息所在的網站信息時，則修改所述用戶配置信息，或者，重新提交新的用戶配置信息。

6.一種定制互聯網數據的實現裝置，其特征在于，包括：

配置信息獲取單元，用于獲取用戶配置信息，所述用戶配置信息中包含用戶需要定制的內容信息和所述內容信息所在的網站信息；

模板引擎單元，用于解析所述配置信息獲取單元獲取的用戶配置信息，獲得預定格式的所述內容信息和網站信息；

爬取單元，用于在所述模板引擎單元解析獲得的所述網站信息包含的各個網站內爬取獲得所述內容信息對應的網頁；

定制信息返回單元，用于將所述爬取單元爬取獲得的所述內容信息對應的網頁提供給用戶。

7.根據權利要求6所述的裝置，其特征在于，所述爬取單元包括：

鏈接隊列建立模塊，用于將所述模板引擎單元解析獲得的所述網站信息加入到鏈接隊列中；

調度模塊，用于依次從所述鏈接隊列建立模塊建立的包含網站信息的鏈接隊列中取出各個網站信息；

抓取模塊，用于在所述調度模塊當前取出的網站信息對應的站點中抓取所述內容信息對應的網頁，并將所述網頁加入到網頁數據庫中，直至所述包含網站信息的鏈接隊列中的各個網站信息均被取出并完成抓取操作。

8.根據權利要求7所述的裝置，其特征在于，所述調度模塊具體用于根據預先設定的調度頻率從所述包含網站信息的鏈接隊列中依次取出各個網站信息，若所述鏈接隊列建立模塊建立多個包含網站信息的鏈接隊列，則所述調度模塊還需要根據預先設置的針對各個包含網站信息的鏈接隊列的選取比例在各個包含網站信息的鏈接隊列中依次取出各個網站信息。

9.根據權利要求7所述的裝置，其特征在于，所述抓取模塊還用于在在當前取出的網站信息對應的站點中抓取鏈接信息，并通過所述調度模塊將所述的鏈接信息插入到所述包含網站信息的鏈接隊列中。

10.根據權利要求6至9任一項所述的裝置，其特征在于，該裝置還包括配置信息更新單元，用于當用戶需要更新其定制的內容信息和/或更新所述內容信息所在的網站信息時，則修改所述用戶配置信息，或者，重新提交新的用戶配置信息。