[發明專利]基于瀏覽器內核的網頁爬取方法、裝置及包含該裝置的瀏覽器

在審

• 申請號: 201210259864.6
• 申請日: 2012-07-25
• 公開（公告）號: CN103577427A
• 公開（公告）日: 2014-02-12
• 發明（設計）人: 付俊;張峰;楊光華
• 申請（專利權）人: 中國移動通信集團公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 余朦;王艷春

1.一種基于瀏覽器內核的網頁爬取方法，包括：

從用戶獲取初始URL；

利用瀏覽器內核從Web服務器獲取所述初始URL所對應網頁的源代碼文件；

基于所述源代碼文件生成相應的DOM樹；

遍歷所述DOM樹以獲取所述網頁中包含的靜態URL和動態URL；以及

將所述靜態URL和動態URL加入待爬URL隊列中。

2.如權利要求1所述的方法，其中，遍歷所述DOM樹以獲取所述網頁中包含的靜態URL和動態URL的步驟包括：從所述DOM樹上的標簽的屬性獲取所述靜態URL；以及通過觸發所述DOM樹上的標簽的事件并執行與所述事件綁定的事件處理代碼，從而以HOOK方式截獲作為執行所述事件處理代碼的結果所訪問的網頁的動態URL。

3.如權利要求2所述的方法，進一步包括：

在利用瀏覽器內核從Web服務器獲取所述初始URL所對應網頁的源代碼文件之前，調用瀏覽器內核向Web服務器發出訪問所述初始URL所對應網頁的請求，其中所述請求中包含所述初始URL。

4.如權利要求3所述的方法，進一步包括：

以HOOK方式攔截所述請求以從中分離出所述初始URL，并將所述初始URL加入到待爬URL隊列中。

5.如權利要求1至4中任一項所述的方法，進一步包括：

從Web服務器獲取到所述初始URL所對應網頁的源代碼文件后利用瀏覽器內核對該源代碼文件進行解析，并且以HOOK方式獲取對所述源代碼文件進行解析的過程中所述瀏覽器內核主動訪問的URL。

6.一種網頁爬取裝置，包括：

接口單元，從用戶獲取初始URL；

瀏覽器內核，響應于所述接口單元的調用，從Web服務器獲取所述初始URL所對應網頁的源代碼文件，并基于該源代碼文件生成相應的DOM樹；

URL收集單元，遍歷所述DOM樹以獲取所述網頁中包含的靜態URL和動態URL；

存儲單元，從所述URL收集單元接收并存儲所述靜態URL和動態URL。

7.如權利要求6所述的網頁爬取裝置，其中，所述URL收集單元進一步包括第一URL收集單元和第二URL收集單元；所述第一URL收集單元被配置為遍歷所述DOM樹以便從所述DOM樹上的標簽的屬性獲取所述靜態URL，以及在遍歷所述DOM樹時觸發所述DOM樹上的標簽的事件并執行與所述事件綁定的事件處理代碼；所述第二URL收集單元被配置為以HOOK方式截獲作為執行所述事件處理代碼的結果所訪問的網頁的動態URL。

8.如權利要求7所述的網頁爬取裝置，其中，所述瀏覽器內核進一步被配置為：在從Web服務器獲取所述初始URL所對應網頁的源代碼文件之前向Web服務器發出訪問所述初始URL所對應網頁的請求，其中所述請求中包含所述初始URL，所述第二URL收集單元進一步被配置為以HOOK方式攔截所述請求以從中分離出所述初始URL，并將所述初始URL存儲到所述存儲單元中。

9.如權利要求8所述的網頁爬取裝置，其中，所述瀏覽器內核進一步被配置為從Web服務器獲取到所述初始URL所對應網頁的源代碼文件后對該源代碼文件進行解析，所述第二URL收集單元進一步被配置為以HOOK方式獲取對所述源代碼文件進行解析的過程中所述瀏覽器內核主動訪問的URL。

10.一種瀏覽器，包括如權利要求6-9中任一項所述的網頁爬取裝置。