[發明專利]一種網絡信息抓取方法和裝置

在審

• 申請號: 201210305527.6
• 申請日: 2012-08-24
• 公開（公告）號: CN103631806A
• 公開（公告）日: 2014-03-12
• 發明（設計）人: 鄧志鴻;張杰;賴博彥;劉河
• 申請（專利權）人: 華為技術有限公司;北京大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 申健

技術領域

本發明涉及網絡技術領域，尤其涉及一種網絡信息抓取方法和裝置。

背景技術

現今很多的諸如購物搜索網站的產品開始注意到互聯網中海量信息的獲取和集成對于用戶的重要性。在這些產品中，作為搜索引擎技術之一的網絡抓取技術是整個構架出來的系統中非常重要的一個環節，能幫助各大搜索引擎抓取網頁并構建網頁數據庫。網絡抓取技術是指程序或腳本按一定的規則，自動地下載互聯網中的特定內容的一項技術。網絡抓取程序一般從某個特定的統一資源定位符(Uniform?Resource?Locator，簡稱URL)出發，獲取訪問該URL返回得到的超文本標記語(Hypertext?Markup?Language，簡稱HTML)網頁，同時對該網頁進行分析，從中抽取得到一系列相關的其他URL用于繼續訪問，從而得到一系列相關的HTML網頁內容，直到遍歷完整個網絡，或者達到一定的條件后停止抓取。

在實現上述網絡抓取的過程中，發明人發現大量的網站開始采用JavaScript、Ajax等技術制作動態網頁來完善用戶的交互與體驗，但這些技術也給網絡抓取帶來了難度。現有的網絡抓取技術獲取的HTML網頁一般為靜態網頁，靜態網頁的特點是其內容完全由訪問的URL確定，并且不同的用戶訪問得到的內容都是一樣的；然而動態網頁除了能得到靜態網頁的內容，還含有大量必須通過執行客戶端腳本才能夠得到的URL，即在動態網頁中，同一個URL，不同的用戶訪問所獲取的網頁內容是不同的，因此當需要針對不同用戶獲取不同的個性化數據時，現有的網絡抓取技術無法直接獲得動態網頁中的URL和URL對應的內容。

發明內容

本發明的實施例提供了一種網絡信息抓取方法和裝置，用以獲得動態網頁中的URL和URL對應的內容。

為達到上述目的，本發明的實施例采用如下技術方案：

第一方面，提供一種網絡信息抓取方法，包括：

通過預設的瀏覽器客戶端訪問靜態的統一資源定位符URL；

獲取所述靜態的URL對應的超文本標記語言HTML文件；

獲取所述HTML文件中對應可實現用戶操作執行的腳本語言函數，所述腳本語言函數包括：JavaScript腳本語言函數；

解析所述腳本語言函數，得到解析后的網頁，并從所述網頁中抽取其他靜態的URL，并將所述網頁存儲。

在第一種可能的實現方式中，根據第一方面，該方法還包括：

創建所述瀏覽器客戶端網絡連接；

設置所述瀏覽器客戶端的瀏覽器版本及支持的腳本語言，所述腳本語言包括JavaScript腳本語言。

在第二種可能的實現方式中，結合第一方面或第一種可能的實現方式，具體實現為：解析所述腳本語言函數，得到解析后的網頁，并從所述網頁中抽取其他靜態的URL包括：通過頁面解析工具解析所述腳本語言函數模擬用戶操作，得到所述解析后的網頁，并應用正則表達式抽取其中的所述其他靜態的URL，所述解析工具包括：htmlunit分析工具。

第二方面，提供了一種網絡信息抓取裝置，所述網絡信息抓取裝置包括：

網頁地址訪問單元，用于通過預設的瀏覽器客戶端訪問靜態的URL；

網頁內容獲取單元，用于獲取所述靜態的URL對應的超文本標記語言HTML文件；

網頁腳本程序獲取單元，用于獲取所述HTML文件中對應可實現用戶操作執行的腳本語言函數，所述腳本語言函數包括：JavaScript腳本語言函數；

網頁解析單元，用于解析所述腳本語言函數，得到解析后的網頁，并從所述網頁中抽取其他靜態的URL，并將所述網頁存儲。

在第一種可能的實現方式中，根據第二方面，所述的網絡信息抓取裝置還包括：

網絡連接單元，用于創建所述瀏覽器客戶端網絡連接；

瀏覽器設置單元，用于設置所述瀏覽器客戶端的瀏覽器版本及支持的腳本語言，所述腳本語言包括：JavaScript腳本語言。

在第二種可能的實現方式中，結合第二方面或第一種可能的實現方式，所述網頁解析單元，具體用于通過頁面解析工具解析所述腳本語言函數模擬用戶操作，得到所述解析后的網頁，并應用正則表達式抽取其中的所述其他靜態的URL，所述解析工具包括：htmlunit分析工具。

第三方面，提供了一種網絡信息抓取裝置，所述網絡信息抓取裝置包括：至少一個入口端和一個出口端以及分別與所述入口端和所述出口端連接的處理器和存儲器，其中：