[發明專利]一種網絡信息抓取方法和裝置

在審

• 申請號: 201210305527.6
• 申請日: 2012-08-24
• 公開（公告）號: CN103631806A
• 公開（公告）日: 2014-03-12
• 發明（設計）人: 鄧志鴻;張杰;賴博彥;劉河
• 申請（專利權）人: 華為技術有限公司;北京大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 申健

1.一種網絡信息抓取方法，其特征在于，包括：

通過預設的瀏覽器客戶端訪問靜態的統一資源定位符URL；

獲取所述靜態的URL對應的超文本標記語言HTML文件；

獲取所述HTML文件中對應可實現用戶操作執行的腳本語言函數，所述腳本語言函數包括：JavaScript腳本語言函數；

解析所述腳本語言函數，得到解析后的網頁，并從所述網頁中抽取其他靜態的URL，并將所述網頁存儲。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

創建所述瀏覽器客戶端網絡連接；

設置所述瀏覽器客戶端的瀏覽器版本及支持的腳本語言，所述腳本語言包括JavaScript腳本語言。

3.根據權利要求1或2所述的方法，其特征在于，解析所述腳本語言函數，得到解析后的網頁，并從所述網頁中抽取其他靜態的URL包括：

通過頁面解析工具解析所述腳本語言函數模擬用戶操作，得到所述解析后的網頁，并應用正則表達式抽取其中的所述其他靜態的URL，所述解析工具包括：htmlunit分析工具。

4.一種網絡信息抓取裝置，其特征在于，所述網絡信息抓取裝置包括：

網頁地址訪問單元，用于通過預設的瀏覽器客戶端訪問靜態的URL；

網頁內容獲取單元，用于獲取所述靜態的URL對應的超文本標記語言HTML文件；

網頁腳本程序獲取單元，用于獲取所述HTML文件中對應可實現用戶操作執行的腳本語言函數，所述腳本語言函數包括：JavaScript腳本語言函數；

網頁解析單元，用于解析所述腳本語言函數，得到解析后的網頁，并從所述網頁中抽取其他靜態的URL，并將所述網頁存儲。

5.根據權利要求4所述的網絡信息抓取裝置，其特征在于，所述裝置還包括：

網絡連接單元，用于創建所述瀏覽器客戶端網絡連接；

瀏覽器設置單元，用于設置所述瀏覽器客戶端的瀏覽器版本及支持的腳本語言，所述腳本語言包括：JavaScript腳本語言。

6.根據權利要求4或5所述的網絡信息抓取裝置，其特征在于，所述網頁解析單元，具體用于通過頁面解析工具解析所述腳本語言函數模擬用戶操作，得到所述解析后的網頁，并應用正則表達式抽取其中的所述其他靜態的URL，所述解析工具包括：htmlunit分析工具。

7.一種網絡信息抓取裝置，其特征在于，所述網絡信息抓取裝置包括：至少一個入口端和一個出口端以及分別與所述入口端和所述出口端連接的處理器和存儲器，其中：

所述處理器用于通過預設的瀏覽器客戶端訪問靜態的URL；所述存儲器通過所述至少一個入口端獲取所述靜態的URL對應的超文本標記語言HTML文件；

所述處理器還用于獲取所述存儲器中所述HTML文件中對應可實現用戶操作執行的腳本語言函數，所述腳本語言函數包括：JavaScript腳本語言函數；

所述處理器還用于解析所述腳本語言函數，得到解析后的網頁，并從所述網頁中抽取其他靜態的URL，并將所述網頁通過所述至少一個出口端發送至網頁數據庫存儲。

8.根據權利要求7所述的網絡信息抓取裝置，其特征在于，所述處理器還用于創建所述瀏覽器客戶端網絡連接；設置所述瀏覽器客戶端的瀏覽器版本及支持的腳本語言，所述腳本語言包括：JavaScript腳本語言。

9.根據權利要求7或8所述的網絡信息抓取裝置，其特征在于，所述處理器具體用于通過頁面解析工具解析所述腳本語言函數模擬用戶操作，得到所述解析后的網頁，并應用正則表達式抽取其中的所述其他靜態的URL，所述解析工具包括：htmlunit分析工具。