[發明專利]一種搜索網頁的方法和裝置

有效

• 申請號: 201210171234.3
• 申請日: 2012-05-29
• 公開（公告）號: CN103455492B
• 公開（公告）日: 2018-10-30
• 發明（設計）人: 袁建發;廖志;葉方正;寧京;王偉;郭宗飛;李潔
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 羅振安

本發明公開了一種搜索網頁的方法和裝置，屬于網絡技術領域。所述方法包括：根據第一網頁地址，訪問所述第一網頁地址指示的網頁；獲取訪問的所述網頁的網頁信息；從所述網頁信息中提取第二網頁地址。本發明通過根據已經獲得的第一網頁地址，訪問該第一網頁地址指示的網頁，獲取到訪問網頁的網頁信息，每個網頁的網頁信息中含有大量網頁地址信息，通過遍歷此網頁信息，從網頁信息中提取大量第二網頁地址，解決了現有技術中手動搜索網頁方法搜索網頁的數量受到局限、效率低下的問題，同時解決了現有技術中手動搜索網頁方法成本高的問題。

技術領域

本發明涉及網絡技術領域，特別涉及一種搜索網頁的方法和裝置。

背景技術

隨著互聯網技術的迅速發展、網頁內容的不斷豐富，網頁瀏覽的速度會受到影響。為了優化網頁，提高網頁瀏覽的速度，現有技術通常通過搜索網頁并獲取網頁的網頁信息，對網頁信息加以分析，從而得到網頁優化的方法，進而提高網頁瀏覽的速度。而其中搜索網頁的方法一般是通過手動搜索網頁，該手動搜索網頁的過程包括：技術人員手動填寫指定網頁，并對其進行訪問，每當訪問完成時，繼續對其他指定網頁進行訪問，在訪問過程中獲取網頁信息，直到所有指定網頁訪問完畢。

在實現本發明的過程中，發明人發現現有技術至少存在以下問題：

手動對指定網頁進行搜索，在整個搜索過程中均需要技術人員參與，不僅搜索網頁的數量受到局限、效率低下，且成本高。

發明內容

為了解決搜索網頁時數量受到局限、效率低下，成本高的問題，本發明實施例提供了一種搜索網頁的方法和裝置。所述技術方案如下：

一種搜索網頁的方法，所述方法包括：

根據第一網頁地址，訪問所述第一網頁地址指示的網頁；

獲取訪問的所述網頁的網頁信息；

從所述網頁信息中提取第二網頁地址。

根據第一網頁地址，訪問所述第一網頁地址指示的網頁，之前包括：

獲取預先配置的搜索配置信息，所述搜索配置信息包括第一網頁地址；

和/或，

獲取提取到的所述第二網頁地址，將所述第二網頁地址作為所述第一網頁地址。

所述搜索配置信息還包括預設網頁深度；

相應地，從所述網頁信息中提取第二網頁地址，之后包括：

當所述第二網頁地址達到所述預設網頁深度時，結束；

當所述第二網頁地址未達到所述預設網頁深度時，繼續執行搜索網頁過程。

所述搜索配置信息還包括預設線程數，所述預設線程數用于指示同時訪問的網頁數量；

相應地，根據第一網頁地址，訪問所述第一網頁地址指示的網頁，包括：

根據所述搜索配置信息指示的符合所述預設線程數的多個第一網頁地址，同時訪問所述多個第一網頁地址指示的網頁。

所述搜索配置信息還包括日志配置信息，所述日志配置信息用于指示待保存的信息類型；

相應地，獲取訪問的所述網頁的網頁信息，包括：

根據所述日志配置信息，獲取訪問的所述網頁的網頁信息中符合所述日志配置信息的信息。

根據第一網頁地址，訪問所述第一網頁地址指示的網頁，之后包括：

檢測所述搜索配置信息是否發生變化，當所述搜索配置信息中的任一項發生變化時，根據變化后的搜索配置信息更新所述搜索配置信息。

所述搜索配置信息還包括預設網頁類型，