[發(fā)明專利]一種搜索網(wǎng)頁(yè)的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201210171234.3
• 申請(qǐng)日: 2012-05-29
• 公開（公告）號(hào): CN103455492B
• 公開（公告）日: 2018-10-30
• 發(fā)明（設(shè)計(jì)）人: 袁建發(fā);廖志;葉方正;寧京;王偉;郭宗飛;李潔
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 羅振安

1.一種搜索網(wǎng)頁(yè)的方法，其特征在于，所述方法包括：

獲取每次在進(jìn)行搜索網(wǎng)頁(yè)過(guò)程中所使用的線程數(shù)以及每次搜索網(wǎng)頁(yè)過(guò)程的搜索速度；

根據(jù)獲取到的線程數(shù)以及獲取到的搜索速度確定最優(yōu)線程數(shù)；

根據(jù)符合所述最優(yōu)線程數(shù)的多個(gè)第一網(wǎng)頁(yè)地址，并行訪問(wèn)所述多個(gè)第一網(wǎng)頁(yè)地址指示的網(wǎng)頁(yè)；

獲取訪問(wèn)的所述網(wǎng)頁(yè)的網(wǎng)頁(yè)信息；

遍歷所述網(wǎng)頁(yè)的網(wǎng)頁(yè)信息，在遍歷過(guò)程中提取獲取到的網(wǎng)頁(yè)信息中的超文本引用外部鏈接中的網(wǎng)頁(yè)地址，將所述超文本引用外部鏈接中的網(wǎng)頁(yè)地址作為第二網(wǎng)頁(yè)地址；

將提取到的所述第二網(wǎng)頁(yè)地址作為所述第一網(wǎng)頁(yè)地址再次執(zhí)行搜索網(wǎng)頁(yè)過(guò)程，并對(duì)獲取到的網(wǎng)頁(yè)信息進(jìn)行分析，得到所述獲取到的網(wǎng)頁(yè)信息中各個(gè)類型信息的數(shù)據(jù)量，根據(jù)訪問(wèn)需要以及所述各個(gè)類型信息的數(shù)據(jù)量對(duì)網(wǎng)頁(yè)瀏覽方法進(jìn)行設(shè)置和調(diào)整。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

獲取預(yù)先配置的搜索配置信息，所述搜索配置信息包括第一網(wǎng)頁(yè)地址。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，

所述搜索配置信息還包括預(yù)設(shè)網(wǎng)頁(yè)深度；

相應(yīng)地，從所述網(wǎng)頁(yè)信息中提取第二網(wǎng)頁(yè)地址，之后包括：

當(dāng)所述第二網(wǎng)頁(yè)地址達(dá)到所述預(yù)設(shè)網(wǎng)頁(yè)深度時(shí)，結(jié)束；

當(dāng)所述第二網(wǎng)頁(yè)地址未達(dá)到所述預(yù)設(shè)網(wǎng)頁(yè)深度時(shí)，繼續(xù)執(zhí)行搜索網(wǎng)頁(yè)過(guò)程。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，

所述搜索配置信息還包括預(yù)設(shè)線程數(shù)，所述預(yù)設(shè)線程數(shù)用于指示同時(shí)訪問(wèn)的網(wǎng)頁(yè)數(shù)量；

相應(yīng)地，所述方法還包括：

根據(jù)所述搜索配置信息指示的符合所述預(yù)設(shè)線程數(shù)的多個(gè)第一網(wǎng)頁(yè)地址，同時(shí)訪問(wèn)所述多個(gè)第一網(wǎng)頁(yè)地址指示的網(wǎng)頁(yè)。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，

所述搜索配置信息還包括日志配置信息，所述日志配置信息用于指示待保存的信息類型；

相應(yīng)地，獲取訪問(wèn)的所述網(wǎng)頁(yè)的網(wǎng)頁(yè)信息，包括：

根據(jù)所述日志配置信息，獲取訪問(wèn)的所述網(wǎng)頁(yè)的網(wǎng)頁(yè)信息中符合所述日志配置信息的信息。

6.根據(jù)權(quán)利要求2-5任一項(xiàng)所述的方法，其特征在于，所述方法還包括：

檢測(cè)所述搜索配置信息是否發(fā)生變化，當(dāng)所述搜索配置信息中的任一項(xiàng)發(fā)生變化時(shí)，根據(jù)變化后的搜索配置信息更新所述搜索配置信息。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述搜索配置信息還包括預(yù)設(shè)網(wǎng)頁(yè)類型，

相應(yīng)地，從所述網(wǎng)頁(yè)信息中提取第二網(wǎng)頁(yè)地址，包括：

遍歷所述網(wǎng)頁(yè)信息中的網(wǎng)頁(yè)地址；

從所述網(wǎng)頁(yè)信息的網(wǎng)頁(yè)地址中提取符合所述預(yù)設(shè)網(wǎng)頁(yè)類型的第二網(wǎng)頁(yè)地址。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取訪問(wèn)的所述網(wǎng)頁(yè)的網(wǎng)頁(yè)信息，之后包括：

當(dāng)獲取到訪問(wèn)的所述網(wǎng)頁(yè)的網(wǎng)頁(yè)信息時(shí)，判斷是否已保存過(guò)所述網(wǎng)頁(yè)信息，如果是，則丟棄所述網(wǎng)頁(yè)信息，如果否，則保存所述網(wǎng)頁(yè)信息。

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述網(wǎng)頁(yè)信息為所訪問(wèn)網(wǎng)頁(yè)的源代碼。