[發明專利]網頁獲取方法和裝置

在審

• 申請號: 201310102493.5
• 申請日: 2013-03-27
• 公開（公告）號: CN104077293A
• 公開（公告）日: 2014-10-01
• 發明（設計）人: 楊柳
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 羅振安

技術領域

本發明涉及網絡技術領域，特別涉及一種網頁獲取方法和裝置。

背景技術

隨著網絡技術的不斷發展，網絡提供的各種信息和服務極大地豐富了用戶的日常生活。用戶在搜索信息過程中，只需要在搜索框中輸入關鍵字，服務器在接收到包括該關鍵字的搜索請求后，在海量網頁中篩選出和用戶輸入關鍵字相關的網頁對應的網頁鏈接，并將篩選后獲取的網頁鏈接返回給用戶。

在實現本發明的過程中，發明人發現現有技術至少存在以下問題：

現有技術中，服務器根據用戶輸入關鍵字搜索到的網頁至少需要包括該關鍵字，如，當用戶輸入“熱門話題”時，服務器返回的網頁鏈接對應的網頁內容中包括“熱門話題”關鍵字，但是該網頁卻不一定是熱門話題，而真正的熱門話題網頁也不一定包括“熱門話題”關鍵字。通過關鍵字搜索網頁的方法獲取的網頁常常不符合用戶的需求，降低了網頁信息的有效性。

發明內容

為了解決網頁信息有效性的問題，本發明實施例提供了一種網頁獲取方法和裝置。所述技術方案如下：

一方面，提供了一種網頁獲取方法，所述方法包括：

接收終端設備發送的請求消息，所述請求消息攜帶指定搜索類型；

根據所述指定搜索類型，確定與所述指定搜索類型對應的網頁鏈接數據庫，所述指定搜索類型對應的網頁鏈接數據庫包括服務器統計的屬于所述指定搜索類型的網頁鏈接；

從所述與所述指定搜索類型對應的網頁鏈接數據庫中獲取預設數量的網頁鏈接發送給終端設備。

接收終端設備發送的請求消息之前，所述方法還包括：

建立至少一個網頁鏈接數據庫，每個網頁鏈接數據庫對應至少一個搜索類型，所述網頁鏈接數據庫包括服務器統計的屬于所述網頁鏈接數據庫對應的搜索類型的網頁鏈接。

建立至少一個網頁鏈接數據庫之后，所述方法還包括：

根據每個網頁鏈接數據庫對應的搜索類型以及預設抓取條件，從網絡中抓取屬于每個網頁鏈接數據庫對應的搜索類型的網頁鏈接；

將抓取到的網頁鏈接按照對應的搜索類型分別存儲。

根據每個網頁鏈接數據庫對應的搜索類型以及預設抓取條件，從網絡中抓取屬于每個網頁鏈接數據庫對應的搜索類型的網頁鏈接，包括：

根據每個網頁鏈接數據庫對應的搜索類型，從網絡中抓取屬于每個網頁鏈接數據庫對應的搜索類型、且點擊次數大于第一預設數值的網頁鏈接；

或，

根據每個網頁鏈接數據庫對應的搜索類型，從網絡中抓取屬于每個網頁鏈接數據庫對應的搜索類型、且轉載次數大于第二預設數值的網頁鏈接；

或，

根據每個網頁鏈接數據庫對應的搜索類型，從網絡中抓取屬于每個網頁鏈接數據庫對應的搜索類型、且收藏次數大于第三預設數值的網頁鏈接。

從所述與所述指定搜索類型對應的網頁鏈接數據庫中獲取預設數量的網頁鏈接發送給終端設備，包括：

從所述與所述指定搜索類型對應的網頁鏈接數據庫中隨機獲取預設數量的網頁鏈接，將所述預設數量的網頁鏈接發送給終端設備；或，

從所述與所述指定搜索類型對應的網頁鏈接數據庫中按照預設獲取規則獲取預設數量的網頁鏈接，將所述預設數量的網頁鏈接發送給終端設備。

另一方面，提供了一種網頁獲取裝置，所述裝置包括：

接收模塊，用于接收終端設備發送的請求消息，所述請求消息攜帶指定搜索類型；

確定模塊，用于根據所述指定搜索類型，確定與所述指定搜索類型對應的網頁鏈接數據庫，所述指定搜索類型對應的網頁鏈接數據庫包括服務器統計的屬于所述指定搜索類型的網頁鏈接；

獲取模塊，用于從所述與所述指定搜索類型對應的網頁鏈接數據庫中獲取預設數量的網頁鏈接發送給終端設備。

所述裝置還包括：

建立模塊，用于建立至少一個網頁鏈接數據庫，每個網頁鏈接數據庫對應至少一個搜索類型，所述網頁鏈接數據庫包括服務器統計的屬于所述網頁鏈接數據庫對應的搜索類型的網頁鏈接。

所述裝置還包括：

抓取模塊，用于根據每個網頁鏈接數據庫對應的搜索類型以及預設抓取條件，從網絡中抓取屬于每個網頁鏈接數據庫對應的搜索類型的網頁鏈接；

存儲模塊，用于將抓取到的網頁鏈接按照對應的搜索類型分別存儲。

所述抓取模塊，用于根據每個網頁鏈接數據庫對應的搜索類型，從網絡中抓取屬于每個網頁鏈接數據庫對應的搜索類型、且點擊次數大于第一預設數值的網頁鏈接；

或，