[發明專利]一種基于主題網絡爬蟲的搜索方法及裝置

在審

• 申請號: 201310716763.1
• 申請日: 2013-12-23
• 公開（公告）號: CN103714140A
• 公開（公告）日: 2014-04-09
• 發明（設計）人: 劉雄偉
• 申請（專利權）人: 北京銳安科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 胡彬

1.一種基于主題網絡爬蟲的搜索方法，其特征在于，所述方法包括：

從與給定搜索主題相關的網頁地址集中提取一個網頁地址；

獲取所述網頁地址對應的有效網頁；

對所述有效網頁進行分析，得到有效網頁內容；

根據所述有效網頁內容，計算所述有效網頁與所述搜索主題在語義上的相關度，作為所述有效網頁的立即價值，當所述有效網頁的立即價值符合第一預設條件時，將所述有效網頁及包含的網頁鏈接作為搜索結果添加到頁面數據庫；

當所述有效網頁的立即價值不符合第一預設條件時，計算所述有效網頁中的網頁鏈接相對于所述搜索主題的鏈接價值，作為所述網頁鏈接的未來回報價值，當所述網頁鏈接的未來回報價值符合第二預設條件時，將所述網頁鏈接添加到所述網頁地址集中。

2.根據權利要求1所述的方法，其特征在于，對所述有效網頁進行分析，得到有效網頁內容，包括：

對所述有效網頁進行超文本標記語言HTML語法分析；

根據所述HTML語法分析結果，提取所述有效網頁對應的內容，作為有效網頁內容。

3.根據權利要求1所述的方法，其特征在于，根據所述有效網頁內容，計算所述有效網頁與所述搜索主題在語義上的相關度，作為立即價值，包括：

計算所述有效網頁在貝葉斯分類器每一類中對應的概率，所述貝葉斯分類器為根據所述頁面數據庫中有效網頁包含的網頁鏈接的未來回報價值的大小形成的分類；

將所述概率作為權值，計算所述有效網頁與所述搜索主題在語義上的相關度。

4.根據權利要求3所述的方法，其特征在于，計算所述有效網頁中每個網頁鏈接相對于所述搜索主題的鏈接價值，作為未來回報價值，包括：

將所述概率作為權值，計算所述有效網頁中每個網頁鏈接相對于所述搜索主題的鏈接價值。

5.根據權利要求3或4所述的方法，其特征在于，所述方法還包括：

在預定的時間段內，提取所述頁面數據庫中立即價值滿足第三預設條件的有效網頁；

根據提取到的有效網頁及所述有效網頁中網頁鏈接的未來回報價值，更新所述貝葉斯分類器中的分類。

6.一種基于主題網絡爬蟲的搜索裝置，其特征在于，所述裝置包括：

第一提取單元，用于從與給定搜索主題相關的網頁地址集中提取一個網頁地址；

第二提取單元，用于獲取所述網頁地址對應的有效網頁；

獲取單元，用于對所述有效網頁進行分析，得到有效網頁內容；

第一添加單元，用于根據所述有效網頁內容，計算所述有效網頁與所述搜索主題在語義上的相關度，作為所述有效網頁的立即價值，當所述有效網頁的立即價值符合第一預設條件時，將所述有效網頁及其包含的網頁鏈接作為搜索結果添加到頁面數據庫；

第二添加單元，用于當所述有效網頁鏈接的立即價值不符合第一預設條件時，計算所述有效網頁中的網頁鏈接相對于所述搜索主題的鏈接價值，作為所述網頁鏈接的未來回報價值，當所述網頁鏈接的未來回報價值符合第二預設條件時，將所述網頁鏈接添加到所述網頁地址集中。

7.根據權利要求6所述的裝置，其特征在于，所述獲取單元，包括：

分析子單元，用于對所述有效網頁進行超文本標記語言HTML語法分析；

獲取子單元，用于根據所述HTML語法分析結果，提取所述有效網頁對應的內容，作為有效網頁內容。

8.根據權利要求6所述的裝置，其特征在于，所述第一添加單元具體用于：

計算所述有效網頁在貝葉斯分類器每一類中對應的概率，所述貝葉斯分類器為根據所述頁面數據庫中有效網頁包含的網頁鏈接的未來回報價值的大小形成的分類；

將所述概率作為權值，計算所述有效網頁與所述搜索主題在語義上的相關度。

9.根據權利要求8所述的裝置，其特征在于，所述第二添加單元具體用于：

將所述概率作為權值，計算所述有效網頁中每個網頁鏈接相對于所述搜索主題的鏈接價值。

10.根據權利要求8或9所述的裝置，其特征在于，所述裝置還包括：

第三提取單元，用于在預定的時間段內，提取所述頁面數據庫中立即價值滿足第三預設條件的有效網頁鏈接；

更新單元，用于根據提取到的有效網頁及所述有效網頁中網頁鏈接的未來回報價值，更新所述貝葉斯分類器中的分類。