[發明專利]一種判別網頁類型的方法及裝置

有效

• 申請號: 201611270198.0
• 申請日: 2016-12-29
• 公開（公告）號: CN108255891B
• 公開（公告）日: 2020-08-28
• 發明（設計）人: 鄭立穎
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/955
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 古利蘭;王寶筠

1.一種判別網頁類型的方法，其特征在于，包括：

獲取待判斷網頁的頁面信息；

從所述頁面信息中提取出標題信息；

判斷所述標題信息中是否包含預設關鍵字，所述預設關鍵字為包含網頁類型的關鍵字；

若所述標題信息中未包含所述預設關鍵字，基于所述標題信息得到所述待判斷網頁的網頁類型；

其中，所述基于所述標題信息得到所述待判斷網頁的網頁類型包括：

獲取至少一個已知網頁類型下的若干作為參考標準的網頁的標題信息；

從所述作為參考標準的網頁的標題信息中拆分出作為參考標準的詞組，并統計每個所述已知網頁類型下作為參考標準的詞組的數量；

從所述待判斷網頁的標題信息中拆分出至少一個詞組；

將所述每個詞組分別與所述作為參考標準的詞組進行匹配，并統計每個所述已知網頁類型下匹配成功的所述詞組的數量；

獲取每個所述已知網頁類型下匹配成功的詞組的數量與該已知網頁類型下作為參考標準的詞組的數量的比值，并將所述比值與預設比值進行比較；

若所述比值大于等于所述預設比值，將所述比值所對應的已知網頁類型作為所述待判斷網頁的網頁類型。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

若所述標題信息中包含所述預設關鍵字，將所述預設關鍵字所對應的網頁類型作為所述待判斷網頁的網頁類型。

3.根據權利要求1所述的方法，其特征在于，所述獲取待判斷網頁的頁面信息包括：

對所述待判斷網頁進行解析，提取出所述待判斷網頁對應的鏈接的域名；

模擬訪問所述域名所對應的統一資源定位符URL，爬取所述待判斷網頁的頁面信息。

4.根據權利要求1-3中任意一項所述的方法，其特征在于，所述方法還包括：基于所述頁面信息所對應的頁面結構信息得到所述待判斷網頁的網頁類型；

所述基于所述頁面信息所對應的頁面結構信息得到所述待判斷網頁的網頁類型包括：

獲取至少一個已知網頁類型下的若干作為參考標準的網頁的頁面信息；

從所述作為參考標準的網頁的頁面信息所對應的頁面結構信息中提取出作為參考標準的標簽信息，并統計每個所述已知網頁類型下作為參考標準的標簽信息的數量；

從所述待判斷網頁的頁面信息所對應的頁面結構信息中提取出至少一個標簽信息；

將每個所述標簽信息分別與所述作為參考標準的標簽信息進行匹配，并統計每個所述已知網頁類型下匹配成功的所述標簽信息的數量；

獲取每個所述已知網頁類型下匹配成功的標簽信息的數量與該已知網頁類型下作為參考標準的標簽信息的數量的比值，并將所述比值與預設比值進行比較；

若所述比值大于等于所述預設比值，將所述比值所對應的已知網頁類型作為所述待判斷網頁的網頁類型。