[發明專利]網頁類型的判斷方法及裝置

在審

• 申請號: 201710227221.6
• 申請日: 2017-04-07
• 公開（公告）號: CN108694193A
• 公開（公告）日: 2018-10-23
• 發明（設計）人: 謝興波
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 韓建偉;張永明

1.一種網頁類型的判斷方法，其特征在于，包括：

爬取目標網頁鏈接；

從所述目標網頁鏈接中截取頂級域名；

根據網頁類型模型和所述目標網頁鏈接的頂級域名，判定所述目標網頁鏈接對應網頁的網頁類型，其中，所述網頁類型模型為對多個網頁鏈接和每個網頁鏈接對應網頁的網頁類型進行學習訓練后生成的模型。

2.根據權利要求1所述的方法，其特征在于，所述網頁類型模型中包括：所述網頁鏈接、所述網頁鏈接對應網頁的網頁類型以及所述網頁鏈接與所述網頁鏈接對應網頁的網頁類型的對應關系，根據網頁類型模型和所述目標網頁鏈接的頂級域名，判定所述目標網頁鏈接對應網頁的網頁類型包括：

判斷所述網頁類型模型是否訓練過所述目標網頁鏈接的頂級域名；

若是，通過所述網頁類型模型中網頁鏈接與所述網頁類型的對應關系，確定所述目標網頁鏈接對應網頁的網頁類型；

若否，獲取所述目標網頁鏈接對應網頁的html源碼；

通過所述目標網頁鏈接對應網頁的html源碼確定所述目標網頁鏈接對應網頁的網頁類型。

3.根據權利要求2所述的方法，其特征在于，通過所述目標網頁鏈接對應網頁的html源碼確定所述目標網頁鏈接對應網頁的網頁類型包括：

通過所述目標網頁鏈接對應網頁的html源碼構建網頁節點樹，其中，所述網頁節點樹由所述html源碼中多種類型的節點構建；

從所述網頁節點樹中抽取網頁特征；

利用所述網頁特征判斷目標網頁鏈接對應的網頁類型。

4.根據權利要求3所述的方法，其特征在于，通過所述目標網頁鏈接對應網頁的html源碼構建網頁節點樹包括：

從所述html源碼中抽取目標類型節點；

確定所述目標類型節點的層級結構；

基于所述目標類型節點和所述層級結構生成節點樹；

移除所述節點樹中不滿足預設條件的目標類型節點；以及

在移除所述節點樹中不滿足預設條件的目標類型節點之后，對所述節點樹中的目標類型節點進行封裝處理，構建所述網頁節點樹。

5.根據權利要求1所述的方法，其特征在于，從所述目標網頁鏈接中截取頂級域名包括：

獲取用于對所述目標網頁鏈接中頂級域名進行截取的正則表達式；以及

采用所述正則表達式截取所述目標網頁鏈接對應網頁的頂級域名。

6.一種網頁類型的判斷裝置，其特征在于，包括：

爬取單元，用于爬取目標網頁鏈接；

截取單元，用于從所述目標網頁鏈接中截取頂級域名；

判定單元，用于根據網頁類型模型和所述目標網頁鏈接的頂級域名，判定所述目標網頁鏈接對應網頁的網頁類型，其中，所述網頁類型模型為對多個網頁鏈接和每個網頁鏈接對應網頁的網頁類型進行學習訓練后生成的模型。

7.根據權利要求6所述的裝置，其特征在于，所述網頁類型模型中包括：所述網頁鏈接、所述網頁鏈接對應網頁的網頁類型以及所述網頁鏈接與所述網頁鏈接對應網頁的網頁類型的對應關系，所述判定單元包括：

判斷子單元，用于判斷所述網頁類型模型是否訓練過所述目標網頁鏈接的頂級域名；

第一確定子單元，用于若是，通過所述網頁類型模型中網頁鏈接與所述網頁類型的對應關系，確定所述目標網頁鏈接對應網頁的網頁類型；

第一獲取子單元，用于若否，獲取所述目標網頁鏈接對應網頁的html源碼；

第二確定子單元，用于通過所述目標網頁鏈接對應網頁的html源碼確定所述目標網頁鏈接對應網頁的網頁類型。

8.根據權利要求7所述的裝置，其特征在于，所述第二確定子單元包括：

構建模塊，用于通過所述目標網頁鏈接對應網頁的html源碼構建網頁節點樹，其中，所述網頁節點樹由所述html源碼中多種類型的節點構建；

抽取模塊，用于從所述網頁節點樹中抽取網頁特征；

判定模塊，用于利用所述網頁特征判定目標網頁鏈接對應的網頁類型。