[發(fā)明專利]網(wǎng)頁類型的判斷方法及裝置

在審

• 申請?zhí)枺?/td>: 201710227221.6
• 申請日: 2017-04-07
• 公開（公告）號: CN108694193A
• 公開（公告）日: 2018-10-23
• 發(fā)明（設(shè)計）人: 謝興波
• 申請（專利權(quán)）人: 北京國雙科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 韓建偉;張永明

1.一種網(wǎng)頁類型的判斷方法，其特征在于，包括：

爬取目標(biāo)網(wǎng)頁鏈接；

從所述目標(biāo)網(wǎng)頁鏈接中截取頂級域名；

根據(jù)網(wǎng)頁類型模型和所述目標(biāo)網(wǎng)頁鏈接的頂級域名，判定所述目標(biāo)網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的網(wǎng)頁類型，其中，所述網(wǎng)頁類型模型為對多個網(wǎng)頁鏈接和每個網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的網(wǎng)頁類型進行學(xué)習(xí)訓(xùn)練后生成的模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述網(wǎng)頁類型模型中包括：所述網(wǎng)頁鏈接、所述網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的網(wǎng)頁類型以及所述網(wǎng)頁鏈接與所述網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的網(wǎng)頁類型的對應(yīng)關(guān)系，根據(jù)網(wǎng)頁類型模型和所述目標(biāo)網(wǎng)頁鏈接的頂級域名，判定所述目標(biāo)網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的網(wǎng)頁類型包括：

判斷所述網(wǎng)頁類型模型是否訓(xùn)練過所述目標(biāo)網(wǎng)頁鏈接的頂級域名；

若是，通過所述網(wǎng)頁類型模型中網(wǎng)頁鏈接與所述網(wǎng)頁類型的對應(yīng)關(guān)系，確定所述目標(biāo)網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的網(wǎng)頁類型；

若否，獲取所述目標(biāo)網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的html源碼；

通過所述目標(biāo)網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的html源碼確定所述目標(biāo)網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的網(wǎng)頁類型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，通過所述目標(biāo)網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的html源碼確定所述目標(biāo)網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的網(wǎng)頁類型包括：

通過所述目標(biāo)網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的html源碼構(gòu)建網(wǎng)頁節(jié)點樹，其中，所述網(wǎng)頁節(jié)點樹由所述html源碼中多種類型的節(jié)點構(gòu)建；

從所述網(wǎng)頁節(jié)點樹中抽取網(wǎng)頁特征；

利用所述網(wǎng)頁特征判斷目標(biāo)網(wǎng)頁鏈接對應(yīng)的網(wǎng)頁類型。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，通過所述目標(biāo)網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的html源碼構(gòu)建網(wǎng)頁節(jié)點樹包括：

從所述html源碼中抽取目標(biāo)類型節(jié)點；

確定所述目標(biāo)類型節(jié)點的層級結(jié)構(gòu)；

基于所述目標(biāo)類型節(jié)點和所述層級結(jié)構(gòu)生成節(jié)點樹；

移除所述節(jié)點樹中不滿足預(yù)設(shè)條件的目標(biāo)類型節(jié)點；以及

在移除所述節(jié)點樹中不滿足預(yù)設(shè)條件的目標(biāo)類型節(jié)點之后，對所述節(jié)點樹中的目標(biāo)類型節(jié)點進行封裝處理，構(gòu)建所述網(wǎng)頁節(jié)點樹。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，從所述目標(biāo)網(wǎng)頁鏈接中截取頂級域名包括：

獲取用于對所述目標(biāo)網(wǎng)頁鏈接中頂級域名進行截取的正則表達式；以及

采用所述正則表達式截取所述目標(biāo)網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的頂級域名。

6.一種網(wǎng)頁類型的判斷裝置，其特征在于，包括：

爬取單元，用于爬取目標(biāo)網(wǎng)頁鏈接；

截取單元，用于從所述目標(biāo)網(wǎng)頁鏈接中截取頂級域名；

判定單元，用于根據(jù)網(wǎng)頁類型模型和所述目標(biāo)網(wǎng)頁鏈接的頂級域名，判定所述目標(biāo)網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的網(wǎng)頁類型，其中，所述網(wǎng)頁類型模型為對多個網(wǎng)頁鏈接和每個網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的網(wǎng)頁類型進行學(xué)習(xí)訓(xùn)練后生成的模型。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述網(wǎng)頁類型模型中包括：所述網(wǎng)頁鏈接、所述網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的網(wǎng)頁類型以及所述網(wǎng)頁鏈接與所述網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的網(wǎng)頁類型的對應(yīng)關(guān)系，所述判定單元包括：

判斷子單元，用于判斷所述網(wǎng)頁類型模型是否訓(xùn)練過所述目標(biāo)網(wǎng)頁鏈接的頂級域名；

第一確定子單元，用于若是，通過所述網(wǎng)頁類型模型中網(wǎng)頁鏈接與所述網(wǎng)頁類型的對應(yīng)關(guān)系，確定所述目標(biāo)網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的網(wǎng)頁類型；

第一獲取子單元，用于若否，獲取所述目標(biāo)網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的html源碼；

第二確定子單元，用于通過所述目標(biāo)網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的html源碼確定所述目標(biāo)網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的網(wǎng)頁類型。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述第二確定子單元包括：

構(gòu)建模塊，用于通過所述目標(biāo)網(wǎng)頁鏈接對應(yīng)網(wǎng)頁的html源碼構(gòu)建網(wǎng)頁節(jié)點樹，其中，所述網(wǎng)頁節(jié)點樹由所述html源碼中多種類型的節(jié)點構(gòu)建；

抽取模塊，用于從所述網(wǎng)頁節(jié)點樹中抽取網(wǎng)頁特征；

判定模塊，用于利用所述網(wǎng)頁特征判定目標(biāo)網(wǎng)頁鏈接對應(yīng)的網(wǎng)頁類型。