[發(fā)明專利]網(wǎng)頁(yè)類型的判斷方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201710227221.6
• 申請(qǐng)日: 2017-04-07
• 公開（公告）號(hào): CN108694193A
• 公開（公告）日: 2018-10-23
• 發(fā)明（設(shè)計(jì)）人: 謝興波
• 申請(qǐng)（專利權(quán)）人: 北京國(guó)雙科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 韓建偉;張永明

1.一種網(wǎng)頁(yè)類型的判斷方法，其特征在于，包括：

爬取目標(biāo)網(wǎng)頁(yè)鏈接；

從所述目標(biāo)網(wǎng)頁(yè)鏈接中截取頂級(jí)域名；

根據(jù)網(wǎng)頁(yè)類型模型和所述目標(biāo)網(wǎng)頁(yè)鏈接的頂級(jí)域名，判定所述目標(biāo)網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的網(wǎng)頁(yè)類型，其中，所述網(wǎng)頁(yè)類型模型為對(duì)多個(gè)網(wǎng)頁(yè)鏈接和每個(gè)網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的網(wǎng)頁(yè)類型進(jìn)行學(xué)習(xí)訓(xùn)練后生成的模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述網(wǎng)頁(yè)類型模型中包括：所述網(wǎng)頁(yè)鏈接、所述網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的網(wǎng)頁(yè)類型以及所述網(wǎng)頁(yè)鏈接與所述網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的網(wǎng)頁(yè)類型的對(duì)應(yīng)關(guān)系，根據(jù)網(wǎng)頁(yè)類型模型和所述目標(biāo)網(wǎng)頁(yè)鏈接的頂級(jí)域名，判定所述目標(biāo)網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的網(wǎng)頁(yè)類型包括：

判斷所述網(wǎng)頁(yè)類型模型是否訓(xùn)練過(guò)所述目標(biāo)網(wǎng)頁(yè)鏈接的頂級(jí)域名；

若是，通過(guò)所述網(wǎng)頁(yè)類型模型中網(wǎng)頁(yè)鏈接與所述網(wǎng)頁(yè)類型的對(duì)應(yīng)關(guān)系，確定所述目標(biāo)網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的網(wǎng)頁(yè)類型；

若否，獲取所述目標(biāo)網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的html源碼；

通過(guò)所述目標(biāo)網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的html源碼確定所述目標(biāo)網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的網(wǎng)頁(yè)類型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，通過(guò)所述目標(biāo)網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的html源碼確定所述目標(biāo)網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的網(wǎng)頁(yè)類型包括：

通過(guò)所述目標(biāo)網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的html源碼構(gòu)建網(wǎng)頁(yè)節(jié)點(diǎn)樹，其中，所述網(wǎng)頁(yè)節(jié)點(diǎn)樹由所述html源碼中多種類型的節(jié)點(diǎn)構(gòu)建；

從所述網(wǎng)頁(yè)節(jié)點(diǎn)樹中抽取網(wǎng)頁(yè)特征；

利用所述網(wǎng)頁(yè)特征判斷目標(biāo)網(wǎng)頁(yè)鏈接對(duì)應(yīng)的網(wǎng)頁(yè)類型。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，通過(guò)所述目標(biāo)網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的html源碼構(gòu)建網(wǎng)頁(yè)節(jié)點(diǎn)樹包括：

從所述html源碼中抽取目標(biāo)類型節(jié)點(diǎn)；

確定所述目標(biāo)類型節(jié)點(diǎn)的層級(jí)結(jié)構(gòu)；

基于所述目標(biāo)類型節(jié)點(diǎn)和所述層級(jí)結(jié)構(gòu)生成節(jié)點(diǎn)樹；

移除所述節(jié)點(diǎn)樹中不滿足預(yù)設(shè)條件的目標(biāo)類型節(jié)點(diǎn)；以及

在移除所述節(jié)點(diǎn)樹中不滿足預(yù)設(shè)條件的目標(biāo)類型節(jié)點(diǎn)之后，對(duì)所述節(jié)點(diǎn)樹中的目標(biāo)類型節(jié)點(diǎn)進(jìn)行封裝處理，構(gòu)建所述網(wǎng)頁(yè)節(jié)點(diǎn)樹。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，從所述目標(biāo)網(wǎng)頁(yè)鏈接中截取頂級(jí)域名包括：

獲取用于對(duì)所述目標(biāo)網(wǎng)頁(yè)鏈接中頂級(jí)域名進(jìn)行截取的正則表達(dá)式；以及

采用所述正則表達(dá)式截取所述目標(biāo)網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的頂級(jí)域名。

6.一種網(wǎng)頁(yè)類型的判斷裝置，其特征在于，包括：

爬取單元，用于爬取目標(biāo)網(wǎng)頁(yè)鏈接；

截取單元，用于從所述目標(biāo)網(wǎng)頁(yè)鏈接中截取頂級(jí)域名；

判定單元，用于根據(jù)網(wǎng)頁(yè)類型模型和所述目標(biāo)網(wǎng)頁(yè)鏈接的頂級(jí)域名，判定所述目標(biāo)網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的網(wǎng)頁(yè)類型，其中，所述網(wǎng)頁(yè)類型模型為對(duì)多個(gè)網(wǎng)頁(yè)鏈接和每個(gè)網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的網(wǎng)頁(yè)類型進(jìn)行學(xué)習(xí)訓(xùn)練后生成的模型。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述網(wǎng)頁(yè)類型模型中包括：所述網(wǎng)頁(yè)鏈接、所述網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的網(wǎng)頁(yè)類型以及所述網(wǎng)頁(yè)鏈接與所述網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的網(wǎng)頁(yè)類型的對(duì)應(yīng)關(guān)系，所述判定單元包括：

判斷子單元，用于判斷所述網(wǎng)頁(yè)類型模型是否訓(xùn)練過(guò)所述目標(biāo)網(wǎng)頁(yè)鏈接的頂級(jí)域名；

第一確定子單元，用于若是，通過(guò)所述網(wǎng)頁(yè)類型模型中網(wǎng)頁(yè)鏈接與所述網(wǎng)頁(yè)類型的對(duì)應(yīng)關(guān)系，確定所述目標(biāo)網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的網(wǎng)頁(yè)類型；

第一獲取子單元，用于若否，獲取所述目標(biāo)網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的html源碼；

第二確定子單元，用于通過(guò)所述目標(biāo)網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的html源碼確定所述目標(biāo)網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的網(wǎng)頁(yè)類型。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述第二確定子單元包括：

構(gòu)建模塊，用于通過(guò)所述目標(biāo)網(wǎng)頁(yè)鏈接對(duì)應(yīng)網(wǎng)頁(yè)的html源碼構(gòu)建網(wǎng)頁(yè)節(jié)點(diǎn)樹，其中，所述網(wǎng)頁(yè)節(jié)點(diǎn)樹由所述html源碼中多種類型的節(jié)點(diǎn)構(gòu)建；

抽取模塊，用于從所述網(wǎng)頁(yè)節(jié)點(diǎn)樹中抽取網(wǎng)頁(yè)特征；

判定模塊，用于利用所述網(wǎng)頁(yè)特征判定目標(biāo)網(wǎng)頁(yè)鏈接對(duì)應(yīng)的網(wǎng)頁(yè)類型。