[發明專利]網頁分類模型構建方法、分類方法及其裝置

在審

• 申請號: 201811455431.1
• 申請日: 2018-11-30
• 公開（公告）號: CN111259273A
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 曾慶維
• 申請（專利權）人: 順豐科技有限公司
• 主分類號: G06F16/955
• 分類號: G06F16/955
• 代理公司: 北京志霖恒遠知識產權代理事務所(普通合伙) 11435
• 代理人: 郭棟梁

本申請公開了網頁分類模型構建方法、分類方法及其裝置，該方法包括獲取至少一個網頁類別的訓練集，訓練集包括與網頁類別對應的至少一個網頁的URL；對每個訓練集中每個URL進行預處理，得到與每個URL對應的字符串集合，利用每個字符串集合分別訓練與網頁類別對應的N?gram子模型，得到由N?gram子模型組成的N?gram分類模型。本申請實施例通過對所有網頁類別的URL的字符串集合進行訓練，得到每個類別對應的N?gram分類模型，從而可以利用N?gram分類模型對待分類網頁的URL概率值進行預測，完成網頁分類，提高了網頁分類效率，避免了對待分類網頁內容的爬取，降低了網絡資源的耗費。

技術領域

本申請一般涉及機器學習技術領域，具體涉及一種網頁分類模型構建方法、分類方法及其裝置。

背景技術

目前，在進行網頁分類時，通常采用文本分類方法。即通過爬蟲爬取網頁正文、錨文本等，然后利用爬取到的特征，對網頁進行分類。

在利用網頁正文進行網頁分類時，需要爬取所有待分類網頁的正文，來完成網頁的篩選及分類，從而浪費網絡資源；并且，對于部分網頁，設計者為了防止盜取別人盜用，將網頁內容嵌入在圖片中，使得爬蟲無法獲取到網頁正文信息，從而無法完成網頁的分類。

發明內容

鑒于現有技術中的上述缺陷或不足，期望提供一種網頁分類模型構建方法、分類方法及其裝置，以提高網頁分類效率，降低網絡資源的占用。

第一方面，本申請實施例提供一種網頁分類模型構建方法，該方法包括：

獲取至少一個網頁類別的訓練集，該訓練集包括與該網頁類別對應的至少一個網頁的統一資源定位符URL；

對每個該訓練集中每個該URL進行預處理，得到與每個該URL對應的字符串集合；

利用每個該字符串集合分別訓練與該網頁類別對應的N-gram子模型，得到由該N-gram子模型組成的N-gram分類模型，該N-gram子模型用于指示該字符串集合中N個該字符串按序組合的概率值集合，N取值為大于等于1的正整數。

第二方面，本申請實施例提供一種網頁分類方法，該方法包括：

獲取待分類網頁的URL；

切分該URL，得到新的字符串集合，其中，該新的字符串集合可以不包括無效字符串；

將該新的字符串集合輸入到如第一方面所述的N-gram分類模型中，得到每個該N-gram子模型輸出的第二概率值集合；

分別按照該N-gram子模型計算該新的字符串集合的第三概率值；

基于該第三概率值來確定該待分類網頁的類別；

其中，按照N-gram子模型計算該新的字符串集合的第三概率值，包括：

根據該新的字符串集合的個數選擇該N-gram子模型；

利用選擇的該N-gram子模型計算該新的字符串集合的該第三概率值。

第三方面，本申請實施例提供一種網頁分類模型構建裝置，該裝置包括：

第一獲取模塊，用于獲取至少一個網頁類別的訓練集，該訓練集包括與該網頁類別對應的至少一個網頁的統一資源定位符URL；

第一處理模塊，用于對每個該訓練集中每個該URL進行預處理，得到與每個該URL對應的字符串集合；

訓練模塊，用于利用每個該字符串集合分別訓練與該網頁類別對應的N-gram子模型，得到由該N-gram子模型組成的N-gram分類模型，該N-gram子模型用于指示該字符串集合中N個該字符串按序組合的概率值集合，N取值為大于等于1的正整數。