[發(fā)明專利]網(wǎng)頁分類模型構(gòu)建方法、分類方法及其裝置在審
| 申請?zhí)枺?/td> | 201811455431.1 | 申請日： | 2018-11-30 |
| 公開（公告）號： | CN111259273A | 公開（公告）日： | 2020-06-09 |
| 發(fā)明（設(shè)計(jì)）人： | 曾慶維 | 申請（專利權(quán)）人： | 順豐科技有限公司 |
| 主分類號： | G06F16/955 | 分類號： | G06F16/955 |
| 代理公司： | 北京志霖恒遠(yuǎn)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11435 | 代理人： | 郭棟梁 |
| 地址： | 518061 廣東省深圳市南山區(qū)學(xué)府路（以南）*** | 國省代碼： | 廣東;44 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 網(wǎng)頁 分類 模型 構(gòu)建 方法 及其 裝置 | ||
1.一種網(wǎng)頁分類模型構(gòu)建方法，其特征在于，包括：
獲取至少一個網(wǎng)頁類別的訓(xùn)練集，所述訓(xùn)練集包括與所述網(wǎng)頁類別對應(yīng)的至少一個網(wǎng)頁的統(tǒng)一資源定位符URL；
對每個所述訓(xùn)練集中每個所述URL進(jìn)行預(yù)處理，得到與每個所述URL對應(yīng)的字符串集合；
利用每個所述字符串集合分別訓(xùn)練與所述網(wǎng)頁類別對應(yīng)的N-gram子模型，得到由所述N-gram子模型組成的N-gram分類模型，所述N-gram子模型用于指示所述字符串集合中N個所述字符串按序組合的概率值集合，N取值為大于等于1的正整數(shù)。
2.根據(jù)權(quán)利要求1所述的網(wǎng)頁分類模型構(gòu)建方法，其特征在于，所述利用每個所述字符串集合分別訓(xùn)練與所述網(wǎng)頁類別對應(yīng)的N-gram子模型，包括：
統(tǒng)計(jì)每個所述字符串集合中N個所述字符串按序組合出現(xiàn)的次數(shù)；
利用所述次數(shù)計(jì)算所述N個所述字符串按序組合出現(xiàn)的概率值集合。
3.根據(jù)權(quán)利要求1所述的網(wǎng)頁分類模型構(gòu)建方法，其特征在于，所述對所述訓(xùn)練集中每個所述URL進(jìn)行預(yù)處理，包括：
將所述URL進(jìn)行大小寫字母轉(zhuǎn)換；
將轉(zhuǎn)換后的URL進(jìn)行切分，得到所述字符串集合；
在所述字符串集合中刪除無效字符串。
4.一種網(wǎng)頁分類方法，其特征在于，包括：
獲取待分類網(wǎng)頁的URL；
切分所述URL，得到新的字符串集合，其中，所述新的字符串集合可以不包括無效字符串；
將所述新的字符串集合輸入到如權(quán)利要求1-3任一項(xiàng)所構(gòu)建的N-gram分類模型中，得到每個所述N-gram子模型輸出的第二概率值集合；
分別按照所述N-gram子模型計(jì)算所述新的字符串集合的第三概率值；
基于所述第三概率值來確定所述待分類網(wǎng)頁的類別；
其中，所述按照所述N-gram子模型計(jì)算所述新的字符串集合的第三概率值，包括：
根據(jù)所述新的字符串集合的個數(shù)選擇所述N-gram子模型；
利用選擇的所述N-gram子模型計(jì)算所述新的字符串集合的所述第三概率值。
5.根據(jù)權(quán)利要求4所述的網(wǎng)頁分類方法，其特征在于，所述基于所述第三概率值來確定所述待分類網(wǎng)頁的類別包括：
確定所述第三概率值中的最大值對應(yīng)的網(wǎng)頁類別的個數(shù)；
以所述個數(shù)中最大值對應(yīng)的所述網(wǎng)頁類別作為所述待分類網(wǎng)頁的URL的類別。
6.根據(jù)權(quán)利要求5所述的網(wǎng)頁分類方法，其特征在于，所述方法還包括：
如果所述新的字符串集合中N個字符串按序組合出現(xiàn)的次數(shù)為0，則采用平滑算法處理所述N個字符串按序組合對應(yīng)的概率值，使得所述概率值大于零。
7.一種網(wǎng)頁分類模型構(gòu)建裝置，其特征在于，包括：
第一獲取模塊，用于獲取至少一個網(wǎng)頁類別的訓(xùn)練集，所述訓(xùn)練集包括與所述網(wǎng)頁類別對應(yīng)的至少一個網(wǎng)頁的統(tǒng)一資源定位符URL；
第一處理模塊，用于對每個所述訓(xùn)練集中每個所述URL進(jìn)行預(yù)處理，得到與每個所述URL對應(yīng)的字符串集合；
訓(xùn)練模塊，用于利用每個所述字符串集合分別訓(xùn)練與所述網(wǎng)頁類別對應(yīng)的N-gram子模型，得到由所述N-gram子模型組成的N-gram分類模型，所述N-gram子模型用于指示所述字符串集合中N個所述字符串按序組合的概率值集合，N取值為大于等于1的正整數(shù)。
8.根據(jù)權(quán)利要求7所述的網(wǎng)頁分類模型構(gòu)建裝置，其特征在于，所述訓(xùn)練模塊具體用于：
統(tǒng)計(jì)每個所述字符串集合中N個所述字符串按序組合出現(xiàn)的次數(shù)；
利用所述次數(shù)計(jì)算所述N個所述字符串按序組合出現(xiàn)的概率值集合。
9.根據(jù)權(quán)利要求7所述的網(wǎng)頁分類模型構(gòu)建裝置，其特征在于，所述第一處理模塊，具體用于：
將所述URL進(jìn)行大小寫字母轉(zhuǎn)換；
將轉(zhuǎn)換后的URL進(jìn)行切分，得到所述字符串集合；
在所述字符串集合中刪除無效字符串。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于順豐科技有限公司，未經(jīng)順豐科技有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201811455431.1/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 構(gòu)建墊、實(shí)體圖像構(gòu)建物和構(gòu)建構(gòu)建物支撐件的方法
- 支持松耦合的軟件構(gòu)建方法、系統(tǒng)及該系統(tǒng)的實(shí)現(xiàn)方法
- 版本的構(gòu)建系統(tǒng)及方法
- 工程構(gòu)建系統(tǒng)及其構(gòu)建方法
- 實(shí)例構(gòu)建方法、裝置及軟件系統(tǒng)
- 軟件構(gòu)建方法、軟件構(gòu)建裝置和軟件構(gòu)建系統(tǒng)
- 天花板地圖構(gòu)建方法、構(gòu)建裝置以及構(gòu)建程序
- 一種項(xiàng)目構(gòu)建方法、持續(xù)集成系統(tǒng)及終端設(shè)備
- 并行構(gòu)建的方法、裝置及設(shè)備
- 構(gòu)建肺癌預(yù)測模型構(gòu)建方法
