[發(fā)明專利]文本分類模型的優(yōu)化方法及裝置有效
| 申請?zhí)枺?/td> | 201710016389.2 | 申請日： | 2017-01-10 |
| 公開（公告）號： | CN108287850B | 公開（公告）日： | 2021-09-21 |
| 發(fā)明（設(shè)計）人： | 陳帥;徐峰;陳明星;鄭霖;陳弢 | 申請（專利權(quán)）人： | 創(chuàng)新先進技術(shù)有限公司 |
| 主分類號： | G06F16/35 | 分類號： | G06F16/35;G06K9/62 |
| 代理公司： | 北京億騰知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309 | 代理人： | 陳霽 |
| 地址： | 開曼群島大開曼島*** | 國省代碼： | 暫無信息 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 文本 分類 模型 優(yōu)化 方法 裝置 | ||
本申請涉及計算機技術(shù)領(lǐng)域，尤其涉及一種文本分類模型的優(yōu)化方法及裝置，在一種文本分類模型的優(yōu)化方法中，首先獲取文本集，并對文本集中的各個文本進行預(yù)處理，得到各個文本對應(yīng)的詞語集合。將詞語集合中的詞語與預(yù)設(shè)的特征詞集合中的各個類別特征詞進行匹配，根據(jù)匹配結(jié)果，確定所述詞語集合中的詞語的類別。根據(jù)詞語的類別，對預(yù)設(shè)的特征詞集合進行擴充。根據(jù)擴充后的預(yù)設(shè)的特征詞集合，對詞語集合中的詞語進行過濾。確定過濾后的詞語集合中的詞語的權(quán)重值，根據(jù)過濾后的詞語集合中的詞語以及對應(yīng)的權(quán)重值，對預(yù)設(shè)的文本分類模型進行優(yōu)化。由此，可以獲得對文本進行準確分類的文本分類模型。
技術(shù)領(lǐng)域
本申請涉及計算機技術(shù)領(lǐng)域，尤其涉及一種文本分類模型的優(yōu)化方法及裝置。
背景技術(shù)
傳統(tǒng)技術(shù)中，通常通過如下兩種方法來對文本進行分類：
第一種方法是，基于規(guī)則的方法，即預(yù)先收集一些常用的類別關(guān)鍵詞，這些類別關(guān)鍵詞所對應(yīng)的類別是已知的，當(dāng)待分類的文本與某個類別關(guān)鍵詞相匹配時，將該文本分類為該類別關(guān)鍵詞所對應(yīng)的類別。然而該方法有很大的局限性，當(dāng)某個文本與任一類別關(guān)鍵詞均不匹配時，無法對該文本進行分類。此外，該方法通常不能對文本進行準確分類。舉例來說，假設(shè)預(yù)先收集的類別關(guān)鍵詞為：“天貓”，其對應(yīng)的類別為互聯(lián)網(wǎng)行業(yè)。由于文本“天貓服務(wù)站”包含“天貓”，也即該文本與“天貓”匹配，因此，該文本會被分類為互聯(lián)網(wǎng)行業(yè)，但實際上該文本的分類為便利店。
第二種方法是，基于文本分類模型的方法，此處的文本分類模型包括樸素貝葉斯模型，K最近鄰(k-Nearest Neighbor,KNN)模型以及最大熵模型等。在該方法中，首先會計算待分類的文本中各個詞語的詞頻(term frequency，TF)和逆文檔頻率(inversedocument frequency，IDF)，之后根據(jù)各個詞語的權(quán)重值(如，TF*IDF)，來對待分類的文本進行分類。然而該方法通常只適用于對長文本進行分類，因為長文本中，部分詞語才會出現(xiàn)多次，也即TF才能起到相應(yīng)的作用。對于短文本(該文本中通常只包括了較少的詞語)，大部分的詞語在文本中只出現(xiàn)了一次,TF沒有任何意義，從而根據(jù)上述文本分類模型，不能準確地對短文本進行分類。因此，就有了對該文本分類模型進行優(yōu)化的需求。
發(fā)明內(nèi)容
本申請描述了一種文本分類模型的優(yōu)化方法及裝置，可以獲得對文本進行準確分類的文本分類模型。
第一方面，提供了一種文本分類模型的優(yōu)化方法，包括：
獲取文本集，所述文本集包括至少一個文本；
對所述文本集中的各個文本進行預(yù)處理，得到所述各個文本對應(yīng)的詞語集合；
將所述詞語集合中的詞語與預(yù)設(shè)的特征詞集合中的各個類別特征詞進行匹配；
根據(jù)匹配結(jié)果，確定所述詞語集合中的詞語的類別；
根據(jù)所述詞語的類別，對所述預(yù)設(shè)的特征詞集合進行擴充；
根據(jù)擴充后的預(yù)設(shè)的特征詞集合，對所述詞語集合中的詞語進行過濾；
根據(jù)所述文本集以及所述詞語的類別，確定過濾后的詞語集合中的詞語的權(quán)重值；
根據(jù)所述過濾后的詞語集合中的詞語以及對應(yīng)的權(quán)重值，對預(yù)設(shè)的文本分類模型進行優(yōu)化。
第二方面，提供了一種文本分類模型的優(yōu)化裝置，包括：
獲取單元，用于獲取文本集，所述文本集包括至少一個文本；
預(yù)處理單元，用于對所述獲取單元獲取的所述文本集中的各個文本進行預(yù)處理，得到所述各個文本對應(yīng)的詞語集合；
匹配單元，用于將所述詞語集合中的詞語與預(yù)設(shè)的特征詞集合中的各個類別特征詞進行匹配；
確定單元，用于根據(jù)所述匹配單元的匹配結(jié)果，確定所述詞語集合中的詞語的類別；
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于創(chuàng)新先進技術(shù)有限公司，未經(jīng)創(chuàng)新先進技術(shù)有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201710016389.2/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
