[發明專利]文本分類方法和裝置有效
| 申請號： | 201510918981.2 | 申請日： | 2015-12-10 |
| 公開（公告）號： | CN105550291B | 公開（公告）日： | 2019-05-31 |
| 發明（設計）人： | 趙建明 | 申請（專利權）人： | 百度在線網絡技術（北京）有限公司 |
| 主分類號： | G06F16/35 | 分類號： | G06F16/35;G06F17/27 |
| 代理公司： | 北京清亦華知識產權代理事務所(普通合伙) 11201 | 代理人： | 宋合成 |
| 地址： | 100085 北京市*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 文本 分類 方法 裝置 | ||
1.一種文本分類方法，其特征在于，包括以下步驟：
接收輸入的文本數據，并將所述文本數據切分為多個分詞；
對所述多個分詞進行歸一化，并生成所述文本數據對應的歸一化結果，其中，所述歸一化包括基于規則的歸一化和/或基于實體識別的歸一化，所述基于規則的歸一化包括類別歸一化、同義詞歸一化、正則表達式歸一化中的一種或多種；以及
將所述歸一化結果轉換為語義特征，并基于預設分類模型對所述語義特征進行分類；
在基于預設分類模型對所述語義特征進行分類之前，還包括：
建立所述預設分類模型；
所述建立所述預設分類模型，包括：
收集訓練語料，并將所述訓練語料切分為多個訓練分詞；
對所述多個訓練分詞進行歸一化，并生成所述多個訓練分詞對應的歸一化樣本；
基于漢語語言N-Gram模型將所述歸一化樣本轉換為N-Gram語義特征；
基于最大熵模型對所述N-Gram語義特征進行訓練，以生成所述預設分類模型。
2.一種文本分類裝置，其特征在于，包括：
接收模塊，用于接收輸入的文本數據，并將所述文本數據切分為多個分詞；
歸一化模塊，用于對所述多個分詞進行歸一化，并生成所述文本數據對應的歸一化結果；以及
分類模塊，用于將所述歸一化結果轉換為語義特征，并基于預設分類模型對所述語義特征進行分類；
建立模塊，用于在基于預設分類模型對所述語義特征進行分類之前，建立所述預設分類模型；
所述建立模塊，包括：
切分單元，用于收集訓練語料，并將所述訓練語料切分為多個訓練分詞；
歸一化單元，用于對所述多個訓練分詞進行歸一化，并生成所述多個訓練分詞對應的歸一化樣本，其中，所述歸一化包括基于規則的歸一化和/或基于實體識別的歸一化，所述基于規則的歸一化包括類別歸一化、同義詞歸一化、正則表達式歸一化中的一種或多種；
轉換單元，用于基于漢語語言N-Gram模型將所述歸一化樣本轉換為N-Gram語義特征；
訓練單元，用于基于最大熵模型對所述N-Gram語義特征進行訓練，以生成所述預設分類模型。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于百度在線網絡技術（北京）有限公司，未經百度在線網絡技術（北京）有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201510918981.2/1.html，轉載請聲明來源鉆瓜專利網。
