[發明專利]文本分類方法、裝置及設備

在審

• 申請號: 202010434980.1
• 申請日: 2020-05-21
• 公開（公告）號: CN111753525A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 方思維
• 申請（專利權）人: 浙江口碑網絡技術有限公司
• 主分類號: G06F40/216
• 分類號: G06F40/216;G06F40/289;G06F40/30;G06K9/62
• 代理公司: 北京中強智尚知識產權代理有限公司 11448
• 代理人: 黃耀威

本申請公開了一種文本分類方法、裝置及設備，涉及文本處理技術領域，能夠從復雜的對象特征中準確計算出文本信息的權重值，提升文本分類效果，減少從文本信息中提取有用信息所存在的誤差。其中方法包括：獲取對文本語料庫中文本信息進行分詞處理后的文本分詞；確定文本分詞對應的屬性特征；基于所述本分詞對應的屬性特征，選取適用于相應屬性特征的統計模型對文本語料信息中文本分詞進行頻率統計，得到文本分詞在文本信息中的權重值；將所述文本分詞在文本信息中的權重值輸入至預先訓練的分類器中進行分類，得到文本信息所映射的分類結果。

技術領域

本申請涉及文本處理技術領域，尤其是涉及到一種文本分類方法、裝置及設備。

背景技術

隨著電商平臺的迅速崛起，通過網絡平臺進行對象交易的方式已經逐漸滲入至人們的日常生活，用戶可以從網絡平中獲取以及產生大量的文本信息，例如，通過瀏覽頁面獲取對象信息、通過搜索欄查詢對象信息、通過評價欄發送評價信息等。由于網絡平臺中文本信息的數據量巨大，如果不及時進行分類處理，很難對文本信息中有用信息進行提取。

現有技術中，網絡平臺中文本信息融合了大量對象信息，對文本信息進行分類處理的過程可以使用類似于TF-IDF算法統計文本信息中詞頻等參數，進一步通過計算文本信息中詞頻等參數形成的權重值來確定文本信息之間的相似度，將相似度較高的文本信息作為一個分類內的文本信息。然而，由于文本信息中涉及到復雜的對象特征，使用類似于TF-IDF算法無法從包含復雜對象特征的文本信息中準確計算出文本信息所形成的權重值，使得文本分類效果不理想，導致從文本信息中提取的有用信息存在誤差。

發明內容

有鑒于此，本申請提供了一種文本分類方法、裝置及設備，主要目的在于解決現有技術中的文本分類效果不理想，導致從文本信息中提取的有用信息存在誤差的問題。

根據本申請的第一個方面，提供了一種文本分類方法，該方法包括：

獲取對文本語料庫中文本信息進行分詞處理后的文本分詞；

確定文本分詞對應的屬性特征；

基于所述本分詞對應的屬性特征，選取適用于相應屬性特征的統計模型對文本語料信息中文本分詞進行頻率統計，得到文本分詞在文本信息中的權重值；

將所述文本分詞在文本信息中的權重值輸入至預先訓練的分類器中進行分類，得到文本信息所映射的分類結果。

在本發明另一實施例中，所述確定文本分詞對應的屬性特征，具體包括：

利用預先訓練的特征語料庫中所記錄的分詞與屬性特征之間的映射關系，確定文本分詞對應的屬性特征；

所述利用預先訓練的特征語料庫中所記錄的分詞與屬性特征之間的映射關系，確定文本分詞對應的屬性特征，具體包括：

將文本語料庫中的文本分詞與預先訓練的特征語料庫中所記錄的分詞進行特征匹配；

若匹配成功，則提取預先訓練的語料庫中特征匹配成功的分詞所映射的屬性特征，作為文本語料信息中文本分詞的屬性特征。

在本發明另一實施例中，所述基于所述本分詞對應的屬性特征，選取適用于相應屬性特征的統計模型對文本語料信息中文本分詞進行頻率統計，得到文本分詞在文本信息中的權重值，具體包括：

基于所述文本分詞對應的屬性特征，判斷所述文本分詞的屬性特征是否涉及對象特征；

如果是，則利用融入有對象特征的統計模型對文本信息中涉及對象特征的文本分詞進行頻率統計，得到涉及對象特征的文本分詞在文本信息中的權重值；

如果否，則利用未融入有對象特征的統計模型對文本語料信息中未涉及對象特征的文本分詞進行頻率統計，得到未涉及對象特征的文本分詞在文本信息中的權重值。