[發明專利]一種文本分類方法及裝置

有效

• 申請號: 201711405321.X
• 申請日: 2017-12-22
• 公開（公告）號: CN108228758B
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 王亮;胡海青
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/36;G06F40/279
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

本發明提供了一種文本分類方法及裝置，屬于計算機技術領域。該方法可以確定待分類文本的分類信息，然后將分類信息作為文本分類模型的輸入，通過文本分類模型對待分類文本進行分類，最后將分類結果確定為待分類文本的類別。其中，該文本分類模型是由第一特征和第二特征訓練得到，第一特征是根據從訓練集中抽取的特征詞語的詞向量確定的，第二特征是根據從訓練集中抽取的實體詞的詞向量確定的。由于文本分類模型訓練的過程中結合了訓練集中的實體詞特征，這樣，在利用該文本分類模型進行分類時，可以識別出待分類文本中的實體詞，提高文本分類的準確率。

技術領域

本發明屬于計算機技術領域，特別是涉及一種文本分類方法及裝置。

背景技術

隨著移動終端技術的不斷發展，網絡系統的資源越來越多，為了方便用戶進行查找，通常會對各種資源進行分類。比如，視頻系統中，通常會對視頻標題文本進行分類，進而實現對視頻分類。

現有技術中，在對待分類文本進行分類時，通常是先對待分類文本進行分詞，然后利用深度學習算法根據待分類文本對應的多個詞語進行分類。

一般，標題文本中會包括實體詞，該實體詞能夠反映該標題文本的類別，對標題文本的分類產生較大的影響。但是，由于現有技術中的深度學習算法在訓練的過程中無法提取到樣本文本中實體詞的特征，進而導致在對待分類文本進行分類時，無法識別到待分類文本中的實體詞，因此，分類的準確率較低。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的文本分類方法及裝置。

依據本發明的第一方面，提供了一種文本分類方法，該方法可以包括：

確定待分類文本的分類信息；

將所述分類信息作為預設的文本分類模型的輸入，通過所述文本分類模型對所述待分類文本進行分類；

將分類結果確定為所述待分類文本的類別；

其中，所述文本分類模型是由第一特征和第二特征訓練得到，所述第一特征是根據從訓練集中抽取的特征詞語的詞向量確定的，所述第二特征是根據從所述訓練集中抽取的實體詞的詞向量確定的。

可選的，所述分類信息為待分類文本中每個詞語的詞向量，所述待分類文本中的每個詞語由多個第一詞語和多個第二詞語組成；

所述確定待分類文本的分類信息的步驟，包括：

按照第一預設分詞方法，對所述待處理文本進行第一分詞操作，得到多個第一詞語；

按照第二預設分詞方法，對所述待處理文本進行第二分詞操作，得到多個第二詞語；

根據每個第一詞語與上下文的關系以及每個第二詞語與上下文的關系，確定每個第一詞語以及每個第二詞語的詞向量。

可選的，在所述將所述分類信息作為文本分類模型的輸入，通過所述文本分類模型對所述待分類文本進行分類的步驟之前，所述方法還包括：

根據訓練集確定文本分類模型；

其中，所述訓練集中包括多個樣本對，所述樣本對由樣本文本和所述樣本文本的類別組成。

可選的，所述根據訓練集確定文本分類模型的步驟，包括：

基于預設特征模板，從每個樣本文本中確定至少一個特征樣本詞語的詞向量；

對類別相同的樣本文本對應的特征樣本詞語的詞向量進行聚合，得到特征詞向量簇；

將所述特征詞向量簇和所述特征詞向量簇對應的類別組合為第一特征；

確定每個樣本文本中實體詞的詞向量；