[發明專利]一種文本分類模型的建立方法及裝置

有效

• 申請號: 201810038485.1
• 申請日: 2018-01-15
• 公開（公告）號: CN108228869B
• 公開（公告）日: 2020-07-21
• 發明（設計）人: 雷豐豐
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/289
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

本發明實施例提供了一種文本分類模型的建立方法及裝置，涉及數據處理技術領域，其中，該方法包括：從原始樣本語料中，確定各個預設類別的種子特征詞；對于每個預設類別的種子特征詞，確定種子特征詞的至少一階相關詞集合；對于每階相關詞集合中的每個相關詞，確定相關詞與種子特征詞之間的近似度；將近似度大于預設近似度閾值的相關詞和種子特征詞，確定為該預設類別的類別特征詞集合；根據各個預設類別所對應的類別特征詞集合，建立針對不同維度的文本分類模型。本發明利用原始樣本語料，通過與種子特征詞之間相關度高、近似度大的相關詞，建立不同維度的文本分類模型，無需對原始樣本語料反復標注，能夠縮短模型的建立時間。

技術領域

本發明涉及數據處理技術領域，特別是涉及一種文本分類模型的建立方法及裝置。

背景技術

隨著信息化時代的到來，數據量與日俱增，人們對于數據的處理效率也提出了更高的要求。其中，對數據進行快速有效地分類，是一種提升數據的處理和應用效率的有效手段。

目前，針對文本數據建立特定維度的文本分類模型時，首先需要收集原始樣本語料，然后需要對原始樣本語料進行指示特定維度的標注，進而通過標注后的樣本語料進行模型訓練，從而建立特定維度的文本分類模型。當需要建立另一維度的文本分類模型時，則需要對原始樣本語料進行新維度的標注，從而建立新維度的文本分類模型。

然而，在實際應用中，為了保證不同維度的文本分類模型的準確度，需要收集大量的原始樣本語料，而對數量龐大的原始樣本語料進行多次標注，會耗費大量的時間，從而將大大延長不同維度的文本分類模型的建立時間。

發明內容

鑒于上述問題，提出了本發明實施例以便提供一種文本分類模型的建立方法及裝置，以解決對大量原始樣本語料進行標注，將延長不同維度文本分類模型的建立時間的問題。

根據本發明的第一方面，提供了一種文本分類模型的建立方法，所述方法包括：

從原始樣本語料中，確定屬于各個預設類別的種子特征詞；所述各個預設類別屬于至少兩個維度；

對于每個預設類別的種子特征詞，確定所述種子特征詞的至少一階相關詞集合；

對于每階相關詞集合中的每個相關詞，確定所述相關詞與所述種子特征詞之間的近似度；

將近似度大于預設近似度閾值的相關詞和所述種子特征詞，確定為所述預設類別對應的類別特征詞集合；

根據所述各個預設類別所對應的類別特征詞集合，建立針對不同維度的文本分類模型。

可選的，所述對于每階相關詞集合中的每個相關詞，確定所述相關詞與所述種子特征詞之間的近似度，包括：

對于每階相關詞集合中的每個相關詞，確定所述相關詞的一階相關詞集合；

確定所述相關詞的一階相關詞集合與所述種子特征詞的一階相關詞集合的相關詞交集；

確定所述相關詞的一階相關詞集合與所述種子特征詞的一階相關詞集合的相關詞并集；

將所述相關詞交集的詞語數量除以所述相關詞并集的詞語數量，得到所述相關詞與所述種子特征詞之間的近似度。

可選的，所述對于每階相關詞集合中的每個相關詞，確定所述相關詞與所述種子特征詞之間的近似度，包括：

對于每階相關詞集合中的每個相關詞，確定所述相關詞的一階相關詞集合；

確定所述相關詞的一階相關詞集合與所述種子特征詞的一階相關詞集合的相關詞交集；

將所述相關詞交集的詞語數量確定為所述相關詞與所述種子特征詞之間的近似度。

可選的，所述從原始樣本語料中，確定屬于各個預設類別的種子特征詞，包括：