[發明專利]一種文本分類模型生成、文本分類方法及裝置

有效

• 申請號: 201810305894.3
• 申請日: 2018-04-08
• 公開（公告）號: CN108595542B
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 余咸國
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/215;G06F40/289;G06F40/216
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

1.一種文本分類模型生成方法，其特征在于，包括：

確定多個文本類別，針對每個文本類別確定屬于每個文本類別的多個訓練文本，將確定的所有的訓練文本確定為至少一個訓練文本；

對所述至少一個訓練文本進行數據清洗，得到分別與每個訓練文本對應的第一訓練文本；

針對每個所述第一訓練文本，從所述第一訓練文本的文本內容中依次選取預設個數的滿足預先設置的分詞選取條件的分詞，生成第二訓練文本；

依據各個分詞在所述第二訓練文本 中的排列順序，依次分別確定每個所述第二訓練文本中的每個分詞的向量，將由依次確定的各個向量構成的矩陣確定為第二訓練文本的文本向量，所述矩陣中的每一列元素對應一個分詞的向量，所述矩陣中的各列元素由依次確定的每個分詞的向量構成；

將所述文本向量和所述文本向量對應的訓練文本所屬的文本類別，作為文本分類模型生成算法的輸入信息，對所述文本分類模型生成算法進行訓練，以生成文本分類模型；

其中，所述針對每個所述第一訓練文本，從所述第一訓練文本的文本內容中依次選取預設個數的滿足預先設置的分詞選取條件的分詞，生成第二訓練文本，包括：

對所述第一訓練文本的文本內容進行分詞，得到所述第一訓練文本的各個分詞；

基于預先設置的評分規則，確定所述第一訓練文本中的每個所述分詞的評分；

依次選取每一個評分滿足預先設置的分詞選取條件的分詞，直至所選取的分詞的個數達到預設個數；

將由依次選取的各個分詞組成的文本確定為與所述第一訓練文本對應的第二訓練文本。

2.根據權利要求1所述的方法，其特征在于，所述對所述至少一個訓練文本進行數據清洗，得到分別與每個訓練文本對應的第一訓練文本，包括：

將滿足預設的刪除條件的字符刪除后的文本內容，確定為與所述訓練文本對應的第一訓練文本。

3.根據權利要求1所述的方法，其特征在于，所述依次選取每一個評分滿足預先設置的分詞選取條件的分詞，直至所選取的分詞的個數達到預設個數，包括：

按照評分從高到低的順序，從所述第一訓練文本的分詞中確定至少一個目標分詞；

依次選取每一個作為目標分詞的分詞，直至所選取的分詞的個數達到預設個數。

4.根據權利要求3所述的方法，其特征在于，所述分別確定每個所述第二訓練文本的文本向量，包括：

基于word2vec算法依次確定所述第二訓練文本中的每個分詞的向量；

由依次確定的各個向量構成所述第二訓練文本的文本向量。

5.一種文本分類模型生成裝置，其特征在于，包括：

訓練文本確定單元，用于確定多個文本類別，針對每個文本類別確定屬于每個文本類別的多個訓練文本，將確定的所有的訓練文本確定為至少一個訓練文本；

訓練文本數據清洗單元，用于對所述至少一個訓練文本進行數據清洗，得到分別與每個訓練文本對應的第一訓練文本；

第二訓練文本生成單元，用于針對每個所述第一訓練文本，從所述第一訓練文本的文本內容中依次選取預設個數的滿足預先設置的分詞選取條件的分詞，生成第二訓練文本；

訓練文本向量確定單元，用于依據各個分詞在所述第二訓練文本 中的排列順序，依次分別確定每個所述第二訓練文本中的每個分詞的向量，將由依次確定的各個向量構成的矩陣確定為第二訓練文本的文本向量，所述矩陣中的每一列元素對應一個分詞的向量，所述矩陣中的各列元素由依次確定的每個分詞的向量構成；

文本分類模型生成單元，用于將所述文本向量和所述文本向量對應的訓練文本所屬的文本類別，作為文本分類模型生成算法的輸入信息，對所述文本分類模型生成算法進行訓練，以生成文本分類模型；

其中，所述第二訓練文本生成單元，包括：

分詞單元，用于對所述第一訓練文本的文本內容進行分詞，得到所述第一訓練文本的各個分詞；

評分單元，用于基于預先設置的評分規則，確定所述第一訓練文本中的每個所述分詞的評分；

選取單元，用于依次選取每一個評分滿足預先設置的分詞選取條件的分詞，直至所選取的分詞的個數達到預設個數；

確定單元，用于將由依次選取的各個分詞組成的文本確定為與所述第一訓練文本對應的第二訓練文本。