[發(fā)明專利]一種文本分類方法及裝置

有效

• 申請?zhí)枺?/td>: 201711405321.X
• 申請日: 2017-12-22
• 公開（公告）號: CN108228758B
• 公開（公告）日: 2020-09-01
• 發(fā)明（設(shè)計）人: 王亮;胡海青
• 申請（專利權(quán)）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/36;G06F40/279
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 11319
• 代理人: 莎日娜

1.一種文本分類方法，其特征在于，所述方法包括：

確定待分類文本的分類信息；

將所述分類信息作為預(yù)設(shè)的文本分類模型的輸入，通過所述文本分類模型對所述待分類文本進行分類；

將分類結(jié)果確定為所述待分類文本的類別；

其中，所述文本分類模型是由第一特征和第二特征訓(xùn)練得到，所述第一特征是根據(jù)從訓(xùn)練集中抽取的特征詞語的詞向量確定的，所述第二特征是根據(jù)從所述訓(xùn)練集中抽取的實體詞的詞向量確定的；所述第一特征是類別和該類別對應(yīng)的所述特征詞語的向量簇組成的特征對，所述第二特征是類別和該類別對應(yīng)的實體詞的詞向量組成的特征對。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分類信息為待分類文本中每個詞語的詞向量，所述待分類文本中的每個詞語由多個第一詞語和多個第二詞語組成；

所述確定待分類文本的分類信息的步驟，包括：

按照第一預(yù)設(shè)分詞方法，對所述待分類文本進行第一分詞操作，得到多個第一詞語；

按照第二預(yù)設(shè)分詞方法，對所述待分類文本進行第二分詞操作，得到多個第二詞語；

根據(jù)每個第一詞語與上下文的關(guān)系以及每個第二詞語與上下文的關(guān)系，確定每個第一詞語以及每個第二詞語的詞向量。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述將所述分類信息作為文本分類模型的輸入，通過所述文本分類模型對所述待分類文本進行分類的步驟之前，所述方法還包括：

根據(jù)訓(xùn)練集確定文本分類模型；

其中，所述訓(xùn)練集中包括多個樣本對，所述樣本對由樣本文本和所述樣本文本的類別組成。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)訓(xùn)練集確定文本分類模型的步驟，包括:

基于預(yù)設(shè)特征模板，從每個樣本文本中確定至少一個特征樣本詞語的詞向量；

對類別相同的樣本文本對應(yīng)的特征樣本詞語的詞向量進行聚合，得到特征詞向量簇；

將所述特征詞向量簇和所述特征詞向量簇對應(yīng)的類別組合為第一特征；

確定每個樣本文本中實體詞的詞向量；

將所述實體詞的詞向量與所述樣本文本的類別組合為第二特征；

利用所述第一特征和所述第二特征進行模型訓(xùn)練，得到文本分類模型。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)每個第一詞語與上下文的關(guān)系以及每個第二詞語與上下文的關(guān)系，確定每個第一詞語以及每個第二詞語的詞向量的步驟，包括：

將每個第一詞語作為第一目標(biāo)詞語，分別執(zhí)行以下處理：

將在所述第一目標(biāo)詞語之前的第一詞語確定為第一前接文本，將在所述第一目標(biāo)詞語之后的第一詞語確定為第一后接文本；

計算第一目標(biāo)詞語與所述第一前接文本和所述第一后接文本之間的相關(guān)性；

根據(jù)所述相關(guān)性確定所述第一目標(biāo)詞語的詞向量；

將每個第二詞語作為第二目標(biāo)詞語，分別執(zhí)行以下處理：

將在所述第二目標(biāo)詞語之前的第二詞語確定為第二前接文本，將在所述第二目標(biāo)詞語之后的第二詞語確定為第二后接文本；

計算第二目標(biāo)詞語與所述第二前接文本和所述第二后接文本之間的相關(guān)性；

根據(jù)所述相關(guān)性確定所述第二目標(biāo)詞語的詞向量。

6.一種文本分類裝置，其特征在于，所述裝置包括：

第一確定模塊，用于確定待分類文本的分類信息；

分類模塊，用于將所述分類信息作為預(yù)設(shè)的文本分類模型的輸入，通過所述文本分類模型對所述待分類文本進行分類；

第二確定模塊，用于將分類結(jié)果確定為所述待分類文本的類別；

其中，所述文本分類模型是由第一特征和第二特征訓(xùn)練得到，所述第一特征是根據(jù)從訓(xùn)練集中抽取的特征詞語的詞向量確定的，所述第二特征是根據(jù)從所述訓(xùn)練集中抽取的實體詞的詞向量確定的；所述第一特征是類別和該類別對應(yīng)的所述特征詞語的向量簇組成的特征對，所述第二特征是類別和該類別對應(yīng)的實體詞的詞向量組成的特征對。