[發(fā)明專利]一種文本分類方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201710003223.7
• 申請(qǐng)日: 2017-01-03
• 公開（公告）號(hào): CN108268560A
• 公開（公告）日: 2018-07-10
• 發(fā)明（設(shè)計(jì)）人: 王朝民;叢鵬宇;王惠欣;任智杰;馮俊蘭;孫佳
• 申請(qǐng)（專利權(quán)）人: 中國移動(dòng)通信有限公司研究院;中國移動(dòng)通信集團(tuán)公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 張穎玲;蔣雅潔

1.一種文本分類方法，其特征在于，所述方法包括：

基于主題模型確定文本對(duì)應(yīng)的主題向量；

根據(jù)所述文本中包含的至少一個(gè)詞語，確定所述文本對(duì)應(yīng)的詞矢量；

利用所述文本的所述主題向量以及所述詞矢量，確定所述文本對(duì)應(yīng)的類別。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于主題模型確定文本對(duì)應(yīng)的主題向量，包括：

針對(duì)所述文本進(jìn)行分詞得到至少一個(gè)詞語，從所述至少一個(gè)詞語中獲取到關(guān)鍵詞，基于所述關(guān)鍵詞以及所述主題模型確定所述文本對(duì)應(yīng)的主題向量。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述文本中包含的至少一個(gè)詞語，確定所述文本對(duì)應(yīng)的詞矢量，包括：

對(duì)所述文本進(jìn)行分詞處理得到所述文本中包含的至少一個(gè)詞語，分別獲取到所述至少一個(gè)詞語的重要性參數(shù)，基于所述重要性參數(shù)從所述至少一個(gè)詞語中選取得到至少一個(gè)關(guān)鍵詞；

獲取到所述至少一個(gè)關(guān)鍵詞之間的相關(guān)性，將相關(guān)性高于預(yù)設(shè)門限值的至少兩個(gè)關(guān)鍵詞進(jìn)行合并處理，得到合并處理后的至少一個(gè)關(guān)鍵詞；

基于所述合并處理后的至少一個(gè)關(guān)鍵詞，確定所述文本對(duì)應(yīng)的詞矢量。

4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，所述方法還包括：

獲取到至少一個(gè)訓(xùn)練樣本，針對(duì)每一個(gè)訓(xùn)練樣本進(jìn)行關(guān)鍵詞提取；

基于提取到所述關(guān)鍵詞的至少一個(gè)訓(xùn)練樣本訓(xùn)練得到主題模型；其中，所述主題模型中包括有至少一個(gè)主題向量中每一個(gè)主題向量所對(duì)應(yīng)的關(guān)鍵詞。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括：

對(duì)所述至少一個(gè)訓(xùn)練樣本中每一個(gè)訓(xùn)練樣本進(jìn)行分詞處理得到所述訓(xùn)練樣本包含的至少一個(gè)詞語，分別獲取到所述至少一個(gè)詞語的重要性參數(shù)，基于所述重要性參數(shù)從所述至少一個(gè)詞語中選取得到至少一個(gè)關(guān)鍵詞；

獲取到所述至少一個(gè)關(guān)鍵詞之間的相關(guān)性，將相關(guān)性高于預(yù)設(shè)門限值的至少兩個(gè)關(guān)鍵詞進(jìn)行合并處理，得到合并處理后的至少一個(gè)關(guān)鍵詞；

基于所述合并處理后的至少一個(gè)關(guān)鍵詞進(jìn)行詞矢量訓(xùn)練。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述方法還包括：

將訓(xùn)練樣本所對(duì)應(yīng)的主題向量和詞矢量進(jìn)行合并，基于合并后的主題向量以及所述詞矢量進(jìn)行訓(xùn)練，得到訓(xùn)練后的分類器；

相應(yīng)的，所述利用所述文本的所述主題向量以及所述詞矢量確定所述文本對(duì)應(yīng)的類別，包括：

基于所述訓(xùn)練后的分類器，以及所述文本所對(duì)應(yīng)的主題向量以及所述詞矢量確定所述文本對(duì)應(yīng)的類別。

7.一種文本分類裝置，其特征在于，所述裝置包括：

主題向量處理單元，用于基于主題模型確定文本對(duì)應(yīng)的主題向量；

詞矢量處理單元，用于根據(jù)所述文本中包含的至少一個(gè)詞語，確定所述文本對(duì)應(yīng)的詞矢量；

分類單元，用于利用所述文本的所述主題向量以及所述詞矢量確定所述文本對(duì)應(yīng)的類別。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述主題向量處理單元，用于針對(duì)所述文本進(jìn)行分詞得到至少一個(gè)詞語，從所述至少一個(gè)詞語中獲取到關(guān)鍵詞，基于所述關(guān)鍵詞以及所述主題模型確定所述文本對(duì)應(yīng)的主題向量。

9.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述詞矢量處理單元，用于對(duì)所述文本進(jìn)行分詞處理得到所述文本中包含的至少一個(gè)詞語，分別獲取到所述至少一個(gè)詞語的重要性參數(shù)，基于所述重要性參數(shù)從所述至少一個(gè)詞語中選取得到至少一個(gè)關(guān)鍵詞；

獲取到所述至少一個(gè)關(guān)鍵詞之間的相關(guān)性，將相關(guān)性高于預(yù)設(shè)門限值的至少兩個(gè)關(guān)鍵詞進(jìn)行合并處理，得到合并處理后的至少一個(gè)關(guān)鍵詞；

基于所述合并處理后的至少一個(gè)關(guān)鍵詞，確定所述文本對(duì)應(yīng)的詞矢量。