[發(fā)明專利]一種基于語義增強(qiáng)的短文本分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810090256.4
• 申請(qǐng)日: 2018-01-30
• 公開（公告）號(hào): CN108280206B
• 公開（公告）日: 2020-05-26
• 發(fā)明（設(shè)計(jì)）人: 尹忠博;羅威;羅準(zhǔn)辰;譚玉珊;武帥;牛海波;毛彬;田昌海;葉宇銘
• 申請(qǐng)（專利權(quán)）人: 尹忠博;中國(guó)人民解放軍軍事科學(xué)院軍事科學(xué)信息研究中心
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F40/289;G06F40/30
• 代理公司: 北京方安思達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11472
• 代理人: 陳琳琳;武玥

1.一種基于語義增強(qiáng)的短文本分類方法，所述方法包括：

步驟1)構(gòu)建短文本分類器，從互聯(lián)網(wǎng)資源中獲取領(lǐng)域相關(guān)的短文本訓(xùn)練集，對(duì)每一條短文本進(jìn)行擴(kuò)充語料和訓(xùn)練詞向量，訓(xùn)練短文本分類器；

步驟2)對(duì)待分類的短文本進(jìn)行擴(kuò)充語料和訓(xùn)練詞向量后，輸入步驟1)的短文本分類器進(jìn)行分類，得到分類結(jié)果；

所述步驟1)包括：

步驟101)使用短文本訓(xùn)練集中的每一條短文本信息作為互聯(lián)網(wǎng)搜索引擎的輸入檢索關(guān)鍵詞信息，選取相似性最高的第一條檢索結(jié)果作為擴(kuò)充語料；

步驟102)抽取出第一條檢索結(jié)果的標(biāo)題信息、摘要信息以及關(guān)鍵詞信息作為語料，并將其作為原短文本信息的附加語料；

步驟103)從擴(kuò)充語料中得到高質(zhì)量領(lǐng)域相關(guān)語料，對(duì)該語料進(jìn)行切分詞匯、去除停用詞操作得到清潔語料，然后使用計(jì)算關(guān)鍵詞方法再一次提取關(guān)鍵詞，將再次提取的關(guān)鍵詞附加在清潔語料后，最后將附加關(guān)鍵詞的清潔語料作為新訓(xùn)練集訓(xùn)練詞向量，從而得到精準(zhǔn)語義詞向量；

步驟104)將語料擴(kuò)充階段得到的高質(zhì)量領(lǐng)域相關(guān)語料作為訓(xùn)練段文本分類器的訓(xùn)練集，與步驟103)得到的精準(zhǔn)語義關(guān)系詞向量作為輔助信息聯(lián)合起來，訓(xùn)練短文本分類器。

2.根據(jù)權(quán)利要求1所述的基于語義增強(qiáng)的短文本分類方法，其特征在于，所述短文本分類器采用的分類算法為樸素貝葉斯算法、支持向量機(jī)算法、K近鄰算法、長(zhǎng)短記憶網(wǎng)絡(luò)算法、卷積神經(jīng)網(wǎng)絡(luò)算法或fasttext算法。

3.根據(jù)權(quán)利要求2所述的基于語義增強(qiáng)的短文本分類方法，其特征在于，所述步驟2)包括：

步驟201)將待分類的短文本作為互聯(lián)網(wǎng)搜索引擎的輸入檢索關(guān)鍵詞信息，選取相似性最高的第一條檢索結(jié)果作為擴(kuò)充語料；

步驟202)抽取出第一條檢索結(jié)果的標(biāo)題信息、摘要信息以及關(guān)鍵詞信息作為語料，并將其作為待分類的短文本的附加語料；

步驟203)從擴(kuò)充語料中得到高質(zhì)量領(lǐng)域相關(guān)語料，對(duì)該語料進(jìn)行切分詞匯、去除停用詞操作得到清潔語料，然后使用計(jì)算關(guān)鍵詞方法再一次提取關(guān)鍵詞，將再次提取的關(guān)鍵詞附加在清潔語料后，最后將附加關(guān)鍵詞的清潔語料作為新訓(xùn)練集訓(xùn)練詞向量，從而得到待分類的短文本的精準(zhǔn)語義詞向量；

步驟204)將擴(kuò)充語料和精準(zhǔn)語義詞向量聯(lián)合起來輸入短文本分類器，得到待分類的短文本的分類結(jié)果。