[發(fā)明專利]基于概念詞的文本聚類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110536699.3
• 申請(qǐng)日: 2021-05-17
• 公開（公告）號(hào): CN112990388B
• 公開（公告）日: 2021-08-24
• 發(fā)明（設(shè)計(jì)）人: 劉世林;羅鎮(zhèn)權(quán);黃艷;曾途
• 申請(qǐng)（專利權(quán)）人: 成都數(shù)聯(lián)銘品科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06F40/216;G06F40/211
• 代理公司: 北京市領(lǐng)專知識(shí)產(chǎn)權(quán)代理有限公司 11590
• 代理人: 張玲

本發(fā)明涉及基于概念詞的文本聚類方法，包括以下步驟：對(duì)待聚類文本進(jìn)行分句，通過概念詞詞表識(shí)別出分句后的待聚類文本中的概念詞；所述概念詞詞表中包含若干概念詞和若干類別，所述類別的數(shù)量小于等于所述概念詞的數(shù)量；將識(shí)別出的概念詞進(jìn)行masking處理后，輸入已訓(xùn)練的詞的BERT預(yù)訓(xùn)練模型中進(jìn)行預(yù)測(cè)，得到各個(gè)masking處理后的概念詞基于所述概念詞詞表的概率分布；將各個(gè)masking處理后的概念詞的概率分布進(jìn)行maxpooling處理，分別得到maxpooling向量，選擇位置最大值的向量作為所述待聚類文本的表達(dá)。本發(fā)明依據(jù)概念詞對(duì)聚類結(jié)果進(jìn)行解釋，使得聚類更有解釋性，提高說服力。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語言處理技術(shù)領(lǐng)域，特別涉及基于概念詞的文本聚類方法。

背景技術(shù)

文本聚類(Text clustering)主要是依據(jù)的是著名的聚類假設(shè)：同類的文檔（即文本）相似度較大，而不同類的文檔相似度較小。作為一種無監(jiān)督的機(jī)器學(xué)習(xí)方法，由于聚類不需要訓(xùn)練過程，以及不需要預(yù)先對(duì)文檔進(jìn)行類別的手工標(biāo)注，因此具有一定的靈活性和較高的自動(dòng)化處理能力，聚類已經(jīng)成為對(duì)文本進(jìn)行有效地組織、摘要以及導(dǎo)航的重要手段。

常規(guī)的文本聚類方法通過將文本映射成向量后，再進(jìn)行相似度比較，這樣聚類出來的文本類別存在不好解釋的問題，缺乏說服力。

發(fā)明內(nèi)容

本發(fā)明的目的在于對(duì)需要聚類的文本進(jìn)行高效的聚類，讓聚類結(jié)果更有解釋性，提高聚類說服力，提供一種基于概念詞的文本聚類方法。

為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明實(shí)施例提供了以下技術(shù)方案：

基于概念詞的文本聚類方法，包括以下步驟：

對(duì)待聚類文本進(jìn)行分句，通過概念詞詞表識(shí)別出分句后的待聚類文本中的概念詞；所述概念詞詞表中包含若干概念詞和若干類別，所述類別的數(shù)量小于等于所述概念詞的數(shù)量；

將識(shí)別出的概念詞進(jìn)行masking處理后，輸入已訓(xùn)練的詞的BERT預(yù)訓(xùn)練模型中進(jìn)行預(yù)測(cè)，得到各個(gè)masking處理后的概念詞基于所述概念詞詞表的概率分布；

將各個(gè)masking處理后的概念詞的概率分布進(jìn)行maxpooling處理，分別得到maxpooling向量，選擇位置最大值的向量作為所述待聚類文本的表達(dá)。

在上述方案中，依據(jù)概念詞對(duì)聚類結(jié)果進(jìn)行解釋，使得聚類更有解釋性，提高說服力。

所述待聚類文本為文字表達(dá)的信息，包括文章、新聞、文字材料、文字作品。

所述概念詞詞表通過人工添加、參考維基百科title的方式整理而成。

所述對(duì)待聚類文本進(jìn)行分句的步驟，包括：根據(jù)標(biāo)點(diǎn)符號(hào)對(duì)待聚類文本進(jìn)行分句；所述標(biāo)點(diǎn)符號(hào)包括句號(hào)、感嘆號(hào)、問號(hào)。

所述通過概念詞詞表識(shí)別出分句后的待聚類文本中的概念詞的步驟，包括：分別對(duì)分句后的每一句待聚類文本匹配概念詞詞表，若待聚類文本中具有與概念詞詞表中相同的概念詞，則將該概念詞識(shí)別出來。

在對(duì)所述待聚類文本進(jìn)行概念詞識(shí)別時(shí)，可將待聚類文本中不屬于所述概念詞詞表的名詞作為概念詞添加至概念詞詞表中。

所述將識(shí)別出的概念詞進(jìn)行masking處理后，輸入已訓(xùn)練的詞的BERT預(yù)訓(xùn)練模型中進(jìn)行預(yù)測(cè)，得到各個(gè)masking處理后的概念詞基于所述概念詞詞表的概率分布的步驟，包括：

將識(shí)別出的概念詞進(jìn)行masking處理后，得到概念詞對(duì)應(yīng)的符號(hào)；

將符號(hào)輸入已訓(xùn)練的詞的BERT預(yù)訓(xùn)練模型中進(jìn)行預(yù)測(cè)，得到該符號(hào)在所述概念詞詞表中的概率分布；

根據(jù)待聚類文本識(shí)別出的概念詞在所述概念詞詞表中的概率分布，概率大的部分概念詞則為該待聚類文本的概率描述。