[發明專利]基于概念詞的文本聚類方法

有效

• 申請號: 202110536699.3
• 申請日: 2021-05-17
• 公開（公告）號: CN112990388B
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 劉世林;羅鎮權;黃艷;曾途
• 申請（專利權）人: 成都數聯銘品科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F40/216;G06F40/211
• 代理公司: 北京市領專知識產權代理有限公司 11590
• 代理人: 張玲

1.一種基于概念詞的文本聚類方法，其特征在于：包括以下步驟：

對待聚類文本進行分句，通過概念詞詞表識別出分句后的待聚類文本中的概念詞；所述概念詞詞表中包含若干概念詞和若干類別，所述類別的數量小于等于所述概念詞的數量；

將識別出的概念詞進行masking處理后，輸入已訓練的詞的BERT預訓練模型中進行預測，得到各個masking處理后的概念詞基于所述概念詞詞表的概率分布；

將各個masking處理后的概念詞的概率分布進行maxpooling處理，分別得到maxpooling向量，選擇位置最大值的向量作為所述待聚類文本的表達；

所述通過概念詞詞表識別出分句后的待聚類文本中的概念詞的步驟，包括：分別對分句后的每一句待聚類文本匹配概念詞詞表，若待聚類文本中具有與概念詞詞表中相同的概念詞，則將該概念詞識別出來；

所述將識別出的概念詞進行masking處理后，輸入已訓練的詞的BERT預訓練模型中進行預測，得到各個masking處理后的概念詞基于所述概念詞詞表的概率分布的步驟，包括：

將識別出的概念詞進行masking處理后，得到概念詞對應的符號；

分句將符號輸入已訓練的詞的BERT預訓練模型中進行預測，得到該符號在所述概念詞詞表中的概率分布；

根據待聚類文本識別出的概念詞在所述概念詞詞表中的概率分布，概率大的部分概念詞則為該待聚類文本的概率描述；

將向量位置最大的值的向量進行K-means聚類，完成對所述待聚類文本的聚類。

2.根據權利要求1所述的基于概念詞的文本聚類方法，其特征在于：所述待聚類文本為文字表達的信息，包括文章、新聞、文字材料、文字作品。

3.根據權利要求1所述的基于概念詞的文本聚類方法，其特征在于：所述概念詞詞表通過人工添加、參考維基百科title的方式整理而成。

4.根據權利要求1所述的基于概念詞的文本聚類方法，其特征在于：所述對待聚類文本進行分句的步驟，包括：根據標點符號對待聚類文本進行分句；所述標點符號包括句號、感嘆號、問號。

5.根據權利要求1所述的基于概念詞的文本聚類方法，其特征在于：在對所述待聚類文本進行概念詞識別時，可將待聚類文本中不屬于所述概念詞詞表的名詞作為概念詞添加至概念詞詞表中。