[發(fā)明專利]一種文本聚類方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111280765.1
• 申請日: 2021-11-01
• 公開（公告）號: CN113934849A
• 公開（公告）日: 2022-01-14
• 發(fā)明（設(shè)計）人: 李文灝;杜新凱;呂超;谷姍姍;張晗;韓佳
• 申請（專利權(quán)）人: 陽光保險集團(tuán)股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/194;G06F40/30;G06K9/62
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 衡滔

本申請實施例提供一種文本聚類方法、裝置、電子設(shè)備及存儲介質(zhì)，其中，該方法包括：獲取目標(biāo)語料數(shù)據(jù)；對目標(biāo)語料數(shù)據(jù)進(jìn)行清洗處理，獲得待聚類數(shù)據(jù)；根據(jù)預(yù)訓(xùn)練模型對所述待聚類數(shù)據(jù)進(jìn)行特征提取處理，獲得多個特征向量；獲得所述多個特征向量中任意兩個之間的余弦相似度；根據(jù)所述余弦相似度進(jìn)行聚類分析，獲得聚類結(jié)果。通過對目標(biāo)語料數(shù)據(jù)進(jìn)行清洗、訓(xùn)練和特征提取處理，最后利用特征向量的余弦相似度進(jìn)行聚類的方法，提高文本聚類效果，并且節(jié)省人力物力。

技術(shù)領(lǐng)域

本申請涉及文本處理技術(shù)領(lǐng)域，具體而言，涉及一種文本聚類方法、裝置、電子設(shè)備及計算機(jī)可讀存儲介質(zhì)。

背景技術(shù)

目前深度學(xué)習(xí)的技術(shù)已經(jīng)廣泛應(yīng)用于語言文本處理等多個領(lǐng)域，其中，常常會使用語言模型來對語言文本進(jìn)行特征提取和聚類，這類方法通常需要對文本進(jìn)行人工標(biāo)注，費事費力，并且，常用的聚類算法直接受理的對象是數(shù)字，或者是將要聚類的對象轉(zhuǎn)換為數(shù)字再加以聚類，例如將語言文字轉(zhuǎn)換為不同維度的向量再對向量進(jìn)行聚類，需要使用任務(wù)相關(guān)文本對通用預(yù)訓(xùn)練模型進(jìn)行再次訓(xùn)練，這類方法處理的對象是詞，向量的質(zhì)量很大程度受限于上游的分詞操作的結(jié)果。且這類方法生成的向量都不包含文本中的語義信息，生成的也都是高維度向量矩陣，聚類效果并不理想。

發(fā)明內(nèi)容

本申請實施例的目的在于提供一種文本聚類方法、裝置、電子設(shè)備及計算機(jī)可讀存儲介質(zhì)，解決了現(xiàn)有中常用文本特征不包含語義信息且矩陣過大且稀疏的缺點，且不需要人工標(biāo)注數(shù)據(jù)，減少人力物力，提升文本聚類效果。

第一方面，本申請實施例提供了一種文本聚類方法，所述方法包括：

獲取目標(biāo)語料數(shù)據(jù)；

對目標(biāo)語料數(shù)據(jù)進(jìn)行清洗處理，獲得待聚類數(shù)據(jù)；

根據(jù)預(yù)訓(xùn)練模型對所述待聚類數(shù)據(jù)進(jìn)行特征提取處理，獲得多個特征向量；

獲得所述多個特征向量中任意兩個之間的余弦相似度；

根據(jù)所述余弦相似度進(jìn)行聚類分析，獲得聚類結(jié)果。

在上述實現(xiàn)過程中，通過對目標(biāo)語料數(shù)據(jù)進(jìn)行清洗、訓(xùn)練和特征提取處理，最后利用特征向量的余弦相似度進(jìn)行聚類的方法，規(guī)避了常用文本特征不包含語義信息且矩陣過于稀疏的缺點，能夠充分利用特征向量，提高文本聚類效果。

進(jìn)一步地，通過以下方式獲得所述多個特征向量中任意兩個之間的余弦相似度：

其中，A、B表示特征向量，cos(A，B)表示余弦相似度，‖A‖表示特征向量A的模，‖B‖表示特征向量B的模。

在上述實現(xiàn)過程中，利用任意兩個特征向量計算兩個向量之間的余弦相似度，并計算所有特征向量中任意兩個特征向量的余弦相似度，余弦相似度可以優(yōu)化聚類過程中距離參數(shù)的選取，且更適合計算特征向量中高維度向量之間的差異。

進(jìn)一步地，所述根據(jù)所述余弦相似度進(jìn)行聚類分析，獲得聚類結(jié)果的步驟，包括：

根據(jù)所述多個余弦相似度獲得所述多個余弦相似度對應(yīng)的多個余弦距離；

對所述多個余弦距離進(jìn)行聚類分析，獲得聚類結(jié)果。

在上述實現(xiàn)過程中，利用余弦相似度計算出余弦距離，根據(jù)余弦距離來表示兩個特征向量之間的距離，即特征向量之間的匹配度，從而反映出文本之間的相似度，獲得聚類結(jié)果。

進(jìn)一步地，通過以下方式根據(jù)所述多個余弦相似度獲得所述多個余弦相似度對應(yīng)的多個余弦距離：

dist(A，B)＝1-cos(A，B)；

其中，dist(A，B)表示余弦距離。

進(jìn)一步地，在所述獲取目標(biāo)語料數(shù)據(jù)的步驟之前，還包括：