[發明專利]一種文本聚類方法、裝置、電子設備及存儲介質

在審

• 申請號: 202111280765.1
• 申請日: 2021-11-01
• 公開（公告）號: CN113934849A
• 公開（公告）日: 2022-01-14
• 發明（設計）人: 李文灝;杜新凱;呂超;谷姍姍;張晗;韓佳
• 申請（專利權）人: 陽光保險集團股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/194;G06F40/30;G06K9/62
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 衡滔

1.一種文本聚類方法，其特征在于，所述方法包括：

獲取目標語料數據；

對目標語料數據進行清洗處理，獲得待聚類數據；

根據預訓練模型對所述待聚類數據進行特征提取處理，獲得多個特征向量；

獲得所述多個特征向量中任意兩個之間的余弦相似度；

根據所述余弦相似度進行聚類分析，獲得聚類結果。

2.根據權利要求1所述的文本聚類方法，其特征在于，通過以下方式獲得所述多個特征向量中任意兩個之間的余弦相似度：

其中，A、B表示特征向量，cos(A，B)表示余弦相似度，‖A‖表示特征向量A的模，‖B‖表示特征向量B的模。

3.根據權利要求2所述的文本聚類方法，其特征在于，所述根據所述余弦相似度進行聚類分析，獲得聚類結果的步驟，包括：

根據所述多個余弦相似度獲得所述多個余弦相似度對應的多個余弦距離；

對所述多個余弦距離進行聚類分析，獲得聚類結果。

4.根據權利要求3所述的文本聚類方法，其特征在于，通過以下方式根據所述多個余弦相似度獲得所述多個余弦相似度對應的多個余弦距離：

dist(A，B)＝1-cos(A，B)；

其中，dist(A，B)表示余弦距離。

5.根據權利要求1所述文本聚類的方法，其特征在于，在所述獲取目標語料數據的步驟之前，還包括：

獲取訓練語料數據；

對所述訓練語料數據進行清洗處理，獲得預訓練語料數據；

對所述預訓練語料數據進行預訓練，獲得所述預訓練模型。

6.根據權利要求5所述文本聚類的方法，其特征在于，所述對所述訓練語料數據進行清洗處理，獲得預訓練語料數據的步驟，包括:

將所述訓練語料數據進行拆分，獲得拆分語料數據；

獲取特殊詞表；

根據所述特殊詞表對所述拆分語料數據中的特殊詞進行替換，獲得預訓練語料數據。

7.根據權利要求5所述文本聚類的方法，其特征在于，所述對所述預訓練語料數據進行預訓練，獲得所述預訓練模型的步驟，包括：

將所述預訓練語料數據轉換為標記序列；

將所述標記序列輸入到語言模型中進行訓練，獲得所述預訓練模型。

8.一種文本聚類裝置，其特征在于，所述裝置包括：

數據獲取模塊，用于獲取目標語料數據；

數據清洗模塊，用于對目標語料數據進行清洗處理，獲得待聚類數據；

特征向量獲取模塊，用于根據預訓練模型對所述待聚類數據進行特征提取處理，獲得特征向量；

余弦相似度獲取模塊，用于根據所述特征向量獲得余弦相似度；

聚類模塊，用于根據所述余弦相似度進行聚類分析，獲得聚類結果。

9.一種電子設備，其特征在于，包括存儲器及處理器，所述存儲器用于存儲計算機程序，所述處理器運行所述計算機程序以使所述電子設備執行根據權利要求1至7中任一項所述的文本聚類方法。

10.一種計算機可讀存儲介質，其特征在于，其存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1至7中任一項所述的文本聚類方法。