[發(fā)明專利]無監(jiān)督文本聚類方法、裝置、計算機設備、存儲介質

在審

• 申請?zhí)枺?/td>: 202210604926.6
• 申請日: 2022-05-31
• 公開（公告）號: CN115017982A
• 公開（公告）日: 2022-09-06
• 發(fā)明（設計）人: 毛宇;黃凱;林昊;徐偉;張文鋒;納穎泉
• 申請（專利權）人: 招聯消費金融有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/35;G06F16/335;G06N3/08
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 方高明

1.一種無監(jiān)督文本聚類方法，其特征在于，所述方法包括：

獲取文本數據集；

將所述文本數據集中待聚類文本數據和所述文本數據集輸入至粗排模型中，通過所述粗排模型得到多個相似文本數據，所述相似文本數據是所述文本數據集中與所述待聚類文本數據相似的文本數據；

通過相似度算法計算所述待聚類文本數據和每個所述相似文本數據的評價相似度；

根據所述評價相似度和預先設置的相似度閾值對所述待聚類文本數據和多個所述相似文本數據進行聚類。

2.根據權利要求1所述的方法，其特征在于，所述通過所述粗排模型得到多個相似文本數據，包括：

通過所述粗排模型輸出若干文本數據，所述若干文本數據是所述文本數據集中與所述待聚類文本數據按照相關性排序后確定的；

根據預先設置的排名閾值選擇所述若干文本數據，得到所述文本數據集中與所述待聚類文本數據對應的多個相似文本數據；

或，

通過所述粗排模型和預先設置的排名閾值輸出多個相似文本數據。

3.根據權利要求1所述的方法，其特征在于，所述相似度算法包括：Jaccard算法、BLEU算法和Rouge算法；通過所述Rouge算法計算所述待聚類文本數據和每個所述相似文本數據之間的評價相似度，包括：

通過Rouge-N和Rouge-L計算所述待聚類文本數據和每個所述相似文本數據之間的評價相似度。

4.根據權利要求3所述的方法，其特征在于，所述通過Rouge-N和Rouge-L所述待聚類文本數據和每個所述相似文本數據之間的評價相似度，包括：

通過所述Rouge-N計算所述待聚類文本數據和每個所述相似文本數據之間的第一評價指標和第二評價指標，所述第一評價指標表征單字符之間的相似度，所述第二評價指標表征雙字符之間的相似度；

通過所述Rouge-L計算所述待聚類文本數據和每個所述相似文本數據之間的第三評價指標，所述第三評價指標表征最長公共字符序列之間的相似度；

根據預先設置的權重比例加權所述第一評價指標、第二評價指標和第三評價指標，得到所述評價相似度。

5.根據權利要求1所述的方法，其特征在于，所述根據所述評價相似度和預先設置的相似度閾值對所述待聚類文本數據和多個所述相似文本數據進行聚類，包括：

將所述評價相似度大于所述預先設置的相似度閾值的所述相似文本數據與所述待聚類文本數據進行合并簇；

在所述文本數據集中刪除合并簇后的所述相似文本數據和待聚類文本數據。

6.根據權利要求1所述的方法，其特征在于，所述獲取文本數據集，之前所述方法還包括：

獲取多個文本數據；

對每個文本數據中連續(xù)的重復詞匯去重處理；

將進行去重處理后的每個文本數據中對文本語義無關的實體變量進行正則化處理，得到文本數據集。

所述對每個文本數據中連續(xù)的重復詞匯去重處理，包括：

通過基于統計語言模型的算法過濾所述文本數據中連續(xù)的重復詞匯，所述重復詞匯中字符的數量至少為一個。

7.一種無監(jiān)督文本聚類裝置，其特征在于，所述裝置包括：

數據集獲取模塊，用于獲取文本數據集；

相似文本數據獲取模塊，用于將所述文本數據集中待聚類文本數據和所述文本數據集輸入至粗排模型中，通過所述粗排模型得到所述文本數據集中與所述待聚類文本數據對應的多個相似文本數據；

評價相似度計算模塊，用于通過相似度算法計算所述待聚類文本數據和每個所述相似文本數據的評價相似度；

文本聚類模塊，用于根據所述評價相似度和預先設置的相似度閾值對所述待聚類文本數據和多個所述相似文本數據進行聚類。

8.一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現權利要求1至6中任一項所述的方法的步驟。