[發明專利]文本聚類方法及裝置

在審

• 申請號: 202011612359.6
• 申請日: 2020-12-30
• 公開（公告）號: CN112632229A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 萬飛
• 申請（專利權）人: 語聯網（武漢）信息技術有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F40/194;G06F40/216;G06F40/284;G06K9/62
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 鄭朝然

1.一種文本聚類方法，其特征在于，包括：

對每個待聚類文本進行分詞，將每個待聚類文本中的詞語轉換為詞向量；

將每個待聚類文本中所有詞語的詞向量進行融合，將融合結果作為每個待聚類文本的文檔向量；

根據所述待聚類文本的文檔向量，計算任意兩個待聚類文本之間的相似度，若任意兩個待聚類文本之間的相似度大于預設閾值，則將所述任意兩個待聚類文本作為一類，若任意兩類中存在相同的待聚類文本，則將所述任意兩類中的待聚類文本歸為一類。

2.根據權利要求1所述的文本聚類方法，其特征在于，所述將每個待聚類文本中的詞語轉換為詞向量，包括：

將每個待聚類文本中的詞語輸入Word2vec模型，輸出每個待聚類文本中詞語的詞向量；其中，所述Word2vec模型為，以樣本詞語為樣本訓練得到。

3.根據權利要求2所述的文本聚類方法，其特征在于，所述將每個待聚類文本中的詞語輸入Word2vec模型，輸出每個待聚類文本中詞語的詞向量，包括：

將所有所述待聚類文本中的詞語作為所述樣本詞語，對所述Word2vec模型進行訓練；

將每個待聚類文本中的詞語輸入訓練后的Word2vec模型，輸出每個待聚類文本中詞語的詞向量。

4.根據權利要求1-3任一所述的文本聚類方法，其特征在于，所述將每個待聚類文本中所有詞語的詞向量進行融合，將融合結果作為每個待聚類文本的文檔向量，包括：

對于任一待聚類文本，將該待聚類文本中所有詞語的詞向量相加后除以該待聚類文本中詞語的總數量，獲取該待聚類文本的文檔向量。

5.根據權利要求1-3任一所述的文本聚類方法，其特征在于，所述根據所述待聚類文本的文檔向量，計算任意兩個待聚類文本之間的相似度，包括：

計算任意兩個待聚類文本的文檔向量的內積，將所述內積作為所述相似度。

6.根據權利要求1-3任一所述的文本聚類方法，其特征在于，所述對每個待聚類文本進行分詞，將每個待聚類文本中的詞語轉換為詞向量，包括：

判斷每個待聚類文本中的各詞語是否為預設停用詞；

將每個待聚類文本中的預設停用詞刪除；

將每個待聚類文本中刪除后的詞語轉換為詞向量。

7.一種文本聚類裝置，其特征在于，包括：

轉換模塊，用于對每個待聚類文本進行分詞，將每個待聚類文本中的詞語轉換為詞向量；

融合模塊，用于將每個待聚類文本中所有詞語的詞向量進行融合，將融合結果作為每個待聚類文本的文檔向量；

聚類模塊，用于根據所述待聚類文本的文檔向量，計算任意兩個待聚類文本之間的相似度，若任意兩個待聚類文本之間的相似度大于預設閾值，則將所述任意兩個待聚類文本作為一類，若任意兩類中存在相同的待聚類文本，則將所述任意兩類中的待聚類文本歸為一類。

8.根據權利要求7所述的文本聚類裝置，其特征在于，所述轉換模塊具體用于：

將每個待聚類文本中的詞語輸入Word2vec模型，輸出每個待聚類文本中詞語的詞向量；其中，所述Word2vec模型為，以樣本詞語為樣本訓練得到。

9.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至6任一項所述文本聚類方法的步驟。

10.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至6任一項所述文本聚類方法的步驟。