[發明專利]一種對海量文檔集的層次聚類方法及系統

有效

• 申請號: 201611186920.2
• 申請日: 2016-12-20
• 公開（公告）號: CN106815310B
• 公開（公告）日: 2020-04-21
• 發明（設計）人: 趙淦森;黃曉烽;胡波;楊晉吉;朱佳;唐華;廖智銳;湯庸;林嘉洺;張海明
• 申請（專利權）人: 華南師范大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/31
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 胡輝;鄭澤萍

1.一種對海量文檔集的層次聚類方法，其特征在于，包括步驟：

LDA主題分析步驟，使用LDA模型對文檔集的文檔-詞項矩陣進行分析，進而生成文檔集的文檔-主題分布矩陣和主題-詞項分布矩陣；

Word Embedding模型訓練步驟，對文檔集進行Word Embedding模型的訓練，進而將文檔集的詞典中的每個詞項映射為一個多維向量；

層次主題樹生成步驟，對文檔集進行聚類分析后生成對應的層次主題樹；

文檔層次聚類步驟，基于建立的層次主題樹對文檔集進行層次聚類；

所述層次主題樹生成步驟，具體為：對文檔集的每個LDA主題生成一個主題詞項集，進而對每個主題詞項集進行層次聚類分析后，獲得對應的子層次主題樹，最后將所有子層次主題樹結合起來作為整個文檔集的層次主題樹；

所述層次主題樹生成步驟，具體包括以下步驟：

LDA主題詞項集獲取步驟，基于生成的主題-詞項分布矩陣，針對文檔集的詞典中的每個詞項，將其分配給主題分布值最高的LDA主題，進而為文檔集的每個LDA主題獲得相對應的主題詞項集；

主題詞項集優化步驟，基于Word Embedding模型訓練所獲得的每個詞項的多維向量，對每個LDA主題詞項集進行二分K-means聚類，進而計算聚類生成的兩個簇的凝聚度后，刪除凝聚度值大的簇，將凝聚度值小的簇作為該LDA主題的優化后的主題詞項集；

子層次主題樹生成步驟，利用基于輪廓系數的二分K-means分裂式層次聚類對每個LDA主題詞項集進行層次聚類分析，進而生成對應的子層次主題樹；

層次主題樹生成步驟，將所有子層次主題樹結合起來作為整個文檔集的層次主題樹。

2.根據權利要求1所述的一種對海量文檔集的層次聚類方法，其特征在于，所述子層次主題樹生成步驟，具體包括：

步驟1，利用基于輪廓系數的二分K-means分裂式層次聚類對每個LDA主題詞項集進行層次聚類分析，將每個主題詞項集作為一個簇，進行二分K-means聚類；

步驟2，判斷該簇的層次數是否達到預設的深度，若是，則執行步驟4，反之，執行步驟3；

步驟3，將當前聚類的層次樹結構的所有葉節點對應的簇組成一個簇集合，并計算該簇集合中的每個簇的輪廓系數后，選擇輪廓系數最小的簇進行二分K-means聚類，并返回執行步驟2；

步驟4，獲得當前聚類的層次樹結構作為該LDA主題項對應的子層次主題樹。

3.根據權利要求1所述的一種對海量文檔集的層次聚類方法，其特征在于，所述文檔層次聚類步驟，其具體為：

基于建立的層次主題樹，針對文檔集中的每個文檔，計算其與建立的層次主題樹中的葉子主題的余弦相似度，并將每個文檔分配給最大余弦相似度值所對應的葉子主題，實現對文檔集的層次聚類。