[發明專利]文本聚類方法

有效

• 申請號: 201310754063.1
• 申請日: 2013-12-31
• 公開（公告）號: CN103714171B
• 公開（公告）日: 2017-02-01
• 發明（設計）人: 蔡業首;陳小軍;管婷婷;黃哲學
• 申請（專利權）人: 深圳先進技術研究院
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州三環專利代理有限公司44202
• 代理人: 郝傳鑫,熊永強

1.一種文本聚類方法，用潛在狄利克雷分布模型對文檔集進行文本挖掘，其特征在于，所述文本聚類方法至少包括如下步驟：

在第一文檔集D₁中對預設了主題數量K的潛在狄利克雷分布算法進行訓練，得到參數β和φ，其中，所述第一文檔集D₁包括N個不重復的特征，分別記為V₁…V_N，所述K和N均為自然數；

根據參數φ，利用信息熵理論對所述第一文檔集D₁進行過濾，得到第二文檔集D₂；

根據參數β，對第二文檔集D₂進行分組，生成包含分組信息的第三文檔集D₃；以及

在第三文檔集D₃上運行FG-Kmeans算法，得到最終聚類的聚類中心集合C以及標記矩陣U。

2.根據權利要求1所述的文本聚類方法，其特征在于，所述K個主題分別記為Z₁…Z_K，所述第一文檔集D₁包括M個文檔，分別記為d₁…d_M，所述第一文檔集D₁的每個文檔d_m(1≤m≤M)由這K個主題Z_k（1≤k≤K)按照一定的比例分布而成，如此通過所述潛在狄利克雷分布算法將所述第一文檔集D₁降維成一M×K的主題分布矩陣θ，θ的每一行θ_m(1≤m≤M)表示文檔d_m在K個主題下的概率分布，滿足約束其中，M為自然數。

3.根據權利要求2所述的文本聚類方法，其特征在于，所述文檔d_m的主題分布θ_m服從參數為α的狄利克雷分布,即θ_m～Dirichlet(α)，其中，α為超參數，由經驗值獲得。

4.根據權利要求1所述的文本聚類方法，其特征在于，所述參數β通過最大期望算法或吉布斯算法獲得，所述參數β為一K×N矩陣，矩陣元β_kn(1≤k≤K,1≤n≤N)表示所述第一文檔集D₁中第n個特征V_n在第k個主題Z_k下出現的概率，滿足約束條件Σn=1Nβkn=1(0≤βkn≤1).]]>

5.根據權利要求4所述的文本聚類方法，其特征在于，在利用所述最大期望算法或吉布斯算法求解所述參數β的過程中，還引入另一參數φ，所述參數φ為一K維列向量，所述文檔d_m（1≤m≤M)中包含L_m個特征，將所述文檔d_m中的特征記為W_m1…W_mLm，則每一個特征W_ml（1≤l≤L_m)具有一個K維列向量φ_ml，φ_ml的向量元φ_mlk(1≤k≤K)表示文檔d_m的第l個特征W_ml在主題Z_k下的概率分布且滿足約束條件