[發明專利]一種互聯網數據聚類方法及系統

在審

• 申請號: 201510945269.1
• 申請日: 2015-12-17
• 公開（公告）號: CN106897276A
• 公開（公告）日: 2017-06-27
• 發明（設計）人: 趙鶴;李棟一;黃哲學;姜青山;陳會;高琴;朱敏;蔡業首
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/62
• 代理公司: 深圳市科進知識產權代理事務所(普通合伙)44316
• 代理人: 郝明琴

1.一種互聯網文本數據聚類方法，包括以下步驟：

步驟a：利用主題模型對文本數據進行訓練，得到各個主題下所有關鍵詞的概率分布矩陣，并在文本集合中為對關鍵詞進行分組；

步驟b：根據關鍵詞的分組重新組織文本數據的特征集，得到包含關鍵詞分組特征信息的新的文檔數據；

步驟c：在包含關鍵詞分組信息的新文檔數據上運行雙層軟子空間聚類算法，生成聚類中心矩陣和樣本歸屬矩陣；

步驟d：重復n次步驟a至步驟c，得到多個聚類結果；

步驟e：在模型集合上運行聚類集成算法，將多個聚類結果進行集成，得到最終的聚類結果。

2.根據權利要求1所述的互聯網文本數據聚類方法，其特征在于，在所述步驟a中，在主題模型中設置主題數量、聚類集成模型數據量和聚類簇的數量。

3.根據權利要求2所述的互聯網文本數據聚類方法，其特征在于，在所述步驟a中，利用主題模型對文本數據進行訓練時，在文本數據集上運行步驟1中設置的相應主題數量的主題模型算法。

4.根據權利要求3所述的互聯網文本數據聚類方法，其特征在于，在所述步驟c中，所述雙層軟子空間聚類算法采用FG-k-means算法。

5.根據權利要求4所述的互聯網文本數據聚類方法，其特征在于，在所述步驟e中，所述將多個聚類結果進行集成具體包括：將同一數據集下的多個聚類結果進行融合，得到反應所述數據集內在結構的劃分。

6.一種互聯網文本數據聚類系統，其特征在于，包括文本數據訓練模塊、文本數據組織模塊、文檔數據計算模塊、聚類結果循環模塊和聚類結果集成模塊，所述文本數據訓練模塊用于利用主題模型對文本數據進行訓練，得到各個主題下所有關鍵詞的概率分布矩陣，并在文本集合中為對關鍵詞進 行分組；所述文本數據組織模塊用于根據關鍵詞的分組重新組織文本數據的特征集，得到包含關鍵詞分組特征信息的新的文檔數據；所述文檔數據計算模塊在包含關鍵詞分組信息的新文檔數據上運行FG-k-means算法，生成聚類中心矩陣和樣本歸屬矩陣；所述聚類結果循環模塊用于重復文本數據訓練、文本數據組織和文檔數據計算過程，得到多個聚類結果；所述聚類結果集成模塊用于在模型集合上運行聚類集成算法，將多個聚類結果進行集成，得到最終的聚類結果。

7.根據權利要求6所述的互聯網文本數據聚類系統，其特征在于，所述文本數據訓練模塊還用于在主題模型中設置主題數量、聚類集成模型數據量和聚類簇的數量。

8.根據權利要求6所述的互聯網文本數據聚類系統，其特征在于，所述文本數據訓練模塊在文本集合中為對關鍵詞進行分組時，關鍵詞在某個主題下出現的概率較高證明此關鍵詞可以比較好的表達這個主題，將每個關鍵詞留在出現概率最高的主題下，得到固定數量的不同主題。

9.根據權利要求6或7所述的互聯網文本數據聚類系統，其特征在于，所述雙層軟子空間聚類算法是FG-k-means算法。

10.根據權利要求6所述的互聯網文本數據聚類系統，其特征在于，所述聚類結果集成模塊將多個聚類結果進行集成具體包括：將同一數據集下的多個聚類結果進行融合，得到反應所述數據集內在結構的劃分。