[發明專利]基于主題的社交媒體短文本在線聚類方法

在審

• 申請號: 201810937692.0
• 申請日: 2018-08-17
• 公開（公告）號: CN109086443A
• 公開（公告）日: 2018-12-25
• 發明（設計）人: 費高雷;蔣勇;許舟軍;胡光岷
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 成都虹盛匯泉專利代理有限公司 51268
• 代理人: 王偉

1.基于主題的社交媒體短文本在線聚類方法，其特征在于，包括：

S1、對輸入的訓練文本進行預處理，包括分詞、去除停止詞、詞性識別、命名實體識別；

S2、采用預聚類將經步驟S1預處理后的訓練文本聚合為長文本；

S3、對步驟S2得到的長文本訓練集進行LDA訓練，訓練完成后統計文本-主題概率分布和主題-詞語概率分布；

S4、對輸入的待分類文本，采用樸素貝葉斯算法進行預測。

2.根據權利要求1所述的基于主題的社交媒體短文本在線聚類方法，其特征在于，步驟S2具體包括以下分步驟：

S21、根據步驟S1預處理結果構建文本向量；

S22、計算該文本向量與所有類別中心的余弦相似度；

S23、若最大余弦相似度大于第一閾值，則將該短文本加入最大余弦相似度對應的類別中；否則作為新類別。

3.根據權利要求2所述的基于主題的社交媒體短文本在線聚類方法，其特征在于，步驟S3所述的LDA訓練采用吉布斯采樣求解。

4.根據權利要求3所述的基于主題的社交媒體短文本在線聚類方法，其特征在于，步驟S4具體為：根據步驟S3得到的主題-詞語概率分布，采用樸素貝葉斯算法計算得到待分類文本對應的各主題下的分布概率值，若所有主題下的分布概率值均小于第二閾值，則判斷該待分類文本為新文本；否則判斷該待分類文本的主題為最大分布概率值所對應的主題。

5.根據權利要求3所述的基于主題的社交媒體短文本在線聚類方法，其特征在于，步驟S4具體為：根據步驟S3得到的主題-詞語概率分布，采用樸素貝葉斯算法計算得到待分類文本對應的各主題下的分布概率值，找出最大的分布概率值，若該最大分布概率值大于或等于第二閾值，則判斷該待分類文本的主題為最大分布概率值所對應的主題，否則斷該待分類文本為新文本。

6.根據權利要求4或5所述的基于主題的社交媒體短文本在線聚類方法，其特征在于，若待分類文本中某個詞語未在訓練文本集中出現，則采用平滑處理，將該詞語在某主題下的分布概率值等于該主題下最小主題-詞語分布概率值的一半。

7.根據權利要求6所述的基于主題的社交媒體短文本在線聚類方法，其特征在于，當待分類文本為新文本時，將該新文本加入待訓練數據集。