[發(fā)明專利]一種云計算環(huán)境下基于MapReduce的分布式并行文本聚類方法

在審

• 申請?zhí)枺?/td>: 201710286671.2
• 申請日: 2017-04-27
• 公開（公告）號: CN106971005A
• 公開（公告）日: 2017-07-21
• 發(fā)明（設計）人: 沈曄;周天和;李思劍;任培榮
• 申請（專利權）人: 杭州楊帆科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 杭州之江專利事務所(普通合伙)33216
• 代理人: 張慧英

1.一種云計算環(huán)境下基于MapReduce的分布式并行文本聚類方法，其特征在于，包括如下步驟：

(1)利用向量空間模型表示文本特征，結合文本相似度計算方法得到文本相似度計算模型；

(2)利用基于“互為最小相似度文本對”搜索的文本聚類算法選擇確定初始二分簇中心，通過一次劃分實現(xiàn)簇質心尋優(yōu)的二分K-means聚類完成聚類，形成文本簇劃分；

(3)基于MapReduce框架，采用三個MapReduce任務進行分布式并行計算，分別負責搜索“互為最小相似度文本對”、分配文本到兩個簇、最終的K-means文本聚類，直到簇劃分不再變化并輸出聚類結果。

2.根據(jù)權利要求1所述的一種云計算環(huán)境下基于MapReduce的分布式并行文本聚類方法，其特征在于：所述的文本相似度計算方法如下：給定文本d_i,d_j，TA(d_i,d_j)＝{t_a1,t_a2,...,t_at,...,t_ah}表示d_i,d_j所含特征詞的并集，h為并集中特征詞的數(shù)目；TS(d_i,d_j)＝{t_s1,t_s2,...,t_sk,...,t_sl}表示d_i,d_j所含特征詞的交集，l為交集中特征詞的數(shù)目；則文本d_i,d_j在TS中的每個特征詞t_sk上的相似度sim(d_i,d_j,t_sk)定義為

$sim(d_i,d_j,t_{sk})=\frac{\min (w_{isk},w_{jsk})}{\max (w_{isk},w_{jsk})};$

文本d_i,d_j的相似度SIM(d_i,d_j)定義為

$SIM(d_i,d_j)=\frac{\underset{t_{sk}\∈TS(d_i,d_j)}{\Σ}\sin (d_i,d_j,t_{sk})}{\left|TA(d_i,d_j)\right|}.$