[發(fā)明專利]一種基于輿情平臺(tái)的抽樣分布式聚類方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201611260883.5
• 申請(qǐng)日: 2016-12-30
• 公開（公告）號(hào): CN106874367A
• 公開（公告）日: 2017-06-20
• 發(fā)明（設(shè)計(jì)）人: 汪偉亞;許愷;黃強(qiáng)松;陳輝
• 申請(qǐng)（專利權(quán)）人: 江蘇號(hào)百信息服務(wù)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 南京鐘山專利代理有限公司32252
• 代理人: 戴朝榮

1.一種基于輿情平臺(tái)的抽樣分布式聚類方法，其特征在于：包括如下步驟：

一、獲取待聚類數(shù)據(jù)，并對(duì)所述待聚類數(shù)據(jù)進(jìn)行分片處理，得到多個(gè)分片；

二、利用MapReduce中的Map函數(shù)對(duì)每一所述分片進(jìn)行數(shù)據(jù)抽樣；

三、將得到的抽樣數(shù)據(jù)匯總，并在MapReduce框架的Reduce過程中對(duì)匯總的所述抽樣數(shù)據(jù)進(jìn)行聚類；

四、依次重復(fù)步驟二和步驟三合計(jì)進(jìn)行r輪數(shù)據(jù)抽樣，將每一輪的抽樣數(shù)據(jù)的聚類結(jié)果記作基聚類，并得到Π＝{π1,π2,…,πr}的向量，其中，r為大于等于2的正整數(shù)，πi為第i輪的基聚類，1≤i≤r，且為正整數(shù)；

五、再次使用MapReduce框架將所述基聚類集成為最終的聚類結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于輿情平臺(tái)的抽樣分布式聚類方法，其特征在于：在步驟一中，對(duì)所述待聚類數(shù)據(jù)進(jìn)行水平分割，并在分割過程中保證每條數(shù)據(jù)的完整性，且將分割得到的所述分片存儲(chǔ)在分布式文件系統(tǒng)中。

3.根據(jù)權(quán)利要求1所述的基于輿情平臺(tái)的抽樣分布式聚類方法，其特征在于：所述步驟二中進(jìn)行數(shù)據(jù)抽樣至少滿足的要求包括：抽樣技術(shù)本身足夠簡(jiǎn)單、抽樣基于局部數(shù)據(jù)進(jìn)行和抽樣結(jié)果具有一定的隨機(jī)性。

4.根據(jù)權(quán)利要求1所述的基于輿情平臺(tái)的抽樣分布式聚類方法，其特征在于：在步驟三中，將具體的數(shù)據(jù)抽樣輪次作為key，得到的抽樣數(shù)據(jù)作為value，通過shuffle函數(shù)匯聚到MapReduce的一個(gè)Reduce函數(shù)中，在所述Reduce函數(shù)中對(duì)抽樣數(shù)據(jù)進(jìn)行聚類。

5.根據(jù)權(quán)利要求1所述的基于輿情平臺(tái)的抽樣分布式聚類方法，其特征在于：在步驟五中包括如下步驟：

隨機(jī)選擇一定數(shù)量的所述基聚類作為質(zhì)心，并用Map函數(shù)計(jì)算其他所述基聚類與所述質(zhì)心間的距離，每一所述基聚類被指派到與其距離最近的所述質(zhì)心所在的類簇中，并在Reduce函數(shù)中更新類簇的質(zhì)心；

重復(fù)這一過程直到所述類簇的質(zhì)心不再改變。

6.根據(jù)權(quán)利要求5所述的基于輿情平臺(tái)的抽樣分布式聚類方法，其特征在于：設(shè)定z_k表示基聚類向量Π中第k個(gè)類簇的質(zhì)心，描述為rk維向量：

$z_k=(z_k^1,...,z_k^i,...z_k^r),$

其中，