[發明專利]一種基于云計算平臺的大數據聚類方法

在審

• 申請號: 202110404868.8
• 申請日: 2021-04-15
• 公開（公告）號: CN112948345A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 梁杰
• 申請（專利權）人: 蘇州數海長云數據信息科技有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于云計算平臺的大數據聚類方法，其特征在于，所述方法包括以下步驟：

Step1:將數據集X＝(x1，x2，…，xn)部署到HDFS；

Step2:依次讀取每條記錄i，并計算樣本i與每個樣本的相似度，得到數據集的相似度矩陣S；第i個樣本與其余樣本的相似度計算和第j個樣本與其余樣本的相似度計算可以并行進行；

Step3:依據矩陣S得到數據集的加權連接矩陣W和度矩陣D；

Step4:計算拉普拉斯矩陣L；

Step5:采用Lanczos算法計算矩陣L的前k個特征值和特征向量；

Step6:采用并行K-means算法對特征向量構成的特征空間進行聚類得到聚類結果C1，C2，…，Cn。

2.根據權利要求1所述的一種基于云計算平臺的大數據聚類方法，其特征在于,所述步驟Step1中HDFS是Hadoop的分布式文件系統(Hadoop Distributed File System)的簡稱，它基于Google的GFS文件系統的思想而設計，可以部署在廉價的硬件設備上，并且具有良好的容錯性能。HDFS采用了master/slave結構，集群通常由一個NameNode和多個DataNode組成，數據采用分塊的形式存儲在各個DataNode上。NameNode則負責整個HDFS文件系統的管理包括客戶端在HDFS上進行文件的創建、刪除等，同時也可以兼任DataNode的角色，完成數據的存儲。為了防止單點故障，HDFS一般會設計SecondaryNameNode，用來作為NameNode的備份節點。同時，HDFS采用了副本策略，一個數據塊默認有三個副本，分別存放在本地節點、同一機架的另一節點、不同機架的某一節點，與HDFS相配合使用的MapReduce組成云計算平臺Hadoop。

3.根據權利要求2所述的一種基于云計算平臺的大數據聚類方法，其特征在于，MapReduce是一種適用于大規模數據處理的編程模型。它將工作流程分為map和reduce兩個階段。每個階段都用鍵/值對作為輸入和輸出。map階段將從原始數據塊中讀取出來的key/value進行map處理，并以緩沖的方式寫到磁盤。reduce階段讀取map處理之后的數據進行歸約處理，最后輸出到程序指定的輸出路徑。

4.根據權利要求3所述的一種基于云計算平臺的大數據聚類方法，其特征在于，所述步驟Step2中相似度是將數據集中的所有樣本看作圖的頂點集v＝{x₁，x₂，…，x_n}s＝R^n×n是一個相似度矩陣，s_ij是數據點x_i和x_j的相似度。在譜聚類中通常采用高斯函數計算數據點之間的相似度:

S＝(s_ij)＝exp(‖xi－xj‖²/2σ²)i，j＝1，2，…，n。

5.根據權利要求4所述的一種基于云計算平臺的大數據聚類方法，其特征在于，為了獲得更好的計算性能，譜聚類通常對矩陣S進行稀疏化處理。稀疏化相似矩陣通常采用ξ-近鄰、k-近鄰、全連通三種方式。譜聚類算法將稀疏化的頂點間的相似度矩陣作為相應點對的連接邊的權值。這樣就得到一個基于樣本間相似度的無向圖G＝(V，E)的相應邊的權重w_ij≥0，i，j＝1，2，…，n。因為G是一個無向圖，所以可以得到頂點對(x_i，x_j)間的連接權值w_ij＝w_ji。任意頂點v_i∈V的度使用如下公式進行計算:

d_i＝Σ(n，j＝1)w_ij i＝1，2，…，n

其中，W＝(w_ij)是n×n階矩陣，D＝(d_i)是1×n階矩陣，分別稱為連接矩陣W和度矩陣D。