[發明專利]一種基于云計算平臺的大數據聚類方法及系統

有效

• 申請號: 202110258079.8
• 申請日: 2021-03-10
• 公開（公告）號: CN112948640B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 李小軍;朱科西
• 申請（專利權）人: 成都工貿職業技術學院
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/906
• 代理公司: 北京正華智誠專利代理事務所(普通合伙) 11870
• 代理人: 楊浩林

1.一種基于云計算平臺的大數據聚類方法，其特征在于，包括以下步驟：

步驟100、收集數據對象并識別所述數據對象的直接特征，并對所述數據對象深度剖析以區分不同種類的所述數據對象和匯聚相同種類的所述數據對象；

在步驟100中，利用預處理池暫存所述數據對象并確定每種所述數據對象的直接特征，將每種所述數據對象的直接特征作為分類層樹狀圖的起點，并按照自底向上的方式建立整個關于不同種類的所述數據對象的所述分類層樹狀圖；

計算所有數據對象的所述直接特征之間的關聯權重，且將具有相同權重的多個所述直接特征合并為對應所述分類層樹狀圖的一個下層聚類分項；

繼續計算所有所述下層聚類分項之間的關聯權重，且將所述關聯權重值大的多個所述下層聚類分項合并為中層聚類分項；

重復上述操作，如最上層的兩個所述聚類分項之間的關聯權重大于零，則建立一個所述分類層樹狀圖；

若最上層的兩個所述聚類分項之間的關聯權重等于零，則分別建立兩個以上的所述分類層樹狀圖；

步驟200、將所述數據對象的特征細化以創建分類層樹狀圖，且所述數據對象的聚類深度與所述分類層樹狀圖的分級自下到上一一匹配；

創建所述分類層樹狀圖的實現方式為：

確定每種所述數據對象的多層深度特征，并計算兩種所述數據對象的不同深度特征之間的關聯權重；

根據關聯權重確定處于同一個所述分類層樹狀圖的所述數據對象；

根據處于同一個所述分類層樹狀圖的所述數據對象的深度特征，確定所述分類層樹狀圖的聚類分項，且所述分類層樹狀圖的最下層直接對應所述數據對象的直接特征，所述分類層樹狀圖自下向上凝聚分層聚類；

步驟300、根據所述數據對象的直接特征確定所述數據對象在所述分類層樹狀圖內的分支路徑，并利用轉換模型確定所述數據對象的聚類分項，以對大數據分類聚簇保存。

2.根據權利要求1所述的一種基于云計算平臺的大數據聚類方法，其特征在于：所述數據對象的直接特征為所述數據對象攜帶的參數信息，所述數據對象的深度特征以所述數據對象的直接特征為起點，自下到上的確定所述數據對象在應用場景內的實際含義，且不同種類的所述數據對象的實際含義不同，以將所述數據對象對應所述分類層樹狀圖同級的不同分支，通過對所述數據對象的實際含義溯源以確定所述分類層樹狀圖的聚類焦點。

3.根據權利要求1所述的一種基于云計算平臺的大數據聚類方法，其特征在于：根據所述數據對象的直接特征的實際含義以及所述聚類分項的實際含義，利用專家評定法設定不同的所述直接特征之間的關聯權重以及不同的所述聚類分項之間的關聯權重，選擇所述關聯權重超過設定值的所述直接特征聚集到同一個所述聚類分項，且將所述關聯權重超過設定值的所述聚類分項聚集到上一層的同一個所述聚類分項。

4.根據權利要求2所述的一種基于云計算平臺的大數據聚類方法，其特征在于：所述分類層樹狀圖的每條分支表示所述數據對象的存儲路徑，并建立同一個所述分類層樹狀圖內多個所述數據對象對應的數據保存庫，且設定每個所述按照數據保存庫的保存路徑，且所述數據保存庫的保存路徑與所述分類層樹狀圖形成的存儲路徑相同，所述預處理池內暫存的所述數據對象按照所述保存路徑對應保存在所述數據保存庫內。

5.根據權利要求2所述的一種基于云計算平臺的大數據聚類方法，其特征在于：在所述步驟300中，所述分類層樹狀圖的聚類分項從上到下依次分為聚類焦點、一級分類節點、二級分類節點、……、直接特征，根據每種所述數據對象的直接特征與所述分類層樹狀圖中包含的直接特征進行匹配，以將所述數據對象按照保存路徑聚類存儲到相應的所述數據保存庫。

6.一種應用于權利要求1-5任一項所述基于云計算平臺的大數據聚類方法的大數據聚類系統，其特征在于，包括：

預存儲池(1)，用于根據預存的少量的數據創建分類層樹狀圖；

樹狀圖設定模塊(2)，用于將數據對象的每層細化特征通過設定的關聯權重確定處于同一個節點的多個數據對象，自下到上的創建分類層樹狀圖；

聚類存儲模塊(3)，用于將數據庫按照所述分類層樹狀圖的分支建立多個數據庫，且將每種數據對象包含的數據均按照對應分類層樹狀圖的分支的保存路徑存儲到所述數據庫內。