[發明專利]一種基于云計算平臺的大數據聚類方法及系統

有效

• 申請號: 202110258079.8
• 申請日: 2021-03-10
• 公開（公告）號: CN112948640B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 李小軍;朱科西
• 申請（專利權）人: 成都工貿職業技術學院
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/906
• 代理公司: 北京正華智誠專利代理事務所(普通合伙) 11870
• 代理人: 楊浩林

本發明公開了一種基于云計算平臺的大數據聚類方法及系統，包括以下步驟：收集數據對象并識別數據對象的直接特征，并對數據對象深度剖析以區分不同種類的數據對象和匯聚相同種類的數據對象；將數據對象的特征細化以創建分類層樹狀圖，且數據對象的聚類深度與分類層樹狀圖的分級自下到上一一匹配；根據數據對象的直接特征確定數據對象在分類層樹狀圖內的分支路徑，并利用轉換模型確定數據對象的聚類分項，以對大數據分類聚簇保存；本發明以收集的數據對象對應的直接特征為起點，通過遍歷所有數據對象的直接特征之間的關聯權重，選取關聯權重大的直接特征合并到同一個聚類分項內，重復操作，直至生成至少一個分類層樹狀圖。

技術領域

本發明涉及大數據聚類技術領域，具體涉及一種基于云計算平臺的大數據聚類方法及系統。

背景技術

云計算是分布式計算的一種，具體的作用是通過網絡“云”將巨大的數據計算處理程序分解成無數個小程序，然后，通過多部服務器組成的系統進行處理和分析這些小程序得到結果并返回給用戶。云計算早期，簡單地說，就是簡單的分布式計算，解決任務分發，并進行計算結果的合并。因而，云計算又稱為網格計算。通過這項技術，可以在很短的時間內完成對數以萬計的數據的處理，從而達到強大的網絡服務。

隨著信息技術的高速發展，數據庫應用的規模、范圍和深度的不斷擴大，導致積累了大量的數據，而這些激增的數據后面隱藏著許多重要的信息，因此人們希望能夠對其進行更高層次的分析，以便更好地利用這些數據。目前的數據庫系統可以高效、方便地實現數據的錄入、查詢、統計等功能，但是無法發現數據中存在的各種關系和規則，更無法根據現有的數據預測未來的發展趨勢。而數據聚類分析正是解決這一問題的有效途徑，它是數據挖掘的重要組成部分，用于發現在數據庫中未知的對象類，為數據挖掘提供有力的支持，它是近年來廣為研究的問題之一。聚類分析是一個極富有挑戰性的研究領域，采用基于聚類分析方法的數據挖掘在實踐中已取得了較好的效果。聚類分析也可以作為其他一些算法的預處理步驟，聚類可以作為一個獨立的工具來獲知數據的分布情況，使數據形成簇，其他算法再在生成的簇上進行處理，聚類算法既可作為特征和分類算法的預處理步驟，也可將聚類結果用于進一步關聯分析。

由于大數據聚類需要對數據對象進行拆解、分析和聚簇搭建，因此需要很多程序去計算如何將相似性的對象進行聚簇以及如何對差異性的數據進行區分，因此利用云計算平臺提供了大數據聚類的穩定快速計算平臺。

而現有的大數據聚類方式，雖然可以對數據量大、數據相似或重復的情況進行聚類，但是其沒有剖析不同數據對象之間的關聯，導致不同數據聚簇之間的相似性混亂，而且差異性也不足，無法起到真正的大數據聚類功能。

發明內容

本發明的目的在于提供一種基于云計算平臺的大數據聚類方法及系統，以解決現有技術中沒有剖析不同數據對象之間的關聯，導致不同數據聚簇之間的相似性混亂，而且差異性也不足，無法起到真正的大數據聚類功能的技術問題。

為解決上述技術問題，本發明具體提供下述技術方案：

一種基于云計算平臺的大數據聚類方法，包括以下步驟：

步驟100、收集數據對象并識別所述數據對象的直接特征，并對所述數據對象深度剖析以區分不同種類的所述數據對象和匯聚相同種類的所述數據對象；

步驟200、將所述數據對象的特征細化以創建分類層樹狀圖，且所述數據對象的聚類深度與所述分類層樹狀圖的分級自下到上一一匹配；

步驟300、根據所述數據對象的直接特征確定所述數據對象在所述分類層樹狀圖內的分支路徑，并利用所述轉換模型確定所述數據對象的聚類分項，以對大數據分類聚簇保存。

作為本發明的一種優選方案，在步驟100中，利用預處理池暫存所述數據對象并確定每種所述數據對象的直接特征，將每種所述數據對象的直接特征作為所述分類層樹狀圖的起點，并按照自底向上的方式建立整個關于不同種類的所述數據對象的所述分類層樹狀圖，創建所述分類層樹狀圖的實現方式為：