[發明專利]一種大數據分析方法和系統

在審

• 申請號: 201710943438.7
• 申請日: 2017-10-11
• 公開（公告）號: CN107707659A
• 公開（公告）日: 2018-02-16
• 發明（設計）人: 楊吉東
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24;G06F17/30
• 代理公司: 北京安信方達知識產權代理有限公司11262
• 代理人: 李紅爽,李丹

技術領域

本發明涉及大數據處理技術，尤指一種大數據分析方法和系統。

背景技術

近年來，隨著計算科學、信息技術以及計算機等的高速發展和迅速應用，相關行業是用的應用系統急速擴展，隨之而來產生的數據呈現幾何指數增長。這種數據被定義為大數據。大數據已經不能以常規論，無法使用傳統和常用的軟件技術和工具在特定時間內完成獲取、管理和處理的數據集合。傳統模式已經無法滿足多種類型的海量數據的處理需求。

發明內容

為了解決上述技術問題，本發明提供了一種大數據分析方法和系統。采用并行分布式存儲數據，經過對數據結構的深度分析，精確定位、建立模型算法，采用分布式計算對數據進行快速處理，通過結果反作用于廠商。實現了基于分布式架構的大數據采集分析，解決了傳統數據處理模式無法滿足多種類型的海量數據的處理需求的問題。

為了達到本發明目的，本發明提供了一種大數據分析方法，包括：

多個存儲服務器使用分布式架構存儲采集得到的數據；

多個分布式計算中心使用分布式計算對采集得到的數據進行分析；

所述多個分布式計算中心將數據分析結果匯總至數據展示中心。

優選的，使多個存儲服務器使用分布式架構存儲采集得到的數據的步驟包括：

多個存儲服務器覆蓋全部用戶范圍，兩個存儲服務器覆蓋的用戶范圍不完全相同；

每個存儲服務器對自己覆蓋下的用戶范圍內的用戶數據進行采集存儲。

優選的，多個分布式計算中心使用分布式計算對采集得到的數據進行分析的步驟包括：

各個計算中心對各自對應的存儲服務器采集得到的數據建立模型；

對建立模型后的數據進行分析。

優選的，每個計算中心至少一個存儲服務器，一個存儲服務器對應至少一個計算中心。

本發明還提供了一種大數據分析系統，包括分布式存儲架構和分布式計算架構，所述分布式存儲架構包含多個存儲服務器，所述分布式計算架構包含多個計算中心，每個存儲服務器與至少一個計算中心存在映射關系，每個計算中心與至少一個存儲服務器存在映射關系；

所述分布式存儲架構中的存儲服務器，用于將存儲采集得到的數據；

所述分布式計算架構中的計算中心，用于對采集得到的數據進行分析。

優選的，該系統還包括數據展示中心；

所述分布式計算架構中的計算中心，還用于將數據分析結果匯總至所述數據展示中心。

優選的，兩個存儲服務器覆蓋的用戶范圍不完全相同；

每個存儲服務器對自己覆蓋下的用戶范圍內的用戶數據進行采集存儲。

優選的，所述計算中心，具體用于對各自存在映射關系的存儲服務器采集得到的數據建立模型，對建立模型后的數據進行分析。

本發明的實施例提供了一種大數據分析方法和系統，多個存儲服務器使用分布式架構存儲采集得到的數據，多個分布式計算中心使用分布式計算對采集得到的數據進行分析，所述多個分布式計算中心將數據分析結果匯總至數據展示中心。實現了基于分布式架構的大數據采集分析，解決了傳統數據處理模式無法滿足多種類型的海量數據的處理需求的問題。

本發明的其它特征和優點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發明而了解。本發明的目的和其他優點可通過在說明書、權利要求書以及附圖中所特別指出的結構來實現和獲得。

附圖說明

附圖用來提供對本發明技術方案的進一步理解，并且構成說明書的一部分，與本申請的實施例一起用于解釋本發明的技術方案，并不構成對本發明技術方案的限制。

圖1為本發明的實施例一提供的一種大數據分析系統的架構示意圖；

圖2為本發明的實施例二提供的一種大數據分析方法的流程示意圖。

具體實施方式

為使本發明的目的、技術方案和優點更加清楚明白，下文中將結合附圖對本發明的實施例進行詳細說明。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互任意組合。

在附圖的流程圖示出的步驟可以在諸如一組計算機可執行指令的計算機系統中執行。并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執行所示出或描述的步驟。