[發明專利]數據分析方法、系統及服務器

有效

• 申請號: 201010222602.3
• 申請日: 2010-07-07
• 公開（公告）號: CN102314460A
• 公開（公告）日: 2012-01-11
• 發明（設計）人: 岑文初
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 逯長明;王寶筠

技術領域

本申請涉及通信和計算機技術領域，特別涉及一種數據分析方法、系統及服務器。

背景技術

隨著web2.0技術的發展，互聯網應用或者互聯網平臺中的業務數據，如用戶行為數據和平臺系統數據，都呈現出海量增長的趨勢。為了便于海量業務數據的處理，挖掘其內在價值，通常采用一種并行的數據處理架構來支撐海量數據的處理工作，即利用多個分布式的計算機相互協作工作，共同完成對海量數據的處理。

當前，在大型的互聯網網站平臺中，應用最為廣泛的一種并行的數據處理架構為Hadoop系統框架。在Hadoop的系統架構中包括有一個主服務器和多個從服務器組成的集群，主服務器將海量數據分割成多個數據塊，再將分割后的數據塊分配給多個并行的從服務器，由每個從服務器處理各自的數據塊，并將處理的結果發送至主服務器，主服務器將處理的結果合并后輸出。此外，當前階段主服務器輸出的合并結果又可以作為下一階段主服務器進行數據處理的一個輸入，得到下一階段的合并結果。這種并行和串行相結合的處理方式可以使并行的數據處理系統高效地處理海量數據。

目前，對于數據的分析方法主要為基于關系型數據庫的數據分析方法，然而，這種方法很難基于并行的數據處理架構對關系型數據庫的數據進行分析，特別是在需要進行歸類、報表生成等復雜的數據分析處理工作時，難以滿足實際需要。因此，基于關系型數據庫的數據分析方法并不適用于對并行的數據處理架構中的海量數據進行分析。

發明內容

為了解決上述技術問題，本申請實施例提供了一種數據分析方法、系統及服務器，以實現對并行的數據處理架構中的海量數據進行分析。

本申請實施例公開公開了如下技術方案：一種數據分析方法，包括：

從服務器接收主服務器發送的文件，其中，所述文件攜帶待分析的原始數據的數據標識和預置鍵值對，所述預置鍵定義了從服務器對待分析的原始數據進行歸類的方式，所述預置值定義了從服務器對歸類后的原始數據進行分析處理的方式；從服務器根據所述數據標識，從數據源中獲取待分析的原始數據，其中，所述原始數據中數據元素之間以分割標識進行隔離；從服務器根據所述分割標識將獲取的原始數據切割成數據元素；從服務器按照預置鍵中對數據元素的定義方式，對獲取的原始數據進行歸類；從服務器按照預置值的定義，對歸類后的原始數據進行分析處理，并將分析處理結果反饋給主服務器。

本申請還提供另一種數據分析方法，包括：多線程中子線程接收主線程發送的文件，其中，所述文件攜帶待分析的原始數據的數據標識和預置鍵值對，所述預置鍵定義了子線程對待分析的原始數據進行歸類的方式，所述預置值定義了子線程對歸類后的原始數據進行分析處理的方式；子線程根據所述數據標識，從數據源中獲取待分析的原始數據，其中，所述原始數據中數據元素之間以分割標識進行隔離；子線程根據所述分割標識將獲取的原始數據切割成數據元素；子線程按照預置鍵中對數據元素的定義方式，對獲取的原始數據進行歸類；子線程按照預置值的定義，對歸類后的原始數據進行分析處理，并將分析處理結果反饋給主線程。

本申請還提供一種數據分析系統，包括：一主服務器和至少兩個從服務器，其中，所述主服務器，用于向從服務器發送文件，并對接收到的分析處理結果進行合并，其中，所述文件攜帶待分析的原始數據的數據標識和預置鍵值對，所述預置鍵定義了從服務器對待分析的原始數據進行歸類的方式，所述預置值定義了從服務器對歸類后的原始數據進行分析處理的方式；所述從服務器，用于接收主服務器發送的文件，根據所述數據標識，從數據源中獲取待分析的原始數據，其中，所述原始數據中數據元素之間以分割標識進行隔離，根據所述分割標識將獲取的原始數據切割成數據元素，按照預置鍵中對數據元素的定義方式，對獲取的原始數據進行歸類，按照預置值的定義，對歸類后的原始數據進行分析處理，并將分析處理結果反饋給主服務器。