[發明專利]數據分析方法和裝置

在審

• 申請號: 201210165623.5
• 申請日: 2012-05-25
• 公開（公告）號: CN103425707A
• 公開（公告）日: 2013-12-04
• 發明（設計）人: 黃先進;丁巖;嚴杰;楊慶平;張東濤
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 余剛;梁麗超

技術領域

本發明涉及通信領域，具體而言，涉及一種數據分析方法和裝置。

背景技術

云計算（Cloud?Computing）是通過網絡將龐大的計算處理程序自動分拆成無數個較小的子程序，再交由多部服務器所組成的龐大的系統進行搜尋、計算分析之后將處理結果回傳給用戶。目的是為了通過網絡把多個成本相對較低的計算實體整合成一個具有強大計算能力的系統。

分布式數據挖掘是云計算范疇中的一個領域，主要是以分布式文件系統和MapReduce組合的分布式的基礎框架作為算法分析的平臺，其作用是提供對海量數據的挖掘算法分析和分布式存儲服務以及高速讀寫訪問的能力。

在現有的數據挖掘系統中，一個系統只能支持一個應用進行挖掘算法分析，然后，再將算法分析的結果輸入到一個數據庫中。對于不同的應用和多個數據庫，無法做到在同一個系統中共存，這樣便無法做到在同一個數據挖掘系統中支持多種不同應用的場景的目的。

針對上述的問題，目前尚未提出有效的解決方案。

發明內容

本發明提供了一種數據分析方法和裝置，以至少解決現有技術中一個數據挖掘系統僅可以對一個應用進行數據挖掘而造成的資源浪費和數據挖掘的效率低下的技術問題。

根據本發明的一個方面，提供了一種數據分析方法，包括：獲取應用對應的待分析數據；根據應用對應的挖掘算法對待分析數據進行分析；將分析得到的結果數據存儲在應用對應的數據空間中，其中，不同的應用對應不同的數據空間。

優選地，將分析得到的結果數據存儲在應用對應的數據空間中包括：將分析得到的數據存儲到分布式緩存系統中，其中，在分布式緩存系統建立了與不同應用對應的數據空間，其中，每個數據空間相對獨立。

優選地，將分析得到的數據存儲到分布式緩存系統中之后，上述方法還包括：將在分布式緩存系統中存儲的超于預定時長的數據進行固化。

優選地，根據應用對應的挖掘算法對待分析數據進行分析，包括：根據應用對應的數據挖掘插件，對待分析數據同不同于應用的應用的待分析數據進行并行分析，其中，一個數據挖掘插件對應一個數據挖掘算法，不同的應用對應不同的數據挖掘插件。

優選地，根據挖掘算法對待分析數據進行分析，包括：通過MapReduce的平臺對待分析數據進行分析。

優選地，獲取應用對應的待分析數據，包括：判斷待分析的數據所對應的源文件是否滿足下載條件；如果滿足，則獲取下載源文件，并將源文件作為待分析數據。

優選地，判斷待分析的數據所對應的源文件是否滿足下載條件，包括：判斷源文件所對應的時間信息與當前時間是否相同，如果相同，則確定源文件滿足下載條件。

優選地，根據應用對應的挖掘算法對待分析數據進行分析，包括：將待分析數據分為多個任務，為每個任務設定不同的優先級；根據每個任務所對應的優先級對待分析數據進行分析。

優選地，在將分析得到的結果數據存儲在應用對應的數據空間中之后，上述方法還包括：接收客戶端發送的對應于應用的展示請求；根據展示請求從應用對應的數據空間中獲取結果數據；將結果數據發送給客戶端進行展示。

根據本發明的另一個方面，還提供了一種數據分析裝置，包括：第一獲取單元，用于獲取應用對應的待分析數據；分析單元，用于根據應用對應的挖掘算法對待分析數據進行分析；存儲單元，用于將分析得到的結果數據存儲在應用對應的數據空間中，其中，不同的應用對應不同的數據空間。

優選地，上述裝置還包括：接收單元，用于在將分析得到的結果數據存儲在應用對應的數據空間中之后，接收客戶端發送的對應于應用的展示請求；第二獲取單元，用于根據展示請求從應用對應的數據空間中獲取結果數據；發送單元，用于將結果數據發送給客戶端進行展示。

在本發明中，在獲取應用對應的待分析數據以后，再根據每個應用對應的挖掘算法對該應用進行數據挖掘分析，并將數據挖掘后得到的分析結果存儲在該應用對應的數據空間中，從而達到了對多個應用同時進行數據分析的目的。通過上述方式解決了現有技術中一個數據挖掘系統僅可以對一個應用進行數據挖掘而造成的資源浪費和數據挖掘的效率低下的技術問題，從而達到了提高資源利用率和對數據進行分析處理的速度的技術效果。

附圖說明

此處所說明的附圖用來提供對本發明的進一步理解，構成本申請的一部分，本發明的示意性實施例及其說明用于解釋本發明，并不構成對本發明的不當限定。在附圖中：

圖1是根據本發明實施例的數據分析方法的一種優選流程圖；