[發明專利]一種大數據處理方法及其裝置

在審

• 申請號: 201710996794.5
• 申請日: 2017-10-19
• 公開（公告）號: CN107741879A
• 公開（公告）日: 2018-02-27
• 發明（設計）人: 楊吉東
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F17/30
• 代理公司: 北京安信方達知識產權代理有限公司11262
• 代理人: 李紅爽,李丹

技術領域

本發明涉及計算機技術，尤指一種大數據處理方法及其裝置。

背景技術

隨著現在科技的發展，各行各業都會產生大量數據，進一步，隨著各行各業規模的蓬勃發展，產生的數據以幾何倍數爆炸式增長，從而產生人們常說的大數據。

通常，獲取的大數據具有數據規模大、流轉速度高、類型多種多樣和價值密度比較低的特點，也就是說，該些數據不僅數據量大，而且數據之間無序，非關系型，導致現有技術無法在一時間范圍內完成對大數據的處理。

發明內容

為了解決上述技術問題，本發明提供了一種大數據處理方法及其裝置，用以解決無法在一時間范圍內完成對大數據的處理的問題。

為了達到本發明目的，本發明提供了一種大數據處理理方法，包括：

獲取至少一個第一大數據；

采用分布式處理將所述至少一個第一大數據通過數據處理器進行處理，獲得數據處理結果，所述數據處理器用于根據所述第一大數據的參數信息，確定所述第一大數據特性，并根據所述第一大數據特性對所述第一大數據進行數據處理的處理器。

進一步的，所述獲取至少一個第一大數據之前，還包括：

獲取至少一個第二大數據；

根據所述至少一個第二大數據的各維度參數，確定所述數據處理器。

進一步的，所述獲取至少一個第一大數據之后，還包括：

將所述至少一個第一大數據進行分布式存儲。

進一步的，所述將所述至少一個第一大數據進行分布式存儲，包括：

將所述至少一個第一大數據存儲在分布式數據庫。

進一步的，所述采用分布式處理將所述至少一個第一大數據通過數據處理器進行處理，獲得數據處理結果之后，還包括：

將所述數據處理結果進行優化處理，獲得優化結果。

本發明還提供了一種大數據處理裝置，包括：

獲取模塊，用于獲取至少一個第一大數據；

處理模塊，用于采用分布式處理將所述至少一個第一大數據通過數據處理器進行處理，獲得數據處理結果，所述數據處理器用于根據所述第一大數據的參數信息，確定所述第一大數據特性，并根據所述第一大數據特性對所述第一大數據進行數據處理的處理器。

進一步的，所述獲取模塊，還用于獲取至少一個第二大數據；

所述處理模塊，還用于根據所述至少一個第二大數據的各維度參數，確定所述數據處理器。

進一步的，所述處理模塊，還用于將所述至少一個第一大數據進行分布式存儲。

進一步的，所述處理模塊，還用于將所述至少一個第一大數據存儲在分布式數據庫。

進一步的，所述處理模塊，還用于將所述數據處理結果進行優化處理，獲得優化結果。

本發明提供的一種云平臺管理方法及其裝置，通過獲取至少一個第一大數據；采用分布式處理將所述至少一個第一大數據通過數據處理器進行處理，獲得數據處理結果，所述數據處理器用于根據所述第一大數據的參數信息，確定所述第一大數據特性，并根據所述第一大數據特性對所述第一大數據進行數據處理的處理器。通過對至少一個第一大數據的分布式處理，實現了對數據量龐大的數據進行處理，進一步的，通過數據處理器對第一大數據進行處理，實現了對大數據的精準處理。

本發明的其它特征和優點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發明而了解。本發明的目的和其他優點可通過在說明書、權利要求書以及附圖中所特別指出的結構來實現和獲得。

附圖說明

附圖用來提供對本發明技術方案的進一步理解，并且構成說明書的一部分，與本申請的實施例一起用于解釋本發明的技術方案，并不構成對本發明技術方案的限制。

圖1為本發明大數據處理方法一實施例的流程示意圖；

圖2為本發明大數據處理裝置一實施例的結構示意圖。

具體實施方式

為使本發明的目的、技術方案和優點更加清楚明白，下文中將結合附圖對本發明的實施例進行詳細說明。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互任意組合。

本發明實施例提供的大數據處理方法具體可以應用于對大數據處理進行處理時。本實施例提供的大數據處理方法可以通過大數據處理裝置來執行，該大數據處理裝置可以集成在大數據處理裝置，或者單獨設置，其中，該大數據處理裝置可以采用軟件和/或硬件的方式來實現。以下對本實施例提供的大數據處理方法及裝置進行詳細地說明。