[發(fā)明專利]一種基于混合引擎的大數(shù)據(jù)處理方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910261094.0
• 申請日: 2019-04-02
• 公開（公告）號: CN109960701A
• 公開（公告）日: 2019-07-02
• 發(fā)明（設計）人: 劉家祥
• 申請（專利權）人: 福建奇點時空數(shù)字科技有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/248
• 代理公司: 北京勁創(chuàng)知識產權代理事務所(普通合伙) 11589
• 代理人: 陸瀅炎

一種基于混合引擎的大數(shù)據(jù)處理方法，包括：采集用戶在綜合查詢用戶界面提交的靜態(tài)數(shù)據(jù)或動態(tài)數(shù)據(jù)的查詢請求數(shù)據(jù)；判斷用戶在綜合查詢用戶界面提交的數(shù)據(jù)查詢請求為靜態(tài)數(shù)據(jù)或動態(tài)數(shù)據(jù)；根據(jù)數(shù)據(jù)查詢類別選擇MapReduce批處理引擎或Storm流式計算引擎處理數(shù)據(jù)；向用戶反饋靜態(tài)數(shù)據(jù)或動態(tài)數(shù)據(jù)的查詢結果。一種基于混合引擎的大數(shù)據(jù)處理系統(tǒng)，包括數(shù)據(jù)采集模塊、判斷模塊、數(shù)據(jù)處理模塊和數(shù)據(jù)反饋模塊；數(shù)據(jù)采集模塊與判斷模塊連接；判斷模塊與數(shù)據(jù)處理模塊連接；數(shù)據(jù)處理模塊與數(shù)據(jù)反饋模塊連接。本發(fā)明根據(jù)數(shù)據(jù)類別選擇MapReduce批處理引擎或Storm流式計算引擎處理數(shù)據(jù)，從而實現(xiàn)針對性的數(shù)據(jù)處理，并將處理后的數(shù)據(jù)結果反饋給用戶，使用戶能對不同類別數(shù)據(jù)進行查詢。

技術領域

本發(fā)明涉及大數(shù)據(jù)處理技術領域，尤其涉及一種基于混合引擎的大數(shù)據(jù)處理方法及系統(tǒng)。

背景技術

大數(shù)據(jù)(big data)，指無法在一定時間范圍內用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產。大數(shù)據(jù)具有5V特點，即Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)和Veracity(真實性)。大數(shù)據(jù)處理主要包括以下幾個階段：采集、導入/預處理、統(tǒng)計/分析以及挖掘。

MapReduce是專門面向靜態(tài)數(shù)據(jù)的批量處理的，內部各種實現(xiàn)機制都為批處理做了高度優(yōu)化，不適合用于處理持續(xù)到達的動態(tài)數(shù)據(jù)，有些人可能會想到一種“變通”的方案來降低批處理的時間延遲——將基于MapReduce的批量處理轉為小批量處理，將輸入數(shù)據(jù)切成小的片段，每隔一個周期就啟動一次MapReduce作業(yè)，但這種方式也無法有效處理流數(shù)據(jù)。Storm是一個免費并開源的分布式實時計算系統(tǒng)，利用Storm可以很容易做到可靠地處理無限的數(shù)據(jù)流，像Hadoop批量處理大數(shù)據(jù)一樣，Storm可以實時處理數(shù)據(jù)，Storm可以使用任何編程語言，Storm擅長流式計算和實時分析，Storm的實時性要遠遠好于MapReduce計算框架。綜上，MapReduce擅長處理靜態(tài)數(shù)據(jù)，Storm擅長處理動態(tài)數(shù)據(jù)。

因此，本申請中提出一種基于混合引擎的大數(shù)據(jù)處理方法及系統(tǒng)。

發(fā)明內容

(一)發(fā)明目的

為解決背景技術中存在的技術問題，本發(fā)明提出一種基于混合引擎的大數(shù)據(jù)處理方法及系統(tǒng)，根據(jù)數(shù)據(jù)類別選擇MapReduce批處理引擎或Storm流式計算引擎處理數(shù)據(jù)，從而實現(xiàn)針對性的數(shù)據(jù)處理，并將處理后的數(shù)據(jù)結果反饋給用戶，達到用戶能對不同類別數(shù)據(jù)進行查詢的目的。

(二)技術方案

為解決上述問題，本發(fā)明的第一方面提供了一種基于混合引擎的大數(shù)據(jù)處理方法，包括：

采集用戶在綜合查詢用戶界面提交的靜態(tài)數(shù)據(jù)或動態(tài)數(shù)據(jù)的查詢請求數(shù)據(jù)；

判斷用戶在綜合查詢用戶界面提交的數(shù)據(jù)查詢請求為靜態(tài)數(shù)據(jù)或動態(tài)數(shù)據(jù)；

根據(jù)數(shù)據(jù)查詢類別選擇MapReduce批處理引擎或Storm流式計算引擎處理數(shù)據(jù)；

向用戶反饋靜態(tài)數(shù)據(jù)或動態(tài)數(shù)據(jù)的查詢結果。

優(yōu)選的，對于用戶提交的具有批量大規(guī)模特征的靜態(tài)數(shù)據(jù)的查詢請求，選擇MapReduce批處理引擎處理數(shù)據(jù)。

優(yōu)選的，對于用戶提交的具有流數(shù)據(jù)特征的動態(tài)數(shù)據(jù)的查詢請求，選擇Storm流式計算引擎處理數(shù)據(jù)。

本發(fā)明的第二方面提供了一種基于混合引擎的大數(shù)據(jù)處理系統(tǒng)，包括數(shù)據(jù)采集模塊、判斷模塊、數(shù)據(jù)處理模塊和數(shù)據(jù)反饋模塊；

數(shù)據(jù)采集模塊與判斷模塊連接；判斷模塊與數(shù)據(jù)處理模塊連接；數(shù)據(jù)處理模塊與數(shù)據(jù)反饋模塊連接；