[發(fā)明專利]一種基于混合引擎的大數(shù)據(jù)處理方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910261094.0
• 申請(qǐng)日: 2019-04-02
• 公開（公告）號(hào): CN109960701A
• 公開（公告）日: 2019-07-02
• 發(fā)明（設(shè)計(jì)）人: 劉家祥
• 申請(qǐng)（專利權(quán)）人: 福建奇點(diǎn)時(shí)空數(shù)字科技有限公司
• 主分類號(hào): G06F16/2455
• 分類號(hào): G06F16/2455;G06F16/248
• 代理公司: 北京勁創(chuàng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11589
• 代理人: 陸瀅炎

1.一種基于混合引擎的大數(shù)據(jù)處理方法，其特征在于，包括：

采集用戶在綜合查詢用戶界面提交的靜態(tài)數(shù)據(jù)或動(dòng)態(tài)數(shù)據(jù)的查詢請(qǐng)求數(shù)據(jù)；

判斷用戶在綜合查詢用戶界面提交的數(shù)據(jù)查詢請(qǐng)求為靜態(tài)數(shù)據(jù)或動(dòng)態(tài)數(shù)據(jù)；

根據(jù)數(shù)據(jù)查詢類別選擇MapReduce批處理引擎或Storm流式計(jì)算引擎處理數(shù)據(jù)；

向用戶反饋靜態(tài)數(shù)據(jù)或動(dòng)態(tài)數(shù)據(jù)的查詢結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種基于混合引擎的大數(shù)據(jù)處理方法，其特征在于，對(duì)于用戶提交的具有批量大規(guī)模特征的靜態(tài)數(shù)據(jù)的查詢請(qǐng)求，選擇MapReduce批處理引擎處理數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的一種基于混合引擎的大數(shù)據(jù)處理方法，其特征在于，對(duì)于用戶提交的具有流數(shù)據(jù)特征的動(dòng)態(tài)數(shù)據(jù)的查詢請(qǐng)求，選擇Storm流式計(jì)算引擎處理數(shù)據(jù)。

4.一種基于混合引擎的大數(shù)據(jù)處理系統(tǒng)，其特征在于，包括數(shù)據(jù)采集模塊、判斷模塊、數(shù)據(jù)處理模塊和數(shù)據(jù)反饋模塊；

數(shù)據(jù)采集模塊與判斷模塊連接；判斷模塊與數(shù)據(jù)處理模塊連接；數(shù)據(jù)處理模塊與數(shù)據(jù)反饋模塊連接；

數(shù)據(jù)采集模塊被配置為采集用戶在綜合查詢用戶界面提交的靜態(tài)數(shù)據(jù)或動(dòng)態(tài)數(shù)據(jù)的查詢請(qǐng)求數(shù)據(jù)；

判斷模塊被配置為判斷用戶在綜合查詢用戶界面提交的數(shù)據(jù)查詢請(qǐng)求為靜態(tài)數(shù)據(jù)或動(dòng)態(tài)數(shù)據(jù)；

數(shù)據(jù)處理模塊被配置為根據(jù)數(shù)據(jù)查詢類別選擇MapReduce批處理引擎或Storm流式計(jì)算引擎處理數(shù)據(jù)；

數(shù)據(jù)反饋模塊被配置為向用戶反饋靜態(tài)數(shù)據(jù)或動(dòng)態(tài)數(shù)據(jù)的查詢結(jié)果。

5.根據(jù)權(quán)利要求4所述的一種基于混合引擎的大數(shù)據(jù)處理系統(tǒng)，其特征在于，還包括數(shù)據(jù)存儲(chǔ)模塊；數(shù)據(jù)存儲(chǔ)模塊與數(shù)據(jù)處理模塊連接；數(shù)據(jù)存儲(chǔ)模塊被配置為存儲(chǔ)用戶的歷史查詢記錄和數(shù)據(jù)查詢結(jié)果。