[發(fā)明專(zhuān)利]基于批處理和流式處理的數(shù)據(jù)處理架構(gòu)及數(shù)據(jù)處理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201611245710.6
• 申請(qǐng)日: 2016-12-29
• 公開(kāi)（公告）號(hào): CN106873945A
• 公開(kāi)（公告）日: 2017-06-20
• 發(fā)明（設(shè)計(jì)）人: 吳賀俊;馮輝
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中山大學(xué)
• 主分類(lèi)號(hào): G06F9/30
• 分類(lèi)號(hào): G06F9/30
• 代理公司: 廣州粵高專(zhuān)利商標(biāo)代理有限公司44102
• 代理人: 林麗明

1.一種基于批處理和流式處理的數(shù)據(jù)處理架構(gòu)，其特征在于：包括數(shù)據(jù)采集模塊、批處理模塊、流式處理模塊、數(shù)據(jù)合并模塊、數(shù)據(jù)可視化模塊和資源監(jiān)控模塊；

其中數(shù)據(jù)采集模塊用于從多個(gè)數(shù)據(jù)采集終端中獲取采集的實(shí)時(shí)數(shù)據(jù)，并將采集的數(shù)據(jù)傳輸至批處理模塊和流式處理模塊；

所述批處理模塊用于對(duì)接收的實(shí)時(shí)數(shù)據(jù)進(jìn)行持久化處理，然后在滿(mǎn)足執(zhí)行批處理?xiàng)l件的情況下，采用重計(jì)算的機(jī)制對(duì)經(jīng)持久化處理的實(shí)時(shí)數(shù)據(jù)進(jìn)行批量處理，并根據(jù)處理的結(jié)果生成不同粒度的批處理視圖；

所述流式處理模塊用于對(duì)接收的實(shí)時(shí)數(shù)據(jù)采用增量計(jì)算的機(jī)制進(jìn)行流式處理，并根據(jù)處理的結(jié)果生成不同粒度的流式處理視圖；

所述數(shù)據(jù)合并模塊用于根據(jù)具體查詢(xún)需求，采用相應(yīng)的合并策略對(duì)批處理視圖、流式處理視圖進(jìn)行合并；

所述數(shù)據(jù)可視化模塊用于對(duì)批處理視圖、流式處理視圖或合并后的批處理視圖、流式處理視圖進(jìn)行展示；

所述資源監(jiān)控模塊用于對(duì)數(shù)據(jù)采集模塊、批處理模塊、流式處理模塊、數(shù)據(jù)合并模塊、數(shù)據(jù)可視化模塊進(jìn)行資源監(jiān)控。

2.根據(jù)權(quán)利要求1所述的基于批處理和流式處理的數(shù)據(jù)處理架構(gòu)，其特征在于：所述數(shù)據(jù)采集模塊包括數(shù)據(jù)收集子模塊和數(shù)據(jù)清洗子模塊，所述數(shù)據(jù)收集子模塊用于接收從多個(gè)數(shù)據(jù)采集終端中獲取采集的實(shí)時(shí)數(shù)據(jù)，所述數(shù)據(jù)清洗子模塊用于采用相應(yīng)的過(guò)濾規(guī)則對(duì)接收的實(shí)時(shí)數(shù)據(jù)進(jìn)行清洗。

3.根據(jù)權(quán)利要求1所述的基于批處理和流式處理的數(shù)據(jù)處理架構(gòu)，其特征在于：所述批處理模塊包括數(shù)據(jù)預(yù)處理子模塊、數(shù)據(jù)處理子模塊和批處理視圖存儲(chǔ)子模塊；

所述數(shù)據(jù)預(yù)處理子模塊用于對(duì)接收的實(shí)時(shí)數(shù)據(jù)采用數(shù)據(jù)集成技術(shù)、數(shù)據(jù)變換技術(shù)、數(shù)據(jù)規(guī)約技術(shù)進(jìn)行持久化處理；

所述數(shù)據(jù)處理子模塊在滿(mǎn)足執(zhí)行批處理?xiàng)l件的情況下，采用重計(jì)算的機(jī)制對(duì)經(jīng)持久化處理的實(shí)時(shí)數(shù)據(jù)進(jìn)行批處理；

所述批處理視圖存儲(chǔ)子模塊用于將數(shù)據(jù)處理子模塊得到的處理結(jié)果保存在Hbase中，以生成不同粒度的批處理視圖。

4.根據(jù)權(quán)利要求1所述的基于批處理和流式處理的數(shù)據(jù)處理架構(gòu)，其特征在于：所述流式處理模塊包括數(shù)據(jù)處理子模塊、流式處理視圖存儲(chǔ)子模塊，其中所述數(shù)據(jù)處理子模塊用于采用增量計(jì)算的機(jī)制對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行流式處理，所述流式處理視圖存儲(chǔ)子模塊用于對(duì)數(shù)據(jù)處理子模塊產(chǎn)生的數(shù)據(jù)處理結(jié)果保存在Hbase中，以生成不同粒度的流式處理視圖。

5.根據(jù)權(quán)利要求2所述的基于批處理和流式處理的數(shù)據(jù)處理架構(gòu)，其特征在于：所述數(shù)據(jù)采集模塊采用Flume日志采集系統(tǒng)實(shí)現(xiàn)。

6.根據(jù)權(quán)利要求3所述的基于批處理和流式處理的數(shù)據(jù)處理架構(gòu)，其特征在于：所述批處理模塊采用Spark集群實(shí)現(xiàn)。

7.根據(jù)權(quán)利要求4所述的基于批處理和流式處理的數(shù)據(jù)處理架構(gòu)，其特征在于：所述流式處理模塊采用Storm集群實(shí)現(xiàn)。

8.一種根據(jù)以上權(quán)利要求1~7任一項(xiàng)所述架構(gòu)的數(shù)據(jù)處理方法，其特征在于：包括以下步驟：

S1.數(shù)據(jù)采集模塊用于從多個(gè)數(shù)據(jù)采集終端中獲取采集的實(shí)時(shí)數(shù)據(jù)，并將采集的數(shù)據(jù)傳輸至批處理模塊和流式處理模塊；

S2.批處理模塊對(duì)接收的實(shí)時(shí)數(shù)據(jù)進(jìn)行持久化處理，然后在滿(mǎn)足執(zhí)行批處理?xiàng)l件的情況下，采用重計(jì)算的機(jī)制對(duì)經(jīng)持久化處理的實(shí)時(shí)數(shù)據(jù)進(jìn)行批量處理，并根據(jù)處理的結(jié)果生成不同粒度的批處理視圖；

S3.流式處理模塊對(duì)接收的實(shí)時(shí)數(shù)據(jù)采用增量計(jì)算的機(jī)制進(jìn)行流式處理，并根據(jù)處理的結(jié)果生成不同粒度的流式處理視圖；

S4.數(shù)據(jù)合并模塊根據(jù)具體查詢(xún)需求，采用相應(yīng)的合并策略對(duì)批處理視圖、流式處理視圖進(jìn)行合并；

S5. 數(shù)據(jù)可視化模塊對(duì)批處理視圖、流式處理視圖或合并后的批處理視圖、流式處理視圖進(jìn)行展示；

S6.資源監(jiān)控模塊對(duì)以上流程中數(shù)據(jù)采集模塊、批處理模塊、流式處理模塊、數(shù)據(jù)合并模塊、數(shù)據(jù)可視化模塊進(jìn)行資源監(jiān)控。