[發(fā)明專利]一種基于Flink的數(shù)據(jù)流多向處理系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201811373337.1
• 申請日: 2018-11-19
• 公開（公告）號(hào): CN109710731A
• 公開（公告）日: 2019-05-03
• 發(fā)明（設(shè)計(jì)）人: 李志強(qiáng);石波;胡佳;謝小明;丁衛(wèi)星;徐晶
• 申請（專利權(quán)）人: 北京計(jì)算機(jī)技術(shù)及應(yīng)用研究所
• 主分類號(hào): G06F16/332
• 分類號(hào): G06F16/332;G06F9/54
• 代理公司: 中國兵器工業(yè)集團(tuán)公司專利中心 11011
• 代理人: 王雪芬

1.一種基于Flink的數(shù)據(jù)流多向處理系統(tǒng)，其特征在于，包括數(shù)據(jù)緩存模塊、數(shù)據(jù)多向處理模塊和數(shù)據(jù)存儲(chǔ)模塊；

所述數(shù)據(jù)緩存模塊用于緩存從不同的源收集的數(shù)據(jù)，并轉(zhuǎn)發(fā)給數(shù)據(jù)多向處理模塊；所述數(shù)據(jù)多向處理模塊用于接收來自數(shù)據(jù)緩存模塊的數(shù)據(jù)，根據(jù)多業(yè)務(wù)需求把日志流進(jìn)行多緯度處理分析，再把對(duì)應(yīng)的日志流發(fā)送給其對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)模塊。

2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)緩存模塊采用Apache Kafka實(shí)現(xiàn)。

3.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)多向處理模塊中使用flink-kafka連接器對(duì)Kafka的流數(shù)據(jù)進(jìn)行消費(fèi)處理，在flink中進(jìn)行數(shù)據(jù)多層次，多流向的處理。

4.如權(quán)利要求3所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)多向處理模塊具體采用如下過程對(duì)Kafka的流數(shù)據(jù)進(jìn)行消費(fèi)處理：

初始化消費(fèi)者：由連接器創(chuàng)建kafka的消費(fèi)者，此處只創(chuàng)建一個(gè)消費(fèi)者，以接收緩存在kafka的數(shù)據(jù)；

篩選并轉(zhuǎn)換：創(chuàng)建過濾器，對(duì)數(shù)據(jù)源進(jìn)行過濾，去除非法數(shù)據(jù)；創(chuàng)建轉(zhuǎn)換器，對(duì)多種業(yè)務(wù)需求進(jìn)行數(shù)據(jù)統(tǒng)一化格式轉(zhuǎn)換處理；

多向處理：對(duì)同一個(gè)數(shù)據(jù)按照多種不同的處理方式進(jìn)行處理，并行經(jīng)過多種不同的業(yè)務(wù)邏輯，實(shí)現(xiàn)單消費(fèi)者對(duì)數(shù)據(jù)的多方位分析：

第一種業(yè)務(wù)處理流程，實(shí)現(xiàn)峰值和熱詞的統(tǒng)計(jì)收集：

創(chuàng)建統(tǒng)計(jì)函數(shù)，使用key計(jì)數(shù)，創(chuàng)建業(yè)務(wù)需求的自定義計(jì)數(shù)邏輯，實(shí)現(xiàn)對(duì)數(shù)據(jù)峰值、熱詞計(jì)數(shù)，排序；

創(chuàng)建存儲(chǔ)函數(shù)，實(shí)現(xiàn)對(duì)相應(yīng)結(jié)果記錄存儲(chǔ)；

第二種業(yè)務(wù)處理流程，實(shí)現(xiàn)數(shù)據(jù)重點(diǎn)信息收集和存儲(chǔ)：

創(chuàng)建必要的數(shù)據(jù)轉(zhuǎn)換器，實(shí)現(xiàn)對(duì)數(shù)據(jù)特征的提取處理、加工，實(shí)現(xiàn)數(shù)據(jù)的泛化，保留各方面數(shù)據(jù)中相同或一定程度上相似的特征；

創(chuàng)建過濾業(yè)務(wù)，去除數(shù)據(jù)中一定程度上發(fā)散或重復(fù)的數(shù)據(jù)；

存儲(chǔ)第二種業(yè)務(wù)處理流程產(chǎn)生的泛化數(shù)據(jù)。

5.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)存儲(chǔ)模塊采取對(duì)EsSink存儲(chǔ)時(shí)的異常處理流程：

檢查Kafka業(yè)務(wù)流程，是否選擇保留數(shù)據(jù)；

保存文件時(shí)處理錯(cuò)誤數(shù)據(jù)。