[發(fā)明專利]基于Spark和Flume的埋點數(shù)據(jù)采集方法

在審

• 申請?zhí)枺?/td>: 202211035102.8
• 申請日: 2022-08-26
• 公開（公告）號: CN115454795A
• 公開（公告）日: 2022-12-09
• 發(fā)明（設(shè)計）人: 莊力;于揚;張立斌;楊斌
• 申請（專利權(quán)）人: 中遠海運科技（北京）有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F16/18;G06F16/215;G06F16/28
• 代理公司: 北京衛(wèi)智易創(chuàng)專利代理事務(wù)所(普通合伙) 16015
• 代理人: 朱春野

1.基于Spark和Flume的埋點數(shù)據(jù)采集方法，其特征在于，包括步驟：

S1、應(yīng)用程序埋點；

S2、flume日志采集系統(tǒng)的source層獲取埋點數(shù)據(jù)，并通過攔截器將埋點數(shù)據(jù)發(fā)送到channel層；

S3、flume日志采集系統(tǒng)的channel層清洗埋點數(shù)據(jù)，并將清洗后的埋點數(shù)據(jù)發(fā)送到sink層；

S4、flume日志采集系統(tǒng)的sink層將埋點數(shù)據(jù)發(fā)送到數(shù)據(jù)接收方；

S5、數(shù)據(jù)接收方啟動spark計算任務(wù)，生成計算結(jié)果，并將計算結(jié)果發(fā)送到hdfs文件系統(tǒng)。

2.根據(jù)權(quán)利要求1所述的基于Spark和Flume的埋點數(shù)據(jù)采集方法，其特征在于，步驟S2中，flume日志采集系統(tǒng)將不同格式的埋點數(shù)據(jù)分配至不同的source層。

3.根據(jù)權(quán)利要求2所述的基于Spark和Flume的埋點數(shù)據(jù)采集方法，其特征在于，步驟S2中，flume日志采集系統(tǒng)將不同格式的source層的埋點數(shù)據(jù)發(fā)送到不同的channel層。

4.根據(jù)權(quán)利要求3所述的基于Spark和Flume的埋點數(shù)據(jù)采集方法，其特征在于，步驟S3中，處理不同格式埋點數(shù)據(jù)的channel層將數(shù)據(jù)清洗后的埋點數(shù)據(jù)發(fā)送給不同格式埋點數(shù)據(jù)的sink層。

5.根據(jù)權(quán)利要求1所述的基于Spark和Flume的埋點數(shù)據(jù)采集方法，其特征在于，步驟S2中，所述攔截器對不同格式的數(shù)據(jù)源設(shè)置與不同格式相對應(yīng)的數(shù)據(jù)清洗規(guī)則，并進行數(shù)據(jù)清洗、過濾，并將清洗、過濾后的埋點數(shù)據(jù)進行分類處理；將無效的、不符合清洗與過濾規(guī)則的埋點數(shù)據(jù)輸出到無效埋點數(shù)據(jù)處理類channel層做丟棄處理，將符合清洗與過濾規(guī)則的有效埋點數(shù)據(jù)輸出到有效埋點數(shù)據(jù)處理類的channel層。

6.根據(jù)權(quán)利要求1所述的基于Spark和Flume的埋點數(shù)據(jù)采集方法，其特征在于，步驟S4中，flume日志采集系統(tǒng)中不同格式的sink層為不同的數(shù)據(jù)接收方提供差異化的匯聚數(shù)據(jù)，將匯聚后的數(shù)據(jù)發(fā)送至不同的數(shù)據(jù)接收方。

7.根據(jù)權(quán)利要求1所述的基于Spark和Flume的埋點數(shù)據(jù)采集方法，其特征在于，步驟S2還包括：flume日志采集系統(tǒng)從sink層中獲取清洗后的數(shù)據(jù)，并將數(shù)據(jù)推送到source層。

8.根據(jù)權(quán)利要求7所述的基于Spark和Flume的埋點數(shù)據(jù)采集方法，其特征在于，flume日志采集系統(tǒng)從多個sink層獲取清洗后的數(shù)據(jù)，source層支持分布式的采集集群服務(wù)，自動輸出匯聚后的數(shù)據(jù)。

9.根據(jù)權(quán)利要求1所述的基于Spark和Flume的埋點數(shù)據(jù)采集方法，其特征在于，flume日志采集系統(tǒng)中，一個source層、一個channel層和一個sink層構(gòu)成一個基本數(shù)據(jù)采集單元，多個基本數(shù)據(jù)采集單元作為java進程散落在多個主機進行埋點數(shù)據(jù)采集。

10.根據(jù)權(quán)利要求1所述的基于Spark和Flume的埋點數(shù)據(jù)采集方法，其特征在于，多個flume日志采集系統(tǒng)同時進行埋點數(shù)據(jù)采集。