[發明專利]基于Spark和Flume的埋點數據采集方法

在審

• 申請號: 202211035102.8
• 申請日: 2022-08-26
• 公開（公告）號: CN115454795A
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 莊力;于揚;張立斌;楊斌
• 申請（專利權）人: 中遠海運科技（北京）有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F16/18;G06F16/215;G06F16/28
• 代理公司: 北京衛智易創專利代理事務所(普通合伙) 16015
• 代理人: 朱春野

本發明實施例公開的基于Spark和Flume的埋點數據采集方法，具體包括：S1、應用程序埋點；S2、flume日志采集系統的source層獲取埋點數據，并通過攔截器將埋點數據發送到channel層；S3、flume日志采集系統的channel層清洗埋點數據，并將清洗后的埋點數據發送到sink層；S4、flume日志采集系統的sink層將埋點數據發送到數據接收方；S5、數據接收方啟動spark計算任務，生成計算結果，并將計算結果發送到hdfs文件系統。提高了數據清洗的速度與清洗準確率并降低了設備成本，支持多種數據源需求，滿足多場景、多行業的數據采集和清洗的任務，埋點數據運算性能提升100％，埋點數據清洗準確率提高39％，效率提高42％。

技術領域

本發明屬于數據處理技術領域，具體涉及基于Spark和Flume的埋點數據采集方法。

背景技術

埋點分析是網站分析的一種常用數據采集方法，在現有技術中，埋點數據清洗通常有如下缺點：(1)采集系統附在生產機器上，而攔截器的清洗工作會占用生產機器的資源，對生產機器造成負擔；(2)采集系統攔截器配置在source層中，影響source層的數據采集進度；(3)采集系統攔截器的清洗方式簡單，無法處理復雜的清洗需求，導致絕大部分時間都浪費在數據采集、清洗的基礎工作。

發明內容

有鑒于此，一些實施例公開的技術方案是基于Spark和Flume的埋點數據采集方法，具體包括：

S1、應用程序埋點；

S2、flume日志采集系統的source層獲取埋點數據，并通過攔截器將埋點數據發送到channel層；

S3、flume日志采集系統的channel層清洗埋點數據，并將清洗后的埋點數據發送到sink層；

S4、flume日志采集系統的sink層將埋點數據發送到數據接收方；

S5、數據接收方啟動spark計算任務，生成計算結果，并將計算結果發送到hdfs文件系統。

進一步，一些實施例公開的基于Spark和Flume的埋點數據采集方法，步驟S2中，flume日志采集系統將不同格式的埋點數據分配至不同的source層。

一些實施例公開的基于Spark和Flume的埋點數據采集方法，步驟S2中，flume日志采集系統中，不同格式的source層的埋點數據發送到不同的channel層。

一些實施例公開的基于Spark和Flume的埋點數據采集方法，步驟S3中，處理不同格式埋點數據的channel層將數據清洗后的埋點數據發送給不同格式埋點數據的sink層。

一些實施例公開的基于Spark和Flume的埋點數據采集方法，步驟S2中，攔截器對不同格式的數據源設置與不同格式相對應的數據清洗規則，并進行數據清洗、過濾，并將清洗、過濾后的埋點數據進行分類處理；將無效的、不符合清洗與過濾規則的埋點數據輸出到無效埋點數據處理類channel層做丟棄處理，將符合清洗與過濾規則的有效埋點數據輸出到有效埋點數據處理類的channel層。

一些實施例公開的基于Spark和Flume的埋點數據采集方法，步驟S4中，flume日志采集系統中不同格式的sink層為不同的數據接收方提供差異化的匯聚數據，將匯聚后的數據發送至不同的數據接收方。

一些實施例公開的基于Spark和Flume的埋點數據采集方法，步驟S2還包括：flume日志采集系統從sink層中獲取清洗后的數據，并將數據推送到source層。

一些實施例公開的基于Spark和Flume的埋點數據采集方法，flume日志采集系統從多個sink層獲取清洗后的數據，source層支持分布式的采集集群服務，自動輸出匯聚后的數據。