[發明專利]一種基于Kafka的埋點數據實時采集計算和存儲的方法

在審

• 申請號: 202011079858.3
• 申請日: 2020-10-10
• 公開（公告）號: CN112422445A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 胡榮德;陳思成;喻川;蔡亮;何云海;何文昌;趙偉杰;王雅蘭;譚巍;田浩兵
• 申請（專利權）人: 四川新網銀行股份有限公司
• 主分類號: H04L12/803
• 分類號: H04L12/803;H04L29/12;H04L12/24;G06Q30/02;G06F16/25;G06F16/26;G06F16/28
• 代理公司: 成都智言知識產權代理有限公司 51282
• 代理人: 濮云杉

本發明涉及一種基于Kafka的埋點數據實時采集計算和存儲的方法，包括：A：定義埋點內容并進行埋點；B：用戶觸發產生埋點數據時與系統建立連接；C：建立連接后，系統接收上送的埋點數據；D：所述系統解析埋點數據，得到目標字段并實時轉發至Kafka消息隊列；E：根據目標字段，統計加工實時指標，并轉發至Kafka消息隊列；F：可視化系統實時消費Kafka消息隊列，將業務指標可視化展現，并將業務指標、目標字段持久化存儲至數據倉庫中；G：業務指標監控與告警。本發明能夠解決當前技術中存在的埋點數據采集、加工實時指標效率低下，不能高效及時滿足埋點數據采集領域的實時指標計算、產品運營分析、用戶行為分析、實時監控和預警的需要。

技術領域

本發明涉及數據處理技術，具體涉及一種基于Kafka的埋點數據實時采集計算和存儲的方法。

背景技術

目前，隨著互聯網、移動互聯網的快速發展和5G時代的到來，各式的產品層出不窮，客戶端產品種類也變得更加多樣，用以滿足廣大用戶的需要；用戶使用各類產品的同時，便產生了海量的用戶行為數據。與此同時，海量的用戶行為如果不能得到及時、有效的采集、挖掘、分析和應用，便失去了用戶行為數據本身該有的價值。

實際生產應用中，一方面，用戶行為埋點數據定義不全面、開發流程混亂、使用不規范，埋點的元事件、元數據無統一的管理，這樣便無法滿足全域用戶行為分析、產品智能化，精細化運營等需要。另一方面，已有埋點數據采集技術中，多為異步、準實時、離線的采集、處理、存儲的方式，并無在埋點數據采集的同時，針對產品運營、用戶行為分析業務相關的業務指標進行實時計算、分析、挖掘，并不能及時、高效地滿足埋點采集領域的實時指標分析應用、實時監控、預警的需要。

針對上述問題，目前的技術和應用中，尚無系統的、有效的解決方案。

發明內容

本發明提供了一種基于Kafka的埋點數據實時采集計算和存儲的方法，采用Kafka技術實時采集用戶訪問行為信息，并在源頭加工實時指標，解決當前技術中存在的埋點數據采集、加工實時指標效率低下，不能高效及時滿足埋點數據采集領域的實時指標計算、產品運營分析、用戶行為分析、實時監控和預警的需要。

本發明一種基于Kafka的埋點數據實時采集計算和存儲的方法，包括：

A.定義前端埋點內容和后端接口埋點內容，并在前端和后端進行埋點；

本發明定義的前端埋點內容包括但不限于微信公眾號、小程序、APP、WEB網頁中所涉及的各類事件，如頁面瀏覽事件(page_evt)、用戶事件(user_evt)、啟動(start_evt)和退出事件(quit_evt)、點擊事件(click_evt)、崩潰事件(breakdown_evt)等。當上述的埋點內容也無法滿足業務統計需要時，可對當前的操作定義為自定義事件(custom_evt)，并作為埋點內容。后端接口埋點內容是后端接口調用產生的埋點數據?？蓪ι鲜龅那岸寺顸c數據和后端接口埋點數據進行元數據管理，如生成、啟用、停用、廢除等操作。

對埋點的元事件、元數據進行統一的管理，滿足全域用戶行為分析、產品智能化，精細化運營等需要。

B.根據用戶在操作業務系統時產生的行為，選擇前端或后端與埋點采集系統建立連接；

C.建立連接后，埋點采集系統采集并接收前端埋點數據或后端接口埋點數據；

D.埋點采集系統解析接收到的埋點數據，得到基本字段和衍生字段，將得到的基本字段和衍生字段實時轉發至Kafka消息隊列；；

E.埋點采集系統根據步驟D中得到的基礎字段和衍生字段，對產品運營、用戶行為分析涉及到的業務指標進行匹配、統計、計算得到實時指標，并將上述實時指標實時轉發至Kafka消息隊列的topic_result中；