[發明專利]一種基于Kafka的埋點數據實時采集計算和存儲的方法

在審

• 申請號: 202011079858.3
• 申請日: 2020-10-10
• 公開（公告）號: CN112422445A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 胡榮德;陳思成;喻川;蔡亮;何云海;何文昌;趙偉杰;王雅蘭;譚巍;田浩兵
• 申請（專利權）人: 四川新網銀行股份有限公司
• 主分類號: H04L12/803
• 分類號: H04L12/803;H04L29/12;H04L12/24;G06Q30/02;G06F16/25;G06F16/26;G06F16/28
• 代理公司: 成都智言知識產權代理有限公司 51282
• 代理人: 濮云杉

1.一種基于Kafka的埋點數據實時采集計算和存儲的方法，其特征在于，包括：

A.定義前端埋點內容和后端接口埋點內容，并在前端和后端進行埋點；

B.根據用戶在操作業務系統時產生的埋點數據類型，選擇前端或后端與埋點采集系統建立連接；

C.建立連接后，埋點采集系統采集并接收前端埋點數據或后端接口埋點數據；

D.埋點采集系統解析接收到的埋點數據，得到基本字段和衍生字段，將得到的基本字段和衍生字段實時轉發至Kafka消息隊列；

E.埋點采集系統根據步驟D中得到的基礎字段和衍生字段，對產品運營、用戶行為分析涉及到的業務指標進行統計計算得到實時指標，并將上述實時指標實時轉發至Kafka消息隊列的topic_result中；

F.可視化系統通過實時消費步驟E所述Kafka消息隊列topic_result中的業務指標，或查詢實時數據倉庫中的HBase業務指標表，將業務指標進行可視化展現，將步驟E中所述的業務指標、步驟D中得到的基本字段和衍生字段依依次持久化存儲至實時數據倉庫、離線數據倉庫中。

G.業務指標監控與告警：在n分鐘內，步驟E中的業務指標超過指標閾值上限、或低于閾值下限，兩者均由埋點采集系統發送告警短信給應用負責人，n為自然數，指標閾值上下限由業務人員根據經驗指定。

2.如權利要求1所述的一種基于Kafka的埋點數據實時采集計算和存儲的方法，其特征在于，在步驟A中，所述的前端埋點內容為用戶行為觸發前端事件所產生的數據，后端接口埋點內容為用戶行為觸發的后端接口調用所產生的數據。

3.如權利要求1所述的一種基于Kafka的埋點數據實時采集計算和存儲的方法，其特征在于，步驟B包括，當用戶在操作業務系統時，如果產生業務系統的前端埋點數據，則業務系統的前端和埋點采集系統接口進行參數校驗，如果產生業務系統的后端埋點數據，則業務系統的后端和埋點采集系統接口進行參數校驗。兩者的參數校驗包括：域名或者ip地址校驗、接口名校驗、端口號校驗；根據預先設定，校驗成功后，再建立socket連接。

4.如權利要求1或3所述的一種基于Kafka的埋點數據實時采集計算和存儲的方法，其特征在于，在步驟C中，所述埋點采集系統采集并接收前端或后端埋點數據，具體為：當步驟B中與埋點采集系統進行連接的為業務系統前端時，埋點采集系統采集并接收前端埋點數據；當步驟B中與埋點采集系統進行連接的為業務系統后端時，埋點采集系統采集并接收后端埋點數據。

5.如權利要求1所述的一種基于Kafka的埋點數據實時采集計算和存儲的方法，其特征在于，在步驟D中：

D1.埋點采集系統接收到結構化的埋點數據，并根據Key-value的形式進行解析，得到前端事件、后端接口，以及每個前端事件對應的其他字段內容，每個后端接口對應的其他字段內容；

D2.將解析到的字段實時轉發至Kafka消息隊列，其中前端事件對應的字段，實時轉發至Kafka消息隊列中名稱為topic_evt的Topic，其中后端接口對應的字段，實時轉發至Kafka消息隊列中名稱為topic_interface的Topic。

D1和D2所述的兩個topic中的數據作為采集到的埋點數據基本字段、衍生字段。