[發明專利]一種實時數據分析方法及系統

在審

• 申請號: 202210723928.7
• 申請日: 2022-06-24
• 公開（公告）號: CN114969083A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 韓騰輝;尹珺;弓睿;林逸;楊利華
• 申請（專利權）人: 在線途游（北京）科技有限公司;北京云游互動網絡科技有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/22;G06F16/25;G06F16/18
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種實時數據分析方法，其特征在于，包括：

獲取日志的當前表結構；

基于日志的現有表結構對所述當前表結構進行判斷，判斷是否存在新增字段；

根據所述當前表結構存在新增字段的條件，獲取分布式鎖，并根據分布式鎖的節點，利用存儲端API完成現有表結構的修改。

2.根據權利要求1所述的方法，其特征在于，還包括：

通過元數據配置平臺配置用戶配置，利用Flink處理引擎基于用戶配置對日志進行選擇性接收。

3.根據權利要求2所述的方法，其特征在于，所述利用Flink處理引擎基于用戶配置對日志進行選擇性接收，包括：

Flink處理引擎自定義數據源，利用數據源從RDB數據庫中讀取用戶配置；

數據源將讀取到的用戶配置廣播至Flink處理引擎的各任務管理平臺；

各任務管理平臺根據廣播的用戶配置逐行判斷當前日志；其中，任務管理平臺根據用戶配置對日志進行選擇性接收。

4.根據權利要求1所述的方法，其特征在于，

通過數據級別配置平臺配置事件級別配置，Flink處理引擎基于事件級別配置對日志進行分級存儲。

5.根據權利要求4所述的方法，其特征在于，所述通過數據級別配置平臺配置事件級別配置，包括：

配置數據級別配置平臺，并將事件級別配置持久化至RDB數據庫。

6.根據權利要求4所述的方法，其特征在于，所述Flink處理引擎基于事件級別配置對日志進行分級存儲，包括：

Flink處理引擎的轉換算子包括RichMapFunction和CheckpointFunction；其中，RichMapFunction用于在實時分析系統啟動時初始化資源；利用CheckpointFunction完成事件級別配置的定時更新；

Flink處理引擎逐行處理日志，并根據更新的事件級別配置，將不同級別的日志進行分級存儲。

7.根據權利要求6所述的方法，其特征在于，

所述分級存儲包括將日志輸出至不同側輸出流，輸出流包括用于存儲實時日志的實時存儲引擎，和用于存儲非實時日志的非實時存儲引擎；其中，實時存儲引擎包括KUDU，非實時存儲引擎包括OBS。

8.根據權利要求7所述的方法，其特征在于，

Flink處理引擎逐行處理日志，并根據更新的事件級別配置，及根據每日存儲在Redis中的實時日志條數超出閾值時，將超出的實時日志存儲至非實存儲引擎OBS。

9.根據權利要求1所述的方法，其特征在于，

根據Flink處理引擎的指標收集上報平臺實時上報任務執行狀態指標至數據庫；

通過Grafana讀取數據庫中的任務執行狀態指標，并根據讀取的任務執行狀態指標完成數據流狀態展示及異常告警。

10.一種實時數據分析系統，其特征在于，包括：

獲取模塊，獲取日志的當前表結構；

判斷模塊，基于日志的現有表結構對所述當前表結構進行判斷，判斷是否存在新增字段；

修改模塊，根據所述當前表結構存在新增字段的條件，獲取分布式鎖，并根據分布式鎖的節點，利用存儲端API完成現有表結構的修改。