[發明專利]一種實時數據分析方法及系統

在審

• 申請號: 202210723928.7
• 申請日: 2022-06-24
• 公開（公告）號: CN114969083A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 韓騰輝;尹珺;弓睿;林逸;楊利華
• 申請（專利權）人: 在線途游（北京）科技有限公司;北京云游互動網絡科技有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/22;G06F16/25;G06F16/18
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種實時數據分析方法及系統，方法包括：獲取日志的當前表結構；基于日志的現有表結構對所述當前表結構進行判斷，判斷是否存在新增字段；根據所述當前表結構存在新增字段的條件，獲取分布式鎖，并根據分布式鎖的節點，利用存儲端API完成現有表結構的修改。本申請中，根據日志的當前表結構，結合日志的現有表結構對當前表結構進行新增字段的判斷，并根據基于當前表結構存在新增字段，獲取分布式鎖，利用獲取到分布式鎖的節點，通過存儲端API完成現有表結構的新增字段修改，從而完成表結構的自適應修改。

技術領域

本申請涉及數據查詢技術領域，特別涉及一種實時數據分析方法、系統和計算機可讀存儲介質。

背景技術

實時分析系統是一個集數據采集、存儲、分析和決策調優于一體的數據分析系統。但是，現有的實時分析系統無法自適應數據結構變更，使用戶使用實時分析系統的過程中，不能夠高效、快速的完成實時數據的分析。

因此，如何解決上述問題成為本領域技術人員亟待解決的技術問題。

發明內容

本發明的目的是提供一種實時數據分析方法、系統和計算機可讀存儲介質。

為解決上述問題，本發明的第一方面提供了一種實時數據分析方法，包括:

獲取日志的當前表結構；

基于日志的現有表結構對所述當前表結構進行判斷，判斷是否存在新增字段；

根據所述當前表結構存在新增字段的條件，獲取分布式鎖，并根據分布式鎖的節點，利用存儲端API完成現有表結構的修改。

一些實施例中，還包括：

通過元數據配置平臺配置用戶配置，利用Flink處理引擎基于用戶配置對日志進行選擇性接收。

一些實施例中，所述利用Flink處理引擎基于用戶配置對日志進行選擇性接收，包括：

Flink處理引擎自定義數據源，利用數據源從RDB數據庫中讀取用戶配置；

數據源將讀取到的用戶配置廣播至Flink處理引擎的各任務管理平臺；

各任務管理平臺根據廣播的用戶配置逐行判斷當前日志；其中，任務管理平臺根據用戶配置對日志進行選擇性接收。

一些實施例中，通過數據級別配置平臺配置事件級別配置，Flink處理引擎基于事件級別配置對日志進行分級存儲。

一些實施例中，所述通過數據級別配置平臺配置事件級別配置，包括：

配置數據級別配置平臺，并將事件級別配置持久化至RDB數據庫。

一些實施例中，所述Flink處理引擎基于事件級別配置對日志進行分級存儲，包括：

Flink處理引擎的轉換算子包括RichMapFunction和 CheckpointFunction；其中，RichMapFunction用于在實時分析系統啟動時初始化資源；利用CheckpointFunction完成事件級別配置的定時更新；

Flink處理引擎逐行處理日志，并根據更新的事件級別配置，將不同級別的日志進行分級存儲。

一些實施例中，所述分級存儲包括將日志輸出至不同側輸出流，輸出流包括用于存儲實時日志的實時存儲引擎，和用于存儲非實時日志的非實時存儲引擎；其中，實時存儲引擎包括KUDU，非實時存儲引擎包括OBS。

一些實施例中，Flink處理引擎逐行處理日志，并根據更新的事件級別配置，及根據每日存儲在Redis中的實時日志條數超出閾值時，將超出的實時日志存儲至非實存儲引擎OBS。