[發明專利]一種指標數據獲取方法、裝置、電子設備和存儲介質

在審

• 申請號: 202110705948.7
• 申請日: 2021-06-24
• 公開（公告）號: CN113448752A
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 魯友炳;俞舒;吳迪;張鎮潮;施建生
• 申請（專利權）人: 億企贏網絡科技有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F16/2455
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 豆貝貝

本申請公開了一種指標數據獲取方法、裝置、電子設備和存儲介質，該方法包括：接收業務方發送的指標配置創建請求，并根據指標配置創建請求，生成控制流命令消息；將控制流命令消息發送至kafka消息隊列，以使kafka消息隊列廣播控制流命令消息至flink算子；當接收到事件流消息時，將事件流消息發送至kafka消息隊列，以使flink算子消費事件流消息；利用flink算子對事件流消息進行指標計算，確定指標數據。該方法對事件流消息進行指標計算的實時性較高，延遲性低，且能夠有效降低對網絡帶寬和內存帶來的壓力。

技術領域

本申請涉及大數據技術領域，特別涉及一種指標數據獲取方法、裝置、電子設備和存儲介質。

背景技術

目前，實時指標計算方法采用基于SQL/NoSQL數據庫的實時指標計算方式，這種方式需要從數據庫中查詢歷史所有事件，篩選出來在內存中進行計算，指標計算實時性差，延遲性高，且每次指標計算會返回大量無關數據，對網絡帶寬和內存帶來壓力。

發明內容

本申請的目的是提供一種指標數據獲取方法，對事件流消息進行指標計算的實時性較高，延遲性低，且能夠有效降低對網絡帶寬和內存帶來的壓力。其具體方案如下：

第一方面，本申請公開了一種指標數據獲取方法，包括：

接收業務方發送的指標配置創建請求，并根據所述指標配置創建請求，生成控制流命令消息；

將所述控制流命令消息發送至kafka消息隊列，以使所述kafka消息隊列廣播所述控制流命令消息至flink算子；

當接收到事件流消息時，將所述事件流消息發送至所述kafka消息隊列，以使所述flink算子消費所述事件流消息；

利用所述flink算子對所述事件流消息進行指標計算，確定指標數據。

可選的，所述利用所述flink算子對所述事件流消息進行指標計算，包括：

根據所述控制流命令消息對應的指標規則的標識碼和所述事件流消息的事件ID，生成事件分區key；

將所述事件流消息分配至所述事件分區key對應的目標分區；

在所述目標分區中，利用所述flink算子對所述事件流消息進行指標計算。

可選的，在所述將所述控制流命令消息發送至kafka消息隊列，以使所述kafka消息隊列廣播所述控制流命令消息至flink算子之后，還包括：

將所述控制流命令消息對應的指標規則存儲至分布式文件存儲系統，以使所述控制流命令消息對應的指標規則狀態持久化。

可選的，在所述確定指標數據之后，還包括：

將所述指標數據推送至目標數據庫，以存儲所述指標數據。

可選的，還包括：

當接收到指標規則變更消息時，根據所述指標規則變更消息，生成更新后的控制流命令消息；

將所述更新后的控制流命令消息發送至所述kafka消息隊列，以使所述flink算子消費所述kafka消息隊列廣播的所述更新后的控制流命令消息更新當前指標規則。

第二方面，本申請公開了一種指標數據獲取裝置，包括：

接收模塊，用于接收業務方發送的指標配置創建請求，并根據所述指標配置創建請求，生成控制流命令消息；

第一發送模塊，用于將所述控制流命令消息發送至kafka消息隊列，以使所述kafka消息隊列廣播所述控制流命令消息至flink算子；