[發明專利]基于FlinkSQL的實時數據分析業務開發方法及系統

在審

• 申請號: 202111301992.8
• 申請日: 2021-11-04
• 公開（公告）號: CN113986204A
• 公開（公告）日: 2022-01-28
• 發明（設計）人: 王橋;張晨
• 申請（專利權）人: 重慶海創云鏈數字科技有限公司
• 主分類號: G06F8/20
• 分類號: G06F8/20;G06F9/50;G06F16/242
• 代理公司: 成都頂峰專利事務所(普通合伙) 51224
• 代理人: 曹源

本發明涉及實時數據分析技術領域，公開了一種基于FlinkSQL的實時數據分析業務開發方法及系統，基于FlinkSQL的實時數據分析業務開發方法包括：實時流處理平臺對自定義FlinkSQL語句的實時任務分配yarn隊列資源；實時流處理平臺初始化所述實時任務；Flink客戶端解析實時任務的業務邏輯，得到對應的執行程序；Flink客戶端將執行程序托管給yarn集群，以便yarn集群通過執行程序對待分析數據進行分析。本發明提供的基于FlinkSQL的實時數據分析業務開發方法及系統降低了實時數據分析業務的開發難度，以便于在對實時數據分析業務開發時滿足業務功能的實時性需求。

技術領域

本發明涉及實時數據分析技術領域，具體涉及一種基于FlinkSQL的實時數據分析業務開發方法及系統。

背景技術

目前，對于實時數據的分析處理常采用的方式是使用Oracle數據庫(OracleDatabase)存儲過程以及開源流計算處理的混合架構，然而開源流計算架構在使用中需要對應的編程語言，針對流程復雜、繁瑣的業務功能，開發的難度比較大，因而在對實時數據分析業務開發時，往往難以滿足業務功能的實時性需求。

因此，如何提供一種有效的方案，以便于在對實時數據分析業務開發時滿足業務功能的實時性需求，已成為現有技術中一亟待解決的難題。

發明內容

為了解決現有技術中存在的對實時數據分析業務開發時，往往難以滿足業務功能的實時性需求的問題，本發明的目的在于提供一種基于FlinkSQL的實時數據分析業務開發方法及系統，以便于在對實時數據分析業務開發時滿足業務功能的實時性需求。

第一方面，本發明提供了一種基于FlinkSQL的實時數據分析業務開發方法，包括：

實時流處理平臺對自定義FlinkSQL語句的實時任務分配yarn隊列資源；

實時流處理平臺初始化所述實時任務；

Flink客戶端解析所述實時任務的業務邏輯，得到對應的執行程序；

Flink客戶端將所述執行程序托管給yarn集群，以便yarn集群通過所述執行程序對待分析數據進行分析。

在一個可能的設計中，實時流處理平臺初始化所述實時任務，包括：

實時流處理平臺驗證所述實時任務中的處理邏輯和所述實時任務的執行權限；

Flink客戶端解析所述實時任務的業務邏輯，包括：

所述實時任務中的處理邏輯和所述實時任務的執行權限均被驗證通過后，Flink客戶端解析所述實時任務的業務邏輯。

在一個可能的設計中，實時流處理平臺對自定義FlinkSQL語句的實時任務分配yarn隊列資源，包括：

實時流處理平臺響應用戶的分配操作對自定義FlinkSQL語句的實時任務分配yarn隊列資源；或

實時流處理平臺根據默認的分配方式對自定義FlinkSQL語句的實時任務分配yarn隊列資源。

在一個可能的設計中，實時流處理平臺對自定義FlinkSQL語句的實時任務分配yarn隊列資源之前，所述方法還包括：

實時流處理平臺響應用戶的自定義操作，生成自定義FlinkSQL語句的實時任務，所述自定義FlinkSQL語句中包括數據源、輸出源和所述業務邏輯。

在一個可能的設計中，所述數據源為關系型數據庫、消息隊列或非關系型數據庫，所述輸出源為關系型數據庫、消息隊列或非關系型數據庫。

在一個可能的設計中，Flink客戶端解析所述實時任務的業務邏輯，得到對應的執行程序，包括：