[發(fā)明專利]基于FlinkSQL的實(shí)時數(shù)據(jù)分析業(yè)務(wù)開發(fā)方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111301992.8
• 申請日: 2021-11-04
• 公開（公告）號: CN113986204A
• 公開（公告）日: 2022-01-28
• 發(fā)明（設(shè)計）人: 王橋;張晨
• 申請（專利權(quán)）人: 重慶海創(chuàng)云鏈數(shù)字科技有限公司
• 主分類號: G06F8/20
• 分類號: G06F8/20;G06F9/50;G06F16/242
• 代理公司: 成都頂峰專利事務(wù)所(普通合伙) 51224
• 代理人: 曹源

1.一種基于FlinkSQL的實(shí)時數(shù)據(jù)分析業(yè)務(wù)開發(fā)方法，其特征在于，包括：

實(shí)時流處理平臺對自定義FlinkSQL語句的實(shí)時任務(wù)分配yarn隊(duì)列資源；

實(shí)時流處理平臺初始化所述實(shí)時任務(wù)；

Flink客戶端解析所述實(shí)時任務(wù)的業(yè)務(wù)邏輯，得到對應(yīng)的執(zhí)行程序；

Flink客戶端將所述執(zhí)行程序托管給yarn集群，以便yarn集群通過所述執(zhí)行程序?qū)Υ治鰯?shù)據(jù)進(jìn)行分析。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，實(shí)時流處理平臺初始化所述實(shí)時任務(wù)，包括：

實(shí)時流處理平臺驗(yàn)證所述實(shí)時任務(wù)中的處理邏輯和所述實(shí)時任務(wù)的執(zhí)行權(quán)限；

Flink客戶端解析所述實(shí)時任務(wù)的業(yè)務(wù)邏輯，包括：

所述實(shí)時任務(wù)中的處理邏輯和所述實(shí)時任務(wù)的執(zhí)行權(quán)限均被驗(yàn)證通過后，F(xiàn)link客戶端解析所述實(shí)時任務(wù)的業(yè)務(wù)邏輯。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，實(shí)時流處理平臺對自定義FlinkSQL語句的實(shí)時任務(wù)分配yarn隊(duì)列資源，包括：

實(shí)時流處理平臺響應(yīng)用戶的分配操作對自定義FlinkSQL語句的實(shí)時任務(wù)分配yarn隊(duì)列資源；或

實(shí)時流處理平臺根據(jù)默認(rèn)的分配方式對自定義FlinkSQL語句的實(shí)時任務(wù)分配yarn隊(duì)列資源。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，實(shí)時流處理平臺對自定義FlinkSQL語句的實(shí)時任務(wù)分配yarn隊(duì)列資源之前，所述方法還包括：

實(shí)時流處理平臺響應(yīng)用戶的自定義操作，生成自定義FlinkSQL語句的實(shí)時任務(wù)，所述自定義FlinkSQL語句中包括數(shù)據(jù)源、輸出源和所述業(yè)務(wù)邏輯。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述數(shù)據(jù)源為關(guān)系型數(shù)據(jù)庫、消息隊(duì)列或非關(guān)系型數(shù)據(jù)庫，所述輸出源為關(guān)系型數(shù)據(jù)庫、消息隊(duì)列或非關(guān)系型數(shù)據(jù)庫。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，F(xiàn)link客戶端解析所述實(shí)時任務(wù)的業(yè)務(wù)邏輯，得到對應(yīng)的執(zhí)行程序，包括：

Flink客戶端調(diào)用SQL解析引擎將所述實(shí)時任務(wù)的業(yè)務(wù)邏輯進(jìn)行拆分，得到所述執(zhí)行程序。

7.一種基于FlinkSQL的實(shí)時數(shù)據(jù)分析業(yè)務(wù)開發(fā)系統(tǒng)，其特征在于，包括實(shí)時流處理平臺和Flink客戶端；

實(shí)時流處理平臺用于對自定義FlinkSQL語句的實(shí)時任務(wù)分配yarn隊(duì)列資源和初始化所述實(shí)時任務(wù)；

Flink客戶端用于解析所述實(shí)時任務(wù)的業(yè)務(wù)邏輯，得到對應(yīng)的執(zhí)行程序；以及

將所述執(zhí)行程序托管給yarn集群，以便yarn集群通過所述執(zhí)行程序?qū)Υ治鰯?shù)據(jù)進(jìn)行分析。

8.根據(jù)權(quán)利要求7所述的基于FlinkSQL的實(shí)時數(shù)據(jù)分析業(yè)務(wù)開發(fā)系統(tǒng)，其特征在于，實(shí)時流處理平臺在用于初始化所述實(shí)時任務(wù)時，具體用于：

驗(yàn)證所述實(shí)時任務(wù)中的處理邏輯和所述實(shí)時任務(wù)的執(zhí)行權(quán)限；

Flink客戶端在用于解析所述實(shí)時任務(wù)的業(yè)務(wù)邏輯時，具體用于：

所述實(shí)時任務(wù)中的處理邏輯和所述實(shí)時任務(wù)的執(zhí)行權(quán)限均被驗(yàn)證通過后，解析所述實(shí)時任務(wù)的業(yè)務(wù)邏輯。

9.根據(jù)權(quán)利要求7所述的基于FlinkSQL的實(shí)時數(shù)據(jù)分析業(yè)務(wù)開發(fā)系統(tǒng)，其特征在于，實(shí)時流處理平臺在用于對自定義FlinkSQL語句的實(shí)時任務(wù)分配yarn隊(duì)列資源時，具體用于：

響應(yīng)用戶的分配操作對自定義FlinkSQL語句的實(shí)時任務(wù)分配yarn隊(duì)列資源；或

根據(jù)默認(rèn)的分配方式對自定義FlinkSQL語句的實(shí)時任務(wù)分配yarn隊(duì)列資源。

10.根據(jù)權(quán)利要求7所述的基于FlinkSQL的實(shí)時數(shù)據(jù)分析業(yè)務(wù)開發(fā)系統(tǒng)，其特征在于，實(shí)時流處理平臺還用于響應(yīng)用戶的自定義操作，生成自定義FlinkSQL語句的實(shí)時任務(wù)，所述自定義FlinkSQL語句中包括數(shù)據(jù)源、輸出源和所述業(yè)務(wù)邏輯。