[發明專利]一種創建Flink作業的方法及裝置

在審

• 申請號: 202011621569.1
• 申請日: 2020-12-30
• 公開（公告）號: CN112632082A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 徐圣杰
• 申請（專利權）人: 中國農業銀行股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/26;G06F16/28
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉曉菲

本申請公開了一種創建Flink作業的方法及裝置，該方法包括：從算子庫中選擇備用算子，備用算子用于Flink作業的編排。按照算子規范、備用算子的輸入類型和備用算子的輸出類型對備用算子建立上下游連線關系，設置備用算子的配置參數值，生成算子拓撲圖。基于算子拓撲圖，生成對應的有向無環圖數據結構。將有向無環圖數據結構發送至后端模塊，以使后端模塊對有向無環圖數據結構進行解析生成流式圖，進而將流式圖提交到Flink集群執行。通過創建算子，利用不同的算子構成不同的可視化算子拓撲圖，可以編排不同的Flink作業，開發效率高、可修改性、靈活性強。

技術領域

本申請涉及計算機技術領域，尤其涉及一種創建Flink作業的方法及裝置。

背景技術

目前，通過結構化查詢語言(Structured Query Language，SQL)開發Flink作業。但是當有新的Flink作業配置需求或者現有Flink作業配置方式變化時，需要對SQL語法定義進行調整，相應的SQL解析程序也要修改，可維護性差、靈活性差。

發明內容

為了解決上述技術問題，本申請提供了一種創建Flink作業的方法及裝置，用于可視化編排Flink作業，靈活性強，可維護性強。

為了實現上述目的，本申請實施例提供的技術方案如下：

本申請實施例提供了一種創建Flink作業的方法，該方法包括：

從算子庫中選擇備用算子；所述備用算子用于所述Flink作業的編排；

按照所述算子規范、所述備用算子的輸入類型和所述備用算子的輸出類型對所述備用算子建立上下游連線關系，設置所述備用算子的配置參數值，生成算子拓撲圖；

基于所述算子拓撲圖，生成對應的有向無環圖數據結構；

將所述有向無環圖數據結構發送至后端模塊，以使所述后端模塊對所述有向無環圖數據結構進行解析生成流式圖，進而將所述流式圖提交到Flink集群執行。

可選的，在所述從算子庫中選擇備用算子之前，所述方法還包括：

獲取算子規范，所述算子規范至少包括算子的輸入類型、輸出類型、輸入數量、輸出數量、配置參數、參數取值范圍和參數受上下游影響因素；

按照所述算子規范創建算子；

將所述算子放置于算子庫。

本申請實施例還提供了一種創建Flink作業的方法，該方法包括：

接收前端模塊發送的Flink作業對應的有向無環圖數據結構；所述有向無環圖數據結構是基于算子拓撲圖得到的；所述算子拓撲圖是通過在算子庫中選擇和所述Flink作業對應的備用算子，并根據算子規范、所述備用算子的輸入類型和所述備用算子的輸出類型對所述備用算子建立上下游連線關系，設置所述備用算子的配置參數值得到的；

將所述有向無環圖數據結構中的算子放置未處理算子隊列；

遍歷所述未處理算子隊列中的任一算子；

當正在遍歷的當前算子符合預設條件時，對所述當前算子進行解析，獲得所述當前算子的配置參數、算子上下游關系和算子邏輯；所述當前算子為所述未處理算子隊列中的任一算子；

將解析完成的所述當前算子從所述未處理算子隊列中取出，放置到已處理算子隊列；

基于所述當前算子的配置參數、算子上下游關系和算子邏輯拼裝流式圖；

重新執行所述遍歷所述未處理算子隊列中的任一算子及后續步驟直至所述未處理算子隊列中的算子均被解析；

將所述流式圖提交到Flink集群執行。