[發(fā)明專利]一種創(chuàng)建Flink作業(yè)的方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011621569.1
• 申請(qǐng)日: 2020-12-30
• 公開（公告）號(hào): CN112632082A
• 公開（公告）日: 2021-04-09
• 發(fā)明（設(shè)計(jì)）人: 徐圣杰
• 申請(qǐng)（專利權(quán)）人: 中國農(nóng)業(yè)銀行股份有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/26;G06F16/28
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 劉曉菲

1.一種創(chuàng)建Flink作業(yè)的方法，其特征在于，所述方法包括：

從算子庫中選擇備用算子；所述備用算子用于所述Flink作業(yè)的編排；

按照所述算子規(guī)范、所述備用算子的輸入類型和所述備用算子的輸出類型對(duì)所述備用算子建立上下游連線關(guān)系，設(shè)置所述備用算子的配置參數(shù)值，生成算子拓?fù)鋱D；

基于所述算子拓?fù)鋱D，生成對(duì)應(yīng)的有向無環(huán)圖數(shù)據(jù)結(jié)構(gòu)；

將所述有向無環(huán)圖數(shù)據(jù)結(jié)構(gòu)發(fā)送至后端模塊，以使所述后端模塊對(duì)所述有向無環(huán)圖數(shù)據(jù)結(jié)構(gòu)進(jìn)行解析生成流式圖，進(jìn)而將所述流式圖提交到Flink集群執(zhí)行。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述從算子庫中選擇備用算子之前，所述方法還包括：

獲取算子規(guī)范，所述算子規(guī)范至少包括算子的輸入類型、輸出類型、輸入數(shù)量、輸出數(shù)量、配置參數(shù)、參數(shù)取值范圍和參數(shù)受上下游影響因素；

按照所述算子規(guī)范創(chuàng)建算子；

將所述算子放置于算子庫。

3.一種創(chuàng)建Flink作業(yè)的方法，其特征在于，所述方法包括：

接收前端模塊發(fā)送的Flink作業(yè)對(duì)應(yīng)的有向無環(huán)圖數(shù)據(jù)結(jié)構(gòu)；所述有向無環(huán)圖數(shù)據(jù)結(jié)構(gòu)是基于算子拓?fù)鋱D得到的；所述算子拓?fù)鋱D是通過在算子庫中選擇和所述Flink作業(yè)對(duì)應(yīng)的備用算子，并根據(jù)算子規(guī)范、所述備用算子的輸入類型和所述備用算子的輸出類型對(duì)所述備用算子建立上下游連線關(guān)系，設(shè)置所述備用算子的配置參數(shù)值得到的；

將所述有向無環(huán)圖數(shù)據(jù)結(jié)構(gòu)中的算子放置未處理算子隊(duì)列；

遍歷所述未處理算子隊(duì)列中的任一算子；

當(dāng)正在遍歷的當(dāng)前算子符合預(yù)設(shè)條件時(shí)，對(duì)所述當(dāng)前算子進(jìn)行解析，獲得所述當(dāng)前算子的配置參數(shù)、算子上下游關(guān)系和算子邏輯；所述當(dāng)前算子為所述未處理算子隊(duì)列中的任一算子；

將解析完成的所述當(dāng)前算子從所述未處理算子隊(duì)列中取出，放置到已處理算子隊(duì)列；

基于所述當(dāng)前算子的配置參數(shù)、算子上下游關(guān)系和算子邏輯拼裝流式圖；

重新執(zhí)行所述遍歷所述未處理算子隊(duì)列中的任一算子及后續(xù)步驟直至所述未處理算子隊(duì)列中的算子均被解析；

將所述流式圖提交到Flink集群執(zhí)行。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述當(dāng)正在遍歷的當(dāng)前算子符合預(yù)設(shè)條件時(shí)，對(duì)所述當(dāng)前算子進(jìn)行解析，獲得所述當(dāng)前算子的配置參數(shù)、算子上下游關(guān)系和算子邏輯，包括：

對(duì)正在遍歷的當(dāng)前算子進(jìn)行算子資源調(diào)度；

判斷基于所述算子資源調(diào)度能否獲得所述當(dāng)前算子的輸入資源；

若能獲得所述當(dāng)前算子的輸入資源，對(duì)所述當(dāng)前算子進(jìn)行解析，獲得所述當(dāng)前算子的配置參數(shù)、算子上下游關(guān)系和算子邏輯。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括：

將所述當(dāng)前算子的輸出資源追加到對(duì)應(yīng)的輸出資源隊(duì)列中。

6.一種創(chuàng)建Flink作業(yè)的裝置，其特征在于，所述裝置包括：

選擇單元，用于從算子庫中選擇備用算子；所述備用算子用于所述Flink作業(yè)的編排；

第一生成單元，用于按照所述算子規(guī)范、所述備用算子的輸入類型和所述備用算子的輸出類型對(duì)所述備用算子建立上下游連線關(guān)系，設(shè)置所述備用算子的配置參數(shù)值，生成算子拓?fù)鋱D；

第二生成單元，用于基于所述算子拓?fù)鋱D，生成對(duì)應(yīng)的有向無環(huán)圖數(shù)據(jù)結(jié)構(gòu)；

發(fā)送單元，用于將所述有向無環(huán)圖數(shù)據(jù)結(jié)構(gòu)發(fā)送至后端模塊，以使所述后端模塊對(duì)所述有向無環(huán)圖數(shù)據(jù)結(jié)構(gòu)進(jìn)行解析生成流式圖，進(jìn)而將所述流式圖提交到Flink集群執(zhí)行。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述裝置還包括：

獲取單元，用于在所述從算子庫中選擇備用算子之前獲取算子規(guī)范，所述算子規(guī)范至少包括算子的輸入類型、輸出類型、輸入數(shù)量、輸出數(shù)量、配置參數(shù)、參數(shù)取值范圍和參數(shù)受上下游影響因素；

創(chuàng)建單元，用于按照所述算子規(guī)范創(chuàng)建算子；

放置單元，用于將所述算子放置于算子庫。