[發(fā)明專利]一種Flink系統(tǒng)資源分配優(yōu)化方法、系統(tǒng)、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111065334.3
• 申請日: 2021-09-12
• 公開（公告）號: CN113986523A
• 公開（公告）日: 2022-01-28
• 發(fā)明（設(shè)計）人: 譚博
• 申請（專利權(quán)）人: 濟(jì)南浪潮數(shù)據(jù)技術(shù)有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 北京連和連知識產(chǎn)權(quán)代理有限公司 11278
• 代理人: 陳黎明;李紅蕭

1.一種Flink系統(tǒng)資源分配優(yōu)化方法，其特征在于，包括：

獲取用戶提交的Slot任務(wù)請求，并判斷所述Slot任務(wù)請求中是否存在用戶自定義的配置參數(shù)；

響應(yīng)于所述Slot任務(wù)請求中存在所述配置參數(shù)，判斷所述Flink系統(tǒng)是否滿足所述配置參數(shù)的要求；

響應(yīng)于所述Flink系統(tǒng)滿足所述配置參數(shù)的要求，根據(jù)所述配置參數(shù)為所述Slot任務(wù)請求建立Slot任務(wù)；

響應(yīng)于所述Slot任務(wù)建立完成，判斷所述Flink系統(tǒng)剩余資源是否滿足所述Slot任務(wù)請求的配置參數(shù)所需求的資源，響應(yīng)于所述Flink系統(tǒng)剩余資源滿足所述Slot任務(wù)請求的配置參數(shù)所需求的資源，將所述Slot任務(wù)分配給任務(wù)執(zhí)行器進(jìn)行執(zhí)行。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

響應(yīng)于所述Flink系統(tǒng)剩余資源不滿足所述Slot任務(wù)請求的配置參數(shù)所需求的資源，將所述Slot任務(wù)掛起并調(diào)整所述任務(wù)執(zhí)行器的任務(wù)分配。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述調(diào)整所述任務(wù)執(zhí)行器的任務(wù)分配包括：

選擇所述Flink系統(tǒng)中的多個任務(wù)執(zhí)行器中的一個或多個作為待調(diào)整任務(wù)執(zhí)行器，并停止向所述待調(diào)整任務(wù)執(zhí)行器分配Slot任務(wù)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述調(diào)整所述任務(wù)執(zhí)行器的任務(wù)分配還包括：

響應(yīng)于所述待調(diào)整任務(wù)執(zhí)行器中的已有Slot任務(wù)執(zhí)行完成，釋放所述已有Slot任務(wù)的資源，并重新判斷所述待調(diào)整任務(wù)執(zhí)行器的剩余資源是否滿足所述Slot任務(wù)請求的配置參數(shù)所需求的資源；

響應(yīng)于所述待調(diào)整任務(wù)執(zhí)行器中的剩余資源滿足所述Slot任務(wù)請求的配置參數(shù)所需求的資源，將所述Slot任務(wù)分配給所述待調(diào)整執(zhí)行器執(zhí)行。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述調(diào)整所述任務(wù)執(zhí)行器的任務(wù)分配還包括：

響應(yīng)于所述Flink系統(tǒng)中的多個任務(wù)執(zhí)行器中任一個任務(wù)執(zhí)行器的剩余資源滿足所述Slot任務(wù)請求的配置參數(shù)所需求的資源，將所述待調(diào)整任務(wù)執(zhí)行器調(diào)整為普通任務(wù)執(zhí)行器。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述判斷所述Flink系統(tǒng)是否滿足所述配置參數(shù)的要求包括：

任務(wù)執(zhí)行器通過心跳檢測的方式向所述Flink系統(tǒng)發(fā)送任務(wù)執(zhí)行器的剩余資源；

Flink系統(tǒng)將所述Slot任務(wù)請求的配置參數(shù)所需求的資源與所述任務(wù)執(zhí)行器發(fā)送來的剩余資源進(jìn)行對比，以判斷所述任務(wù)執(zhí)行器發(fā)送來的剩余資源是否大于所述Slot任務(wù)請求的配置參數(shù)所需求的資源。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

響應(yīng)于所述Slot任務(wù)請求中不存在所述配置參數(shù)，按照默認(rèn)配置為所述Slot任務(wù)請求建立Slot任務(wù)。

8.一種Flink系統(tǒng)資源分配優(yōu)化系統(tǒng)，其特征在于，包括：

解析模塊，所述解析模塊配置用于獲取用戶提交的Slot任務(wù)請求，并判斷所述Slot任務(wù)請求中是否存在用戶自定義的配置參數(shù)；

判斷模塊，所述判斷模塊配置用于響應(yīng)于所述Slot任務(wù)請求中存在所述配置參數(shù)，判斷所述Flink系統(tǒng)是否滿足所述配置參數(shù)的要求；

任務(wù)創(chuàng)建模塊，所述任務(wù)創(chuàng)建模塊配置用于響應(yīng)于所述Flink系統(tǒng)滿足所述配置參數(shù)的要求，根據(jù)所述配置參數(shù)為所述Slot任務(wù)請求建立Slot任務(wù)；

任務(wù)執(zhí)行模塊，所述任務(wù)執(zhí)行模塊配置用于響應(yīng)于所述Slot任務(wù)建立完成，判斷所述Flink系統(tǒng)剩余資源是否滿足所述Slot任務(wù)請求的配置參數(shù)所需求的資源，響應(yīng)于所述Flink系統(tǒng)剩余資源滿足所述Slot任務(wù)請求的配置參數(shù)所需求的資源，將所述Slot任務(wù)分配給任務(wù)執(zhí)行器進(jìn)行執(zhí)行。

9.一種計算機(jī)設(shè)備，其特征在于，包括：

至少一個處理器；以及

存儲器，所述存儲器存儲有可在所述處理器上運行的計算機(jī)指令，所述指令由所述處理器執(zhí)行時實現(xiàn)權(quán)利要求1-7任意一項所述方法的步驟。

10.一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)存儲有計算機(jī)程序，其特征在于，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1-7任意一項所述方法的步驟。