[發(fā)明專利]一種Flink系統(tǒng)資源分配優(yōu)化方法、系統(tǒng)、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111065334.3
• 申請(qǐng)日: 2021-09-12
• 公開（公告）號(hào): CN113986523A
• 公開（公告）日: 2022-01-28
• 發(fā)明（設(shè)計(jì)）人: 譚博
• 申請(qǐng)（專利權(quán)）人: 濟(jì)南浪潮數(shù)據(jù)技術(shù)有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50;G06F9/48
• 代理公司: 北京連和連知識(shí)產(chǎn)權(quán)代理有限公司 11278
• 代理人: 陳黎明;李紅蕭

一種Flink系統(tǒng)資源分配優(yōu)化方法，包括：獲取用戶提交的Slot任務(wù)請(qǐng)求，判斷Slot任務(wù)請(qǐng)求中是否存在用戶自定義的配置參數(shù)；響應(yīng)于存在配置參數(shù)，判斷Flink系統(tǒng)是否滿足配置參數(shù)的要求；響應(yīng)于滿足配置參數(shù)的要求，根據(jù)配置參數(shù)為Slot任務(wù)請(qǐng)求建立Slot任務(wù)；響應(yīng)于Slot任務(wù)建立完成，判斷Flink系統(tǒng)剩余資源是否滿足Slot任務(wù)請(qǐng)求的配置參數(shù)所需求的資源，響應(yīng)于滿足Slot任務(wù)請(qǐng)求的配置參數(shù)所需求的資源，將Slot任務(wù)分配給任務(wù)執(zhí)行器。通過上述方法，提交任務(wù)的時(shí)候可以采用默認(rèn)的資源配置也可以采用自定義的配置使用資源，避免提前預(yù)定義過大資源的Slot，運(yùn)行需求資源小的任務(wù)造成的資源浪費(fèi)。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)云計(jì)算領(lǐng)域，具體涉及一種Flink系統(tǒng)資源分配優(yōu)化方法、系統(tǒng)、設(shè)備及介質(zhì)。

背景技術(shù)

Flink作為目前開源社區(qū)中唯一集高吞吐、低延遲、高性能三者于一身的分布式流式處理框架，被廣泛的用于實(shí)時(shí)智能推薦、復(fù)雜事件處理、實(shí)時(shí)欺詐監(jiān)測(cè)、實(shí)時(shí)數(shù)倉和ETL、實(shí)時(shí)報(bào)表等應(yīng)用場(chǎng)景。當(dāng)前Flink的資源管理方式是粗粒度的，集群會(huì)提前預(yù)定義好一個(gè)任務(wù)執(zhí)行器中Slot的個(gè)數(shù)，這樣每個(gè)Slot的資源就成了一個(gè)固定值，無論每個(gè)任務(wù)或者算子需要使用多少資源，都將任務(wù)部署到預(yù)定義的Slot中，這樣的資源管理方式比較簡(jiǎn)單、易于配置。為了滿足資源請(qǐng)求比較大的任務(wù)，需要將Slot預(yù)定義成比較大的，但是對(duì)于資源需求比較小的任務(wù)，很明顯這種分配方式會(huì)造成資源的浪費(fèi)。

因此，亟需一種可有效解決Flink資源分配不均衡的問題的可行方案。

發(fā)明內(nèi)容

為解決以上問題，本發(fā)明提出了一種Flink系統(tǒng)資源分配優(yōu)化方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)，其中方法包括：

獲取用戶提交的Slot任務(wù)請(qǐng)求，并判斷所述Slot任務(wù)請(qǐng)求中是否存在用戶自定義的配置參數(shù)；

響應(yīng)于所述Slot任務(wù)請(qǐng)求中存在所述配置參數(shù)，判斷所述Flink系統(tǒng)是否滿足所述配置參數(shù)的要求；

響應(yīng)于所述Flink系統(tǒng)滿足所述配置參數(shù)的要求，根據(jù)所述配置參數(shù)為所述Slot任務(wù)請(qǐng)求建立Slot任務(wù)；

響應(yīng)于所述Slot任務(wù)建立完成，判斷所述Flink系統(tǒng)剩余資源是否滿足所述Slot任務(wù)請(qǐng)求的配置參數(shù)所需求的資源，響應(yīng)于所述Flink系統(tǒng)剩余資源滿足所述Slot任務(wù)請(qǐng)求的配置參數(shù)所需求的資源，將所述Slot任務(wù)分配給任務(wù)執(zhí)行器進(jìn)行執(zhí)行。

在本發(fā)明的一些實(shí)施方式中，方法還包括：

響應(yīng)于所述Flink系統(tǒng)剩余資源不滿足所述Slot任務(wù)請(qǐng)求的配置參數(shù)所需求的資源，將所述Slot任務(wù)掛起并調(diào)整所述任務(wù)執(zhí)行器的任務(wù)分配。

在本發(fā)明的一些實(shí)施方式中，調(diào)整所述任務(wù)執(zhí)行器的任務(wù)分配包括：

選擇所述Flink系統(tǒng)中的多個(gè)任務(wù)執(zhí)行器中的一個(gè)或多個(gè)作為待調(diào)整任務(wù)執(zhí)行器，并停止向所述待調(diào)整任務(wù)執(zhí)行器分配Slot任務(wù)。

在本發(fā)明的一些實(shí)施方式中，調(diào)整所述任務(wù)執(zhí)行器的任務(wù)分配還包括：

響應(yīng)于所述待調(diào)整任務(wù)執(zhí)行器中的已有Slot任務(wù)執(zhí)行完成，釋放所述已有Slot任務(wù)的資源，并重新判斷所述待調(diào)整任務(wù)執(zhí)行器的剩余資源是否滿足所述Slot任務(wù)請(qǐng)求的配置參數(shù)所需求的資源；

響應(yīng)于所述待調(diào)整任務(wù)執(zhí)行器中的剩余資源滿足所述Slot任務(wù)請(qǐng)求的配置參數(shù)所需求的資源，將所述Slot任務(wù)分配給所述待調(diào)整執(zhí)行器執(zhí)行。

在本發(fā)明的一些實(shí)施方式中，調(diào)整所述任務(wù)執(zhí)行器的任務(wù)分配還包括：

響應(yīng)于所述Flink系統(tǒng)中的多個(gè)任務(wù)執(zhí)行器中任一個(gè)任務(wù)執(zhí)行器的剩余資源滿足所述Slot任務(wù)請(qǐng)求的配置參數(shù)所需求的資源，將所述待調(diào)整任務(wù)執(zhí)行器調(diào)整為普通任務(wù)執(zhí)行器。