[發(fā)明專利]調(diào)度集群的性能確定方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110281595.2
• 申請(qǐng)日: 2021-03-16
• 公開（公告）號(hào): CN112948229A
• 公開（公告）日: 2021-06-11
• 發(fā)明（設(shè)計(jì)）人: 吳培堅(jiān)
• 申請(qǐng)（專利權(quán)）人: 廣州虎牙科技有限公司
• 主分類號(hào): G06F11/34
• 分類號(hào): G06F11/34
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明實(shí)施例公開了一種調(diào)度集群的性能確定方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。所述方法包括：在待處理任務(wù)調(diào)度到調(diào)度集群中運(yùn)行的過程中，采集所述待處理任務(wù)關(guān)聯(lián)的單元任務(wù)的堵塞程度數(shù)據(jù)，所述待處理任務(wù)可以劃分為多個(gè)單元任務(wù)；根據(jù)各所述單元任務(wù)的堵塞程度數(shù)據(jù)，在所述調(diào)度集群中確定待采集數(shù)據(jù)的調(diào)度節(jié)點(diǎn)；獲取所述待采集數(shù)據(jù)的調(diào)度節(jié)點(diǎn)的運(yùn)行數(shù)據(jù)，并確定所述調(diào)度集群的性能分析結(jié)果。本發(fā)明實(shí)施例可以減少采集量，以及減少人工處理成本，提高分析效率。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種調(diào)度集群的性能確定方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

在大數(shù)據(jù)領(lǐng)域通常采用分布式計(jì)算引擎進(jìn)行計(jì)算。然而隨著數(shù)據(jù)的增長與變化，任務(wù)計(jì)算性能也會(huì)隨之受到影響。提供對(duì)節(jié)點(diǎn)的處理性能進(jìn)行自動(dòng)化分析能力，對(duì)于構(gòu)建高效、易用和可維護(hù)的大數(shù)據(jù)平臺(tái)尤為重要。

實(shí)時(shí)任務(wù)的算力分析主要基于節(jié)點(diǎn)的中央處理器(Central Processing Unit，CPU)利用率。現(xiàn)有的性能分析需要人工觀察背壓情況，再登錄各個(gè)計(jì)算節(jié)點(diǎn)使用分析工具查看內(nèi)存、堆棧轉(zhuǎn)儲(chǔ)和CPU使用率等信息，其中，背壓(back pressure)，也叫“反壓”，指的是下游系統(tǒng)處理過慢，導(dǎo)致上游系統(tǒng)阻塞的現(xiàn)象。

在這種方式中，分析過程需要頻繁登錄多臺(tái)節(jié)點(diǎn)，存在重復(fù)操作，同時(shí)分析效率較差。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種調(diào)度集群的性能確定方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，可以減少采集量，以及減少人工處理成本，提高分析效率。

第一方面，本發(fā)明實(shí)施例提供了一種調(diào)度集群的性能確定方法，包括：

在待處理任務(wù)調(diào)度到調(diào)度集群中運(yùn)行的過程中，采集所述待處理任務(wù)關(guān)聯(lián)的單元任務(wù)的堵塞程度數(shù)據(jù)，所述待處理任務(wù)可以劃分為多個(gè)單元任務(wù)；

根據(jù)各所述單元任務(wù)的堵塞程度數(shù)據(jù)，在所述調(diào)度集群中確定待采集數(shù)據(jù)的調(diào)度節(jié)點(diǎn)；

獲取所述待采集數(shù)據(jù)的調(diào)度節(jié)點(diǎn)的運(yùn)行數(shù)據(jù)，并確定所述調(diào)度集群的性能分析結(jié)果。

第二方面，本發(fā)明實(shí)施例還提供了一種調(diào)度集群的性能確定裝置，包括：

堵塞程度數(shù)據(jù)獲取模塊，用于在待處理任務(wù)調(diào)度到調(diào)度集群中運(yùn)行的過程中，采集所述待處理任務(wù)關(guān)聯(lián)的單元任務(wù)的堵塞程度數(shù)據(jù)，所述待處理任務(wù)可以劃分為多個(gè)單元任務(wù)；

待采集調(diào)度節(jié)點(diǎn)確定模塊，用于根據(jù)各所述單元任務(wù)的堵塞程度數(shù)據(jù)，在所述調(diào)度集群中確定待采集數(shù)據(jù)的調(diào)度節(jié)點(diǎn)；

性能分析結(jié)果確定模塊，用于獲取所述待采集數(shù)據(jù)的調(diào)度節(jié)點(diǎn)的運(yùn)行數(shù)據(jù)，并確定所述調(diào)度集群的性能分析結(jié)果。

第三方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如本發(fā)明實(shí)施例中任一所述的調(diào)度集群的性能確定方法。

第四方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本發(fā)明實(shí)施例中任一所述的調(diào)度集群的性能確定方法。

本發(fā)明實(shí)施例通過采集各單元任務(wù)的堵塞程度數(shù)據(jù)，在調(diào)度集群中確定一個(gè)待采集數(shù)據(jù)的調(diào)度節(jié)點(diǎn)，進(jìn)行運(yùn)行數(shù)據(jù)采集，并根據(jù)運(yùn)行于該待采集數(shù)據(jù)的調(diào)度節(jié)點(diǎn)的運(yùn)行數(shù)據(jù)，確定調(diào)度集群的性能分析結(jié)果，解決了現(xiàn)有技術(shù)中人工重復(fù)登錄多臺(tái)節(jié)點(diǎn)進(jìn)行性能分析，導(dǎo)致分析效率差的問題，根據(jù)各任務(wù)單元確定調(diào)度節(jié)點(diǎn)，針對(duì)最能代表堵塞的調(diào)度節(jié)點(diǎn)進(jìn)行分析，提高性能分析準(zhǔn)確率，同時(shí)僅針對(duì)一個(gè)調(diào)度節(jié)點(diǎn)進(jìn)行運(yùn)行數(shù)據(jù)采集，減少采集數(shù)量，減少人工成本，提高分析效率。

附圖說明

圖1是本發(fā)明實(shí)施例一中的一種調(diào)度集群的性能確定方法的流程圖；

圖2a是本發(fā)明實(shí)施例二中的一種調(diào)度集群的性能確定方法的流程圖；