[發(fā)明專利]調(diào)度集群的性能確定方法、裝置、計算機設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110281595.2
• 申請日: 2021-03-16
• 公開（公告）號: CN112948229A
• 公開（公告）日: 2021-06-11
• 發(fā)明（設(shè)計）人: 吳培堅
• 申請（專利權(quán)）人: 廣州虎牙科技有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種調(diào)度集群的性能確定方法，其特征在于，包括：

在待處理任務(wù)調(diào)度到調(diào)度集群中運行的過程中，采集所述待處理任務(wù)關(guān)聯(lián)的單元任務(wù)的堵塞程度數(shù)據(jù)，所述待處理任務(wù)可以劃分為多個單元任務(wù)；

根據(jù)各所述單元任務(wù)的堵塞程度數(shù)據(jù)，在所述調(diào)度集群中確定待采集數(shù)據(jù)的調(diào)度節(jié)點；

獲取所述待采集數(shù)據(jù)的調(diào)度節(jié)點的運行數(shù)據(jù)，并確定所述調(diào)度集群的性能分析結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)各所述單元任務(wù)的堵塞程度數(shù)據(jù)，在所述調(diào)度集群中確定待采集數(shù)據(jù)的調(diào)度節(jié)點，包括：

檢測各所述單元任務(wù)的堵塞程度數(shù)據(jù)之間的差異數(shù)據(jù)；

根據(jù)所述差異數(shù)據(jù)，在各所述單元任務(wù)中，確定目標(biāo)單元任務(wù)；

將執(zhí)行所述目標(biāo)單元任務(wù)的調(diào)度節(jié)點，確定為待采集數(shù)據(jù)的調(diào)度節(jié)點。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述差異數(shù)據(jù)，在各所述單元任務(wù)中，確定目標(biāo)單元任務(wù)，包括：

在確定所述差異數(shù)據(jù)小于等于設(shè)定差異閾值時，從各所述單元任務(wù)中，隨機選擇一個單元任務(wù)，確定為目標(biāo)單元任務(wù)；

在確定所述差異數(shù)據(jù)大于所述設(shè)定差異閾值時，在各所述單元任務(wù)中，查詢堵塞源頭任務(wù)，確定為目標(biāo)單元任務(wù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述調(diào)度節(jié)點的運行數(shù)據(jù)包括所述調(diào)度節(jié)點中各線程的運行數(shù)據(jù)；

所述確定所述調(diào)度集群的性能分析結(jié)果，包括：

根據(jù)所述待采集數(shù)據(jù)的調(diào)度節(jié)點中各線程的運行數(shù)據(jù)，篩選出輔助線程和主線程，所述主線程用于執(zhí)行單元任務(wù)，所述輔助線程用于輔助所述主線程執(zhí)行單元任務(wù)；

對各所述主線程的運行數(shù)據(jù)和各所述輔助線程的運行數(shù)據(jù)進行比較和分析，生成所述調(diào)度集群的性能分析結(jié)果。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述待采集數(shù)據(jù)的調(diào)度節(jié)點中各線程的運行數(shù)據(jù)，篩選出輔助線程，包括：

根據(jù)所述待采集數(shù)據(jù)的調(diào)度節(jié)點中各線程的運行數(shù)據(jù)，在指定指標(biāo)下對各所述線程進行性能優(yōu)劣排序；

在排序結(jié)果中，獲取排名在前的且不執(zhí)行單元任務(wù)的設(shè)定數(shù)量個線程，確定為輔助線程。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述對各所述主線程的運行數(shù)據(jù)和各所述輔助線程的運行數(shù)據(jù)進行比較和分析，包括下述至少一項：

根據(jù)所述主線程的運行數(shù)據(jù)和各所述輔助線程的運行數(shù)據(jù)，在資源使用量維度下，計算所述主線程與各所述輔助線程的占比，作為第一分析結(jié)果，所述運行數(shù)據(jù)包括資源使用量；

檢測所述主線程的資源使用量和預(yù)設(shè)資源使用閾值之間的大小關(guān)系，作為第二分析結(jié)果；以及

根據(jù)所述主線程執(zhí)行的單元任務(wù)的堵塞程度數(shù)據(jù)，以及其他單元任務(wù)的堵塞程度數(shù)據(jù)，計算調(diào)度節(jié)點之間的堵塞程度數(shù)據(jù)之間的差值，作為第三分析結(jié)果；

所述生成所述調(diào)度集群的性能分析結(jié)果，包括：

根據(jù)分析結(jié)果，確定所述調(diào)度節(jié)點對應(yīng)的優(yōu)化信息；

將所述分析結(jié)果、所述調(diào)度節(jié)點的運行數(shù)據(jù)和所述優(yōu)化信息，確定為所述調(diào)度集群的性能分析結(jié)果，所述分析結(jié)果包括下述至少一項：所述第一分析結(jié)果、所述第二分析結(jié)果和所述第三分析結(jié)果。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述調(diào)度集群為Flink分布式調(diào)度集群，所述堵塞程度數(shù)據(jù)包括背壓值。

8.一種調(diào)度集群的性能確定裝置，其特征在于，包括：

堵塞程度數(shù)據(jù)獲取模塊，用于在待處理任務(wù)調(diào)度到調(diào)度集群中運行的過程中，采集所述待處理任務(wù)關(guān)聯(lián)的單元任務(wù)的堵塞程度數(shù)據(jù)，所述待處理任務(wù)可以劃分為多個單元任務(wù)；

待采集調(diào)度節(jié)點確定模塊，用于根據(jù)各所述單元任務(wù)的堵塞程度數(shù)據(jù)，在所述調(diào)度集群中確定待采集數(shù)據(jù)的調(diào)度節(jié)點；

性能分析結(jié)果確定模塊，用于獲取所述待采集數(shù)據(jù)的調(diào)度節(jié)點的運行數(shù)據(jù)，并確定所述調(diào)度集群的性能分析結(jié)果。