[發明專利]節點性能檢測方法和裝置

在審

• 申請號: 202010016558.4
• 申請日: 2020-01-08
• 公開（公告）號: CN113094243A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 劉志杰
• 申請（專利權）人: 北京小米移動軟件有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34
• 代理公司: 北京名華博信知識產權代理有限公司 11453
• 代理人: 姜超

1.一種用于分布式計算系統中的節點性能檢測方法，其特征在于，包括：

獲取集群中各節點的歷史任務的運行數據；

分析所述歷史任務的運行數據；

根據分析結果，確定各節點的性能。

2.根據權利要求1所述的節點性能檢測方法，其特征在于，所述獲取集群中各節點的歷史任務的運行數據的步驟包括：

周期性的獲取集群中各節點的歷史任務的運行數據。

3.根據權利要求1所述的節點性能檢測方法，其特征在于，所述歷史任務的運行數據包括任務指標數據和任務明細數據；

其中，所述任務指標數據至少包括以下數據中的任一或任意多項：

所述歷史任務的數量、歷史任務的類型、各類型的歷史任務的平均運行時間，一個類型的歷史任務的平均運行時間為該類型的所述歷史任務的總運行時間/該類型的所述歷史任務的個數；

所述任務明細數據至少包括以下數據中的任一或任意多項：

執行所述歷史任務的節點的身份信息、各個歷史任務的運行時間；

所述分析所述歷史任務的運行數據的步驟包括：

確定各歷史任務的實際超發倍數，所述實際超發倍數為：

該所述歷史任務的運行時間/所述歷史任務的平均執行時間；

遍歷分析所述歷史任務，從中篩選出實際超發倍數超過預設的標準超發倍數的歷史任務；

當所述歷史任務的實際超發倍數大于所述標準超發倍數時，確定執行所述歷史任務的節點為所述歷史任務的實際執行節點；

針對每個實際超發倍數超過預設的標準超發倍數的所述歷史任務生成超發記錄；

所述超發記錄至少包括以下信息：

所述歷史任務的實際執行節點，該所述歷史任務的實際超發倍數。

4.根據權利要求3所述的節點性能檢測方法，其特征在于，所述根據分析結果，確定各節點的性能的步驟包括：

對所生成的所有超發記錄進行處理，確定每個節點作為實際執行節點出現的頻次和平均超發倍數，得到分析信息，

所述節點的平均超發倍數為所述節點對應的所有超發記錄中實際超發倍數的平均值，

所述分析信息至少包括以下信息中的任一或任意多項：

所述節點的身份信息，所述節點出現的頻次，所述節點的平均超發倍數；

根據所述節點出現的頻次和/或平均超發倍數，對各節點進行排序；

根據排序確定節點的性能。

5.根據權利要求4所述的節點性能檢測方法，其特征在于，該方法還包括：

判定符合預設的低性能標準的節點為低性能節點，所述低性能標準至少包含以下條件中的任一個或任意多個：

節點出現的頻次大于預設的頻次數量閾值，

節點的平均超發倍數大于預設的節點超發倍數閾值。

6.根據權利要求1的所述節點性能檢測方法，其特征在于，所述歷史任務類型為映射map任務或還原reduce任務。

7.根據權利要求1所述的節點性能檢測方法，其特征在于，所述歷史任務的運行數據包括執行過程中被中止的任務信息，所述分析所述歷史任務的運行數據的步驟包括：

遍歷所述歷史任務的運行數據，生成各節點的節點性能數據，所述節點性能數據至少包括節點的身份信息以及該節點上被中止的任務數量。

8.根據權利要求7所述的節點性能檢測方法，其特征在于，所述根據分析結果，確定各節點的性能的步驟包括：

按照節點上被中止的任務數量降序的規則對各個節點進行排序；

根據排序確定所述節點的性能。

9.根據權利要求7所述的節點性能檢測方法，其特征在于，該方法還包括：

判定符合預設的低性能標準的節點為低性能節點，所述低性能標準至少包含以下條件：

節點上被中止的任務數量超過預設的節點中止任務數量閾值。