[發明專利]一種計算集群節點調度方法、裝置、設備、產品

有效

• 申請號: 202011238782.4
• 申請日: 2020-11-09
• 公開（公告）號: CN112491971B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 何萬縣;段誼海;王曉通;郭鋒
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: H04L67/1008
• 分類號: H04L67/1008;H04L67/1029;G06F9/48;G06F9/50
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 李舜江

1.一種計算集群節點調度方法，其特征在于，包括如下步驟：

用戶創建作業并將創建的作業提交；

獲取當前計算集群下各個節點對應特征的實時數據，并將獲取的實時數據進行處理選擇最優節點；

接收提交的作業，并將接收到的作業分發給選擇的最優節點執行；

監控作業的運行參數，并根據作業的運行參數判斷該最優節點選擇是否準確，并將節點性能預測準確的節點參數放入特征數據庫的訓練樣本集。

2.根據權利要求1所述的計算集群節點調度方法，其特征在于，用戶創建作業并將創建的作業提交的步驟之前，包括：

構建節點的特征數據庫。

3.根據權利要求2所述的計算集群節點調度方法，其特征在于，構建節點的特征數據庫的步驟包括：

提取不同的維度的特征,并確定該特征對結果的影響方向、權重；其中影響方向包括正向影響和負向影響；

根據提取的特征準備訓練樣本集；

對訓練樣本集的數據進行歸一化處理。

4.根據權利要求2所述的計算集群節點調度方法，其特征在于，獲取當前計算集群下各個節點對應特征的實時數據，并將獲取的實時數據進行處理選擇最優節點的步驟包括：

獲取當前計算集群下各個節點對應特征的實時數據；

對實時數據進行歸一化處理；

根據特征數據庫的訓練樣本集計算出該節點特征值到各個訓練樣本數據的方差，按照方差值進行排序，根據排序后的結果，取出前k條記錄，找出k條記錄中的性能優先級出現概率最高的一個值作為該節點的優先級；

輸出選擇的最優節點。

5.根據權利要求4所述的計算集群節點調度方法，其特征在于，監控作業的運行參數，并根據作業的運行參數判斷該最優節點選擇是否準確，并將節點性能預測準確的節點參數放入特征數據庫的訓練樣本集的步驟包括：

監控作業的運行參數；

根據作業的運行參數判斷，若作業的執行時長小于作業的預估時長，且作業的掛起時長小于設定的時間閾值，則認為該節點性能預測準確；

將節點性能預測準確的節點參數放入特征數據庫的訓練樣本集。

6.根據權利要求5所述的計算集群節點調度方法，其特征在于，運行參數包括作業的執行時長、作業的掛起時長。

7.一種計算集群節點調度裝置，其特征在于，包括作業創建模塊、節點選擇模塊、集群調度模塊和作業監控模塊；

作業創建模塊，用于用戶通過作業創建模塊創建作業并將創建的作業提交到集群調度模塊；

節點選擇模塊，用于獲取當前計算集群下各個節點對應特征的實時數據，并將獲取的實時數據進行處理選擇最優節點；

集群調度模塊，接收提交的作業，并將接收到的作業分發給選擇的最優節點執行；

作業監控模塊，用于監控作業的運行參數，并根據作業的運行參數判斷該最優節點選擇是否準確；并將節點性能預測準確的節點參數放入特征數據庫的訓練樣本集。

8.根據權利要求7所述的計算集群節點調度裝置，其特征在于，該裝置還包括特征數據庫構建模塊，特征數據庫構建模塊，用于構建節點的特征數據庫。

9.一種電子設備，其特征在于，包括存儲器和處理器，存儲器和處理器通過總線完成相互間的通信；所述存儲器存儲有可被所述處理器執行的程序指令，所述處理器調用所述程序指令能夠執行如權利要求1至6任一所述的計算集群節點調度方法。

10.一種計算機程序產品，其特征在于，所述計算機程序產品包括存儲在非暫態計算機可讀存儲介質上的計算機程序，所述計算機程序包括程序指令，當所述程序指令被計算機執行時，使所述計算機執行如權利要求1至6任一項所述的計算集群節點調度方法。