[發明專利]一種計算集群節點調度方法、裝置、設備、產品

有效

• 申請號: 202011238782.4
• 申請日: 2020-11-09
• 公開（公告）號: CN112491971B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 何萬縣;段誼海;王曉通;郭鋒
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: H04L67/1008
• 分類號: H04L67/1008;H04L67/1029;G06F9/48;G06F9/50
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 李舜江

本發明提供一種計算集群節點調度方法、裝置、設備、產品，所述方法包括如下步驟：用戶創建作業并將創建的作業提交；獲取當前計算集群下各個節點對應特征的實時數據，并將獲取的實時數據進行處理選擇最優節點；接收提交的作業，并將接收到的作業分發給選擇的最優節點執行；監控作業的運行參數，并根據作業的運行參數判斷該最優節點選擇是否準確，并將節點性能預測準確的節點參數放入特征數據庫的訓練樣本集。保證作業被分配到合適的節點執行，充分利用了算力。

技術領域

本發明涉及超算中心計算集群節點優先級選擇技術領域，具體涉及一種計算集群節點調度方法、裝置、設備、產品。

背景技術

近年來，各種科研數據井噴式爆發，從海量數據中提取有用的信息所需的算力越來越多。計算能力是衡量一個國家科技核心競爭力和綜合國力的重要標志，以超級計算機為核心工具的國家超級計算中心是國家戰略性信息基礎設施和科技創新戰略平臺。政府、企業都在籌建自己的計算集群，對于計算集群數量增加、規模增大，擁有合理的集群調度算法，能夠合理利用計算資源，提高作業執行效率。

現有技術方案是針對超算中心計算集群提出了一種節點優先級選擇算法，基于改進的k-近鄰算法選擇當前集群中計算性能較高的節點執行作業，并且基于作業執行結果不斷補充、完善節點特征數據庫。

傳統的超算集群有三種方式進行節點選擇，1、通過隨機選擇節點算法；2、通過輪詢的方式選擇節點；3、根據當前節點性能及已執行作業數量?；谏鲜鏊惴ㄟM行節點選擇，可能會造成作業分配過于平均，造成性能優越的節點無法充分利用，或者造成部分低性能節點承載了較多的作業，造成作業堆積，無法及時完成。

發明內容

針對現有的調度方法造成作業分配過于平均，造成性能優越的節點無法充分利用，或者造成部分低性能節點承載了較多的作業，造成作業堆積，無法及時完成的問題，本發明提供一種計算集群節點調度方法、裝置、設備、產品。

本發明的技術方案是：

第一方面，本發明技術方案提供一種計算集群節點調度方法，包括如下步驟：

用戶創建作業并將創建的作業提交；

獲取當前計算集群下各個節點對應特征的實時數據，并將獲取的實時數據進行處理選擇最優節點；

接收提交的作業，并將接收到的作業分發給選擇的最優節點執行；

監控作業的運行參數，并根據作業的運行參數判斷該最優節點選擇是否準確，并將節點性能預測準確的節點參數放入特征數據庫的訓練樣本集。根據當前各個節點運行參數以及節點特征數據庫的訓練模型，合理分配計算、存儲資源，保證資源的合理利用。

進一步的，用戶創建作業并將創建的作業提交的步驟之前，包括：

構建節點的特征數據庫。

進一步的，構建節點的特征數據庫的步驟包括：

提取不同的維度的特征,并確定該特征對結果的影響方向、權重；其中影響方向包括正向影響和負向影響；

根據提取的特征準備訓練樣本集；

對訓練樣本集的數據進行歸一化處理。用于根據特征數據庫的訓練樣本集計算出該節點特征值到各個訓練樣本數據的方差，方便進一步選擇出最優節點。

進一步的，獲取當前計算集群下各個節點對應特征的實時數據，并將獲取的實時數據進行處理選擇最優節點的步驟包括：

獲取當前計算集群下各個節點對應特征的實時數據；

對實時數據進行歸一化處理；