[發明專利]以用戶為核心的高性能計算機資源管理方法

在審

• 申請號: 201910788892.9
• 申請日: 2019-08-26
• 公開（公告）號: CN112433829A
• 公開（公告）日: 2021-03-02
• 發明（設計）人: 陳德訓;劉鑫;范昊;錢宇;徐金秀;張宏宇
• 申請（專利權）人: 無錫江南計算技術研究所
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 王健

本發明公開一種以用戶為核心的高性能計算機資源管理方法，基于以下模塊：用戶隊列模塊，包含所有使用高性能計算機系統的用戶，每個用戶可以使用1~2個有限隊列資源；計算隊列模塊，可包含高性能計算機系統中所有的計算節點，且每個計算節點只能加入到一個計算隊列；計算節點隊列模塊，將計算節點按照該節點的網絡地址進行編號；資源管理系統，當用戶隊列模塊中的用戶向計算隊列模塊中的計算隊列提交作業時，用于判斷該用戶下面是否包含有該隊列。本發明解決了大型超算中心計算資源管理低效問題，提高高性能計算機系統計算資源的管理和服務能力。

技術領域

本發明涉及一種以用戶為核心的高性能計算機資源管理方法，屬于計算機技術領域。

背景技術

高性能計算機系統主要部署在不同級別的超算中心，通過網絡面向各領域提供計算服務，根據超算中心所能提供計算資源的能力，用戶規模可以從數十個到數萬個不等。伴隨著超級計算機的出現和發展，超級計算機的計算資源從單計算節點發展到當前的數萬計算節點，計算核心數從單計算核心發展到現在的上千萬核心，用戶數從幾個用戶到上萬用戶，如何有效管理和調度這些計算資源與用戶的關系，超級計算機的資源管理系統發揮著重要的作用。在高性能計算機系統中，計算隊列數是有限的，但用戶數是不斷擴展的。傳統的資源管理軟件在用戶數量上主要考慮百用戶量級，當用戶量達到上千、上萬量級以后，已有管理策略效率低下，已經不適應現在大型超算中心對高性能計算機資源管理的需求。

目前高性能計算機系統部署的資源管理軟件在計算資源的管理上主要以計算隊列為核心，每個計算隊列分配給不同的用戶使用。對于浮點運行速度達到億億次量級以上的高性能計算機系統，當用戶量達到千量級以上時，現有以計算隊列為核心的資源管理軟件，每個計算隊列可能要分配上千個用戶，但往往一個用戶一般只使用1~2個或者有限的計算隊列，這樣造成了資源管理的靈活度和管理效率大大降低，資源管理復雜，計算資源利用率降低，同時增加了系統管理人員的工作負擔。

發明內容

本發明的目的是提供一種以用戶為核心的高性能計算機資源管理方法，該以用戶為核心的高性能計算機資源管理方法解決了大型超算中心計算資源管理低效問題，提高高性能計算機系統計算資源的管理和服務能力。

為達到上述目的，本發明采用的技術方案是：一種以用戶為核心的高性能計算機資源管理方法，基于以下模塊：

計算隊列模塊，包含高性能計算機系統中所有的計算節點，且每個計算節點只能加入到一個計算隊列，一套高性能計算機系統可創建多個計算隊列；

計算節點隊列模塊，將計算節點按照該節點的網絡地址進行統一編號，一套高性能計算機系統只包含一個計算節點隊列；

用戶隊列模塊，包含所有使用高性能計算機系統的用戶，一套高性能計算機系統只包含一個用戶隊列，用戶隊列中的每個用戶可以有限使用1~2個計算隊列；

資源管理系統，用于管理用戶隊列、計算隊列和計算節點隊列，以及管理用戶權限、計算任務的執行權限，還用于管理資源分配、任務調度、狀態監控、資源回收功能；

所述資源管理方法包括以下步驟：

S1、用戶隊列A中的任一用戶A1通過資源管理系統向計算隊列模塊B中的某一計算隊列B1提交計算任務；

S2、資源管理系統判斷用戶A1中是否包含有計算隊列B1，如果不包含，則用戶A1無權使用計算隊列B1，此次提交計算任務失敗；

S3、如果用戶A1中包含有計算隊列B1，資源管理系統為用戶A1在計算隊列B1中分配計算資源，并提交計算任務；

S4、當計算任務運行結束后，資源管理系統回收計算資源給計算隊列B1；

S5、資源管理系統一次提交計算任務結束。

上述技術方案中進一步改進的方案如下：

1. 上述方案中，所述用戶隊列中的任一用戶需要提交計算任務時，需為該用戶配置相應的計算隊列，每個用戶可以配置有限個計算隊列，同一計算隊列可配置給不同用戶。