[發明專利]基于SLURM作業調度系統的昇騰處理器管理和調度方法

有效

• 申請號: 202110096508.6
• 申請日: 2021-01-25
• 公開（公告）號: CN112882828B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 馬銀萍;樊春;楊宏輝;李若淼
• 申請（專利權）人: 北京大學
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京聯創佳為專利事務所(普通合伙) 11362
• 代理人: 郭防

本發明公開了基于SLURM作業調度系統的昇騰處理器管理和調度方法,將昇騰處理器作為與GPU類似的NPU，通過SLURM中的GRES插件來對NPU進行管理調度，實現對昇騰處理器進行管理和調度，其具體步驟包括：添加NPU插件模塊、添加作業申請NPU資源功能、GRES插件添加NPU模塊、重編譯SLURM源代碼、修改SLURM配置文件、啟動SLURM服務。本發明將昇騰處理器作為一種GRES通用資源，用SLURM進行調度，這是首次將昇騰處理器與高性能集群的作業調度系統結合，使得昇騰處理器能夠快速應用到跨節點超大規模計算場景中，拓寬昇騰處理器的應用場景，豐富高性能集群的資源類別，提高高性能集群計算力、節約作業計算時間。

技術領域

本發明涉及處理器應用領域，特別是基于SLURM作業調度系統的昇騰處理器管理和調度方法。

背景技術

昇騰處理器是國內自研的全新的AI處理器，旨在為深度學習研究、開發、部署提供具有更高算力、更低能耗的芯片，是國內目前算力首屈一指的國產AI處理器。然而，昇騰處理器在高性能計算領域并沒有得到廣泛的使用。

目前國內外缺乏對昇騰處理器進行調度的高性能計算作業調度軟件，因此，需要將高性能計算作業調度系統和昇騰處理器之間的進行融合，進而將昇騰處理器應用場景拓展到高性能計算領域，進一步完善國產處理器的生態環境。高性能計算通常使用并行化技術來高效、快速地運行應用程序，通常多個處理器或者多個服務器并行執行同一個作業，如果將昇騰處理器應用到高性能計算領域，可以大大提升高性能計算的算力，提升作業運行的效率，同時也能擴大昇騰處理器的應用場景。

SLURM(Simple?Linux?Utility?for?Resource?Management)是高性能計算領域應用范圍最廣的高度可伸縮和容錯的集群管理器和作業調度系統，SLURM的資源管理模塊主要負責對系統資源進行管理、分配和收集，在主控制節點即管理節點上會有主控進程(slurmctld)駐留，在計算節點上會有監控進程(slurmd)駐留。slurmd調用相應的資源收集信息函數，收集本地資源信息。初始時，計算節點的節點守護進程向中心守護進程發送信息注冊，之后主控進程(slurmctld)定期的向此節點進行詢問以便了解整個系統的情況。SLURM同時維護著一個待處理的作業的隊列并管理此作業的整體資源利用。SLURM還以一種排他的方式管理可用的計算節點，將作業分發給一組已分配的節點來執行作業并監視作業直至完成。

SLURM的GRES插件可對GPU、Intel的MIC(Many?Integrated?Core)資源、CUDA多線程服務(MPS)、以及NIC等資源進行管理和調度。

因此將高性能領域最廣泛使用的SLURM集群管理器和作業調度器與昇騰處理器進行深度融合，可以使得SLURM能夠監控并調度昇騰處理器，提升對昇騰處理器的管理和調度效率，計算力就是生產力，國產AI處理器的推廣與應用，將進一步推動行業的進步，經濟的發展。

但是，由于昇騰處理器是在2018年發布的人工智能處理器，采用的是國內自研的達芬奇架構，目前主流的高性能計算調度系統(包括SLURM)主要支持CPU、GPU等處理器，均不支持昇騰處理器芯片，

所以，目前國內外缺乏對昇騰處理器進行調度的高性能計算作業調度軟件，昇騰處理器在高性能計算領域沒有得到廣泛應用，限制了行業的進步和經濟的發展。

發明內容

本發明的目的在于，提供基于SLURM作業調度系統的昇騰處理器管理和調度方法。本發明能夠對昇騰處理器進行調度，使昇騰處理器在高性能計算領域得到廣泛應用，促進行業的進步和經濟的發展。

本發明的技術方案：基于SLURM作業調度系統的昇騰處理器管理和調度方法，將昇騰處理器作為與GPU類似的NPU，通過SLURM中的GRES插件來對NPU進行管理調度，實現對昇騰處理器進行管理和調度；其具體步驟如下：

A、添加NPU插件模塊：通過接口獲取NPU的硬件信息；