[發明專利]運行時計算資源動態擴展方法

有效

• 申請號: 201910903881.0
• 申請日: 2019-09-24
• 公開（公告）號: CN112631693B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 何王全;董恩銘;于康;宋長明;方燕飛;漆鋒濱
• 申請（專利權）人: 無錫江南計算技術研究所
• 主分類號: G06F9/448
• 分類號: G06F9/448;G06F9/50
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 王健

本發明公開了一種運行時計算資源動態擴展方法，發送資源擴展升級命令給正在運行的原課題；原節點接到升級信號后，進行通信環境清理；等待新進計算資源進行二次通信環境重構通信；新節點由作業管理啟動程序，進入動態任務劃分區域中；判斷為資源升級新節點后，新節點進行通信環境清理；原節點與新節點進行二次通信環境重構；新節點按照動態任務劃分規則自動進行分區，選取分區主節點，由分區主節點向全局主節點申請任務；全局主節點在接到原分區和新分區主節點的任務申請后，向原計算資源節點和新計算資源節點均勻分配任務，課題繼續正常運行。本發明解決資源調整后的通信環境重構問題，在不中斷已運行課題的基礎上將空閑的計算資源分配給該課題，并動態分配未完成的任務，達到計算資源的最大化利用。

技術領域

本發明屬于運行時系統領域，尤其涉及一種運行時計算資源動態擴展方法。

背景技術

高性能計算系統為眾多領域的大規模并行應用的解算提供了可能，通常情況下，高性能計算系統的計算資源是被多道應用課題共享的，每一個應用課題的運行規模不同，運行時間也有差異，常常存在某些應用課題結束運行、計算資源閑置，而某些應用課題還需要運行很長時間的情況。可否利用閑置的計算資源加速正在運行的應用課題成為亟待解決的技術問題。

任務并行類應用課題是將任務池中的任務分配給多個計算資源并行完成，如果任務之間有相關性，則動態增加新的計算資源可能會破壞任務映射關系，影響程序的正常運行；如果任務之間沒有相關性，則對計算資源的規模和形狀不敏感，可以對已有任務進行動態劃分，可以考慮利用新的閑置資源加速應用的完成。

許多大規模任務并行類應用需要大量的計算資源和較長的計算時間，如果有新的計算資源可以利用，往往采取的方案為等待斷點文件更新、中斷正在運行的課題、整合資源后重新提交課題，這不僅給用戶帶來一定的負擔，而且會造成一定時間內（等待斷點文件更新期間）新計算資源的閑置浪費。

發明內容

本發明目的在于提供一種運行時計算資源動態擴展方法，以解決資源調整后的通信環境重構問題，在不中斷已運行課題的基礎上將空閑的計算資源分配給該課題，并動態分配未完成的任務，在保證課題運行結果正確性和完備性的基礎上達到計算資源的最大化利用。

為達到上述目的，本發明采用的技術方案是：一種運行時計算資源動態擴展方法，包括以下步驟，

S1、發送資源擴展升級命令給正在正常運行的原課題；

S2、原課題所有原計算資源節點與新計算資源節點同時收到資源擴展升級命令后，分別進行如下步驟：

a、原課題所有原計算資源節點接到所述資源擴展升級命令后進行如下步驟，

a1、進行通信環境清理，釋放相關環境變量；

a2、等待新進來的計算資源一起進行二次通信環境初始化，重構通信環境；

a3、通信環境初始化后，原計算資源節點更新動態任務劃分信息，按動態任務劃分的規則將新進來的新計算資源節點加入動態任務劃分區域中；

b、新計算資源節點收到資源擴展升級命令，新計算資源節點由作業管理來啟動任務，分別進行如下步驟，

b1、新計算資源節點啟動程序，進入動態任務劃分區域中；

b2、新計算資源節點進行通信環境清理；

b3、與原計算資源節點一起進行二次通信環境初始化和重構；

b4、按照動態任務劃分規則自動進行分區，新計算資源節點自動分區成為動態任務劃分的新的一部分進程區，并選取某一新計算資源節點作為新的分區主節點，由所述分區主節點向原計算資源節點中的全局主節點申請任務；