[發明專利]一種適用于多租戶場景的并行計算管理方法及系統

在審

• 申請號: 202010922040.7
• 申請日: 2020-09-04
• 公開（公告）號: CN111966481A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 劉暢
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 李舜江

1.一種適用于多租戶場景的并行計算管理方法，其特征在于，包括如下步驟：

S1：接收到用戶提交的任務M后，解析任務M所需的硬件資源；

S2：判斷當前集群計算節點資源是否滿足任務M所需的硬件資源；若是，執行步驟S5；若否，執行步驟S3；

S3：判斷當前內存空間是否存在優先級低于任務M的優先級的任務，若是，執行步驟S4；若否，執行步驟S7；

S4：將當前內存空間內優先級低于任務M的優先級的任務進行遷移或掛起；執行步驟S5；

S5：在各計算節點內存空間中開辟內存分區，下發并行任務M；執行步驟S6；

S6：任務M結束后，判斷是否立即回收內存；若是，回收內存，若否，結束；

S7：將任務M放入等待隊列，設定時間后，執行步驟S2。

2.根據權利要求1所述的適用于多租戶場景的并行計算管理方法，其特征在于，步驟S4中，將當前內存空間內優先級低于任務M的優先級的任務進行遷移或掛起的步驟包括：

S41：將當前內存空間內優先級低于任務M的優先級的任務進行遷移或掛起；

S42：任務進行遷移或掛起后，獲取當前集群節點資源；

S43：判斷當前集群節點資源是否滿足任務M所需的硬件資源，若是，執行步驟S5；若否，執行步驟S7。

3.根據權利要求1所述的適用于多租戶場景的并行計算管理方法，其特征在于，步驟S6中，任務M結束后，判斷是否立即回收內存的步驟包括：

S61：任務M結束后，獲取已結束任務在各個計算節點中的內存占用情況；

S62：判斷整個集群負載是否低于設定閾值，若是，執行步驟S63；若否，執行步驟S64；

S63：直接清理任務M對應的內存分區；

S64：清理任務M對應的內存分區，并將集群內其他任務所占的分區前移到內存區域頭部。

4.根據權利要求3所述的適用于多租戶場景的并行計算管理方法，其特征在于，該方法還包括：

清理任務M對應的內存分區后，獲取當前集群計算節點上運行的任務的內存；

計算各個計算節點上運行的任務的內存總和；

判斷當前集群中是否存在空閑內存空間大于計算的內存總的計算節點，若是，將各個計算節點上運行的任務遷移到該計算節點上。

5.根據權利要求4所述的適用于多租戶場景的并行計算管理方法，其特征在于，判斷當前集群中是否存在空閑內存空間大于計算的內存總的計算節點，若是，將各個計算節點上運行的任務遷移到該計算節點上的步驟還包括：

判斷當前集群中是否存在空閑內存空間大于計算的內存總的計算節點；

若是，將每個計算節點的空閑內存空間分別與計算的內存總和做差；將各個計算節點上運行的任務遷移到差值最小的計算節點上。

6.根據權利要求4所述的適用于多租戶場景的并行計算管理方法，其特征在于，步驟S5中，在各計算節點內存空間中開辟內存分區的步驟包括:

在各計算節點內存空間中開辟內存分區；

每個內存分區設置具有任務與用戶相關的標識信息的數據頭部；

基于內存分區的數據頭部，對內存進行基于用戶或者任務的開辟與預留。

7.根據權利要求4所述的適用于多租戶場景的并行計算管理方法，其特征在于，將當前內存空間內優先級低于任務M的優先級的任務進行遷移或掛起的步驟中，將當前內存空間內優先級低于任務M的優先級的任務進行遷移包括：

通過計算節點之間的高速網絡，將內存分區直接拷貝到其他計算節點的空閑內存區域；

將當前內存空間內優先級低于任務M的優先級的任務進行掛起的步驟包括：

內存分區進行快照，存儲到本地高速硬盤中；

當優先級高的任務或者更占用內存的任務結束執行并釋放內存時，再將任務還原到內存中繼續運行。

8.根據權利要求6所述的適用于多租戶場景的并行計算管理方法，其特征在于，標識信息包括內存分區所屬的任務ID、內存分區所屬的用戶ID、當所屬的用戶不再活躍或者任務結束時，是否保留此內存區域不被回收。