[發明專利]一種基于MPI的集群資源調度方法、裝置及系統

有效

• 申請號: 202011212657.6
• 申請日: 2020-11-03
• 公開（公告）號: CN112035267B
• 公開（公告）日: 2021-11-12
• 發明（設計）人: 范來琦;曾勇平;王安濱
• 申請（專利權）人: 北京淇瑀信息科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/54
• 代理公司: 北京清誠知識產權代理有限公司 11691
• 代理人: 喬東峰

本發明公開了一種基于MPI的集群資源調度方法、裝置及系統，所述方法包括：獲取集群內各計算機的資源剩余信息；獲取當前MPI任務所需資源；根據當前任務所需資源和集群內各計算機的資源剩余信息生成基于MPI的可用資源列表；基于MPI標準，并根據所述可用資源列表執行當前任務的資源調度。本發明根據當前任務所需資源和集群內各計算機的資源剩余信息生成可用資源列表；根據所述可用資源列表執行當前任務的資源調度，實現了MPI框架上的資源調度能力，將客戶端基于mpich之上進行了封裝，對本就高效的MPI框架集成上了資源調度的能力，可以自動化的調度集群內的資源使用，能有效避免集群資源的浪費、傾斜以及沖突。

技術領域

本發明涉及計算機技術領域，具體而言，涉及一種基于MPI的集群資源調度方法、裝置、電子設備、系統及計算機可讀介質。

背景技術

MPI（Message Passing Interface，消息傳遞接口）是一個基于消息傳遞的并行計算框架，其能夠完成并行機的進程間通訊。MPI在今天仍為高性能計算的主要模型。目前MPI廣泛用于互聯網企業的廣告算法和迭代算法，大型互聯網公司通常有成百上千的MPI計算集群。

但是MPI框架本身不含有資源調配的相關功能，如果程序員不手動進行資源調度，會導致在使用集群資源時產生浪費、傾斜以及沖突的可能。

發明內容

本發明旨在解決MPI集群本身無法進行資源調度，在使用集群資源時會產生浪費、傾斜以及沖突的技術問題。

為了解決上述技術問題，本發明第一方面提出一種基于MPI的集群資源調度方法，所述方法包括：

獲取集群內各計算機的資源剩余信息；

獲取當前MPI任務所需資源；

根據當前任務所需資源和集群內各計算機的資源剩余信息生成基于MPI的可用資源列表；

基于MPI標準，并根據所述可用資源列表執行當前任務的資源調度。

根據本發明一種優選的實施方式，通過時序數據庫InfluxDB獲取集群內各計算機的資源剩余信息。

根據本發明一種優選的實施方式，所述通過時序數據庫InfluxDB獲取集群內各計算機的資源剩余信息之前，所述方法還包括：

通過守護進程實時收集集群內各個計算機的資源指標，并將所述資源指標同步到InfluxDB中；

InfluxDB接收并存儲所述資源指標。

根據本發明一種優選的實施方式，當接收到當前任務時，獲取集群內各計算機的資源剩余信息；

或者，實時獲取集群內各計算機的資源剩余信息。

根據本發明一種優選的實施方式，所述可用資源列表包括：集群內可調度的計算機地址，所述根據所述可用資源列表執行當前任務的資源調度包括：

調用mpich并將可用資源列表中可調度的計算機地址作為參數傳入mpich；

mpich在所述可調度的計算機中并行執行當前任務。

根據本發明一種優選的實施方式，mpich在所述可調度的計算機中選擇執行當前任務的計算機及執行當前任務對每臺計算機的資源需求；

執行當前任務的計算機根據所述資源需求隔離出執行當前任務的資源，并在此資源下執行當前任務。

為了解決上述技術問題，本發明第二方面提供一種基于MPI的集群資源調度裝置，所述裝置包括：

第一獲取模塊，用于獲取集群內各計算機的資源剩余信息；

第二獲取模塊，用于獲取當前MPI任務所需資源；