[發明專利]一種消息傳遞接口任務和資源調度系統及方法

有效

• 申請號: 201210410403.4
• 申請日: 2012-10-24
• 公開（公告）號: CN103780655B
• 公開（公告）日: 2018-03-06
• 發明（設計）人: 彭淵
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京安信方達知識產權代理有限公司11262
• 代理人: 栗若木

1.一種消息傳遞接口MPI任務和資源調度系統，其特征在于，

所述系統包括MPI調度器(101)，所述MPI調度器(101)有多個，包括MPI主調度器和MPI備調度器；初始化時多個MPI調度器同時競爭一個分布式鎖，競爭到者為MPI主調度器，未競爭到者為MPI備調度器；所述MPI主調度器用于在運行正常時執行調度；所述MPI備調度器用于在所述MPI主調度器故障時競爭分布式鎖，在競爭到分布式鎖后作為MPI主調度器繼續執行調度；

所述MPI調度器(101)，用于基于待執行的MPI任務的資源需求進行MPI任務和資源調度，所述MPI任務使用MPI任務包的形式，所述MPI任務包括MPI運行程序和運行配置信息，所述運行配置信息包括MPI任務的資源需求；所述資源調度是管理多臺計算機的資源，根據MPI任務請求的資源進行分配，完成任務后再回收資源重利用。

2.如權利要求1所述的系統，其特征在于：

所述系統還包括集群計算機上設置的MPI任務執行器(102)；

所述MPI調度器(101)基于待執行的MPI任務的資源需求進行MPI任務和資源調度，包括：在有待執行的MPI任務且集群計算機可用資源能夠支持該待執行的MPI任務的資源需求時，將所述MPI任務下發至一臺或多臺計算機上的MPI任務執行器(102)；

所述MPI任務執行器(102)，用于執行下發的MPI任務。

3.如權利要求2所述的系統，其特征在于：

所述系統還包括資源池(103)；

所述MPI任務執行器(102)，還用于向所述資源池(103)注冊所在計算機的資源，及在所在計算機的資源的狀態變化時更新資源池(103)中記錄的相應資源的狀態；

所述資源池(103)，用于記錄集群計算機資源的實時信息，包括集群中各計算機具有的資源及其狀態；

所述MPI調度器(101)是根據所述資源池(103)記錄的集群計算機資源的實時信息獲知所述集群計算機可用資源。

4.如權利要求1或2或3所述的系統，其特征在于：

所述系統還包括：任務隊列模塊(105)，用于以隊列方式存放MPI任務；

所述MPI調度器(101)是從所述任務隊列模塊(105)的任務隊列檢測到待執行的MPI任務。

5.如權利要求4所述的系統，其特征在于：

所述系統還包括：任務包生成模塊(104)，用于生成符合任務包規范的MPI任務包并提交至所述任務隊列模塊(105)。

6.如權利要求4所述的系統，其特征在于：

所述MPI任務執行器(102)還用于將執行的MPI任務的狀態實時上報至所述MPI調度器(101)；

所述MPI調度器(101)還用于在下發MPI任務時，將任務隊列中所述MPI任務的狀態更新為任務執行中，在接收MPI任務執行器(102)上報的MPI任務狀態后，更新任務隊列中所述MPI任務的狀態。

7.如權利要求6所述的系統，其特征在于：

所述系統還包括：監控管理模塊(106)，用于查看所述任務隊列中的MPI任務及狀態，取消所述任務隊列中一個或多個MPI任務，及查看MPI任務的處理日志。

8.如權利要求4所述的系統，其特征在于：

所述MPI調度器(101)還用于在檢測到MPI任務運行時長超過所述MPI任務的運行配置信息中的超時時間時，通知MPI任務執行器(102)終止所述MPI任務，并更新任務隊列中所述MPI任務的狀態為任務已終止；

所述MPI任務執行器(102)還可用于在收到終止MPI任務的通知后，終止所述MPI任務的執行并釋放所述MPI任務所占用的資源。

9.如權利要求2或3或5或6或7或8所述的系統，其特征在于：

所述MPI調度器(101)下發MPI任務時同時還向執行所述MPI任務的每臺計算機發送所述MPI任務對該計算機的資源需求；

所述MPI任務執行器(102)執行下發的MPI任務，包括：各計算機上的MPI任務執行器(102)隔離出所述MPI任務需求的本機資源并在此資源下執行所述MPI任務。