[發明專利]一種在MESOS集群中集成高性能的作業調度框架的方法和裝置

有效

• 申請號: 201711476493.6
• 申請日: 2017-12-29
• 公開（公告）號: CN108170417B
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 郝文靜;張濤;原帥;呂灼恒;王家堯;李媛
• 申請（專利權）人: 曙光信息產業（北京）有限公司
• 主分類號: G06F8/20
• 分類號: G06F8/20
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 唐正瑜

1.一種在MESOS集群中集成高性能的作業調度框架的方法，其特征在于，包括：

獲取所述作業調度框架的作業信息，其中，所述作業信息包括所述作業調度框架上的作業的資源占用信息；

將所述作業信息和所述MESOS集群中的可用資源信息相匹配；以及

在所述作業信息和所述MESOS集群中的可用資源信息匹配成功后，將所述作業的資源占用信息同步到所述MESOS集群中，從而更新所述MESOS集群中的可用信息；

其中，所述MESOS集群的集成框架包括：Slurm/PBS；

所述在所述作業信息和所述MESOS集群中的可用資源信息匹配成功后，將所述作業的資源占用信息同步到所述MESOS集群中，包括：

若有作業運行時，所述MESOS集群對應的Slurm/PBS的插件中的調度器運行一個監控所述作業的任務，并占據與所述作業資源完全相同的資源，直到該作業運行結束，以將所述Slurm啟動的所述作業所占用資源同步到所述MESOS集群的資源池。

2.根據權利要求1所述方法，其特征在于，所述若有作業運行時，所述MESOS集群對應的Slurm/PBS的插件中的調度器運行一個監控所述作業的任務，包括：

若有作業運行時，所述MESOS集群對應于Slurm/PBS開發的插件中的調度器scheduler在管理節點提取運行狀態的所有作業的詳細信息，從而得到每個作業的ID、運行節點以及作業占用的資源情況信息,然后，插件的調度器scheduler將MESOS提供的可用資源與收集到的Slurm/PBS作業信息進行匹配，匹配成功后按照作業的占用資源情況提交任務，該任務通過執行器Executor啟動，同時運行計算節點的作業監控腳本，并將作業號傳輸過去，監控作業狀態。

3.根據權利要求1所述的方法，其特征在于，將所述作業信息和所述MESOS集群中的可用資源信息相匹配包括：

通過插件將收集到的所述作業調度框架上的所有作業的作業信息和所述MESOS集群中的可用資源信息相匹配。

4.根據權利要求3所述的方法，其特征在于，在所述作業信息和所述MESOS集群中的可用資源信息匹配成功后，將所述作業的資源占用信息同步到所述MESOS集群中，從而更新所述MESOS集群中的可用資源信息包括：

在所述作業信息和所述MESOS集群中的可用資源信息匹配成功后，所述插件根據所述資源占用信息，向所述MESOS集群提交任務，從而更新所述MESOS集群中的可用資源信息；以及

通過所述作業的ID號監控所述作業的運行狀態。

5.根據權利要求4所述的方法，其特征在于，還包括：

所述作業調度框架根據所述作業的運行狀態，更新所述任務的狀態和資源的釋放。

6.一種在MESOS集群中集成高性能的作業調度框架的裝置，其特征在于，包括：

獲取模塊，用于獲取所述作業調度框架的作業信息，其中，所述作業信息包括所述作業調度框架上的作業的資源占用信息；

匹配模塊，用于將所述作業信息和所述MESOS集群中的可用資源信息相匹配；以及

更新模塊，用于在所述作業信息和所述MESOS集群中的可用資源信息匹配成功后，將所述作業的資源占用信息同步到所述MESOS集群中，從而更新所述MESOS集群中的可用資源信息；

其中，所述MESOS集群集成框架包括：Slurm/PBS；

若有作業運行時，所述更新模塊具體用于控制所述Slurm/PBS的插件中的調度器運行一個監控所述作業的任務，并占據與所述作業資源完全相同的資源，直到該作業運行結束，以將所述Slurm/PBS啟動的所述作業所占用資源同步到所述MESOS集群的資源池。