[發明專利]一種在MESOS集群中集成高性能的作業調度框架的方法和裝置

有效

• 申請號: 201711476493.6
• 申請日: 2017-12-29
• 公開（公告）號: CN108170417B
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 郝文靜;張濤;原帥;呂灼恒;王家堯;李媛
• 申請（專利權）人: 曙光信息產業（北京）有限公司
• 主分類號: G06F8/20
• 分類號: G06F8/20
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 唐正瑜

本發明公開了一種在MESOS集群中集成高性能的作業調度框架的方法和裝置，該方法包括：獲取作業調度框架的作業信息，其中，作業信息包括作業調度框架上的作業的資源占用信息；將作業信息和MESOS集群中的可用資源信息相匹配；以及在作業信息和MESOS集群中的可用資源信息匹配成功后，將作業的資源占用信息同步到MESOS集群中，從而更新MESOS集群中的可用資源信息。本發明通過上述技術方案，從而實現了在Mesos集群集成了Slurm/PBS等高性能的作業調度框架，使得高性能作業可以在Mesos集群中運行并同步資源占用情況到Mesos集群中，進一步實現了超融合調度框架，使得高性能作業和其他作業可以在同一集群中運行且互不影響。

技術領域

本發明涉及計算機領域，具體來說，涉及一種在MESOS集群中集成高性能的作業調度框架的方法和裝置。

背景技術

為了建設超融合集群，需要搭建多種類型的計算框架，并統一管理計算框架可用的資源，因此使用MESOS(或分布式計算框架)資源管理系統(或MESOS集群)，進行資源的統一分配。此外，該MESOS會定時向各個計算框架發送節點資源情況，計算框架根據實際作業所需資源對提供的這些可利用的資源作出接受或拒絕的操作，使得計算框架使用MESOS提供的資源。

此外，目前在MESOS集群中集成Hadoop等大數據框架的方法為作業提交到Jobtracker(任務調度進程，它用于任務調度)中，并等待插件Framework提取作業信息，同時，當MESOS集群將資源分配給該框架的Framework插件時，提取作業信息，并傳輸給節點，通過Executor(或EXCUTOR，它表示執行器)啟動作業，完成作業的啟動和狀態更新過程。

然而，雖然目前已經建設了一種大數據、高性能、容器的超融合集群，其可使得多種類型作業同時運行于一個集群中，但是仍然存在很多問題：

1、不同類型作業之間使用的資源未實現統一管理，存在資源搶占的問題，導致集群的不穩定和資源的浪費；

2、MESOS官方未集成Slurm(Simple Linux Utility for Resource Management，資源管理器)/PBS(批處理作業和計算機系統資源管理軟件包，同時，Slurm和PBS均為高性能作業調度框架，或它們為高性能的作業調度框架)框架，致使集群中的其他框架啟動的作業使用的資源與高性能作業搶占資源，且部分資源閑置；

3、Slurm/PBS作業提交過程與Hadoop(分布式系統基礎架構)等作業提交不太相同，無法直接使用Hadoop與MESOS的插件集成原理，即無法通過MESOS提交執行器，將高性能作業在執行器中啟動。

針對相關技術中的問題，目前尚未提出有效的解決方案。

發明內容

針對相關技術中的問題，本發明提出一種在MESOS集群中集成高性能的作業調度框架的方法和裝置。

本發明的技術方案是這樣實現的：

根據本發明的一個方面，提供了一種在MESOS集群中集成高性能的作業調度框架的方法。

該在MESOS集群中集成高性能的作業調度框架的方法包括：獲取作業調度框架的作業信息，其中，作業信息包括作業調度框架上的作業的資源占用信息；將作業信息和MESOS集群中的可用資源信息相匹配；以及在作業信息和MESOS集群中的可用資源信息匹配成功后，將作業的資源占用信息同步到MESOS集群中，從而更新MESOS集群中的可用資源信息。

根據本發明的一個實施例，將作業信息和MESOS集群中的可用資源信息相匹配包括：通過插件將收集到的作業調度框架上的所有作業的作業信息和MESOS集群中的可用資源信息相匹配。