[發明專利]pbs資源與hadoop資源管理方法、系統及設備

有效

• 申請號: 201810161510.5
• 申請日: 2018-02-27
• 公開（公告）號: CN108279982B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 何偉;胡葉
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

本發明公開了一種pbs資源與hadoop資源管理方法、系統及設備和計算機可讀存儲介質，該方法包括：在集群中的所有節點中部署第一資源和第二資源；其中，第一資源和第二資源為pbs資源或hadoop資源，且第一資源與第二資源為類型不同的兩種資源；啟動N個節點的第一資源和M個節點的第二資源；其中，N、M為正整數，且N為配置第一資源的最少節點數目，M為配置第二資源的最少節點數目；根據優先級配置文件，啟動集群中空閑節點的第一資源或第二資源；其中，空閑節點為未啟動資源的節點。由此可見，本發明提供的資源管理方法可以根據各資源的任務情況，動態啟動空閑節點的相應資源，提高了集群資源的利用效率。

技術領域

本發明涉及分布式系統領域，更具體地說，涉及一種pbs資源與hadoop資源管理方法、系統及設備和一種計算機可讀存儲介質。

背景技術

在分布式系統中，pbs(一個批處理作業和計算機系統資源管理軟件包)常用于HPC(英文全稱：High Performance Computing，中文全稱：高性能計算機群)相關任務的管理系統，hadoop(一個由Apache基金會所開發的分布式系統基礎架構)常用于大數據相關任務的管理系統。當同一集群同時需要運行和管理HPC應用和大數據應用時，需要集群同時運行pbs和hadoop，由于pbs和hadoop各自的資源分配沒有相關性，各自進行管理，導致同一個節點資源會同時分配給pbs應用和hadoop應用，資源的重復分配，應用不能高效的運行。

在現有技術中，存在兩種解決方案，一種為集群所有節點安裝pbs和hadoop，任務自動分配，任務之間競爭資源，這會導致HPC應用和大數據應用都不能夠充分發揮主機性能，導致其中一個應用完全不能運行或者計算性能極差。另一種為集群部分節點安裝pbs，另一部分節點安裝hadoop，集群節點固定，不進行切換，導致當集群中其中一種節點任務較少，而另一種任務較多時，集群部分節點空閑，而某些任務沒有資源運行，集群資源利用不合理。

因此，如何合理分配集群中各節點的pbs資源和hadoop資源，提高集群資源的利用效率是本領域技術人員需要解決的問題。

發明內容

本發明的目的在于提供一種pbs資源與hadoop資源管理方法、系統及設備和一種計算機可讀存儲介質，合理分配集群中各節點的pbs資源和hadoop資源，提高了集群資源的利用效率。

為實現上述目的，本發明提供了一種pbs資源與hadoop資源管理方法，包括：

在集群中的所有節點中部署第一資源和第二資源；其中，所述第一資源和所述第二資源為所述pbs資源或所述hadoop資源，且所述第一資源與所述第二資源為類型不同的兩種資源；

啟動N個節點的第一資源和M個節點的第二資源；其中，N、M為正整數，且N為配置所述第一資源的最少節點數目，M為配置所述第二資源的最少節點數目；

根據優先級配置文件，啟動所述集群中空閑節點的第一資源或第二資源；其中，所述空閑節點為未啟動資源的節點。

其中，所述根據優先級配置文件，啟動所述集群中空閑節點的第一資源或第二資源之前，還包括：

以預設的時間間隔獲取優先級配置文件；其中，所述優先級配置文件為所述集群中所有節點的資源配置信息和任務信息。

其中，所述根據優先級配置文件，啟動所述集群中空閑節點的第一資源或第二資源，包括：

當第一資源的任務增加時，從所述空閑節點中選擇第一目標節點，并啟動所述第一目標節點的第一資源；

當第二資源的任務增加時，從所述空閑節點中選擇第二目標節點，并啟動所述第二目標節點的第二資源。

其中，當所述集群中不存在所述空閑節點時，所述方法還包括：