[發(fā)明專利]pbs資源與hadoop資源管理方法、系統(tǒng)及設備

有效

• 申請?zhí)枺?/td>: 201810161510.5
• 申請日: 2018-02-27
• 公開（公告）號: CN108279982B
• 公開（公告）日: 2021-11-09
• 發(fā)明（設計）人: 何偉;胡葉
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

1.一種pbs資源與hadoop資源管理方法，其特征在于，包括：

在集群中的所有節(jié)點中部署第一資源和第二資源；其中，所述第一資源和所述第二資源為所述pbs資源或所述hadoop資源，且所述第一資源與所述第二資源為類型不同的兩種資源；

啟動N個節(jié)點的第一資源和M個節(jié)點的第二資源；其中，N、M為正整數(shù)，且N為配置所述第一資源的最少節(jié)點數(shù)目，M為配置所述第二資源的最少節(jié)點數(shù)目，所述N個節(jié)點和所述M個節(jié)點為不同的節(jié)點；

根據優(yōu)先級配置文件，啟動所述集群中空閑節(jié)點的第一資源或第二資源；其中，所述空閑節(jié)點為未啟動資源的節(jié)點。

2.根據權利要求1所述管理方法，其特征在于，所述根據優(yōu)先級配置文件，啟動所述集群中空閑節(jié)點的第一資源或第二資源之前，還包括：

以預設的時間間隔獲取優(yōu)先級配置文件；其中，所述優(yōu)先級配置文件為所述集群中所有節(jié)點的資源配置信息和任務信息。

3.根據權利要求1所述管理方法，其特征在于，所述根據優(yōu)先級配置文件，啟動所述集群中空閑節(jié)點的第一資源或第二資源，包括：

當?shù)谝毁Y源的任務增加時，從所述空閑節(jié)點中選擇第一目標節(jié)點，并啟動所述第一目標節(jié)點的第一資源；

當?shù)诙Y源的任務增加時，從所述空閑節(jié)點中選擇第二目標節(jié)點，并啟動所述第二目標節(jié)點的第二資源。

4.根據權利要求3所述管理方法，其特征在于，當所述集群中不存在所述空閑節(jié)點時，所述方法還包括：

判斷啟動所述第一資源的節(jié)點中是否存在冗余節(jié)點，且是否存在所述第二資源的排隊任務；其中，所述冗余節(jié)點為未分配任務的節(jié)點；

若均是，則從所述冗余節(jié)點中選取第三目標節(jié)點，并切換所述第三目標節(jié)點的啟動資源為所述第二資源。

5.一種pbs資源與hadoop資源管理系統(tǒng)，其特征在于，包括：

安裝模塊，用于在集群中的所有節(jié)點中部署第一資源和第二資源；其中，所述第一資源為所述pbs資源和所述hadoop資源中的任一項，所述第二資源為所述pbs資源和所述hadoop資源中除所述第一資源外的一項；

第一啟動模塊，用于啟動N個節(jié)點的第一資源和M個節(jié)點的第二資源；其中，N、M為正整數(shù)，且N為配置所述第一資源的最少節(jié)點數(shù)目，M為配置所述第二資源的最少節(jié)點數(shù)目，所述N個節(jié)點和所述M個節(jié)點為不同的節(jié)點；

第二啟動模塊，用于根據優(yōu)先級配置文件，啟動所述集群中空閑節(jié)點的第一資源或第二資源；其中，所述空閑節(jié)點為未啟動資源的節(jié)點。

6.根據權利要求5所述管理系統(tǒng)，其特征在于，還包括：

獲取模塊，用于以預設的時間間隔獲取優(yōu)先級配置文件；其中，所述優(yōu)先級配置文件為集群中所有節(jié)點的資源配置信息和任務信息。

7.根據權利要求5所述管理系統(tǒng)，其特征在于，所述第二啟動模塊具體包括：

第一啟動單元，用于當?shù)谝毁Y源的任務增加時，從所述空閑節(jié)點中選擇第一目標節(jié)點，并啟動所述第一目標節(jié)點的第一資源；

第二啟動單元，用于當?shù)诙Y源的任務增加時，從所述空閑節(jié)點中選擇第二目標節(jié)點，并啟動所述第二目標節(jié)點的第二資源。

8.根據權利要求7所述管理系統(tǒng)，其特征在于，還包括：

判斷模塊，用于判斷啟動所述第一資源的節(jié)點中是否存在冗余節(jié)點，且是否存在所述第二資源的排隊任務；其中，所述冗余節(jié)點為未分配任務的節(jié)點；若是，則啟動切換模塊的工作流程；

所述切換模塊，用于從所述冗余節(jié)點中選取第三目標節(jié)點，并切換所述第三目標節(jié)點的啟動資源為所述第二資源。

9.一種pbs資源與hadoop資源管理設備，其特征在于，包括：

存儲器，用于存儲計算機程序；

處理器，用于執(zhí)行所述計算機程序時實現(xiàn)如權利要求1至4任一項所述管理方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權利要求1至4任一項所述管理方法。