[發(fā)明專利]一種資源調(diào)度方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201610193081.0
• 申請(qǐng)日: 2016-03-30
• 公開（公告）號(hào): CN107291546B
• 公開（公告）日: 2020-07-14
• 發(fā)明（設(shè)計(jì)）人: 趙波
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 北京中博世達(dá)專利商標(biāo)代理有限公司 11274
• 代理人: 申健

1.一種資源調(diào)度方法，其特征在于，應(yīng)用于資源管理器，所述資源管理器用于管理和調(diào)度集群資源，所述集群包括多個(gè)節(jié)點(diǎn)，與所述集群支持的計(jì)算框架適配的R個(gè)應(yīng)用程序運(yùn)行在所述多個(gè)節(jié)點(diǎn)上，R為正整數(shù)，所述方法包括：

所述資源管理器接收所述R個(gè)應(yīng)用程序的資源請(qǐng)求；

所述資源管理器獲取歷史特征信息，所述歷史特征信息包括第一歷史特征信息和第二歷史特征信息中的至少一項(xiàng)，所述第一歷史特征信息為所述R個(gè)應(yīng)用程序中的N個(gè)應(yīng)用程序的歷史特征；所述第二歷史特征信息為所述多個(gè)節(jié)點(diǎn)中的M個(gè)節(jié)點(diǎn)的歷史特征；所述M個(gè)節(jié)點(diǎn)為所述多個(gè)節(jié)點(diǎn)中的有空閑資源的M個(gè)節(jié)點(diǎn)，其中，應(yīng)用程序的歷史特征包括用于表示該應(yīng)用程序的歷史資源使用情況的信息和用于表示該應(yīng)用程序的歷史運(yùn)行時(shí)間的信息中的至少一項(xiàng)，節(jié)點(diǎn)的歷史特征包括該節(jié)點(diǎn)的故障率以及任務(wù)失敗率中的至少一項(xiàng)，1≤N≤R，M≥1，N、M均為整數(shù)；

所述資源管理器根據(jù)所述第一歷史特征信息和所述第二歷史特征信息調(diào)整第一調(diào)度參數(shù)，其中，所述第一調(diào)度參數(shù)包括所述N個(gè)應(yīng)用程序中的每個(gè)應(yīng)用程序?qū)?yīng)的調(diào)度參數(shù)和所述M個(gè)節(jié)點(diǎn)中的每個(gè)節(jié)點(diǎn)對(duì)應(yīng)的調(diào)度參數(shù)，所述第一調(diào)度參數(shù)用于確定為所述N個(gè)應(yīng)用程序調(diào)度資源的順序和調(diào)度所述M個(gè)節(jié)點(diǎn)的資源的順序；

所述資源管理器根據(jù)調(diào)整后的第一調(diào)度參數(shù)和第一調(diào)度策略為所述N個(gè)應(yīng)用程序調(diào)度資源。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述N個(gè)應(yīng)用程序的歷史特征包括所述N個(gè)應(yīng)用程序中的每個(gè)應(yīng)用程序的綜合歷史運(yùn)行時(shí)長(zhǎng)；所述綜合歷史運(yùn)行時(shí)長(zhǎng)為該應(yīng)用程序一次歷史運(yùn)行時(shí)長(zhǎng)或多次歷史運(yùn)行時(shí)長(zhǎng)的平均值或最高值；所述M個(gè)節(jié)點(diǎn)的歷史特征包括所述M個(gè)節(jié)點(diǎn)中的每個(gè)節(jié)點(diǎn)的故障率和任務(wù)失敗率，所述資源管理器根據(jù)所述第一歷史特征信息和所述第二歷史特征信息調(diào)整第一調(diào)度參數(shù)，包括：

所述資源管理器確定所述N個(gè)應(yīng)用程序中的每個(gè)應(yīng)用程序的綜合歷史運(yùn)行時(shí)長(zhǎng)；

所述資源管理器根據(jù)所述M個(gè)節(jié)點(diǎn)中的每個(gè)節(jié)點(diǎn)的故障率和任務(wù)失敗率計(jì)算所述M個(gè)節(jié)點(diǎn)中的每個(gè)節(jié)點(diǎn)的健康率，一個(gè)節(jié)點(diǎn)的健康率等于該節(jié)點(diǎn)的故障率的α倍與該節(jié)點(diǎn)的任務(wù)失敗率的β倍之和，α＝1-β，0＜α＜1；

所述資源管理器根據(jù)調(diào)整后的第一調(diào)度參數(shù)和所述第一調(diào)度策略為所述N個(gè)應(yīng)用程序調(diào)度資源，包括：所述資源管理器將節(jié)點(diǎn)的健康率越高的節(jié)點(diǎn)的資源分配給綜合歷史運(yùn)行時(shí)長(zhǎng)越長(zhǎng)的應(yīng)用程序。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

所述資源管理器多次計(jì)算所述多個(gè)節(jié)點(diǎn)中的全部節(jié)點(diǎn)的任務(wù)成功率，并在每次計(jì)算完成后根據(jù)所述任務(wù)成功率調(diào)整所述α的值，直至確定出的所述α的值使得所述任務(wù)成功率最高為止。

4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，所述歷史資源包括所述節(jié)點(diǎn)的中央處理器CPU資源、內(nèi)存資源、磁盤空間資源、磁盤I/O資源、網(wǎng)絡(luò)I/O資源和文件句柄數(shù)資源中的一種或多種資源。

5.一種資源調(diào)度方法，其特征在于，應(yīng)用于資源管理器，所述資源管理器用于管理和調(diào)度集群資源，所述集群包括多個(gè)節(jié)點(diǎn)，與所述集群支持的計(jì)算框架適配的R個(gè)應(yīng)用程序運(yùn)行在所述多個(gè)節(jié)點(diǎn)上，R為正整數(shù)，所述方法包括：

所述資源管理器接收所述R個(gè)應(yīng)用程序的資源請(qǐng)求；

所述資源管理器獲取第二歷史特征信息，所述第二歷史特征信息為所述多個(gè)節(jié)點(diǎn)中的M個(gè)節(jié)點(diǎn)的歷史特征；所述M個(gè)節(jié)點(diǎn)為所述多個(gè)節(jié)點(diǎn)中的有空閑資源的M個(gè)節(jié)點(diǎn)，其中，節(jié)點(diǎn)的歷史特征包括該節(jié)點(diǎn)的故障率以及任務(wù)失敗率中的至少一項(xiàng)，M≥1，M為整數(shù)；

所述資源管理器根據(jù)所述第二歷史特征信息調(diào)整第二調(diào)度參數(shù)，所述第二調(diào)度參數(shù)包括所述M個(gè)節(jié)點(diǎn)中的每個(gè)節(jié)點(diǎn)對(duì)應(yīng)的調(diào)度參數(shù)，所述第二調(diào)度參數(shù)用于確定調(diào)度所述M個(gè)節(jié)點(diǎn)的資源的順序；

所述資源管理器根據(jù)調(diào)整后的第二調(diào)度參數(shù)和第二調(diào)度策略為所述R個(gè)應(yīng)用程序中的至少一個(gè)應(yīng)用程序調(diào)度資源。