[發(fā)明專利]一種資源調(diào)度方法及裝置

有效

• 申請?zhí)枺?/td>: 201610193081.0
• 申請日: 2016-03-30
• 公開（公告）號: CN107291546B
• 公開（公告）日: 2020-07-14
• 發(fā)明（設(shè)計）人: 趙波
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京中博世達(dá)專利商標(biāo)代理有限公司 11274
• 代理人: 申健

本發(fā)明實施例公開了一種資源調(diào)度方法及裝置，涉及資源管理技術(shù)領(lǐng)域，用以提高集群資源的利用率。該方法應(yīng)用于資源管理器，資源管理器用于管理和調(diào)度集群資源，集群包括多個節(jié)點，與集群支持的計算框架適配的R個應(yīng)用程序運行在多個節(jié)點上，R為正整數(shù)，該方法包括：資源管理器接收R個應(yīng)用程序的資源請求；資源管理器獲取歷史特征信息，歷史特征信息包括第一歷史特征信息和第二歷史特征信息中的至少一項；資源管理器根據(jù)第一歷史特征信息和第一調(diào)度策略為N個應(yīng)用程序調(diào)度資源；或者，資源管理器根據(jù)第二歷史特征信息和第二調(diào)度策略為R個應(yīng)用程序中的至少一個應(yīng)用程序調(diào)度資源。

技術(shù)領(lǐng)域

本發(fā)明涉及資源管理技術(shù)領(lǐng)域，尤其涉及一種資源調(diào)度方法及裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)的快速發(fā)展和大數(shù)據(jù)時代的來臨，基于數(shù)據(jù)密集型應(yīng)用的計算框架不斷涌現(xiàn)，不同的計算框架面向不同領(lǐng)域的應(yīng)用。基于這一特點，一些公司(例如，互聯(lián)網(wǎng)公司)往往需要部署和運行多個計算框架，從而為每個應(yīng)用選擇最優(yōu)的計算框架。因此，集群資源統(tǒng)一管理和調(diào)度系統(tǒng)作為集群資源共享平臺被提出來，該系統(tǒng)中包括集群，集群包括資源管理器和多個節(jié)點，集群資源即多個節(jié)點的資源，資源管理器部署在集群中的節(jié)點上，該系統(tǒng)需要同時支持多種不同的計算框架，如圖1所示的系統(tǒng)，該系統(tǒng)支持MR(即MapReduce)、Storm、S4(Simple Scalable Streaming System)以及MPI(Message PassingInterface)等計算框架，資源管理器通過對客戶端設(shè)備發(fā)送的不同計算框架類型的應(yīng)用程序進(jìn)行統(tǒng)一的調(diào)度，以便提高資源利用率，降低運維成本。

目前，集群資源統(tǒng)一管理和調(diào)度系統(tǒng)經(jīng)常采用的資源調(diào)度策略包括公平調(diào)度策略、容量調(diào)度策略和先進(jìn)先出調(diào)度策略，公平調(diào)度策略即按照客戶端設(shè)備提交的應(yīng)用程序所需要使用的內(nèi)存資源、中央處理器(Central Processing Unit，簡稱CPU)資源或磁盤I/O資源等資源的比率大小進(jìn)行資源調(diào)度；容量調(diào)度策略即以應(yīng)用程序為單位劃分資源，每個應(yīng)用程序可設(shè)定資源最低保證和使用上限，按照設(shè)定的資源最低保證和使用上限為應(yīng)用程序調(diào)度資源；先進(jìn)先出調(diào)度策略即按照客戶端設(shè)備提交的應(yīng)用程序的先后順序調(diào)度。由于應(yīng)用程序向資源管理器請求的資源量并不是應(yīng)用程序?qū)嶋H需要的資源量，而是盡量請求較多的資源，使得集群資源統(tǒng)一管理和調(diào)度系統(tǒng)不能根據(jù)應(yīng)用程序的實際運行情況為每個應(yīng)用程序分配資源，從而使得資源分配不合理，資源利用率有待提高。

發(fā)明內(nèi)容

本發(fā)明的實施例提供一種資源調(diào)度方法及裝置，用以提高集群資源的利用率。

為達(dá)到上述目的，本發(fā)明的實施例采用如下技術(shù)方案：

第一方面，提供一種資源調(diào)度方法，應(yīng)用于資源管理器，資源管理器用于管理和調(diào)度集群資源，集群包括多個節(jié)點，與集群支持的計算框架適配的R個應(yīng)用程序運行在多個節(jié)點上，R為正整數(shù)，該方法包括：資源管理器接收R個應(yīng)用程序的資源請求；資源管理器獲取歷史特征信息，歷史特征信息包括第一歷史特征信息和第二歷史特征信息中的至少一項，第一歷史特征信息為R個應(yīng)用程序中的N個應(yīng)用程序的歷史特征，應(yīng)用程序的歷史特征包括用于表示該應(yīng)用程序的歷史資源使用情況的信息和用于表示該應(yīng)用程序的歷史運行時間的信息中的至少一項；第二歷史特征信息為多個節(jié)點中的有空閑資源的M個節(jié)點的歷史特征，節(jié)點的歷史特征包括該節(jié)點的故障率以及任務(wù)失敗率中的至少一項，1≤N≤R，M≥1，N、M均為整數(shù)；資源管理器根據(jù)第一歷史特征信息和第一調(diào)度策略為N個應(yīng)用程序調(diào)度資源；或者，資源管理器根據(jù)第二歷史特征信息和第二調(diào)度策略為R個應(yīng)用程序中的至少一個應(yīng)用程序調(diào)度資源。