[發(fā)明專利]面向分布式編程框架的資源管理系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201210262881.5
• 申請日: 2012-07-26
• 公開（公告）號: CN102866918A
• 公開（公告）日: 2013-01-09
• 發(fā)明（設(shè)計）人: 張章;陳競;韓冀中;戴嬌;孟丹
• 申請（專利權(quán)）人: 中國科學(xué)院信息工程研究所
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京輕創(chuàng)知識產(chǎn)權(quán)代理有限公司 11212
• 代理人: 楊立

技術(shù)領(lǐng)域

本發(fā)明涉及計算機領(lǐng)域，尤其涉及一種面向分布式編程框架的資源管理系統(tǒng)。

背景技術(shù)

并行計算依賴于大規(guī)模的集群，并行計算的火熱推動了集群管理系統(tǒng)的發(fā)展，面向并行計算的集群管理系統(tǒng)開始出現(xiàn)，比如LSF（Load?Sharing?Facility,負載共享設(shè)施）系統(tǒng)、PBS（Protable?Batch?System,可移植批處理作業(yè)系統(tǒng)）系統(tǒng)等。這些系統(tǒng)都是面向并行計算，處理傳統(tǒng)的批處理作業(yè)，管理集群資源，廣泛應(yīng)用于工業(yè)生產(chǎn)和科研環(huán)境中。隨著分布式計算的興起，各種新型并行編程框架的不斷涌現(xiàn)，傳統(tǒng)的集群管理系統(tǒng)因其本身系統(tǒng)設(shè)計與結(jié)構(gòu)等方面的原因，無法良好的支持新型編程框架，更無法支持多編程框架共存于集群中的資源管理問題。面向多編程框架的集群資源管理是最近才出現(xiàn)的研究課題。下面列舉3個有代表性的可支持多編程框架的集群資源管理系統(tǒng)：

1)計算密集型批處理作業(yè)管理系統(tǒng)Condor

Condor是威斯康辛大學(xué)開發(fā)的處理計算密集型作業(yè)的批處理系統(tǒng)。它的架構(gòu)為典型的主-從（master-slave）結(jié)構(gòu)，Condor的master主要由收集器（collector)和導(dǎo)航器(negotiator)組成，開啟器（startd）是每個執(zhí)行機器上都有的守護進程，相當于從部分，開啟器負責(zé)啟動任務(wù)，并定時上報機器的資源信息給收集器。開啟器是每個提交作業(yè)的機器上都存在的調(diào)度器進程，負責(zé)接收用戶作業(yè)，將任務(wù)匹配請求發(fā)送給收集器。導(dǎo)航器完成作業(yè)資源請求與機器的匹配工作，從而將作業(yè)分發(fā)給合適的機器，由開啟器啟動任務(wù)。

對于編程框架的支持，Condor實現(xiàn)了一套管理-工作者(master-worker)結(jié)構(gòu)的框架，簡稱為MW框架。MW框架提供了一些基類，通過繼承這三個基類，用戶可以編寫自己的框架。Condor支持編程框架的本質(zhì)是提供了一套開發(fā)編程框架的API（Application?Programming?Interface，應(yīng)用程序編程接口），用戶通過這套API可以開發(fā)出一個編程框架，因此Condor要支持已有的編程框架非常麻煩。資源虛擬化方面，Condor本身并沒有對任何的資源虛擬化方案管理資源，因此多個框架之間會產(chǎn)生資源競爭，互相影響。總體而言，Condor在兼容現(xiàn)有的編程框架上存在困難，并且沒有提供任何虛擬化的技術(shù)，使得多編程框架共享集群存在困難。

2)動態(tài)資源管理系統(tǒng)Mesos

Mesos是Berkeley大學(xué)實現(xiàn)的數(shù)據(jù)中心資源共享管理平臺，負責(zé)為上層計算框架分配資源。Mesos的本質(zhì)思想是集群復(fù)用。相比于傳統(tǒng)的資源管理系統(tǒng)，Mesos從不同的資源視角對集群資源管理進行了抽象。Mesos通過與框架的調(diào)度器的通信完成資源分配的交互。

編程框架要運行于Mesos之上，必須要在編程框架的主部分中增加與Mesos的交互模塊。Mesos提供了一套資源-提供（resource-offer）機制與編程框架的master交互。編程框架的主部分在基于資源-提供機制提供的API接收或者拒絕Mesos推送的資源，包括CPU和內(nèi)存。因此對編程框架而言，需要進行大量的內(nèi)部邏輯修改，對編程框架使用人員而言成本太高，大大降低了Mesos使用的靈活性。資源虛擬化方面，Mesos使用了操作系統(tǒng)級別虛擬化工具容器（Linux?Container），管理CPU和內(nèi)存兩種資源，在保證編程框架性能的同時，也保證了編程框架之間的資源隔離，效果良好。在資源利用率方面，Mesos將空閑資源迅速回收，并通過資源-提供機制將空閑資源實時推送給編程框架，編程框架根據(jù)自身機制選擇是否接受，通過這種方式能有效提高集群資源利用率。Mesos在資源虛擬化方面和提升資源利用率方面的表現(xiàn)很好，其缺點在于兼容現(xiàn)有的編程框架比較繁瑣，兼容性不足。

3)Hadoop-Yarn

Hadoop0.23對Hadoop的架構(gòu)進行了重大的革新。Hadoop0.23將編程框架與運行時框架解耦，分離出MapReduce編程框架和資源管理系統(tǒng)，新一代的架構(gòu)稱為Yarn。

Yarn采用主從架構(gòu)，資源管理器(ResourceManager)是主部分，節(jié)點管理器(NodeManager)是其從部分。資源管理器負責(zé)調(diào)度分發(fā)資源請求，節(jié)點管理器負責(zé)啟動任務(wù)。在Yarn中有兩種運行實體，一種是程序管理器(App?Master)，一種是容器（Container）。程序管理器是應(yīng)用程序的主部分,比如MapReduce的主部分，而容器是程序管理器向資源管理器申請資源獲得匹配后啟動的程序，比如MapReduce的工作者（worker）。