[發明專利]一種HadoopYarn網絡帶寬資源調度、隔離方法和裝置

在審

• 申請號: 201610404404.6
• 申請日: 2016-06-08
• 公開（公告）號: CN107483364A
• 公開（公告）日: 2017-12-15
• 發明（設計）人: 徐曉燕;樊鑫鑫;臧天寧;李高超;周淵
• 申請（專利權）人: 國家計算機網絡與信息安全管理中心
• 主分類號: H04L12/917
• 分類號: H04L12/917
• 代理公司: 工業和信息化部電子專利中心11010
• 代理人: 田衛平

技術領域

本發明涉及大數據計算技術領域，特別是涉及一種Hadoop Yarn網絡帶寬資源調度、隔離方法和裝置。

背景技術

Yarn(Yet Another Resource Negotiator，另一種資源協調者)為通用資源管理系統，負責Yarn集群的資源分配和任務調度，Yarn主要包括3個組件：RM(Resource Manager，資源管理器)，NM(Node Manager，節點管理器)和AM(Application Master，應用程序管理器)。

在Yarn中，資源的表示單位是容器(Container)，Container是從MRv1中分解出來的一部分。Container是Yarn中資源的抽象，封裝了某個節點上一定量的運算資源和存儲資源，如CPU和內存。Container是動態資源的劃分單位，AM向RM申請資源，RM中的調度器為AM分配Container，AM接收到Container之后，會通知NM啟動Container執行任務。具體的，每個作業(job)包含多個任務(task)，由AM為每個task申請資源，RM負責為每個task分配資源，NM負責運行和管理Container，每個task由一個Container運行。

HDFS(Hadoop Distributed File System，Hadoop分布式文件系統)包括一個namenode和多個datanode。HDFS存儲了大量數據，提供客戶端(client)和應用程序(application)的數據流訪問。在HDFS中，較大的文件被分割成等大的數據塊(block)，存儲在datanode上。為確保可靠服務，防止datanode失效，提供副本策略，將同一數據塊的副本(默認有3個副本)放在不同的datanode中保存。Namenode保存文件和目錄的元數據(metadata)和文件的block 的位置信息。在HDFS中，所有的數據傳輸通過TCP/IP協議棧執行。一個block的傳輸需要通過2個pipes：一個TCP/IP pipe，位于container和datanode之間；另一個是disk io pipe，在datanode和內部block要存儲的磁盤之間。

在大數據領域，Yarn需要成為一個通用的資源管理系統，建立一個全方位的資源管控網，管理集群中的各種資源，包括內存、CPU、網絡帶寬、磁盤等等，但是目前，Yarn只支持對內存和CPU的管理，不支持對網絡帶寬的管理；而且，由于Yarn集群中仍然存在多種資源不受Yarn管理，多租戶多任務共享的Yarn集群中，這些不被管理的資源的存在會影響集群的健壯性：共享資源的不共享占用；遭受拒絕服務DoS(Denial of Service)攻擊，比如惡意用戶運行應用--占用盡可能少的受限資源和盡可能多的不受限資源，使過度使用的資源成為集群的瓶頸。基于以上考慮，本領域需要在Yarn中加入對網絡帶寬資源的管理。

發明內容

本發明提供一種Hadoop Yarn網絡帶寬資源調度、隔離方法和裝置，用以調度和隔離Yarn中各個任務的網絡帶寬資源，避免任務之間因帶寬競爭影響性能。

針對上述技術問題，本發明是通過以下技術方案來解決的。

本發明提供了一種Hadoop Yarn網絡帶寬資源調度方法，包括：RM接收AM發送的作業資源請求；其中，所述工作資源請求包括：在作業中，每個任務的網絡帶寬資源需求量、CPU資源需求量和內存資源需求量；所述RM根據每個所述任務的網絡帶寬需求量、CPU資源需求量和內存資源需求量，采用預設的公平調度算法，為每個所述任務對應分配容器，并將每個所述任務對應的容器傳遞給所述AM；其中，在每個所述容器中封裝有對應任務的網絡帶寬分配量、CPU資源分配量和內存資源分配量；所述AM針對每個所述任務，向所述AM所在節點中的NM發送運行請求，使所述NM基于每個所述任務對應 的容器運行任務。

其中，在RM接收AM發送的作業資源請求之后，還包括：所述RM從所述作業資源請求的被預先擴展的Resource類中，提取每個任務的網絡帶寬資源需求量、CPU資源需求量和內存資源需求量；其中，預先擴展Resource類包括：在Resource類中添加用于表示網絡帶寬資源的變量以及用于計算每種任務的網絡帶寬資源需求量的函數。