[發明專利]一種感知網絡流量的YARN調度方法及系統

有效

• 申請號: 201710383829.8
• 申請日: 2017-05-26
• 公開（公告）號: CN107241752B
• 公開（公告）日: 2019-10-25
• 發明（設計）人: 辜希武;李瑞軒;王格;李玉華;楊琪;黃鳳玲
• 申請（專利權）人: 華中科技大學
• 主分類號: H04W24/02
• 分類號: H04W24/02;H04W28/08;G06F9/50
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 廖盈春;李智

本發明公開了一種感知網絡流量的YARN調度方法及系統，包括：節點檢測節點的網絡流量，周期性地將網絡流量發送給資源管理器，由資源管理器記錄每個節點當前的網絡流量信息，收到節點匯報的網絡流量信息時，對這個值進行更新，在節點移除時，刪掉該節點的網絡流量信息；在應用向資源管理器申請容器時，為容器設置類型，以便資源管理器能識別容器的類型；在調度方面，根據當前節點與整個集群的網絡流量信息，判斷出當前節點的網絡流量負載情況，選擇合適的應用程序分配資源。本發明提供的調度方法能均衡集群中節點的網絡負載，減少MapReduce應用的執行時間。

技術領域

本發明屬于互聯網大數據技術領域，更具體地，涉及一種感知網絡流量的YARN調度方法及系統。

背景技術

隨著大數據時代的來臨，每天產生大量非結構化和半結構化數據，傳統的關系型數據庫等解決方案無法存儲和處理如此規模的數據量，于是MapReduce編程模型產生。YARN(Yet Another Resource Negotiator)作為一種資源管理平臺，以其高可靠性，高容錯性，支持多種計算框架而得到廣泛應用。

由于YARN管理資源只包括了CPU和內存，沒有包含節點的網絡流量信息，而MapReduce應用非本地性的map任務需要到其他節點上去取數據，reduce任務需要到每個map任務所在的節點去取它需要處理的數據，這兩種任務都需要占用網絡資源。YARN調度器缺乏對整個集群中網絡資源的感知，極易將reduce任務聚集在某些節點上，導致這些節點上的網絡負載高于其他節點，延長作業的執行時間。

發明內容

針對現有技術的以上缺陷或改進需求，本發明的目的在于提供了一種感知網絡流量的YARN調度方法及系統，由此解決現有技術中YARN調度器缺乏對整個集群中網絡資源的感知，極易將reduce任務聚集在某些節點上，導致這些節點上的網絡負載高于其他節點，延長作業的執行時間的技術問題。

為實現上述目的，按照本發明的一個方面，提供了一種感知網絡流量的YARN調度方法，包括：

S1、應用程序在向YARN資源管理器申請Container時設置Container的類型；

S2、集群中的每個節點采集節點上的實時網絡流量信息，并在心跳時向資源管理器匯報節點的實時網絡流量信息；

S3、資源管理器記錄每個節點上的實時網絡流量信息，并在收到節點匯報的更新值時，對記錄的相應節點的實時網絡流量信息進行更新，和/或在節點移除時，刪除記錄的移除節點的實時網絡流量信息；

S4、當前節點向資源管理器發送心跳信息時，若當前節點上存在可用資源，則根據記錄的各節點的實時網絡流量信息以及當前節點的實時網絡流量信息，選擇合適的應用程序的Container分配資源。

優選地，步驟S2具體包括如下子步驟：

S2.1、對集群中的每個節點，使用nload命令將節點的實時網絡流量信息重定向到文件中；

S2.2、從文件中讀取對應的字段，獲取節點的實時網絡流量信息；

S2.3、將節點的實時網絡流量信息賦給NodeStatus的networkFlow字段；

S2.4、向資源管理器發送心跳信息匯報節點的實時網絡流量信息。

優選地，步驟S4具體包括如下子步驟：

S4.1、根據記錄的每個節點的實時網絡流量信息和當前節點的實時網絡流量信息確定當前節點需要的任務類型；