[發明專利]一種HadoopYarn網絡帶寬資源調度、隔離方法和裝置

在審

• 申請號: 201610404404.6
• 申請日: 2016-06-08
• 公開（公告）號: CN107483364A
• 公開（公告）日: 2017-12-15
• 發明（設計）人: 徐曉燕;樊鑫鑫;臧天寧;李高超;周淵
• 申請（專利權）人: 國家計算機網絡與信息安全管理中心
• 主分類號: H04L12/917
• 分類號: H04L12/917
• 代理公司: 工業和信息化部電子專利中心11010
• 代理人: 田衛平

1.一種Hadoop Yarn網絡帶寬資源調度方法，其特征在于，包括：

RM接收AM發送的作業資源請求；其中，所述工作資源請求包括：在作業中，每個任務的網絡帶寬資源需求量、CPU資源需求量和內存資源需求量；

所述RM根據每個所述任務的網絡帶寬需求量、CPU資源需求量和內存資源需求量，采用預設的公平調度算法，為每個所述任務對應分配容器，并將每個所述任務對應的容器傳遞給所述AM；其中，在每個所述容器中封裝有對應任務的網絡帶寬分配量、CPU資源分配量和內存資源分配量；

所述AM針對每個所述任務，向所述AM所在節點中的NM發送運行請求，使所述NM基于每個所述任務對應的容器運行任務。

2.如權利要求1所述的方法，其特征在于，在RM接收AM發送的作業資源請求之后，還包括：

所述RM從所述作業資源請求的被預先擴展的Resource類中，提取每個任務的網絡帶寬資源需求量、CPU資源需求量和內存資源需求量；其中，

預先擴展Resource類包括：在Resource類中添加用于表示網絡帶寬資源的變量以及用于計算每種任務的網絡帶寬資源需求量的函數。

3.如權利要求1所述的方法，其特征在于，

在所述RM接收AM發送的作業資源請求之前，還包括：

所述RM接收所述NM定時發送的所述節點當前可用的網絡帶寬資源、CPU資源和內存資源；

所述RM根據每個所述任務的網絡帶寬需求量、CPU資源需求量和內存資源需求量，采用預設的公平調度算法，為每個所述任務對應分配容器，包括：

所述RM根據每個任務的CPU資源需求量、內存資源需求量和網絡帶寬資源需求量，采用預設的主資源公平調度算法，在所述節點當前可用的網絡帶寬資源、CPU資源和內存資源和中，為每個所述任務對應分配網絡帶寬分配量、CPU資源分配量和內存資源分配量；

所述RM分別封裝為每個所述任務對應分配的網絡帶寬分配量、CPU資源分配量和內存資源分配量，得到每個所述任務對應的容器。

4.一種Hadoop Yarn網絡帶寬資源隔離方法，其特征在于，包括：

NM從AM獲取多個容器；其中，每個所述容器中封裝有對應的任務的網絡帶寬資源分配量；

所述NM根據各個任務的網絡帶寬資源分配量，隔離各個任務占用的網絡帶寬資源。

5.如權利要求4所述的方法，其特征在于，NM從AM獲取每個容器，包括：

所述NM接收本節點中的AM發送的運行請求；所述運行請求用于請求所述NM運行某一任務；

所述NM從所述AM中獲取所述任務對應的容器；

所述NM根據每個任務的網絡帶寬資源分配量，隔離各個任務占用的網絡帶寬資源，包括：

所述NM根據所述容器運行所述任務，并且根據所述任務的網絡帶寬資源分配量，在本節點當前可用的網絡帶寬資源中，為所述任務分配網絡帶寬資源，并對分配的所述網絡帶寬資源進行隔離處理，使所述任務占用的網絡帶寬資源和其他任務占用的網絡帶寬資源不產生覆蓋。

6.一種Hadoop Yarn網絡帶寬資源調度裝置，其特征在于，位于RM，包括：

接收模塊，用于接收AM發送的作業資源請求；其中，所述工作資源請求包括：在作業中，每個任務的網絡帶寬資源需求量、CPU資源需求量和內存資源需求量；

調度模塊，用于根據每個所述任務的網絡帶寬需求量、CPU資源需求量和內存資源需求量，采用預設的公平調度算法，為每個所述任務對應分配容器，并將每個所述任務對應的容器傳遞給所述AM，以使所述AM針對每個所述任務，向所述AM所在節點中的NM發送運行請求，使所述NM基于每個所述任務對應的容器運行任務；

其中，在每個所述容器中封裝有對應任務的網絡帶寬分配量、CPU資源分配量和內存資源分配量。

7.如權利要求6所述的裝置，其特征在于，所述接收模塊包括提取單元；

所述提取單元，用于在接收AM發送的作業資源請求之后，從所述作業資源請求的被預先擴展的Resource類中，提取每個任務的網絡帶寬資源需求量、CPU資源需求量和內存資源需求量；其中，

預先擴展Resource類包括：在Resource類中添加用于表示網絡帶寬資源的變量以及用于計算每種任務的網絡帶寬資源需求量的函數。