[發明專利]一種資源調整方法及裝置

在審

• 申請號: 201810600412.7
• 申請日: 2018-06-12
• 公開（公告）號: CN110597614A
• 公開（公告）日: 2019-12-20
• 發明（設計）人: 張楊;馮亦揮;歐陽晉
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;H04L29/08
• 代理公司: 11127 北京三友知識產權代理有限公司
• 代理人: 李輝

本申請實施例公開了一種資源調整方法及裝置。所述方法應用于包括多個機器節點的分布式系統中，所述機器節點上設置有多個作業節點，包括：接收資源調整請求，所述資源調整請求中包括目標作業節點所需調整的資源量以及所述目標作業節點所在機器節點的標識信息；設置所述資源調整請求對應的資源調整狀態；若確定所述標識信息對應的機器節點滿足所述目標作業節點的資源調整需求，則更新所述資源調整狀態，并發送調整資源的指令至所述機器節點；接收所述機器節點的資源調整結果，并更新所述資源調整狀態。本申請實施例可以實現分布式系統中應用程序運行期間的動態資源調整，可以提升分布式系統中各個機器節點上的資源利用率以及應用程序的運行效率。

技術領域

本申請涉及大數據技術領域，特別涉及一種資源調整方法及裝置。

背景技術

在Hadoop生態越來越完善的背景下，集群多用戶租用的場景變得越來越普遍，而多用戶任務下的資源調度就顯得尤為關鍵。比如，公司擁有具有幾十個計算節點的Hadoop集群，A項目組要進行一個計算任務，B項目組也要進行一個計算任務，集群應該先執行哪個計算任務。又或者，如果多個用戶同時提交大量的計算任務，這些計算任務又該如何執行。為了解決上面的技術問題，需要在Hadoop集群中引入資源管理和任務調度的框架。目前，主流的資源管理系統主要包括Google的Borg、Apache的YARN、Twitter的Mesos、騰訊搜搜的Torc、Facebook的Corona等。

在分布式系統的應用場景中，存在資源動態調整的需求。典型地，分布式系統中可以運行著多個應用，應用按其運行生命周期的長短可分為長應用和短應用。短應用通常是離線作業，作業從提交到完成所消耗的時間有限，作業完成后，其占用的資源會被釋放，如SQL查詢等。長應用通常是一些在線服務，啟動后除非意外或人為終止，將一直運行下去，如網頁后端。長應用通常長期占用集群上的一些資源，且運行期間對資源的需求會隨著時間和/或流量的變化而變化。以電商網站的后端服務舉例，在晚上8點－12點的流量會比凌晨2點到4點的流量要大很多，自然在線服務作業需要的資源請求也隨之增大。如果可以根據時間和/或業務需求動態調整長應用作業的資源請求，在繁忙的時候擴大資源請求，在空閑的時候縮小資源請求，那么在長應用作業空閑的時候，系統可以提供額外的剩余資源運行更多的短應用。

目前，現有技術中還沒有資源申請動態調整的解決方案，長應用一經提交，資源請求的大小即不能改變。對此，在長應用與短應用共存的集群中，長應用無法根據時間和/或業務需求來動態調整資源請求放入大小，至少會存在以下兩個問題：

一、當長應用處于空閑狀態時，申請的剩余資源無法被其他應用使用，造成資源浪費；

二、當長應用處于繁忙狀態時，申請的資源大小可能不滿足業務需求，造成長應用作業在執行過程中被限制。

因此，現有技術中亟需一種對分布式系統中資源申請進行動態調整的方式。

發明內容

本申請實施例的目的在于提供一種資源調整方法及裝置，可以提升分布式系統中各個機器節點上的資源利用率以及應用程序的運行效率。

本申請實施例提供一種資源調整分配方法及裝置是這樣實現的：

一種資源調整方法，應用于包括多個機器節點的分布式系統中，所述機器節點上設置有多個作業節點，所述方法包括：

接收資源調整請求，所述資源調整請求中包括目標作業節點所需調整的資源量以及所述目標作業節點所在機器節點的標識信息；

設置所述資源調整請求對應的資源調整狀態；

若確定所述標識信息對應的機器節點滿足所述目標作業節點的資源調整需求，則更新所述資源調整狀態，并發送調整資源的指令至所述機器節點；

接收所述機器節點的資源調整結果，并更新所述資源調整狀態。