[發明專利]一種針對迭代應用的Spark平臺資源動態分配方法及系統

有效

• 申請號: 201710481071.1
• 申請日: 2017-06-22
• 公開（公告）號: CN107291550B
• 公開（公告）日: 2019-11-12
• 發明（設計）人: 王芳;馮丹;李源
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 廖盈春;李智

1.一種針對迭代應用的Spark平臺資源動態分配方法，其特征在于，包括：

根據Spark集群的硬件信息為Spark集群的任務執行單元分配第一資源以用于任務執行單元執行迭代應用，所述Spark集群包括至少一個計算節點，每個計算節點上啟動至少一個任務執行單元，所述硬件信息包括每個計算節點的內存總量、可用內存量以及CPU核數，所述第一資源包括的內存量和CPU核數分別小于或等于每個計算節點的可用內存量和CPU核數；

確定每個監控周期下每個計算節點在執行所述迭代應用時的軟件信息，所述軟件信息包括所述迭代應用對所述第一資源的內存使用量和CPU利用率；

根據每個計算節點在第m個監控周期下和第m+1個監控周期下執行所述迭代應用時的軟件信息確定所述迭代應用對所述第一資源的使用量達到收斂，m為正整數；若每個計算節點從第m個監控周期到第m+1個監控周期執行所述迭代應用時對所述第一資源所包括內存的使用量趨于穩定，則所述迭代應用對所述第一資源的使用量達到收斂；

根據第1至第m+1個監控周期下每個計算節點在執行所述迭代應用時的軟件信息為Spark集群的任務執行單元分配第二資源，以用于所述任務執行單元重新執行所述迭代應用，所述第二資源包括的內存量和CPU核數分別小于或等于第一資源包括的內存量和CPU核數。

2.根據權利要求1所述的Spark平臺資源動態分配方法，其特征在于，每個計算節點從第m個監控周期到第m+1監控周期執行所述迭代應用時對所述第一資源的內存使用量趨于穩定，包括：

若每個計算節點從第m個監控周期到第m+1個監控周期執行所述迭代應用時內存使用量變化率滿足如下公式，則每個計算節點對所述第一資源的內存使用量趨于穩定：

δi＜α

其中，δi表示計算節點i從第m到第m+1個監控周期下執行所述迭代應用時的內存使用量變化率，i表示計算節點的編號，α表示預設變化率閾值；

δi通過以下公式確定：

δi＝(MEMi(m+1)-MEMim)/MEMim

其中，MEMim和MEMi(m+1)分別表示計算節點i在第m個監控周期下和第m+1個監控周期下執行所述迭代應用時的內存使用量。

3.根據權利要求1所述的Spark平臺資源動態分配方法，其特征在于，根據第1至第m+1個監控周期下每個計算節點在執行所述迭代應用時的軟件信息為Spark集群的任務執行單元分配第二資源，通過以下公式確定：

其中，MEMsug表示第二資源包括的內存量，CPUsug表示第二資源包括的CPU核數，β1和β2分別為內存量和CPU核數的資源需求浮動因子，MEMmax表示第m+1個監控周期下所有計算節點在執行所述迭代應用時內存使用量中的最大值，CPUmax表示從第1個監控周期到第m+1個監控周期中所有計算節點在執行所述迭代應用時CPU利用率中的最大值，CPU_Core_NUM表示每個計算節點的CPU核數。

4.根據權利要求2所述的Spark平臺資源動態分配方法，其特征在于，MEMim和MEMi(m+1)分別通過以下公式確定：

MEMim＝(MEM_USED′im-MEM_USEDi)

MEMi(m+1)＝(MEM_USED′i(m+1)-MEM_USEDi)

其中，MEM_USEDi表示計算節點i無應用執行時的內存使用量，MEM_USED′im與MEM_USED′i(m+1)分別表示計算節點i在第m和第m+1個監控周期的內存總使用量，MEMim和MEMi(m+1)分別表示計算節點i在第m和第m+1個監控周期執行迭代應用時的內存使用量。