[發(fā)明專利]一種針對迭代應(yīng)用的Spark平臺資源動態(tài)分配方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710481071.1
• 申請日: 2017-06-22
• 公開（公告）號: CN107291550B
• 公開（公告）日: 2019-11-12
• 發(fā)明（設(shè)計）人: 王芳;馮丹;李源
• 申請（專利權(quán)）人: 華中科技大學(xué)
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 華中科技大學(xué)專利中心 42201
• 代理人: 廖盈春;李智

1.一種針對迭代應(yīng)用的Spark平臺資源動態(tài)分配方法，其特征在于，包括：

根據(jù)Spark集群的硬件信息為Spark集群的任務(wù)執(zhí)行單元分配第一資源以用于任務(wù)執(zhí)行單元執(zhí)行迭代應(yīng)用，所述Spark集群包括至少一個計算節(jié)點(diǎn)，每個計算節(jié)點(diǎn)上啟動至少一個任務(wù)執(zhí)行單元，所述硬件信息包括每個計算節(jié)點(diǎn)的內(nèi)存總量、可用內(nèi)存量以及CPU核數(shù)，所述第一資源包括的內(nèi)存量和CPU核數(shù)分別小于或等于每個計算節(jié)點(diǎn)的可用內(nèi)存量和CPU核數(shù)；

確定每個監(jiān)控周期下每個計算節(jié)點(diǎn)在執(zhí)行所述迭代應(yīng)用時的軟件信息，所述軟件信息包括所述迭代應(yīng)用對所述第一資源的內(nèi)存使用量和CPU利用率；

根據(jù)每個計算節(jié)點(diǎn)在第m個監(jiān)控周期下和第m+1個監(jiān)控周期下執(zhí)行所述迭代應(yīng)用時的軟件信息確定所述迭代應(yīng)用對所述第一資源的使用量達(dá)到收斂，m為正整數(shù)；若每個計算節(jié)點(diǎn)從第m個監(jiān)控周期到第m+1個監(jiān)控周期執(zhí)行所述迭代應(yīng)用時對所述第一資源所包括內(nèi)存的使用量趨于穩(wěn)定，則所述迭代應(yīng)用對所述第一資源的使用量達(dá)到收斂；

根據(jù)第1至第m+1個監(jiān)控周期下每個計算節(jié)點(diǎn)在執(zhí)行所述迭代應(yīng)用時的軟件信息為Spark集群的任務(wù)執(zhí)行單元分配第二資源，以用于所述任務(wù)執(zhí)行單元重新執(zhí)行所述迭代應(yīng)用，所述第二資源包括的內(nèi)存量和CPU核數(shù)分別小于或等于第一資源包括的內(nèi)存量和CPU核數(shù)。

2.根據(jù)權(quán)利要求1所述的Spark平臺資源動態(tài)分配方法，其特征在于，每個計算節(jié)點(diǎn)從第m個監(jiān)控周期到第m+1監(jiān)控周期執(zhí)行所述迭代應(yīng)用時對所述第一資源的內(nèi)存使用量趨于穩(wěn)定，包括：

若每個計算節(jié)點(diǎn)從第m個監(jiān)控周期到第m+1個監(jiān)控周期執(zhí)行所述迭代應(yīng)用時內(nèi)存使用量變化率滿足如下公式，則每個計算節(jié)點(diǎn)對所述第一資源的內(nèi)存使用量趨于穩(wěn)定：

δi＜α

其中，δi表示計算節(jié)點(diǎn)i從第m到第m+1個監(jiān)控周期下執(zhí)行所述迭代應(yīng)用時的內(nèi)存使用量變化率，i表示計算節(jié)點(diǎn)的編號，α表示預(yù)設(shè)變化率閾值；

δi通過以下公式確定：

δi＝(MEMi(m+1)-MEMim)/MEMim

其中，MEMim和MEMi(m+1)分別表示計算節(jié)點(diǎn)i在第m個監(jiān)控周期下和第m+1個監(jiān)控周期下執(zhí)行所述迭代應(yīng)用時的內(nèi)存使用量。

3.根據(jù)權(quán)利要求1所述的Spark平臺資源動態(tài)分配方法，其特征在于，根據(jù)第1至第m+1個監(jiān)控周期下每個計算節(jié)點(diǎn)在執(zhí)行所述迭代應(yīng)用時的軟件信息為Spark集群的任務(wù)執(zhí)行單元分配第二資源，通過以下公式確定：

其中，MEMsug表示第二資源包括的內(nèi)存量，CPUsug表示第二資源包括的CPU核數(shù)，β1和β2分別為內(nèi)存量和CPU核數(shù)的資源需求浮動因子，MEMmax表示第m+1個監(jiān)控周期下所有計算節(jié)點(diǎn)在執(zhí)行所述迭代應(yīng)用時內(nèi)存使用量中的最大值，CPUmax表示從第1個監(jiān)控周期到第m+1個監(jiān)控周期中所有計算節(jié)點(diǎn)在執(zhí)行所述迭代應(yīng)用時CPU利用率中的最大值，CPU_Core_NUM表示每個計算節(jié)點(diǎn)的CPU核數(shù)。

4.根據(jù)權(quán)利要求2所述的Spark平臺資源動態(tài)分配方法，其特征在于，MEMim和MEMi(m+1)分別通過以下公式確定：

MEMim＝(MEM_USED′im-MEM_USEDi)

MEMi(m+1)＝(MEM_USED′i(m+1)-MEM_USEDi)

其中，MEM_USEDi表示計算節(jié)點(diǎn)i無應(yīng)用執(zhí)行時的內(nèi)存使用量，MEM_USED′im與MEM_USED′i(m+1)分別表示計算節(jié)點(diǎn)i在第m和第m+1個監(jiān)控周期的內(nèi)存總使用量，MEMim和MEMi(m+1)分別表示計算節(jié)點(diǎn)i在第m和第m+1個監(jiān)控周期執(zhí)行迭代應(yīng)用時的內(nèi)存使用量。