[發(fā)明專(zhuān)利]一種Spark框架中Reduce任務(wù)執(zhí)行方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111497023.4
• 申請(qǐng)日: 2021-12-09
• 公開(kāi)（公告）號(hào): CN114168333A
• 公開(kāi)（公告）日: 2022-03-11
• 發(fā)明（設(shè)計(jì)）人: 付仲明;何夢(mèng)思;羅凌云;丁平尖;朱濤;萬(wàn)亞平
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南華大學(xué)
• 主分類(lèi)號(hào): G06F9/50
• 分類(lèi)號(hào): G06F9/50
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 趙菲

1.一種Spark框架中Reduce任務(wù)執(zhí)行方法，其特征在于，包括：

獲取執(zhí)行應(yīng)用程序的Reduce任務(wù)所需Executor的第一數(shù)量，并確定Spark框架節(jié)點(diǎn)中可用Executor的第二數(shù)量；

基于所述可用Executor之間的通信距離從所述第二數(shù)量個(gè)所述可用Executor中確定出所述第一數(shù)量個(gè)所述可用Executor，以得到與所述應(yīng)用程序?qū)?yīng)的具有低通信延遲的目標(biāo)Executor集合；其中，所述通信距離表征所述可用Executor所在節(jié)點(diǎn)之間的通信延遲；

在相應(yīng)的Spark框架節(jié)點(diǎn)中啟動(dòng)所述目標(biāo)Executor集合中的所述可用Executor，以利用啟動(dòng)后的所述可用Executor執(zhí)行所述應(yīng)用程序的Reduce任務(wù)。

2.根據(jù)權(quán)利要求1所述的Spark框架中Reduce任務(wù)執(zhí)行方法，其特征在于，所述確定Spark框架節(jié)點(diǎn)中可用Executor的第二數(shù)量，包括：

根據(jù)Spark框架中每個(gè)節(jié)點(diǎn)中的空閑資源及每個(gè)所需Executor的資源規(guī)格確定每個(gè)節(jié)點(diǎn)中的可用Executor數(shù)量，以得到Spark框架節(jié)點(diǎn)中所述可用Executor的所述第二數(shù)量。

3.根據(jù)權(quán)利要求1所述的Spark框架中Reduce任務(wù)執(zhí)行方法，其特征在于，所述基于所述可用Executor之間的通信距離從所述第二數(shù)量個(gè)所述可用Executor中確定出所述第一數(shù)量個(gè)所述可用Executor之前，還包括：

確定每?jī)蓚€(gè)所述可用Executor之間的網(wǎng)絡(luò)延遲和網(wǎng)絡(luò)帶寬，以得到每?jī)蓚€(gè)所述可用Executor之間的所述通信距離；

基于每?jī)蓚€(gè)所述可用Executor之間所述通信距離確定所述可用Executor之間的所述通信距離。

4.根據(jù)權(quán)利要求3所述的Spark框架中Reduce任務(wù)執(zhí)行方法，其特征在于，所述確定每?jī)蓚€(gè)所述可用Executor之間的網(wǎng)絡(luò)延遲和網(wǎng)絡(luò)帶寬，以得到每?jī)蓚€(gè)所述可用Executor之間的所述通信距離，包括：

根據(jù)所述可用Executor所處節(jié)點(diǎn)及機(jī)架的位置確定每?jī)蓚€(gè)所述可用Executor之間的接近水平等級(jí)；其中，位于同一節(jié)點(diǎn)中的兩個(gè)所述可用Executor之間的所述接近水平等級(jí)為第一等級(jí)，位于同一機(jī)架不同節(jié)點(diǎn)中的兩個(gè)所述可用Executor之間的所述接近水平等級(jí)為第二等級(jí)，位于不同機(jī)架的兩個(gè)所述可用Executor之間的所述接近水平等級(jí)為第三等級(jí)；

確定每?jī)蓚€(gè)所述可用Executor之間的所述網(wǎng)絡(luò)延遲和所述網(wǎng)絡(luò)帶寬，并基于每?jī)蓚€(gè)所述可用Executor之間所述網(wǎng)絡(luò)延遲、所述網(wǎng)絡(luò)帶寬、所述接近水平等級(jí)及第一關(guān)系式得到每?jī)蓚€(gè)所述可用Executor之間的所述通信距離；

所述第一關(guān)系式為：

其中，d_ij表示第i個(gè)所述可用Executor和第j個(gè)所述可用Executor之間的所述通信距離，PL＝1、PL＝2和PL＝3分別表示所述接近水平等級(jí)為第一等級(jí)、第二等級(jí)和第三等級(jí)，band_NS表示節(jié)點(diǎn)到交換機(jī)的網(wǎng)絡(luò)帶寬，band_SS表示交換機(jī)到交換機(jī)的網(wǎng)絡(luò)帶寬，latency_NS表示節(jié)點(diǎn)到交換機(jī)的網(wǎng)絡(luò)延遲，latency_SS表示交換機(jī)到交換機(jī)的網(wǎng)絡(luò)延遲。

5.根據(jù)權(quán)利要求1至4任一項(xiàng)所述的Spark框架中Reduce任務(wù)執(zhí)行方法，其特征在于，所述基于所述可用Executor之間的通信距離從所述第二數(shù)量個(gè)所述可用Executor中確定出所述第一數(shù)量個(gè)所述可用Executor，以得到與所述應(yīng)用程序?qū)?yīng)的具有低通信延遲的目標(biāo)Executor集合，包括：

分別以每個(gè)所述可用Executor為中心點(diǎn)并按照與中心點(diǎn)的所述通信距離由小至大的順序從所述第二數(shù)量個(gè)所述可用Executor中確定出包括其自身在內(nèi)的所述第一數(shù)量個(gè)所述可用Executor，以得到與每個(gè)所述可用Executor對(duì)應(yīng)的第一Executor集合；

計(jì)算每個(gè)所述第一Executor集合中全部所述可用Executor之間的所述通信距離，并將全部所述可用Executor之間的所述通信距離最小的所述第一Executor集合確定為與所述應(yīng)用程序?qū)?yīng)的具有低通信延遲的所述目標(biāo)Executor集合。