[發(fā)明專利]一種Spark框架中Reduce任務(wù)執(zhí)行方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111497023.4
• 申請(qǐng)日: 2021-12-09
• 公開(kāi)（公告）號(hào): CN114168333A
• 公開(kāi)（公告）日: 2022-03-11
• 發(fā)明（設(shè)計(jì)）人: 付仲明;何夢(mèng)思;羅凌云;丁平尖;朱濤;萬(wàn)亞平
• 申請(qǐng)（專利權(quán)）人: 南華大學(xué)
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 趙菲

本申請(qǐng)公開(kāi)了一種Spark框架中Reduce任務(wù)執(zhí)行方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，包括：獲取執(zhí)行應(yīng)用程序的Reduce任務(wù)所需Executor的第一數(shù)量，并確定Spark框架節(jié)點(diǎn)中可用Executor的第二數(shù)量；基于所述可用Executor之間的通信距離從所述第二數(shù)量個(gè)所述可用Executor中確定出所述第一數(shù)量個(gè)所述可用Executor，以得到與所述應(yīng)用程序?qū)?yīng)的具有低通信延遲的目標(biāo)Executor集合；其中，所述通信距離表征所述可用Executor所在節(jié)點(diǎn)之間的通信延遲；在相應(yīng)的Spark框架節(jié)點(diǎn)中啟動(dòng)所述目標(biāo)Executor集合中的所述可用Executor，以利用啟動(dòng)后的所述可用Executor執(zhí)行所述應(yīng)用程序的Reduce任務(wù)。可見(jiàn)，本申請(qǐng)以通信距離作為主要考慮因素在Spark框架中將Executor啟動(dòng)在彼此靠近的節(jié)點(diǎn)上，以減少作業(yè)運(yùn)行時(shí)Reduce任務(wù)之間的通信延遲，提高任務(wù)執(zhí)行性能。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別涉及一種Spark框架中Reduce任務(wù)執(zhí)行方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

Spark中通常一個(gè)應(yīng)用程序包含一個(gè)或多個(gè)作業(yè)，每個(gè)作業(yè)由許多個(gè)階段組成。在Spark的DAG(Directed Acyclic Graph)執(zhí)行模型中，階段按先后順序執(zhí)行。這意味著只有等前一個(gè)階段的任務(wù)都完成，后面階段的任務(wù)才能開(kāi)始。并且前一階段的輸出中間結(jié)果作為后一階段的輸入。由于階段的多個(gè)任務(wù)并行執(zhí)行，因此作業(yè)過(guò)程中需要大量的數(shù)據(jù)通信。特別地，如圖1所示，在Map階段，任務(wù)讀取數(shù)據(jù)塊經(jīng)過(guò)處理然后輸出中間數(shù)據(jù)到本地磁盤(pán)上。在Reduce階段，任務(wù)從所有Map任務(wù)中獲取它所屬部分中間數(shù)據(jù)進(jìn)行處理，這是多對(duì)多(All-to-All)的通信模式，數(shù)據(jù)傳輸延遲很大程度上決定了作業(yè)的運(yùn)行時(shí)間，并極大限制著Spark系統(tǒng)的性能。其中，Executor的啟動(dòng)位置對(duì)數(shù)據(jù)傳輸延遲有著很大影響，現(xiàn)有方法均不能取得最優(yōu)通信效率，使得任務(wù)執(zhí)行效率較低。

因此，如何提高Spark中多對(duì)多Reduce任務(wù)的執(zhí)行效率是本領(lǐng)域技術(shù)人員亟待解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種Spark框架中Reduce任務(wù)執(zhí)行方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，能夠減少作業(yè)運(yùn)行時(shí)Reduce任務(wù)之間的通信延遲，提高任務(wù)執(zhí)行性能。其具體方案如下：

本申請(qǐng)的第一方面提供了一種Spark框架中Reduce任務(wù)執(zhí)行方法，包括：

獲取執(zhí)行應(yīng)用程序的Reduce任務(wù)所需Executor的第一數(shù)量，并確定Spark框架節(jié)點(diǎn)中可用Executor的第二數(shù)量；

基于所述可用Executor之間的通信距離從所述第二數(shù)量個(gè)所述可用Executor中確定出所述第一數(shù)量個(gè)所述可用Executor，以得到與所述應(yīng)用程序?qū)?yīng)的具有低通信延遲的目標(biāo)Executor集合；其中，所述通信距離表征所述可用Executor所在節(jié)點(diǎn)之間的通信延遲；

在相應(yīng)的Spark框架節(jié)點(diǎn)中啟動(dòng)所述目標(biāo)Executor集合中的所述可用Executor，以利用啟動(dòng)后的所述可用Executor執(zhí)行所述應(yīng)用程序的Reduce任務(wù)。

可選的，所述確定Spark框架節(jié)點(diǎn)中可用Executor的第二數(shù)量，包括：

根據(jù)Spark框架中每個(gè)節(jié)點(diǎn)中的空閑資源及每個(gè)所需Executor的資源規(guī)格確定每個(gè)節(jié)點(diǎn)中的可用Executor數(shù)量，以得到Spark框架節(jié)點(diǎn)中所述可用Executor的所述第二數(shù)量。

可選的，所述基于所述可用Executor之間的通信距離從所述第二數(shù)量個(gè)所述可用Executor中確定出所述第一數(shù)量個(gè)所述可用Executor之前，還包括：

確定每?jī)蓚€(gè)所述可用Executor之間的網(wǎng)絡(luò)延遲和網(wǎng)絡(luò)帶寬，以得到每?jī)蓚€(gè)所述可用Executor之間的所述通信距離；