[發(fā)明專利]基于Spark的分布式計(jì)算中多場(chǎng)景任務(wù)調(diào)度方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201810496636.8
• 申請(qǐng)日: 2018-05-22
• 公開（公告）號(hào): CN108762902A
• 公開（公告）日: 2018-11-06
• 發(fā)明（設(shè)計(jì)）人: 耿玉水;閆賢釗;孫濤;魯芹;姜雪松;李愛民
• 申請(qǐng)（專利權(quán)）人: 齊魯工業(yè)大學(xué)
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 楊哲

本發(fā)明公開了一種基于Spark的分布式計(jì)算中多場(chǎng)景任務(wù)調(diào)度方法及裝置，該方法包括：接收分布式計(jì)算的執(zhí)行指令，判斷執(zhí)行指令中的操作類型；在執(zhí)行聚合操作時(shí)，提高reduce并行度，或當(dāng)key對(duì)應(yīng)數(shù)據(jù)量超過(guò)第一閾值，將該key轉(zhuǎn)換為不同的key，使得同一任務(wù)上處理的數(shù)據(jù)分散至不同任務(wù)中；在執(zhí)行連接操作時(shí)，當(dāng)RDD數(shù)據(jù)量小于第二閾值，將該RDD進(jìn)行廣播并執(zhí)行map操作替換連接操作，或當(dāng)RDD數(shù)據(jù)量大于第三閾值，采樣導(dǎo)致數(shù)據(jù)傾斜的key，與未數(shù)據(jù)傾斜的key的RDD分別進(jìn)行連接操作后進(jìn)行合并，當(dāng)導(dǎo)致數(shù)據(jù)傾斜的key大于第四閾值，對(duì)RDD分別進(jìn)行改變key值和擴(kuò)容處理后進(jìn)行連接操作。

技術(shù)領(lǐng)域

本發(fā)明屬于分布式計(jì)算的技術(shù)領(lǐng)域，尤其是涉及一種基于Spark的分布式計(jì)算中多場(chǎng)景任務(wù)調(diào)度方法及裝置。

背景技術(shù)

在分布式計(jì)算中，由于一些原因使得大量的數(shù)據(jù)集中到了一臺(tái)計(jì)算機(jī)上計(jì)算，其他計(jì)算節(jié)點(diǎn)都很快計(jì)算完成，只有這一臺(tái)很慢，使得整個(gè)Spark作業(yè)時(shí)間受到嚴(yán)重的拖延。在現(xiàn)有的技術(shù)的情況下，未經(jīng)過(guò)優(yōu)化的Spark算子在處理數(shù)據(jù)量為上億條時(shí)會(huì)出現(xiàn)嚴(yán)重的數(shù)據(jù)傾斜，且不同的分布式計(jì)算場(chǎng)景中均出現(xiàn)數(shù)據(jù)傾斜的問(wèn)題。

綜上所述，現(xiàn)有技術(shù)中如何針對(duì)不同場(chǎng)景進(jìn)行計(jì)算節(jié)點(diǎn)間的任務(wù)調(diào)度解決基于Spark的分布式計(jì)算中數(shù)據(jù)傾斜的問(wèn)題，尚缺乏有效的解決方案。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中存在的不足，解決現(xiàn)有技術(shù)中如何針對(duì)不同場(chǎng)景進(jìn)行計(jì)算節(jié)點(diǎn)間的任務(wù)調(diào)度解決基于Spark的分布式計(jì)算中數(shù)據(jù)傾斜的問(wèn)題，本發(fā)明提供了一種基于Spark的分布式計(jì)算中多場(chǎng)景任務(wù)調(diào)度方法及裝置，根據(jù)不同的分布式計(jì)算場(chǎng)景提出了相對(duì)應(yīng)的計(jì)算節(jié)點(diǎn)間的任務(wù)調(diào)度方法解決數(shù)據(jù)傾斜的問(wèn)題。

本發(fā)明的第一目的是提供一種基于Spark的分布式計(jì)算中多場(chǎng)景任務(wù)調(diào)度方法。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下一種技術(shù)方案：

一種基于Spark的分布式計(jì)算中多場(chǎng)景任務(wù)調(diào)度方法，該方法包括：

接收分布式計(jì)算的執(zhí)行指令，判斷執(zhí)行指令中的操作類型；

在執(zhí)行聚合操作時(shí)，提高reduce并行度，或當(dāng)key對(duì)應(yīng)數(shù)據(jù)量超過(guò)第一閾值，將該key轉(zhuǎn)換為不同的key，使得同一任務(wù)上處理的數(shù)據(jù)分散至不同任務(wù)中；

在執(zhí)行連接操作時(shí)，當(dāng)RDD數(shù)據(jù)量小于第二閾值，將該RDD進(jìn)行廣播并執(zhí)行map操作替換連接操作，或當(dāng)RDD數(shù)據(jù)量大于第三閾值，采樣導(dǎo)致數(shù)據(jù)傾斜的key，與未數(shù)據(jù)傾斜的key的RDD分別進(jìn)行連接操作后進(jìn)行合并，當(dāng)導(dǎo)致數(shù)據(jù)傾斜的key大于第四閾值，對(duì)RDD分別進(jìn)行改變key值和擴(kuò)容處理后進(jìn)行連接操作。

作為進(jìn)一步的優(yōu)選方案，在本方法中，執(zhí)行聚合操作包括針對(duì)Spark算子中的groupByKey、reduceByKey聚合類shuffle算子的操作。

作為進(jìn)一步的優(yōu)選方案，在本方法中，在執(zhí)行聚合操作時(shí)，首先設(shè)置聚合類shuffle算子的操作的reduce并行度，使得同一任務(wù)上處理的數(shù)據(jù)分散至不同任務(wù)中處理。

作為進(jìn)一步的優(yōu)選方案，在本方法中，預(yù)設(shè)第一閾值，在執(zhí)行聚合操作時(shí)，當(dāng)key對(duì)應(yīng)數(shù)據(jù)量超過(guò)第一閾值，將相同的key附加隨機(jī)前綴，將相同的key轉(zhuǎn)換為不同的key，使得同一任務(wù)上處理的數(shù)據(jù)分散至不同任務(wù)中處理，在執(zhí)行聚合操作前刪除附加的隨機(jī)前綴進(jìn)行聚合操作。

作為進(jìn)一步的優(yōu)選方案，在本方法中，預(yù)設(shè)第二閾值，在執(zhí)行連接操作時(shí)，當(dāng)RDD數(shù)據(jù)量小于第二閾值，將該RDD進(jìn)行廣播，將RDD中的數(shù)據(jù)分布到每個(gè)執(zhí)行器中，采用map操作達(dá)到連接操作的效果。