[發(fā)明專(zhuān)利]一種參數(shù)配置方法和設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201810385919.5
• 申請(qǐng)日: 2018-04-26
• 公開(kāi)（公告）號(hào): CN110427356B
• 公開(kāi)（公告）日: 2021-08-13
• 發(fā)明（設(shè)計(jì)）人: 邵明路;王蕊;王衎;宋哲;張雨晴
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中移（蘇州）軟件技術(shù)有限公司;中國(guó)移動(dòng)通信集團(tuán)有限公司
• 主分類(lèi)號(hào): G06F16/215
• 分類(lèi)號(hào): G06F16/215
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 郭潤(rùn)湘

本發(fā)明公開(kāi)了一種參數(shù)配置方法和設(shè)備，用以實(shí)現(xiàn)處理批量SPARK數(shù)據(jù)清洗任務(wù)時(shí)參數(shù)配置問(wèn)題。本發(fā)明實(shí)施例確定接收到的SPARK數(shù)據(jù)清洗任務(wù)的數(shù)據(jù)量以及SPARK數(shù)據(jù)清洗任務(wù)對(duì)應(yīng)的SPARK數(shù)據(jù)清洗程序中包含的至少一個(gè)原子操作，根據(jù)基準(zhǔn)數(shù)據(jù)和期望執(zhí)行時(shí)間訓(xùn)練出不同原子操作基準(zhǔn)參數(shù)數(shù)值，再根據(jù)基準(zhǔn)參數(shù)數(shù)值、SPARK數(shù)據(jù)清洗任務(wù)的數(shù)據(jù)量以及SPARK數(shù)據(jù)清洗程序中的至少一個(gè)原子操作，確定SPARK數(shù)據(jù)清洗任務(wù)的基本資源配置參數(shù)。通過(guò)SPARK數(shù)據(jù)清洗程序中包含的原子操作，訓(xùn)練出不同原子操作的參數(shù)配置，再根據(jù)組成不同SPARK數(shù)據(jù)清洗程序的至少一個(gè)原子操作的參數(shù)配置，確定不同SPARK數(shù)據(jù)清洗任務(wù)的參數(shù)配置，因此處理批量SPARK數(shù)據(jù)清洗任務(wù)時(shí)，參數(shù)可以自動(dòng)配置，從而提高了SPARK的性能。

技術(shù)領(lǐng)域

本發(fā)明涉及電子信息、大數(shù)據(jù)、云計(jì)算等技術(shù)領(lǐng)域，特別涉及一種參數(shù)配置方法和設(shè)備。

背景技術(shù)

大數(shù)據(jù)，是指無(wú)法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)技術(shù)，是指從各種類(lèi)型的數(shù)據(jù)中，快速獲得有價(jià)值信息的能力。要想從大數(shù)據(jù)中得到有價(jià)值的數(shù)據(jù)，就要對(duì)大數(shù)據(jù)進(jìn)行處理，其中，數(shù)據(jù)清洗是提高數(shù)據(jù)質(zhì)量的一種方法。

大數(shù)據(jù)清洗，指對(duì)數(shù)據(jù)進(jìn)行降噪，轉(zhuǎn)換，降噪主要是對(duì)數(shù)據(jù)中的異常值、缺失值、重復(fù)值等進(jìn)行處理，轉(zhuǎn)換是將不同格式的數(shù)據(jù)轉(zhuǎn)換為相同的格式，從而得到一致性較高的數(shù)據(jù)。當(dāng)前的大數(shù)據(jù)清洗系統(tǒng)主要還是構(gòu)建在Hadoop(分布式計(jì)算)平臺(tái)上，其中HDFS(分布式文件系統(tǒng))使得可以以低廉的成本存儲(chǔ)大量數(shù)據(jù)，MapReduce(分布式計(jì)算系統(tǒng))可以對(duì)這些數(shù)據(jù)進(jìn)行處理。但是因?yàn)镸apReduce本身框架的瓶頸，以及基于磁盤(pán)計(jì)算的實(shí)現(xiàn)機(jī)制，導(dǎo)致MapReduce雖然可以處理很大數(shù)據(jù)量，但是效率已經(jīng)越來(lái)越滿(mǎn)足不了需求了。

近幾年，基于內(nèi)存的分布式系統(tǒng)應(yīng)用越來(lái)越廣泛，SPARK(快速通用的計(jì)算引擎)是其中的一個(gè)較有代表性的分布式計(jì)算框架。SPARK將數(shù)據(jù)緩存到內(nèi)存中，下次計(jì)算直接在內(nèi)存中的數(shù)據(jù)上進(jìn)行。但SPARK計(jì)算框架在進(jìn)行數(shù)據(jù)清洗任務(wù)時(shí)，在SPARK的默認(rèn)參數(shù)下，有一部分應(yīng)用程序不能正確執(zhí)行，或者應(yīng)用程序的運(yùn)行效率非常低，由此需要對(duì)SPARK的參數(shù)進(jìn)行合理配置。

目前對(duì)于SPARK參數(shù)配置常用的方法是手動(dòng)配置，手動(dòng)配置SPARK參數(shù)時(shí)，只適用于單次任務(wù)，不適用于批量任務(wù)。

發(fā)明內(nèi)容

本發(fā)明提供一種參數(shù)配置方法和設(shè)備，用以實(shí)現(xiàn)處理批量任務(wù)時(shí)參數(shù)配置問(wèn)題。

本發(fā)明方法包括：

第一方面，本發(fā)明實(shí)施例提供的一種參數(shù)配置方法，包括：確定接收到的快速通用的計(jì)算引擎SPARK數(shù)據(jù)清洗任務(wù)的數(shù)據(jù)量以及所述SPARK數(shù)據(jù)清洗任務(wù)對(duì)應(yīng)的SPARK數(shù)據(jù)清洗程序中包含的至少一個(gè)原子操作；根據(jù)基準(zhǔn)參數(shù)數(shù)值、所述SPARK數(shù)據(jù)清洗任務(wù)的數(shù)據(jù)量以及所述SPARK數(shù)據(jù)清洗任務(wù)對(duì)應(yīng)的SPARK數(shù)據(jù)清洗程序中包含的至少一個(gè)原子操作，確定所述SPARK數(shù)據(jù)清洗任務(wù)的基本資源配置參數(shù)；其中，所述基準(zhǔn)參數(shù)數(shù)值是在包括至少一個(gè)計(jì)算節(jié)點(diǎn)的限定集群環(huán)境下，根據(jù)基準(zhǔn)數(shù)據(jù)和期望執(zhí)行時(shí)間訓(xùn)練出的不同原子操作在所述基準(zhǔn)數(shù)據(jù)下的基準(zhǔn)參數(shù)數(shù)值。

上述方法，確定接收到的SPARK數(shù)據(jù)清洗任務(wù)的數(shù)據(jù)量以及所述SPARK數(shù)據(jù)清洗任務(wù)對(duì)應(yīng)的SPARK數(shù)據(jù)清洗程序中包含的至少一個(gè)原子操作，在包括至少一個(gè)計(jì)算節(jié)點(diǎn)的限定集群環(huán)境下，根據(jù)基準(zhǔn)數(shù)據(jù)和期望執(zhí)行時(shí)間訓(xùn)練出不同原子操作在所述基準(zhǔn)數(shù)據(jù)下的基準(zhǔn)參數(shù)數(shù)值，再根據(jù)基準(zhǔn)參數(shù)數(shù)值、SPARK數(shù)據(jù)清洗任務(wù)的數(shù)據(jù)量以及SPARK數(shù)據(jù)清洗程序中包含的至少一個(gè)原子操作，確定SPARK數(shù)據(jù)清洗任務(wù)的基本資源配置參數(shù)。通過(guò)將SPARK數(shù)據(jù)清洗任務(wù)對(duì)應(yīng)的SPARK數(shù)據(jù)清洗程序分為不同的原子操作，在限定環(huán)境下訓(xùn)練出不同原子操作的參數(shù)配置，再根據(jù)組成不同SPARK數(shù)據(jù)清洗程序的一個(gè)或多個(gè)原子操作的參數(shù)配置，確定不同SPARK數(shù)據(jù)清洗任務(wù)的參數(shù)配置，因此處理批量SPARK數(shù)據(jù)清洗任務(wù)時(shí)，參數(shù)可以自動(dòng)配置，從而提高了SPARK數(shù)據(jù)清洗的性能。