[發(fā)明專利]一種基于先驗(yàn)知識(shí)的大數(shù)據(jù)框架配置參數(shù)優(yōu)化方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010869609.8
• 申請(qǐng)日: 2020-08-26
• 公開（公告）號(hào): CN114116151A
• 公開（公告）日: 2022-03-01
• 發(fā)明（設(shè)計(jì)）人: 陳超;喻之斌
• 申請(qǐng)（專利權(quán)）人: 深圳先進(jìn)技術(shù)研究院
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48
• 代理公司: 北京市誠(chéng)輝律師事務(wù)所 11430
• 代理人: 耿慧敏

1.一種基于先驗(yàn)知識(shí)的大數(shù)據(jù)框架配置參數(shù)優(yōu)化方法，包括以下步驟：

從大數(shù)據(jù)框架適應(yīng)的任務(wù)分布中選擇多種類型任務(wù)，在不同參數(shù)配置下執(zhí)行，獲得不同類型任務(wù)運(yùn)行時(shí)間和配置參數(shù)之間的關(guān)聯(lián)關(guān)系；

根據(jù)所述關(guān)聯(lián)關(guān)系選擇資源相關(guān)的配置參數(shù)，構(gòu)建為先驗(yàn)配置集，對(duì)所述先驗(yàn)配置集進(jìn)行初始化，并通過(guò)改變所述先驗(yàn)配置集中各參數(shù)的取值以及改變大數(shù)據(jù)框架的計(jì)算能力，獲得最小運(yùn)行時(shí)間；

基于所述最小運(yùn)行時(shí)間確定任務(wù)運(yùn)行的期望時(shí)間，作為控制后續(xù)任務(wù)運(yùn)行終止的約束，并根據(jù)任務(wù)運(yùn)行結(jié)果動(dòng)態(tài)更新所述期望時(shí)間；

在所有運(yùn)行成功的任務(wù)中，找到運(yùn)行時(shí)間最短的任務(wù)對(duì)應(yīng)的配置參數(shù)，作為最優(yōu)配置。

2.根據(jù)權(quán)利要求1所述的方法，其中，將所述期望時(shí)間設(shè)置為T*a，其中0a≤1，T是獲得的最小運(yùn)行時(shí)間。

3.根據(jù)權(quán)利要求1所述的方法，所述關(guān)聯(lián)關(guān)系用于表征任務(wù)運(yùn)行時(shí)間和配置參數(shù)之間的線性相關(guān)度、非線性相關(guān)度或二者的組合。

4.根據(jù)權(quán)利要求1所述的方法，根據(jù)以下步驟獲得不同類型任務(wù)運(yùn)行時(shí)間和配置參數(shù)之間的關(guān)聯(lián)關(guān)系：

選擇多種類型的任務(wù)，在不同配置情況下多次運(yùn)行，分析第i次運(yùn)行時(shí)間t_i和對(duì)應(yīng)的配置參數(shù)c_1,i,c_2,i,…之間的關(guān)系，其中c_m,i代表第i次運(yùn)行時(shí)的第m個(gè)參數(shù)；

根據(jù)運(yùn)行結(jié)果，確定任務(wù)運(yùn)行時(shí)間和配置參數(shù)之間的相關(guān)度R(t,c)，t表示運(yùn)行時(shí)間，c表示配置參數(shù)。

5.根據(jù)權(quán)利要求4所述的方法，其中，將任務(wù)運(yùn)行時(shí)間和配置參數(shù)之間的相關(guān)度R(t,c)表示為：

R(t,c)＝|PCC(t,c)|+MIC(t,c)

t表示運(yùn)行時(shí)間，c表示配置參數(shù)，PCC表示皮爾森相關(guān)系數(shù)，MIC表示最大互信系數(shù)。

6.根據(jù)權(quán)利要求1所述的方法，其中，對(duì)所述先驗(yàn)配置集進(jìn)行初始化，并通過(guò)改變所述先驗(yàn)配置集中各參數(shù)的取值以及改變大數(shù)據(jù)框架的計(jì)算能力獲得最小運(yùn)行時(shí)間包括：

對(duì)于所述先驗(yàn)配置集，將資源最大化配置進(jìn)行運(yùn)行，并改變內(nèi)存使用率參數(shù)，將其增加和減少分別運(yùn)行；

改變每個(gè)執(zhí)行器的核數(shù)和內(nèi)存大小，并嘗試在每個(gè)計(jì)算節(jié)點(diǎn)上同時(shí)使用多個(gè)執(zhí)行器運(yùn)行任務(wù)，進(jìn)而獲得所述最小運(yùn)行時(shí)間。

7.根據(jù)權(quán)利要求1所述的方法，其中，所述大數(shù)據(jù)框架包括Hadoop、Spark和Flink。

8.根據(jù)權(quán)利要求2所述的方法，其中，根據(jù)所述最優(yōu)配置的搜索時(shí)間和所述最優(yōu)配置對(duì)應(yīng)的處理性能設(shè)定a的取值。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其中，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的方法的步驟。

10.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，在所述存儲(chǔ)器上存儲(chǔ)有能夠在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)權(quán)利要求1至8中任一項(xiàng)所述的方法的步驟。