[發明專利]一種迭代型MapReduce作業的參數自動調優方法

有效

• 申請號: 201610692752.8
• 申請日: 2016-08-18
• 公開（公告）號: CN106326005B
• 公開（公告）日: 2019-12-17
• 發明（設計）人: 趙淦森;高曉杰;唐華;張海明;王欣明;聶瑞華;湯庸;朱佳;廖智銳;陳樂華;涂繼來
• 申請（專利權）人: 華南師范大學;廣州時韻信息科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 44205 廣州嘉權專利商標事務所有限公司
• 代理人: 譚英強

1.一種迭代型MapReduce作業的參數自動調優方法，其特征在于：該方法包括：

A、判斷是否滿足迭代結束條件，若是，則迭代計算任務結束，反之，則執行步驟B；

B、通過參數搜索算法，進而根據給定的MapReduce參數搜索空間，搜索得出新的MapReduce參數配置；

C、采用搜索出的新的MapReduce參數配置來實現當前MapReduce作業的運行，運行結束后，對當前MapReduce作業的運行效果進行判斷，并根據判斷結果從而進行相應的數據調整處理；

D、返回執行步驟A；

所述步驟B包括：

B1、判斷是否存在歷史最優的MapReduce參數配置，若存在，則執行步驟B2，反之，則執行步驟B4；

B2、根據歷史最優的MapReduce參數配置以及給定的MapReduce參數搜索空間，進而通過參數搜索算法在給定的MapReduce參數搜索空間中進行參數搜索，并生成歷史最優的MapReduce參數配置的所有鄰居參數配置；

B3、判斷步驟B2生成的所有鄰居參數配置是否均存在運行日志記錄中，若是，則結束參數自動調優工作，并將歷史最優的MapReduce參數配置作為最終最優的MapReduce參數配置輸出，反之，則從所有鄰居參數配置中選取一個未運行過的鄰居參數配置作為新的MapReduce參數配置；

B4、將默認的MapReduce參數配置作為新的MapReduce參數配置。

2.根據權利要求1所述一種迭代型MapReduce作業的參數自動調優方法，其特征在于：所述步驟C包括：

C1、采用搜索出的新的MapReduce參數配置來實現當前MapReduce作業的運行，運行結束后，將當前MapReduce作業的運行信息保存至運行日志記錄中；

C2、判斷當前MapReduce作業的運行時間是否比歷史最優的運行時間快，若是，則將所述的新的MapReduce參數配置作為歷史最優的MapReduce參數配置，反之，則根據計算出的接受概率值，從而對歷史最優的MapReduce參數配置做出相應的處理。

3.根據權利要求2所述一種迭代型MapReduce作業的參數自動調優方法，其特征在于：所述的根據計算出的接受概率值，從而對歷史最優的MapReduce參數配置做出相應的處理這一步驟，其具體為：

根據當前MapReduce作業的運行時間與歷史最優的運行時間，從而計算接受概率值；

判斷計算出的接受概率值是否滿足預設的條件，若滿足，則將所述的新的MapReduce參數配置作為歷史最優的MapReduce參數配置，反之，所述的歷史最優的MapReduce參數配置則不變。

4.根據權利要求3所述一種迭代型MapReduce作業的參數自動調優方法，其特征在于：所述根據當前MapReduce作業的運行時間與歷史最優的運行時間，從而計算接受概率值這一步驟，其包括：

根據當前MapReduce作業的運行時間與歷史最優的運行時間，從而計算接受概率值，計算接受概率值的計算公式如下所示：

P＝e^(t1-t2)/T

其中，t1表示為歷史最優的運行時間，t2表示為當前MapReduce作業的運行時間，T為第一接受值；

對第一接受值進行衰減處理，進而得到第二接受值，然后將第二接受值的數值賦值于第一接受值。

5.根據權利要求4所述一種迭代型MapReduce作業的參數自動調優方法，其特征在于：所述對第一接受值進行衰減處理這一步驟，其所采用的計算公式如下所示：

f(x)＝0.9x

其中，f(x)表示為第二接受值，x表示為第一接受值。

6.根據權利要求1所述一種迭代型MapReduce作業的參數自動調優方法，其特征在于：所述MapReduce參數搜索空間包括參數名、默認值信、取值范圍、步長以及參數描述。