[發明專利]一種數據感知的Spark配置參數自動優化方法

在審

• 申請號: 201611182310.5
• 申請日: 2016-12-20
• 公開（公告）號: CN106648654A
• 公開（公告）日: 2017-05-10
• 發明（設計）人: 羅妮;喻之斌;貝振東;姜春濤;須成忠;熊文
• 申請（專利權）人: 深圳先進技術研究院
• 主分類號: G06F9/44
• 分類號: G06F9/44;G06K9/62
• 代理公司: 深圳市科進知識產權代理事務所(普通合伙)44316
• 代理人: 趙勍毅

1.一種數據感知的Spark配置參數自動優化方法，其特征在于，包括如下步驟：

收集數據；所述收集數據具體包括：選定Spark應用程序，進一步確定上述應用程序中影響Spark性能的參數，確定上述參數的取值范圍；在取值范圍內隨機生成參數，并生成配置文件配置Spark，配置后運行應用程序并收集數據；所述數據包括但不限于：Spark運行時間、輸入數據集、配置參數值；

構建性能模型；將收集的Spark運行時間、輸入數據集、配置參數值數據構成橫向量，多個向量構成訓練集，通過隨機森林算法對上述訓練集進行建模；

搜索最優配置參數；使用構建好的性能模型，通過遺傳算法搜索最優配置參數。

2.如權利要求1所述的數據感知的Spark配置參數自動優化方法，其特征在于，在所述搜索最優配置參數步驟之后還包括一驗證步驟，所述驗證步驟為將搜索到的最優配置參數進行配置Spark，并運行驗證執行時間是否為最短。

3.如權利要求2所述的數據感知的Spark配置參數自動優化方法，其特征在于，在收集數據中所述隨機生成參數步驟為：假設參數s取值范圍是[a,b],在該取值范圍內統一、均勻、隨機地取值c，a≦c≦b,則產生一條記錄“s/tc”(/t是一個制表符)，按照這個方法，生成其他配置參數。

4.如權利要求3所述的數據感知的Spark配置參數自動優化方法，其特征在于，所述通過隨機森林算法對上述訓練集進行建模具體包括如下步驟：

隨機森林算法從給定的訓練集通過多次隨機的可重復的采樣得到多個bootstrap數據集；

對每個bootstrap數據集構造一棵決策樹，構造是通過迭代的將數據點分到左右兩個子集中實現的，分割過程是一個搜索分割函數的參數空間以尋求最大信息增量意義下最佳參數的過程；

在每個葉節點處通過統計訓練集中達到此葉節點的分類標簽的直方圖經驗的估計此葉節點上的類分布；迭代訓練過程一直執行到用戶設定的最大樹深度或者直到不能通過繼續分割獲取更大的信息增益為止；

在隨機森林算法中，執行時間作為因變量，輸入集和配置參數作為自變量，還需要確定ntree和mtry值，ntree值是隨機森林中建立的決策樹數量，mtry值是決策樹在每一個分裂節點處樣本預測器的個數。

5.如權利要求4所述的數據感知的Spark配置參數自動優化方法，其特征在于，所述通過遺傳算法搜索最優配置參數具體為：

把一組向量{c1,…,cm}設為初始配置參數值輸入性能模型,模型輸出執行時間t1，再變化初始值，輸入性能模型，模型輸出執行時間t2，t2與t1做比較，時間較短所對應的配置參數作為最優配置，再重復以上步驟，直至找到執行時間最短的配置。

6.如權利要求4所述的數據感知的Spark配置參數自動優化方法，其特征在于，所述隨機森林算法具體如下所示：

輸入：訓練集S，引導函數F，整數ntree(bootstrap樣本數)

for i＝1 to ntree{

S’＝從S中抽取bootstrap樣本(獨立同分布樣本，有放回抽取)

Ci＝F(S’)

}

$C*\left(x\right)=\underset{y\∈Y}{\arg }\underset{i=1}{\overset{ntree}{\Σ}}Ci\left(x\right)/ntree$

輸出：聚合C*。