[發明專利]一種基于歷史任務分析的Apache Spark應用自動化調優方法

有效

• 申請號: 201810026098.6
• 申請日: 2018-01-11
• 公開（公告）號: CN108255689B
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 石勝飛;高宏;王宏志;巢澤敏
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06F11/34
• 分類號: G06F11/34
• 代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211
• 代理人: 孫莉莉

本發明提出了一種基于歷史任務分析的Apache Spark應用自動化調優方法，包括對Spark應用的任務提交接口進行封裝，判斷是否已有該Spark應用的分層灰盒時間預測模型，訪問數據庫，讀取并更新所述分層灰盒時間預測模型，用戶選擇是否進行優化；如果進行優化則生成優化參數，如果不進行優化則按原參數執行，調用shell命令運行任務。本發明充分地利用了已知的集群硬件資源信息，選擇并實現一了個能夠在高維參數空間上對最優參數進行高效搜索方案，從而篩選出在建立的分層灰盒時間預測模型下，性能表現較優的配置參數，達到實現自動化Spark參數調優的目的。

技術領域

本發明屬于計算機軟件技術領域，特別是涉及一種基于歷史任務分析的ApacheSpark應用自動化調優方法。

背景技術

Apache Spark是一款被廣泛使用的開源大數據通用處理平臺，具有編程簡單，計算速度快等優點，因而在工業界被廣泛使用。然而，由于Apache Spark系統有150個左右的配置參數，這些參數的取值會影響系統的表現和性能，所以對他們的配置需要慎重。考慮到Spark系統本身的復雜性和Spark系統參數之間潛在的相互作用，僅僅依靠人工進行參數調優并不十分現實。而且手動調參無法為每個任務根據其特點進行個性化的調整，這使得自動調參技術具有相當大的重要性。

現有針對Spark的自動調優技術研究十分稀少，清華大學陳僑安等發表的論文提出了根據任務相似性，尋找已優化的相似任務并遷移參數配置的思路，然而該技術僅能在具有足夠數量經過手動優化的任務記錄的情況下工作良好，且這些工作記錄需要和被調優的參數具有高度的相似性，而這種相似相性度量在復雜條件下難以應用。中國科學院大學G.Wang等發表的論文中提出使用機器學習分類問題建立應用性能模型的思路，通過將歷史配置參數和性能表現作為樣本集輸入，建立一個黑盒模型的方法，作者在不關心Spark底層實現的情況下通過優化參數配置得到了一定的性能提高。然而他們提出的機器學習框架相對比較簡單，并且完全將系統的表現當做黑盒模型進行處理，對于參數的選取進行實驗的效率和模型精度都有改進的空間，沒有充分利用Spark資源管理器的資源分配模式和一些已知的集群硬件信息。

發明內容

本發明為了解決現有的技術問題，提出一種基于歷史任務分析的Apache Spark應用自動化調優方法。

本發明的目的通過以下技術方案實現：一種基于歷史任務分析的Apache Spark應用自動化調優方法，包括以下步驟：

步驟1、對Spark應用的任務提交接口進行封裝，用戶直接將要運行的Spark應用和默認的相關選項提交到用戶提交接口上；

步驟2、判斷是否已有該Spark應用的分層灰盒時間預測模型；如有則執行步驟3；如無則按原參數執行，執行步驟5；

步驟3、訪問數據庫，讀取并更新所述分層灰盒時間預測模型；

步驟4、用戶選擇是否進行優化；如果進行優化則生成優化參數，執行步驟5；如果不進行優化則按原參數執行，執行步驟5；

步驟5、調用shell命令運行任務。

進一步地，所述數據庫中數據是通過定時歷史數據采集器從Hadoop、Sparkhistoryserver中獲取得到或通過日志文件采集和解析工具從HDFS中獲取得到。

進一步地，所述數據庫中數據為應用時配置參數和任務執行時調度信息。

進一步地，所述分層灰盒時間預測模型共兩層，通過選擇不同的機器學習算法對Stage運行時間進行預測的模塊構成了分層灰盒時間預測模型的第一層，將每個Stage的執行時間和整個應用的總執行時間之間的關系作為分層灰盒時間預測模型的第二層。

附圖說明

圖1為基于歷史任務分析的Apache Spark應用自動化調優方法流程圖；