[發明專利]一種基于先驗知識的大數據框架配置參數優化方法

在審

• 申請號: 202010869609.8
• 申請日: 2020-08-26
• 公開（公告）號: CN114116151A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 陳超;喻之斌
• 申請（專利權）人: 深圳先進技術研究院
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京市誠輝律師事務所 11430
• 代理人: 耿慧敏

本發明公開了一種基于先驗知識的大數據框架配置參數優化方法，該方法包括：從大數據框架適應的任務分布中選擇多種類型任務，在不同參數配置下執行，獲得不同類型任務運行時間和配置參數之間的關聯關系；根據關聯關系選擇資源相關的配置參數，構建為先驗配置集，對所述先驗配置集進行初始化，并通過改變所述先驗配置集中各參數的取值以及改變大數據框架的計算能力，獲得最小運行時間；基于所述最小運行時間確定任務運行的期望時間，作為控制后續任務運行終止的約束，并根據任務運行結果動態更新所述期望時間；在所有運行成功的任務中，找到運行時間最短的任務對應的配置參數，作為最優配置。本發明通過對小樣本優化提升了大數據處理的性能。

技術領域

本發明涉及大數據處理技術領域，更具體地，涉及一種基于先驗知識的大數據框架配置參數優化方法。

背景技術

近年來，隨著大數據應用的普及，大數據通用并行框架得到了越來越多的重視。例如Hadoop框架使用MapReduce模型，通過分布式系統架構可以使用不同節點的資源進行大規模并行計算。Spark框架進一步擴展了MapReduce模型，與Hadoop相比，它將很多數據保存在內存中進行計算，減少了非常耗時的輸入輸出操作，因此顯著提升了大數據處理速度，得到了廣泛應用。

以Spark為例，Spark并行運算框架需要將任務分配到計算節點上進行運算。不同的任務需要配合不同的資源來完成，例如某些任務進行數據的快速處理，需要使用大量處理器資源；而某些任務運行過程中產生較多的臨時數據，需要使用大量的內存。因此，對不同的任務需要使用不同的配置參數進行運行。

現有的Spark配置參數優化方法生成不同配置參數并使用這些參數得到運行結果，然后通過機器學習方法利用運行結果進行訓練，進而找到其中最優的一組配置參數。具體而言，現有的Spark配置參數優化方法需要對每個新程序多次生成配置參數，然后使用這些配置參數運行任務，從而得到在不同配置參數情況下的任務執行時間。進一步地，通過機器學習算法，用得到的任務時間和對應的配置參數作為訓練樣本，通過大規模樣本訓練，得到配置參數和任務執行時間的關系，從而找到最優的一組配置。現有的機器學習法，需要大量的訓練樣本，而運行Spark進行大數據處理時，完成一次任務所需的時間有時候非常長(長達數小時甚至更長時間)，因此收集訓練樣本的過程非常耗時。

發明內容

本發明的目的是克服上述現有技術的缺陷，提供一種基于先驗知識的大數據框架配置參數優化方法，其是針對大數據處理框架，進行配置參數小樣本優化的新技術方案。

本發明的技術方案是，提供一種基于先驗知識的大數據框架配置參數優化方法，該方法包括以下步驟：

從大數據框架適應的任務分布中選擇多種類型任務，在不同參數配置下執行，獲得不同類型任務運行時間和配置參數之間的關聯關系；

根據所述關聯關系選擇資源相關的配置參數，構建為先驗配置集，對所述先驗配置集進行初始化，并通過改變所述先驗配置集中各參數的取值以及改變大數據框架的計算能力，獲得最小運行時間；

基于所述最小運行時間確定任務運行的期望時間，作為控制后續任務運行終止的約束，并根據任務運行結果動態更新所述期望時間；

在所有運行成功的任務中，找到運行時間最短的任務對應的配置參數，作為最優配置。

與現有技術相比，本發明的優點在于，對于典型的大數據處理任務，通過多次運行找到較關鍵的參數，并將這些參數作為先驗知識，進而在處理新的任務時，將先驗知識用于初始化參數并運行任務。根據每次任務運行時間，得到一個新的期望時間，并將該期望時間作為后續運行時的最大準許運行時間。本發明利用先驗知識，能夠顯著縮短初始化時間，并且在運行過程中，使用期望時間能夠避免出現過長時間的任務。

通過以下參照附圖對本發明的示例性實施例的詳細描述，本發明的其它特征及其優點將會變得清楚。

附圖說明