[發明專利]一種參數配置方法、裝置、設備及可讀存儲介質

有效

• 申請號: 202110669598.3
• 申請日: 2021-06-17
• 公開（公告）號: CN113254472B
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 趙鵬飛;錢浩東;周明偉;李叢
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2453;G06F16/2458
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 趙凱莉

本申請公開了一種參數配置方法、裝置、設備及可讀存儲介質。該方法包括：響應于參數推薦操作，獲取目標配置參數集合的至少一組候選取值，并基于目標應用中包含的SQL語句，得到目標代價的代價取值，其中，目標代價用于表征目標應用的數據集規模和SQL邏輯；針對至少一組候選取值中的任意一組候選取值，將任意一組候選取值和代價取值，輸入至訓練后的參數推薦模型中，得到任意一組候選取值對應的預測性能值，基于得到的至少一個預測性能值和至少一組候選取值，確定目標配置參數的目標取值。這樣，通過參數推薦模型進行參數配置，提高了參數配置效率和準確率，同時提升了應用計算性能。

技術領域

本申請涉及大數據技術領域，特別涉及一種參數配置方法、裝置、設備及可讀存儲介質。

背景技術

隨著大數據時代的到來，大數據處理技術不斷發展，同時也產生了多種大數據處理平臺，Spark是其中典型代表。Spark是一種基于內存計算的分布式大數據并行處理平臺，而參數配置會直接影響Spark的作業性能。

目前，基于Spark開發的應用（簡稱為Spark應用）的參數配置通常依賴于人工配置，然后通過Spark應用運行時的實際負載進行參數調整。

然而，現有的參數配置方式通常采用人工配置，存在配置效率低、需要多次運行調整參數以及由此造成的大量占用系統資源的問題，此外，人工配置也容易造成Spark平臺操作復雜性高、穩定性差的問題。

發明內容

本申請實施例提供一種參數配置方法、裝置、設備及可讀存儲介質，用以解決現有技術中參數配置效率低的問題。

第一方面，本申請實施例提供了一種參數配置方法，所述方法包括：

響應于參數推薦操作，獲取目標應用的目標配置參數集合的至少一組候選取值，并基于所述目標應用中包含的結構化查詢語句SQL語句，得到所述目標應用的目標代價的代價取值，其中，目標代價用于表征所述目標應用的數據集規模和SQL邏輯；

針對所述至少一組候選取值中的任意一組候選取值，將所述任意一組候選取值和所述代價取值，輸入至訓練后的參數推薦模型中，得到所述任意一組候選取值對應的預測性能值；其中，所述參數推薦模型是基于所述目標應用的歷史運行記錄訓練得到的；

基于得到的至少一個預測性能值和所述至少一組候選取值，確定所述目標配置參數的目標取值。

可選的，所述響應于參數推薦操作，獲取目標應用的目標配置參數集合的至少一組候選取值，并基于所述目標應用中包含的SQL，得到所述目標應用的目標代價的代價取值之前，還包括：

基于所述目標應用的歷史運行狀態信息，確定所述目標應用的目標配置參數集合；

基于預設的SQL語句，確定所述目標應用的目標代價；

從所述目標應用的歷史運行記錄中，提取出所述目標配置參數集合的歷史取值和所述目標代價的歷史取值，作為訓練數據集；

基于所述訓練數據集，對所述初始參數推薦模型進行訓練，得到訓練后的參數推薦模型。

可選的，所述基于所述目標應用的歷史運行狀態信息，確定所述目標應用的目標配置參數集合，具體包括：

若所述歷史運行狀態信息中包含所述目標應用中各個候選參數的使用頻率，則基于所述各個候選參數的使用頻率，從所述各個候選參數中，選取出目標配置參數，其中，所述目標配置參數用于表征使用頻率達到預設的次數閾值的候選參數；

基于選取出的各個目標配置參數，得到目標應用的目標配置參數集合。

可選的，所述基于預設的SQL語句，確定所述目標應用的目標代價，具體包括：

采用預設的代價算法，對所述預設的SQL語句進行代價計算，得到預設的SQL語句中包含的各個算子的代價；