[發明專利]基于spark的模型構建方法、裝置、系統及存儲介質

在審

• 申請號: 202011259305.6
• 申請日: 2020-11-11
• 公開（公告）號: CN112365002A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 趙振崇;薛鵬
• 申請（專利權）人: 深圳力維智聯技術有限公司;南京中興力維軟件有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F9/451;G06F9/48
• 代理公司: 深圳市恒程創新知識產權代理有限公司 44542
• 代理人: 劉冰

1.一種基于spark的模型構建方法，其特征在于，所述基于spark的模型構建方法包括：

響應用戶的調參請求，基于所述調參請求確定對應的訓練任務和待訓練數據集；

基于所述訓練任務和所述待訓練數據集進行分布式spark模型訓練，得到對應的各個訓練模型；

基于各個所述訓練模型確定對應的最優模型參數，基于所述最優模型參數構建對應的最優訓練模型。

2.如權利要求1所述的基于spark的模型構建方法，其特征在于，所述基于各個所述訓練模型確定對應的最優模型參數，基于所述最優模型參數構建對應的最優訓練模型的步驟包括：

基于所述調參請求中的模型評價指標確定各個所述訓練模型對應的評價參數，并基于驗證數據集將所有訓練模型的評價參數進行參數對比，得到最優評價參數；

將所述最優評價參數對應的訓練模型確定為目標訓練模型，并將所述目標訓練模型中的模型參數確定為所述最優模型參數；

基于所述最優模型參數進行全量數據集的模型訓練，以構建所述最優訓練模型。

3.如權利要求1所述的基于spark的模型構建方法，其特征在于，所述基于所述調參請求確定對應的訓練任務和待訓練數據集的步驟包括：

解析所述調參請求，得到對應的解析結果，其中，所述解析結果包括參數信息和算法類型；

基于所述參數信息確定所述調參請求中的待訓練數據集，并基于所述算法類型確定所述調參請求中的訓練任務。

4.如權利要求3所述的基于spark的模型構建方法，其特征在于，所述基于所述參數信息確定所述調參請求中的待訓練數據集的步驟包括：

確定所述參數信息中的驗證模式參數，基于所述驗證模式參數將調參請求中的數據集進行劃分，得到所述調參請求中的待訓練數據集。

5.如權利要求1所述的基于spark的模型構建方法，其特征在于，所述基于所述訓練任務和所述待訓練數據集進行分布式spark模型訓練，得到對應的各個訓練模型的步驟包括：

基于各個所述訓練任務對應的執行隊列和執行類型將所述待訓練數據集進行分布式spark模型訓練，得到所述待訓練數據集對應的各個訓練模型。

6.如權利要求5所述的基于spark的模型構建方法，其特征在于，所述基于各個所述訓練任務對應的執行隊列和執行類型將所述待訓練數據集進行分布式spark模型訓練的步驟包括：

確定各個所述訓練任務對應的參數選擇模式，基于所述參數選擇模式確定各個所述訓練任務的執行類型，其中，執行類型為串行任務或者并行任務；

根據各個所述訓練任務的執行類型和spark集群資源的可用情況，對各個所述訓練任務的進行隊列分桶，確定各個所述訓練任務的執行隊列；

串行任務在同一隊列中，并行任務根據任務數量動態調整其隊列，將執行隊列提交到spark集群進行模型訓練。

7.如權利要求1至6任一項所述的基于spark的模型構建方法，其特征在于，所述基于各個所述訓練模型確定對應的最優模型參數，基于所述最優模型參數構建對應的最優訓練模型的步驟之后，還包括：

將所述最優訓練模型返回至顯示界面，以供所述用戶基于所述最優訓練模型進行對應的數據測試任務。

8.一種基于spark的模型構建裝置，其特征在于，所述基于spark的模型構建裝置包括：

確定模塊，用于響應用戶的調參請求，基于所述調參請求確定對應的訓練任務和待訓練數據集；

訓練模塊，用于基于所述訓練任務和所述待訓練數據集進行分布式spark模型訓練，得到對應的各個訓練模型；

構建模塊，用于基于各個所述訓練模型確定對應的最優模型參數，基于所述最優模型參數構建對應的最優訓練模型。

9.一種系統，其特征在于，所述系統包括存儲器、處理器和存儲在所述存儲器上并在所述處理器上運行的基于spark的模型構建程序，所述基于spark的模型構建程序被所述處理器執行時實現如權利要求1至7中任一項所述的基于spark的模型構建方法的步驟。

10.一種存儲介質，其特征在于，所述存儲介質上存儲有基于spark的模型構建程序，所述基于spark的模型構建程序被處理器執行時實現如權利要求1至7中任一項所述的基于spark的模型構建方法的步驟。