[發明專利]基于spark的模型構建方法、裝置、系統及存儲介質

在審

• 申請號: 202011259305.6
• 申請日: 2020-11-11
• 公開（公告）號: CN112365002A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 趙振崇;薛鵬
• 申請（專利權）人: 深圳力維智聯技術有限公司;南京中興力維軟件有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F9/451;G06F9/48
• 代理公司: 深圳市恒程創新知識產權代理有限公司 44542
• 代理人: 劉冰

本申請公開了一種基于spark的模型構建方法、裝置、系統及存儲介質，該方法的步驟包括：響應用戶的調參請求，基于調參請求確定對應的訓練任務和待訓練數據集；基于訓練任務和待訓練數據集進行分布式spark模型訓練，得到對應的各個訓練模型；基于各個訓練模型確定對應的最優模型參數，基于最優模型參數構建對應的最優訓練模型。由此可知，本申請通過自動根據訓練任務和待訓練數據進行分布式spark模型訓練，得到構建模型的最優模型參數，并通過該最優模型參數進行構建最優訓練模型，提升了模型構建效率，不需要人工手動設置參數和調整參數，提升了模型參數準確性。

技術領域

本申請涉及數據處理、Spark分布式和模型優化技術領域，尤其涉及一種基于spark的模型構建方法、裝置、系統及存儲介質。

背景技術

隨著機器學習(Machine Learning)的發展，機器學習已經應用于spark分布式領域。現有技術中，分布式機器學習的建模參數調優，主要是通過人工方式去設置參數和調整參數。但是，分布式機器學習的過程中，涉及到了大量的數據，以及需要針對每個不同的現實場景，進行不同的配置和優化，因此，需要花費大量的時間進行模型選擇和模型參數調整等方面，從而導致了模型構建和模型調整的耗時過長。同時，設置參數和調整參數都是通過人工手動完成的，從而導致構建的模型參數準確性低。

發明內容

本申請的主要目的在于提供一種基于spark的模型構建方法、裝置、系統及存儲介質，旨在提升模型構建效率和模型參數準確性。

為實現上述目的，本申請實施例提供一種基于spark的模型構建方法，所述基于spark的模型構建方法包括：

響應用戶的調參請求，基于所述調參請求確定對應的訓練任務和待訓練數據集；

基于所述訓練任務和所述待訓練數據集進行分布式spark模型訓練，得到對應的各個訓練模型；

基于各個所述訓練模型確定對應的最優模型參數，基于所述最優模型參數構建對應的最優訓練模型。

可選地，所述基于各個所述訓練模型確定對應的最優模型參數，基于所述最優模型參數構建對應的最優訓練模型的步驟包括：

基于所述調參請求中的模型評價指標確定各個所述訓練模型對應的評價參數，并基于驗證數據集將所有訓練模型的評價參數進行參數對比，得到最優評價參數；

將所述最優評價參數對應的訓練模型確定為目標訓練模型，并將所述目標訓練模型中的模型參數確定為所述最優模型參數；

基于所述最優模型參數進行全量數據集的模型訓練，以構建所述最優訓練模型。

可選地，所述基于所述調參請求確定對應的訓練任務和待訓練數據集的步驟包括：

解析所述調參請求，得到對應的解析結果，其中，所述解析結果包括參數信息和算法類型；

基于所述參數信息確定所述調參請求中的待訓練數據集，并基于所述算法類型確定所述調參請求中的訓練任務。

可選地，所述基于所述參數信息確定所述調參請求中的待訓練數據集的步驟包括：

確定所述參數信息中的驗證模式參數，基于所述驗證模式參數將調參請求中的數據集進行劃分，得到所述調參請求中的待訓練數據集。

可選地，所述基于所述訓練任務和所述待訓練數據集進行分布式spark模型訓練，得到對應的各個訓練模型的步驟包括：

基于各個所述訓練任務對應的執行隊列和執行類型將所述待訓練數據集進行分布式spark模型訓練，得到所述待訓練數據集對應的各個訓練模型。

可選地，所述基于各個所述訓練任務對應的執行隊列和執行類型將所述待訓練數據集進行分布式spark模型訓練的步驟包括：