[發明專利]深度學習模型的探索方法及裝置

在審

• 申請號: 202010814501.9
• 申請日: 2020-08-13
• 公開（公告）號: CN111931916A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 趙仕嘉;林濤;董浩欣;楊鶴鳴;向雷;李晁銘;麥洪永;陳華榮
• 申請（專利權）人: 廣東省電信規劃設計院有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08;G06F9/50
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 肖宇揚;付靜

本發明公開一種深度學習模型的探索方法及裝置，該方法包括：確定一個云計算資源作為主節點以及多個其他云計算資源作為多個從節點，其中，主節點用于調度多個從節點對深度學習模型執行訓練操作；基于每個從節點對深度學習模型執行訓練操作，得到該從節點的訓練結果，每個從節點的訓練結果包括目標深度學習模型以及該目標深度學習模型的評分，每個從節點的訓練結果包括的目標深度學習模型為訓練后的深度學習模型；根據所有訓練結果包括的評分從所有目標深度學習模型中確定最優深度學習模型。可見，實施本發明能夠實現并行進行深度學習模型的訓練操作，提高深度學習模型訓練的效率，減少訓練的時間，有利于深度學習模型探索技術在業務場景中的應用。

技術領域

本發明涉及深度學習技術領域，尤其涉及一種深度學習模型的探索方法及裝置。

背景技術

近年，深度學習技術由于具有能夠降低用戶使用復雜度和用戶技術理解難度的特性，被快速應用到各個行業的業務場景中。又由于應用深度學習技術的業務場景具有多變性，所以為了充分挖掘深度學習技術的潛力，提高深度學習技術在實際應用中的精度，針對不同的業務場景訓練得到適用于該業務場景的深度學習模型顯得尤為重要。

實際應用中，為得到適用于特定業務場景的深度學習模型，可以通過進行深度學習模型探索(通過不斷地對各種深度學習網絡結構和各種超參數進行訓練與驗證，然后從訓練與驗證結果中選取出最優的深度學習模型)的方式來得到適合的深度學習模型。然而，由于進行深度學習模型的探索需要大量的計算資源、深度學習模型生成和訓練的過程有較高的關聯性、深度學習模型的生成過程的串行度高等因素，現有的深度學習模型的探索方法的效率較低、探索時間較長，不利于深度學習模型的探索技術在業務場景中的應用。

發明內容

本發明所要解決的技術問題在于，提供一種深度學習模型的探索方法及裝置，能夠確定多個云計算資源來并行進行深度學習模型的訓練操作，從而提高深度學習模型訓練的效率，減少訓練的時間，有利于深度學習模型探索技術在業務場景中的應用。

為了解決上述技術問題，本發明第一方面公開了一種深度學習模型的探索方法，所述方法包括：

確定一個云計算資源作為主節點以及多個其他云計算資源作為多個從節點，其中，所述主節點用于調度多個所述從節點對深度學習模型執行訓練操作；

基于每個所述從節點對所述深度學習模型執行訓練操作，得到該從節點的訓練結果，每個所述從節點的訓練結果包括目標深度學習模型以及該目標深度學習模型的評分，每個所述從節點的訓練結果包括的目標深度學習模型為訓練后的深度學習模型；

根據所有所述訓練結果包括的評分從所有所述目標深度學習模型中確定最優深度學習模型。

作為一種可選的實施方式，在本發明第一方面中，所述基于每個所述從節點對所述深度學習模型執行訓練操作，得到該從節點的訓練結果，包括：

創建每個所述從節點對應的第一進程和第二進程，并基于每個所述從節點的第一進程生成該從節點對應的多個深度學習模型；

基于每個所述從節點的第二進程、每個所述從節點的本地云計算資源以及確定出的超參數對該從節點對應的每個所述深度學習模型執行訓練與驗證操作，得到該從節點對應的訓練結果。

作為一種可選的實施方式，在本發明第一方面中，所述基于每個所述從節點的第一進程生成該從節點對應的多個深度學習模型，包括：

基于每個所述從節點的第一進程，從確定出的歷史模型池中選取多個歷史模型作為該從節點對應的多個基礎模型，所述歷史模型為所有所述從節點已生成的深度學習模型；

基于確定出的模擬退火方法從每個所述從節點對應的所有所述基礎模型中選取多個所述基礎模型作為該從節點對應的多個目標基礎模型；