[發明專利]多任務深度模型的訓練方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110554415.3
• 申請日: 2021-05-20
• 公開（公告）號: CN113298251A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 溫皓星;易根良;石曉巍;王洪雨;李玉國;翟藝濤;鄭剛
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 任亞娟

本申請實施例公開了一種多任務深度模型的訓練方法、裝置、電子設備及存儲介質，該方法包括：按照抽樣比例對訓練樣本進行抽樣；根據抽樣樣本對初始的多任務深度模型進行預訓練，記錄多任務深度模型中每個子任務網絡過擬合的訓練步數；根據訓練步數，對多任務深度模型中的子任務網絡的獨立層進行調整；根據訓練樣本對多任務深度模型進行訓練，在一個子任務網絡過擬合時，結束對該子任務網絡的訓練，并保存當前多任務深度模型，直至多任務深度模型的所有子任務網絡訓練結束；根據測試數據集對保存的多個多任務深度模型進行測試，將滿足目標條件的多任務深度模型確定為最終的多任務深度模型。本申請實施例可以在子任務學習同步的基礎上提高訓練效率。

技術領域

本申請實施例及機器學習技術領域，特別是涉及一種多任務深度模型的訓練方法、裝置、電子設備及存儲介質。

背景技術

近年來，基于神經網絡的深度學習技術興起，得到了廣泛應用，取得了很好的效果。深度神經網絡模型通常結構復雜，參數眾多，學習能力強。同時，深度模型對訓練數據量的要求很高，有標簽數據不足時，深度模型很容易過擬合。為了防止深度模型過擬合，可以在模型中加入Dropout層和Batch Normalization層，以及在損失函數中加入正則化項(Regularization)等。

多任務深度模型是指同時令模型學習多個相關的子任務，例如搜索排序場景下的點擊率預測任務和轉化率預測任務，這些子任務一般能共享特征，共享模型學習到的很多底層信息，也能共享具有多個標簽的訓練樣本(一件商品同時標記了用戶是否點擊和用戶是否購買)。使用多任務學習可以提高訓練效率，提高訓練樣本的使用效率，也有可能借助學習到的多個子任務間的相關信息，相比獨立訓練在子任務上取得更好的訓練效果。

在多任務深度模型訓練過程中會存在子任務學習不同步的問題，即一部分子任務因為有標記數據量較小等原因較早出現了過擬合現象，需要停止訓練，而另一部分子任務可能因為有標記數據較多依然處于欠擬合狀態，存在繼續訓練優化的空間，這與多個子任務均達到最優訓練狀態的需求不符。

現有技術中，為了解決子任務學習不同步的問題，可以人工調整訓練數據，或者人工調整網絡結構和參數。但是，這類調整方法依賴人工經驗，效果難以預期，往往需要多次嘗試調整，數據量較大時計算代價很大，導致多任務深度模型的訓練效率較低。

發明內容

本申請實施例提供一種多任務深度模型的訓練方法、裝置、電子設備及存儲介質，以避免子任務學習不同步的問題，提高訓練效率。

為了解決上述問題，第一方面，本申請實施例提供了一種多任務深度模型的訓練方法，包括：

按照抽樣比例對訓練樣本進行抽樣，得到抽樣樣本；

根據所述抽樣樣本，對初始的多任務深度模型進行預訓練，記錄所述多任務深度模型中每個子任務網絡過擬合的訓練步數；

根據每個子任務網絡過擬合的訓練步數，對所述多任務深度模型中的子任務網絡的獨立層進行調整；

根據所述訓練樣本，對調整后的多任務深度模型進行訓練，在一個子任務網絡過擬合時，結束對該子任務網絡的訓練，并保存當前的多任務深度模型，直至所述多任務深度模型的所有子任務網絡訓練結束；

根據測試數據集，對保存的多個多任務深度模型進行測試，將滿足目標條件的多任務深度模型確定為最終的多任務深度模型。

第二方面，本申請實施例提供了一種多任務深度模型的訓練裝置，包括：

樣本抽樣模塊，用于按照抽樣比例對訓練樣本進行抽樣，得到抽樣樣本；

模型預訓練模塊，用于根據所述抽樣樣本，對初始的多任務深度模型進行預訓練，記錄所述多任務深度模型中每個子任務網絡過擬合的訓練步數；