[發明專利]多任務深度模型的訓練方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110554415.3
• 申請日: 2021-05-20
• 公開（公告）號: CN113298251A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 溫皓星;易根良;石曉巍;王洪雨;李玉國;翟藝濤;鄭剛
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 任亞娟

1.一種多任務深度模型的訓練方法，包括：

按照抽樣比例對訓練樣本進行抽樣，得到抽樣樣本；

根據所述抽樣樣本，對初始的多任務深度模型進行預訓練，記錄所述多任務深度模型中每個子任務網絡過擬合的訓練步數；

根據每個子任務網絡過擬合的訓練步數，對所述多任務深度模型中的子任務網絡的獨立層進行調整；

根據所述訓練樣本，對調整后的多任務深度模型進行訓練，在一個子任務網絡過擬合時，結束對該子任務網絡的訓練，并保存當前的多任務深度模型，直至所述多任務深度模型的所有子任務網絡訓練結束；

根據測試數據集，對保存的多個多任務深度模型進行測試，將滿足目標條件的多任務深度模型確定為最終的多任務深度模型。

2.根據權利要求1所述的方法，所述根據每個子任務網絡過擬合的訓練步數，對所述多任務深度模型中的子任務網絡的獨立層進行調整，包括：

響應于最大訓練步數與最小訓練步數之差大于過擬合步數差值閾值，對所述多任務深度模型中的子任務網絡的獨立層進行調整；

循環執行對調整后的多任務深度模型進行預訓練和對子任務網絡的獨立層進行調整的操作，直至最大訓練步數與最小訓練步數之差小于或等于所述過擬合步數差值閾值或者最早過擬合的子任務網絡的獨立層層數為0。

3.根據權利要求2所述的方法，所述對所述多任務深度模型中的子任務網絡的獨立層進行調整，包括：

響應于最早過擬合的子任務網絡的獨立層層數大于0，將最早過擬合的子任務網絡的預設層數的獨立層轉移至最后過擬合的子任務網絡中。

4.根據權利要求2所述的方法，在對所述多任務深度模型中的子任務網絡的獨立層進行調整之前，還包括：

響應于所述多任務深度模型的子任務網絡包括丟棄層，且最早過擬合的子任務網絡的當前丟棄比例小于丟棄比例閾值，將所述當前丟棄比例增加預設比例幅度。

5.根據權利要求1所述的方法，在預訓練時間閾值內，根據所述抽樣樣本，對初始的多任務深度模型進行預訓練，記錄所述多任務深度模型中每個子任務網絡過擬合的訓練步數，包括：

根據所述抽樣樣本，對初始的多任務深度模型進行預訓練；

響應于在預訓練時間閾值內，所述多任務深度模型中每個子任務網絡均過擬合，記錄每個子任務網絡過擬合的訓練步數；

響應于預訓練時間達到預訓練時間閾值，所述多任務深度模型中存在子任務網絡未過擬合，降低抽樣比例后重新對訓練樣本進行抽樣，并根據重新抽樣得到的抽樣樣本對多任務深度模型進行預訓練，直至在預訓練時間閾值內每個子任務網絡均過擬合或者抽樣比例降低后的抽樣樣本數量小于子任務最小樣本數量；

響應于抽樣比例降低后的抽樣樣本數量小于所述子任務最小樣本數量，從未過擬合的子任務網絡中確定一個子任務網絡，作為最后過擬合的子任務網絡，并將當前訓練步數確定為該最后過擬合的子任務網絡的訓練步數。

6.根據權利要求5所述的方法，響應于預訓練時間達到預訓練時間閾值，所述多任務深度模型中存在子任務網絡未過擬合，降低抽樣比例后重新對訓練樣本進行抽樣，并根據重新抽樣得到的抽樣樣本對多任務深度模型進行預訓練，直至在預訓練時間閾值內每個子任務網絡均過擬合或者抽樣比例降低后的抽樣樣本數量小于子任務最小樣本數量，包括：

響應于預訓練時間達到預訓練時間閾值，所述多任務深度模型中存在子任務網絡未過擬合，確定抽樣比例降低后的抽樣樣本數量是否大于或等于子任務最小樣本數量；

響應于抽樣比例降低后的抽樣樣本數量大于或等于子任務最小樣本數量，降低抽樣比例，并以降低后的抽樣比例重新對訓練樣本進行抽樣，使用重新抽樣得到的抽樣樣本對多任務深度模型進行預訓練，直至在預訓練時間閾值內每個子任務網絡均過擬合或者抽樣比例降低后的抽樣樣本數量小于子任務最小樣本數量。