[發明專利]模型訓練方法、裝置、存儲介質及電子設備

在審

• 申請號: 202110412115.1
• 申請日: 2021-04-16
• 公開（公告）號: CN113516239A
• 公開（公告）日: 2021-10-19
• 發明（設計）人: 陳子予;陶訓強;何苗;郭彥東
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N20/00
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強

1.一種模型訓練方法，包括：

獲取多個數據集；

將多個數據集逐個輸入初始多任務模型；其中，所述初始多任務模型包含模型參數，所述模型參數包含共享參數和任務參數；其中，所述共享參數為所述初始多任務模型中多個任務共有的模型參數，所述任務參數為所述初始多任務模型中多個任務中每個任務獨有的模型參數；

基于所述初始多任務模型的輸出結果調整所述模型參數，得到訓練后的多任務模型。

2.根據權利要求1所述的訓練方法，其特征在于，基于所述初始多任務模型的輸出結果調整所述模型參數，得到訓練后的多任務模型，包括：

根據所述初始多任務模型的輸出結果計算損失函數的總損失值，并根據所述損失值對所述多任務模型的模型參數進行調整。

3.根據權利要求2所述的訓練方法，其特征在于，每個數據集包含一個或多個任務標簽，若每個數據集的任務標簽數量為一個，則將該任務標簽對應的任務的損失值作為該數據集的損失值，其中，根據每個數據集的損失值計算得到損失函數的總損失值。

4.根據權利要求2所述的訓練方法，其特征在于，每個數據集包含一個或多個任務標簽，若所述數據集的任務標簽數量為多個，則將多個任務標簽對應的多個任務的損失值之和作為該數據集的損失值，其中，根據每個數據集的損失值計算得到損失函數的總損失值。

5.根據權利要求2所述的訓練方法，其特征在于，所述總損失值為多個數據集對應的所有任務的損失值之和。

6.根據權利要求5所述的訓練方法，其特征在于，多個數據集中的每個數據集對應的損失函數乘以c，其中，c為每個數據集占所有數據集的比重。

7.根據權利要求5所述的訓練方法，其特征在于，所述損失函數中還包含動態系數，其中，所述動態系數可根據當前模型訓練自適應調整。

8.根據權利要求1所述的訓練方法，其特征在于，所述獲取多個數據集包括：

將所述多個數據集按照第一順序加載入數據加載器，并將加載入數據加載器中的數據集按照預設批數量進行劃分。

9.根據權利要求8所述的訓練方法，其特征在于，所述將加載入數據加載器中的數據集按照預設批數量進行劃分之后，還包括：

判斷是否還存在下一批數據，其中，所述下一批數據為需要從數據加載器輸出的數據；

若有，則繼續輸出下一批數據。

10.根據權利要求9所述的訓練方法，其特征在于，

若沒有，則所述多個數據集按照第二順序加載入數據加載器，其中，所述第一順序和所述第二順序不同。

11.根據權利要求1所述的訓練方法，其特征在于，將所述多個數據集中的部分數據集進行合并，得到多個合并后的數據集；

將所述多個合并后的數據集逐個輸入初始多任務模型。

12.根據權利要求11所述的訓練方法，其特征在于，所述將所述多個數據集中的部分數據集進行合并，包括：

將帶有相同任務標簽的數據集進行合并。

13.根據權利要求12所述的訓練方法，其特征在于，將帶有相同任務標簽比例大于合并閾值的數據集進行合并。

14.根據權利要求1-13任一項所述的訓練方法，其特征在于，包括：

獲取待處理數據，其中，所述待處理數據包含多個數據集，每個數據集包含一個或多個任務標簽；

利用權所述訓練得到訓練后的多任務模型對所述待處理數據進行處理，得到處理結果。