[發明專利]一種模型訓練方法、電子設備及存儲介質

在審

• 申請號: 202210235879.2
• 申請日: 2022-03-11
• 公開（公告）號: CN114742200A
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 侯盼盼;黃明星;王福釙;張航飛;徐華韞;曹富康;沈鵬
• 申請（專利權）人: 北京健康之家科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06V30/19;G06K9/62
• 代理公司: 北京匯思誠業知識產權代理有限公司 11444
• 代理人: 羅艷

1.一種模型訓練方法，其特征在于，應用于電子設備，所述方法包括：

獲取非Transformer結構的TectCNN模型，并將所述TectCNN模型作為第一學生模型；

基于Transformer結構的教師模型對所述第一學生模型進行蒸餾訓練，獲得第二學生模型，所述教師模型用于處理文本分類任務。

2.根據權利要求1所述的方法，其特征在于，在獲取TectCNN模型之前，所述方法還包括：

獲取與所述文本分類任務相關的M個真實標簽文本樣本，以及與所述文本分類任務相關的N個無標簽文本樣本，其中，所述N個無標簽文本樣本包括N/2對表征相同語義的無標簽文本樣本對，任一無標簽文本樣本對包括原始語言版本的無標簽文本樣本，以及所述原始語言版本的無標簽文本樣本翻譯為目標語言版本后經回譯處理所得到的回譯版本的無標簽文本樣本，M為不小于1的正整數，N為不小于2的正整數；

將所述M個真實標簽文本樣本以及所述N個無標簽文本樣本輸入到所述文本分類任務的基準模型，并基于第一目標損失函數對所述基準模型進行訓練，獲得所述教師模型，所述第一目標損失函數如下：

L_teacher＝L₁+L₂

其中，L_student表示所述第一目標損失函數，L₁表示所述基準模型對所述M個真實標簽文本樣本中各真實標簽文本樣本的預測值與真實標簽之間的交叉熵損失函數，L₂表示所述基準模型對N/2對無標簽文本樣本對中各無標簽文本樣本對所包括的原始語言版本的無標簽文本樣本的預測值與回譯版本的無標簽文本樣本的預測值之間的相對熵損失函數。

3.根據權利要求2所述的方法，其特征在于，所述教師模型中用于提取不同深度層次特征的Transformer結構與所述第一學生模型中用于提取不同深度層次特征的CNN結構一一對應，基于所述教師模型對所述第一學生模型進行蒸餾訓練，獲得第二學生模型包括：

將所述M個真實標簽文本樣本，以及所述N個無標簽文本樣本輸入到所述教師模型以及所述第一學生模型，并基于第二目標損失函數對所述第一學生模型進行訓練，獲得所述第二學生模型，所述第二目標損失函數如下：

L_student＝L₃+L₄+L₅+L₆+L₇+L₈

其中，L_student表示所述第二目標損失函數，L₃表示所述第一學生模型對所述M個真實標簽文本樣本中各真實標簽文本樣本的預測值與真實標簽之間的交叉熵損失函數，L₄表示所述教師模型與所述第一學生模型對所述M個真實標簽文本樣本中同一真實標簽文本樣本的預測值之間的交叉熵損失函數；L₅表示所述教師模型與所述第一學生模型中用于提取同一深度層次特征的目標Transformer結構與目標CNN結構分別針對同一真實標簽文本樣本所輸出的第一特征向量與第二特征向量之間的均方誤差損失；L₆表示所述教師模型與所述第一學生模型對所述N個無標簽文本樣本中同一無標簽文本樣本的預測值之間的交叉熵損失函數；L₇表示所述教師模型與所述第一學生模型中用于提取同一深度層次特征的目標Transformer結構與目標CNN結構分別針對同一無標簽文本樣本所輸出的第一特征向量與第二特征向量之間的均方誤差損失；L₈表示所述第一學生模型對N/2對無標簽文本樣本對中各無標簽文本樣本對所包括的原始語言版本的無標簽文本樣本的預測值與回譯版本的無標簽文本樣本的預測值之間的相對熵損失函數。

4.根據權利要求3所述的方法，其特征在于，所述第一學生模型中用于提取不同深度層次特征的CNN結構中卷積核的大小與特征層次的深度正相關。

5.根據權利要求3所述的方法，其特征在于，所述第一特征向量的第一維度高于所述第二特征向量的第二維度，所述教師模型還包括與Transformer結構連接的投影層，所述投影層用于將所述第一維度壓縮至所述第二維度。