[發(fā)明專利]一種模型訓(xùn)練的方法及裝置

在審

• 申請?zhí)枺?/td>: 202110008202.0
• 申請日: 2021-01-05
• 公開（公告）號: CN112686394A
• 公開（公告）日: 2021-04-20
• 發(fā)明（設(shè)計）人: 初祥祥;張勃;張津津;柴振華;魏曉林
• 申請（專利權(quán)）人: 北京三快在線科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京曼威知識產(chǎn)權(quán)代理有限公司 11709
• 代理人: 方志煒

1.一種模型訓(xùn)練的方法，其特征在于，包括：

獲取若干訓(xùn)練樣本；

從所述若干訓(xùn)練樣本中選取至少兩個訓(xùn)練樣本，得到樣本集；

將所述樣本集中包含的各訓(xùn)練樣本進(jìn)行數(shù)據(jù)混合，得到混合樣本；

通過待訓(xùn)練模型，確定所述樣本集中每個訓(xùn)練樣本對應(yīng)的輸出結(jié)果，以及所述混合樣本對應(yīng)的輸出結(jié)果；

根據(jù)所述樣本集中每個訓(xùn)練樣本對應(yīng)的輸出結(jié)果，以及所述混合樣本對應(yīng)的輸出結(jié)果，對所述待訓(xùn)練模型進(jìn)行訓(xùn)練。

2.如權(quán)利要求1所述的方法，其特征在于，將所述樣本集中包含的各訓(xùn)練樣本進(jìn)行數(shù)據(jù)混合，得到混合樣本，具體包括：

針對所述樣本集中包含的每個訓(xùn)練樣本，將該訓(xùn)練樣本進(jìn)行數(shù)據(jù)增強(qiáng)，得到該訓(xùn)練樣本對應(yīng)的增強(qiáng)樣本；

將所述樣本集中包含的每個訓(xùn)練樣本對應(yīng)的增強(qiáng)樣本進(jìn)行數(shù)據(jù)混合，得到混合樣本。

3.如權(quán)利要求1或2所述的方法，其特征在于，根據(jù)所述樣本集中每個訓(xùn)練樣本對應(yīng)的輸出結(jié)果，以及所述混合樣本對應(yīng)的輸出結(jié)果，對所述待訓(xùn)練模型進(jìn)行訓(xùn)練，具體包括：

針對所述樣本集中包含的每個訓(xùn)練樣本，根據(jù)該訓(xùn)練樣本對應(yīng)的輸出結(jié)果與所述混合樣本對應(yīng)的輸出結(jié)果之間的相似度，確定該訓(xùn)練樣本對應(yīng)的第一損失；

根據(jù)所述樣本集中包含的每個訓(xùn)練樣本對應(yīng)的第一損失，對所述待訓(xùn)練模型進(jìn)行訓(xùn)練。

4.如權(quán)利要求3所述的方法，其特征在于，針對所述樣本集中包含的每個訓(xùn)練樣本，根據(jù)該訓(xùn)練樣本對應(yīng)的輸出結(jié)果與所述混合樣本對應(yīng)的輸出結(jié)果之間的相似度，確定該訓(xùn)練樣本對應(yīng)的第一損失，具體包括：

針對所述若干訓(xùn)練樣本中除所述樣本集以外的每個其他訓(xùn)練樣本，通過所述待訓(xùn)練模型，確定該其他訓(xùn)練樣本對應(yīng)的輸出結(jié)果；

針對所述樣本集中包含的每個訓(xùn)練樣本，根據(jù)該訓(xùn)練樣本對應(yīng)的輸出結(jié)果與所述混合樣本對應(yīng)的輸出結(jié)果之間的相似度，以及該其他訓(xùn)練樣本對應(yīng)的輸出結(jié)果與所述混合樣本對應(yīng)的輸出結(jié)果之間的相似度，確定該訓(xùn)練樣本對應(yīng)的第一損失。

5.如權(quán)利要求2所述的方法，其特征在于，所述待訓(xùn)練模型包括：第一模型和第二模型，所述第一模型中的至少部分網(wǎng)絡(luò)參數(shù)來自所述第二模型；

通過待訓(xùn)練模型，確定所述樣本集中每個訓(xùn)練樣本對應(yīng)的輸出結(jié)果，以及所述混合樣本對應(yīng)的輸出結(jié)果，具體包括：

將所述混合樣本輸入到所述第一模型中，得到所述混合樣本對應(yīng)的輸出結(jié)果，以及針對所述樣本集中包含的每個訓(xùn)練樣本，將該訓(xùn)練樣本對應(yīng)的增強(qiáng)樣本輸入到所述第二模型中，得到該訓(xùn)練樣本對應(yīng)的輸出結(jié)果。

6.如權(quán)利要求5所述的方法，其特征在于，根據(jù)所述樣本集中每個訓(xùn)練樣本對應(yīng)的輸出結(jié)果，以及所述混合樣本對應(yīng)的輸出結(jié)果，對所述待訓(xùn)練模型進(jìn)行訓(xùn)練，具體包括：

將所述樣本集中包含的每個訓(xùn)練樣本對應(yīng)的輸出結(jié)果進(jìn)行數(shù)據(jù)混合，得到混合輸出結(jié)果；

根據(jù)所述混合輸出結(jié)果與所述混合樣本對應(yīng)的輸出結(jié)果之間的損失，對所述第一模型以及所述第二模型進(jìn)行訓(xùn)練。

7.如權(quán)利要求3所述的方法，其特征在于，根據(jù)所述樣本集中包含的每個訓(xùn)練樣本對應(yīng)的損失，對所述待訓(xùn)練模型進(jìn)行訓(xùn)練，具體包括：

從所述樣本集中選取目標(biāo)訓(xùn)練樣本，并對所述目標(biāo)訓(xùn)練樣本進(jìn)行數(shù)據(jù)增強(qiáng)，得到所述目標(biāo)訓(xùn)練樣本的增強(qiáng)樣本；

將所述目標(biāo)訓(xùn)練樣本輸入到所述待訓(xùn)練模型中，得到所述目標(biāo)訓(xùn)練樣本對應(yīng)的輸出結(jié)果，以及將所述目標(biāo)訓(xùn)練樣本的增強(qiáng)樣本輸入到所述待訓(xùn)練模型中，得到所述目標(biāo)訓(xùn)練樣本的增強(qiáng)樣本對應(yīng)的輸出結(jié)果；

確定所述目標(biāo)訓(xùn)練樣本的增強(qiáng)樣本對應(yīng)的輸出結(jié)果與所述目標(biāo)訓(xùn)練樣本對應(yīng)的輸出結(jié)果之間的損失，作為第二損失；

根據(jù)所述第一損失以及所述第二損失，對所述待訓(xùn)練模型進(jìn)行訓(xùn)練。