[發明專利]文本分類模型的訓練方法、裝置、設備及存儲介質

有效

• 申請號: 202011038589.6
• 申請日: 2020-09-28
• 公開（公告）號: CN112115267B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 劉廣;黃海龍
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N20/00
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 耿立平

1.一種文本分類模型的訓練方法，其特征在于，方法包括：

獲取訓練樣本集，所述訓練樣本集包括N個有標訓練樣本和M個無標訓練樣本，每個所述有標訓練樣本包括文本信息以及文本信息的類別標簽，每個所述無標訓練樣本包括文本信息；其中，M和N均為大于1的整數；

根據所述訓練樣本集以及M個增強訓練樣本對初始文本分類模型和初始文本增強模型進行交替迭代訓練，得到目標文本分類模型；其中，在第i次交替迭代訓練過程中，所述M個增強訓練樣本根據第i-1次交替迭代得到的文本增強模型對所述M個無標訓練樣本進行文本增強處理生成，i為大于1的整數；

所述交替迭代訓練的次數為多次，且每次交替迭代訓練過程包括k次子迭代過程；

所述根據所述訓練樣本集以及M個增強訓練樣本，對初始文本分類模型和初始文本增強模型進行交替迭代訓練，得到目標文本分類模型，包括：

對于每次交替迭代訓練中的第j次子迭代過程，按照預設比例從所述訓練樣本集中抽取有標訓練樣本以及無標訓練樣本；其中，1＜j≤k；

根據第j-1次子迭代得到的文本增強模型對抽取的無標訓練樣本進行處理，獲得與所述無標訓練樣本對應的增強訓練樣本；

將所述增強訓練樣本、抽取的有標訓練樣本以及所述無標訓練樣本作為輸入，對第j-1次子迭代得到的文本分類模型和第j-1次子迭代得到的文本增強模型進行訓練，得到第j次子迭代得到的文本分類模型和第j次子迭代得到的文本增強模型；

返回執行所述按照預設比例從所述訓練樣本集中抽取有標訓練樣本以及無標訓練樣本的步驟，直至所述訓練樣本集中N個有標訓練樣本和M個無標訓練樣本均迭代一次后，獲得當前交替迭代訓練后的文本分類模型；

所述將所述增強訓練樣本、抽取的有標訓練樣本以及所述無標訓練樣本作為輸入，對第j-1次子迭代得到的文本分類模型和第j-1次子迭代得到的文本增強模型進行訓練，得到第j次子迭代的文本分類模型和第j次子迭代的文本增強模型，包括：

將所述增強訓練樣本、抽取的有標訓練樣本以及所述無標訓練樣本作為輸入，基于第j-1次子迭代得到的文本分類模型確定第一損失函數值；

保持第j-1次子迭代得到的文本增強模型的參數不變，根據所述第一損失函數值，更新第j-1次子迭代得到的文本分類模型的參數，獲得第j次子迭代得到的文本分類模型；

保持第j次子迭代得到的文本分類模型的參數不變，根據所述第一損失函數值更新第j-1次子迭代得到的文本增強模型的參數，獲得第j次子迭代得到的文本增強模型。

2.如權利要求1所述的文本分類模型的訓練方法，其特征在于，所述基于第j-1次子迭代得到的文本分類模型確定第一損失函數值，包括：

將所述有標訓練樣本中的文本信息作為特征，將與所述文本信息對應的類別標簽作為標簽，基于第j-1次子迭代得到的文本分類模型，獲得第二損失函數值；

將所述無標訓練樣本以及與所述無標訓練樣本對應的增強訓練樣本作為輸入，基于第j-1次子迭代得到的文本分類模型，獲得第三損失函數值；

根據所述第二損失函數值以及所述第三損失函數值確定所述第一損失函數值。

3.如權利要求1所述的文本分類模型的訓練方法，其特征在于，所述根據第j-1次子迭代得到的文本增強模型對所述無標訓練樣本進行處理，獲得與所述無標訓練樣本對應的增強訓練樣本，包括：

對所述無標訓練樣本進行分詞處理，獲得所述無標訓練樣本對應的第一文本序列，所述第一文本序列包括至少一個單詞；

基于預設詞典對所述第一文本序列進行編碼，生成所述第一文本序列對應的第一向量，所述第一向量包括多個編碼值；

基于預設概率對所述第一向量中的編碼值進行掩碼處理，生成所述第一向量對應的第二向量；

將所述第二向量輸入第j-1次子迭代得到的文本增強模型，獲得與所述無標訓練樣本對應的增強訓練樣本。