[發明專利]語言模型訓練方法、裝置、電子設備及存儲介質

在審

• 申請號: 202210752657.8
• 申請日: 2022-06-29
• 公開（公告）號: CN115062718A
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 田鑫;陳澤裕;熊昊一;王雅晴
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/35;G06F40/186;G06N20/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅嵐

1.一種語言模型訓練方法，包括：

獲取原始訓練文本以及所述原始訓練文本對應的標簽集合；

基于所述原始訓練文本和所述標簽集合，生成第一訓練文本和第二訓練文本，其中，所述第一訓練文本為完型填空類文本，所述第二訓練文本為蘊含分類任務的文本；

根據所述第一訓練文本和所述第二訓練文本，對待訓練的語言模型進行訓練，以獲取目標損失值；

根據所述目標損失值對所述語言模型的模型參數進行調整，并繼續使用下一個原始訓練文本對調整后的所述語言模型進行訓練，直至訓練結束生成目標語言模型。

2.根據權利要求1所述的方法，其中，所述第一訓練文本的生成過程，包括：

根據所述原始訓練文本，確定用于生成所述完型填空類文本的第一模板，其中，所述第一模板包括至少一個第一掩碼；

對所述第一模板和所述原始訓練文本進行組合，生成第一模板文本；

將所述標簽集合中的每個標簽分別輸入至所述第一模板文本中所述第一掩碼位置，以生成每個標簽對應的所述第一訓練文本。

3.根據權利要求1所述的方法，其中，所述第二訓練文本的生成過程，包括：

根據所述原始訓練文本，確定用于生成所述蘊含分類任務的文本的第二模板，其中，所述第二模板包括分類選項和至少一個第二掩碼；

對所述第二模板和所述原始訓練文本進行組合，生成第二模板文本；

將所述標簽集合中的每個所述標簽分別輸入至所述第二模板文本中所述第二掩碼位置，以生成每個所述標簽對應的所述第二訓練文本。

4.根據權利要求2或3所述的方法，其中，所述方法還包括：

確定所述原始訓練文本的分類任務類型；

基于所述分類任務類型，從第一模板候選集合中確定所述第一模板；或者，

基于所述分類任務類型，從第二模板候選集合中確定所述第二模板。

5.根據權利要求1所述的方法，其中，所述目標損失值的確定過程，包括：

基于所述第一訓練文本輸入所述語言模型中輸出的預測標簽結果確定第一損失值；

獲取所述第二訓練文本輸入所述語言模型中輸出的分類選項結果確定第二損失值；

基于所述第一損失值和所述第二損失值確定所述目標損失值。

6.根據權利要求5所述的方法，其中，所述第一損失值的獲取方法，包括：

獲取每個所述標簽對應的所述第一訓練文本輸入待訓練的所述語言模型輸出的第一概率；

基于所述第一概率與所述標簽對應的第一真實概率求取第一個體損失值；

將所有所述標簽的所述第一個體損失值求取平均值作為所述第一損失值。

7.根據權利要求5所述的方法，其中，所述第二損失值的獲取方法，包括：

獲取每個所述標簽對應的所述第二訓練文本輸入待訓練的所述語言模型輸出的第二概率；

基于所述第二概率與所述標簽對應的第二真實概率求取第二個體損失值；

將所有所述標簽的所述第二個體損失值求取平均值作為所述第二損失值。

8.一種語言模型訓練裝置，包括：

獲取模塊，用于獲取原始訓練文本以及所述原始訓練文本對應的標簽集合；

生成模塊，用于基于所述原始訓練文本和所述標簽集合，生成第一訓練文本和第二訓練文本，其中，所述第一訓練文本為完型填空類文本，所述第二訓練文本為蘊含分類任務的文本；

訓練模塊，用于根據所述第一訓練文本和所述第二訓練文本，對待訓練的語言模型進行訓練，以獲取目標損失值；

調整模塊，用于根據所述目標損失值對所述語言模型的模型參數進行調整，并繼續使用下一個原始訓練文本對調整后的所述語言模型進行訓練，直至訓練結束生成目標語言模型。