[發明專利]語言模型訓練方法、文本預測方法以及裝置

在審

• 申請號: 202211201583.5
• 申請日: 2022-09-29
• 公開（公告）號: CN115759001A
• 公開（公告）日: 2023-03-07
• 發明（設計）人: 李鶴
• 申請（專利權）人: 阿里巴巴（中國）有限公司
• 主分類號: G06F40/151
• 分類號: G06F40/151;G06F40/186;G06N3/088
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 金鵬

1.一種語言模型訓練方法，包括：

獲取第一樣本集，其中，所述第一樣本集包括多組樣本文本對；

利用引導模板，對各樣本文本對分別進行格式轉換，獲得符合所述引導模板對應文本格式的多個轉換樣本文本；

對各轉換樣本文本進行掩碼處理，獲得多個掩碼樣本文本；

利用所述多個掩碼樣本文本，對掩碼語言模型進行訓練，獲得預訓練語言模型。

2.根據權利要求1所述的方法，所述利用引導模板，對各樣本文本對分別進行格式轉換，獲得符合所述引導模板對應文本格式的多個轉換樣本文本的步驟之前，還包括：

識別所述各樣本文本對的文本類型；

根據所述各樣本文本對的文本類型，確定所述各樣本文本對對應的引導模板；

所述利用引導模板，對各樣本文本對分別進行格式轉換，獲得符合所述引導模板對應文本格式的多個轉換樣本文本的步驟，包括：

利用各樣本文本對對應的引導模板，對所述各樣本文本對分別進行格式轉換，獲得符合所述引導模板對應文本格式的多個轉換樣本文本。

3.根據權利要求2所述的方法，所述引導模板包括第一子模板和第二子模板；所述利用各樣本文本對對應的引導模板，對所述各樣本文本對分別進行格式轉換，獲得符合所述引導模板對應文本格式的多個轉換樣本文本的步驟，包括：

識別所述各樣本文本對的文本屬性，確定所述各樣本文本對中具有第一文本屬性的第一子文本和具有第二文本屬性的第二子文本；

將所述第一子文本填充至所述第一子模板，并將所述第二子文本填充至所述第二子模板，獲得符合所述引導模板對應文本格式的多個轉換樣本文本。

4.根據權利要求2所述的方法，所述文本類型包括問答類型，所述引導模板包括問題子模板和答案子模板；所述利用引導模板，對各樣本文本對分別進行格式轉換，獲得符合所述引導模板對應文本格式的多個轉換樣本文本的步驟，包括：

識別所述各樣本文本對的文本屬性，確定所述各樣本文本對中的問題文本以及答案文本；

將所述問題文本填充至所述問題子模板，并將所述答案文本填充至所述答案子模板，獲得符合所述引導模板對應文本格式的多個轉換樣本文本。

5.根據權利要求1所述的方法，所述引導模板包括第一子模板和第二子模板；所述對各轉換樣本文本進行掩碼處理，獲得多個掩碼樣本文本的步驟，包括：

根據所述第一子模板和所述第二子模板，分別確定所述各轉換樣本文本中，與所述第一子模板對應的第一轉換樣本子文本，以及與所述第二子模板對應的第二轉換樣本子文本；

按照預設掩碼比例，分別對所述第一轉換樣本子文本和所述第二轉換樣本子文本進行掩碼，獲得多個掩碼樣本文本。

6.根據權利要求1-5任一項所述的方法，所述利用所述多個掩碼樣本文本，對掩碼語言模型進行訓練，獲得預訓練語言模型的步驟，包括：

提取第一掩碼樣本文本，其中，所述第一掩碼樣本文本為所述多個掩碼樣本文本中的任一個；

將所述第一掩碼樣本文本輸入所述掩碼語言模型，獲得所述第一掩碼樣本文本中被掩碼位置的第一預測結果；

根據所述第一預測結果和所述第一掩碼樣本文本中被掩碼位置的原始字符，計算獲得第一損失值；

基于所述第一損失值，調整所述掩碼語言模型的模型參數，并返回執行所述提取第一掩碼樣本文本的步驟；

在達到第一訓練停止條件的情況下，獲得完成訓練的預訓練語言模型。

7.根據權利要求6所述的方法，所述根據所述第一預測結果和所述第一掩碼樣本文本中被掩碼位置的原始字符，計算獲得第一損失值的步驟，包括：

在所述被掩碼位置為多個的情況下，分別獲取所述被掩碼位置的原始字符對應的權重；

根據所述第一預測結果、所述第一掩碼樣本文本中被掩碼位置的原始字符以及所述權重，計算獲得第一損失值。