[發明專利]模型訓練方法、裝置、設備和存儲介質

在審

• 申請號: 202111625389.5
• 申請日: 2021-12-28
• 公開（公告）號: CN116266260A
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 張永興;趙國慶;權佳成
• 申請（專利權）人: 北京中關村科金技術有限公司
• 主分類號: G06F40/16
• 分類號: G06F40/16;G06F16/35;G06F40/216;G06N20/00
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 秦賀余

本發明公開了一種模型訓練方法、裝置、設備和存儲介質，包括：獲取與應用場景相關的多條文本數據；基于與應用場景相關的目標提示模板，將文本數據轉化為與提示模板的數據形式相對應的轉換數據；將選取的預訓練模型凍結，并將答案數據進行掩碼處理，得到預訓練樣本；將預訓練樣本輸入的與應用場景相關的目標預訓練模型進行訓練，得到提示學習模型。這樣，可以在數據不充足的情況下，設計提示然后將剩下的工作交給PLM，Prompt?tuning生效的其中一個原因是利用提示，激發出PLM在預訓練階段學習到的相關知識或先驗分布，進而在數據不充足的情況下，能夠高小樣本統計泛化能力。

技術領域

本發明屬于機器學習技術領域，具體涉及一種模型訓練方法、裝置、設備和存儲介質。

背景技術

在當今自然語言處理領域，預訓練語言模型開創了研究的新范式，刷新了多項自然語言處理任務的最好水平。預訓練語言模型即先基于大量無監督語料進行語言模型預訓練(Pre-training)，再使用少量標注語料進行微調(Fine-tuning)來完成文本分類、序列標注、機器翻譯、閱讀理解等下游NLP任務。

預訓練語言模型BERT，引入了掩碼語言模型(Masked?Language?Model，MLM)及預測下一個句子(Next?Sentence?Prediction，NSP)兩個預訓練任務，并在更大規模語料上進行預訓練，在11項自然語言理解任務上刷新了最好指標。

然而，預訓練語言模型的局限體現在，一是記憶和存儲語言知識的能力有限，二是對語言邏輯的理解能力有限。一個小數據集上微調可能導致高估(over-estimated)或低估(under-estimated)的現象。另外，預訓練語言模型微調對硬件要求較高、對算力、顯存需求大，應用代價高。

因此，如何提高小樣本統計泛化能力，是本領域技術人員亟待解決的技術問題。

發明內容

本發明的主要目的是提供一種模型訓練方法、裝置、設備和存儲介質，以解決現有技術預訓練模型中小樣本的統計泛化能力較低、硬件算力的需求較大和利用效率底下的技術問題。

針對上述問題，本發明提供了一種模型訓練方法，包括：

獲取與應用場景相關的多條文本數據；

基于與所述應用場景相關的目標提示模板，將所述文本數據轉化為與所述提示模板的數據形式相對應的轉換數據；其中，所述轉換數據包括所述文本數據和與所述轉換數據相對應的答案數據；

將選取的與所述應用場景相關的目標預訓練模型凍結，并將所述答案數據進行掩碼處理，得到預訓練樣本；

將所述預訓練樣本輸入所述目標預訓練模型進行訓練，得到提示學習模型。

進一步地，上述所述的模型訓練方法中，基于與所述應用場景相關的目標提示模板，將所述文本數據轉化為與所述提示模板的數據形式相對應的轉換數據之前，還包括：

輸出至少一個與所述應用場景相關的候選提示模板；

響應針對一個候選提示模板的選取操作，將所述候選提示模板作為所述目標提示模板。

進一步地，上述所述的模型訓練方法中，基于與所述應用場景相關的目標提示模板，將所述文本數據轉化為與所述提示模板的數據形式相對應的轉換數據之前，還包括：

響應于提示模板的創建請求，將接收的新建提示模板作為所述目標提示模板。

進一步地，上述所述的模型訓練方法中，將選取的與所述應用場景相關的目標預訓練模型凍結，并將所述答案數據進行掩碼處理，得到預訓練樣本之前，還包括：

輸出至少一個與所述應用場景相關的候選預訓練模型；

響應針對一個候選預訓練模型的選取操作，將所述候選預訓練模型作為所述目標預訓練模型。