[發明專利]語言模型的訓練方法、裝置、設備及存儲介質

在審

• 申請號: 202210555573.5
• 申請日: 2022-05-19
• 公開（公告）號: CN115114433A
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 周潔;田樂;周霄
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/30;G06F40/216;G06F40/284;G06N3/04;G06N3/08
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 祝亞男

本申請公開了一種語言模型的訓練方法、裝置、設備及存儲介質，涉及人工智能領域。方法包括：基于提示文本和樣本文本構建第一輸入文本，提示文本中包含樣本標簽，樣本標簽為樣本文本的標簽，第一輸入文本中缺少樣本標簽；基于第一輸入文本構建第二輸入文本，第二輸入文本與第一輸入文本的語義一致，第二輸入文本中包含樣本標簽，且缺少部分文本內容，其中，缺少的文本內容屬于樣本文本；基于第一輸入文本和第二輸入文本調整預訓練語言模型，預訓練語言模型用于基于輸入文本的上下文信息預測輸入文本中的缺失內容。本申請實施例方案有助于提高少樣本場景下語言模型的訓練質量。

技術領域

本申請實施例涉及人工智能領域，特別涉及一種語言模型的訓練方法、裝置、設備及存儲介質。

背景技術

自然語言處理(Natural Language Processing，NLP)在機器語言和人類語言之間架起溝通的橋梁，實現了人機交流的目的。預訓練語言模型(pre-trained LanguageModel)將自然語言處理帶入一個新的階段，其研究思路是先通過大數據預訓練，而后基于下游任務對預訓練模型進行小數據微調。

相關技術中，為了使后續微調階段與預訓練階段執行相同任務，以提高語言模型訓練質量，通常采用提示性微調(prompt-tuning)方式進行微調。提示性微調過程中，計算機設備在樣本文本前或后拼接提示文本，并利用預訓練語言模型對提示文本中包含的樣本標簽進行概率分布預測，進而基于預測得到的概率分布對預訓練語言模型進行微調。

然而，在少樣本場景下，即微調過程中具有標簽的樣本較少時，預訓練語言模型的微調效果不佳，影響最終訓練得到的語言模型的質量。

發明內容

本申請實施例提供了一種語言模型的訓練方法、裝置、設備及存儲介質，能夠提高少樣本場景下語言模型的訓練質量。所述技術方案如下：

一方面，本申請實施例提供了一種語言模型的訓練方法，所述方法包括：

基于提示文本和樣本文本構建第一輸入文本，所述提示文本中包含樣本標簽，所述樣本標簽為所述樣本文本的標簽，所述第一輸入文本中缺少所述樣本標簽；

基于所述第一輸入文本構建第二輸入文本，所述第二輸入文本與所述第一輸入文本的語義一致，所述第二輸入文本中包含所述樣本標簽，且缺少部分文本內容，其中，缺少的文本內容屬于所述樣本文本；

基于所述第一輸入文本和所述第二輸入文本調整預訓練語言模型，所述預訓練語言模型用于基于輸入文本的上下文信息預測所述輸入文本中的缺失內容。

另一方面，本申請實施例提供了一種語言模型的訓練裝置，所述裝置包括：

第一構建模塊，用于基于提示文本和樣本文本構建第一輸入文本，所述提示文本中包含樣本標簽，所述樣本標簽為所述樣本文本的標簽，所述第一輸入文本中缺少所述樣本標簽；

第二輸入文本生成模塊，用于基于所述第一輸入文本構建第二輸入文本，所述第二輸入文本與所述第一輸入文本的語義一致，所述第二輸入文本中包含所述樣本標簽，且缺少部分文本內容，其中，缺少的文本內容屬于所述樣本文本；

語言模型預訓練模塊，用于基于所述第一輸入文本和所述第二輸入文本調整預訓練語言模型，所述預訓練語言模型用于基于輸入文本的上下文信息預測所述輸入文本中的缺失內容。

另一方面，本申請實施例提供了一種計算機設備，所述計算機設備包括處理器和存儲器，所述存儲器中存儲有至少一段程序，所述至少一條指令由所述處理器加載并執行以實現如上述方面所述的語言模型的訓練方法。

另一方面，本申請實施例提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質中存儲有至少一段程序，所述至少一條指令由處理器加載并執行以實現如上述方面所述的語言模型的訓練方法。