[發(fā)明專利]語言模型訓練方法、裝置、電子設備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210752657.8
• 申請日: 2022-06-29
• 公開（公告）號: CN115062718A
• 公開（公告）日: 2022-09-16
• 發(fā)明（設計）人: 田鑫;陳澤裕;熊昊一;王雅晴
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/35;G06F40/186;G06N20/00
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務所(普通合伙) 11201
• 代理人: 羅嵐

本公開提供了一種語言模型訓練方法、裝置、電子設備及存儲介質(zhì)，涉及人工智能技術領域，具體涉及自然語言處理和深度學習等領域。具體實施方案為：獲取原始訓練文本以及標簽集合；基于原始訓練文本和標簽集合，生成第一訓練文本和第二訓練文本；對待訓練的語言模型進行訓練，以獲取目標損失值；根據(jù)目標損失值對語言模型的模型參數(shù)進行調(diào)整，繼續(xù)使用下一個原始訓練文本進行訓練，直至訓練結(jié)束生成目標語言模型。通過將原始訓練文生成第一訓練文本和第二訓練文本，對語言模型進行訓練，相較于傳統(tǒng)的只包含第一訓練文本或者第二訓練文本的方法，訓練樣本更豐富，同時降低差異性較大的問題，使目標語言模型魯棒性更強，預測結(jié)果更加準確。

技術領域

本公開涉及人工智能技術領域，具體涉及自然語言處理和深度學習等領域，尤其涉及一種語言模型訓練方法、裝置和電子設備及存儲介質(zhì)。

背景技術

目前，隨著人工智能技術的不斷發(fā)展，語言模型在文本分類等領域得到了廣泛應用，具有自動化程度高、人工成本低等優(yōu)點。比如，可將文本輸入語言模型中，由語言模型輸出文本的類別。然而，針對小樣本的模型訓練往往效果較差。

發(fā)明內(nèi)容

本公開提供了一種用于語言模型訓練方法、裝置、電子設備及存儲介質(zhì)。

根據(jù)本公開的第一方面，提供了一種語言模型訓練方法，包括：獲取原始訓練文本以及原始訓練文本對應的標簽集合；基于原始訓練文本和標簽集合，生成第一訓練文本和第二訓練文本，其中，第一訓練文本為完型填空類文本，第二訓練文本為蘊含分類任務的文本；根據(jù)第一訓練文本和第二訓練文本，對待訓練的語言模型進行訓練，以獲取目標損失值；根據(jù)目標損失值對語言模型的模型參數(shù)進行調(diào)整，并繼續(xù)使用下一個原始訓練文本對調(diào)整后的語言模型進行訓練，直至訓練結(jié)束生成目標語言模型。

根據(jù)本公開的第二方面，提供了一種語言模型訓練裝置，包括：獲取模塊，用于獲取原始訓練文本以及原始訓練文本對應的標簽集合；生成模塊，用于基于原始訓練文本和標簽集合，生成第一訓練文本和第二訓練文本，其中，第一訓練文本為完型填空類文本，第二訓練文本為蘊含分類任務的文本；訓練模塊，用于根據(jù)第一訓練文本和第二訓練文本，對待訓練的語言模型進行訓練，以獲取目標損失值；調(diào)整模塊，用于根據(jù)目標損失值對語言模型的模型參數(shù)進行調(diào)整，并繼續(xù)使用下一個原始訓練文本對調(diào)整后的語言模型進行訓練，直至訓練結(jié)束生成目標語言模型。

根據(jù)本公開的第三方面，提供了一種電子設備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行上述一方面實施例所述的語言模型訓練方法。

根據(jù)本公開第四方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質(zhì)，其上存儲有計算機程序/指令，所述計算機指令用于使所述計算機執(zhí)行上述一方面實施例所述的語言模型訓練方法。

根據(jù)本公開的第五方面，提供了一種計算機程序產(chǎn)品，包括計算機程序/指令，所述計算機程序/指令被處理器執(zhí)行時實現(xiàn)上述一方面實施例所述的語言模型訓練方法的步驟。

通過將原始訓練文本生成包含完型填空類文本的第一訓練文本和包含蘊含分類任務的第二訓練文本對語言模型進行訓練生成目標語言模型，相較于傳統(tǒng)的包含完型填空類文本的第一訓練文本或者包含蘊含分類任務的第二訓練文本，可以豐富訓練樣本，同時降低由于蘊含任務或者完成填空對于不同的初始訓練文本差異性較大的問題，生成的目標語言模型魯棒性更強，預測結(jié)果更加準確。

應當理解，本部分所描述的內(nèi)容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用于更好地理解本方案，不構(gòu)成對本公開的限定。其中：

圖1為本公開實施例提供的一語言模型訓練方法的流程示意圖；