[發明專利]語言模型的訓練方法、裝置、電子設備及可讀存儲介質

在審

• 申請號: 202010564636.4
• 申請日: 2020-06-19
• 公開（公告）號: CN111859982A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 朱丹翔
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙) 11412
• 代理人: 田宏賓

本申請公開了一種語言模型的訓練方法、裝置、電子設備及可讀存儲介質，涉及深度學習技術領域和自然語言處理技術領域。具體實現方案為：分別從多篇文章中的每篇文章中采樣一段文本，得到多段文本；將所述多段文本進行拼接，得到拼接文本；將所述拼接文本輸入語言模型，經所述語言模型輸出文章數量的預測值；基于所述多篇文章的實際文章數量與所述文章數量的預測值，對所述語言模型進行訓練，直至滿足預設訓練完成條件。本申請利用從多篇文章中采樣的文本對語言模型進行訓練，可以實現語言模型對整段文本內容的分類，提升語言模型對文本內容的識別效果。

技術領域

涉及計算機技術領域，具體涉及深度學習技術領域和自然語言處理技術，尤其涉及一種語言模型的訓練方法、裝置、電子設備及可讀存儲介質。

背景技術

在中文自然語言處理(Natural Language Processing，NLP)領域，使用大量的無監督文本進行語言模型自監督的預訓練學習(pre-training)，接著采用有監督的任務數據對語言模型進行參數精調(fine-tuning)，是當前NLP領域中先進的語言模型訓練技術。

現有技術在語言模型的訓練學習中，缺乏對語言模型在單句分類任務上的訓練，使得語言模型缺乏單句分類能力，從而限制了語言模型對文本內容的識別效果。

發明內容

本申請的多個方面提供一種語言模型的訓練方法、裝置、電子設備及可讀存儲介質，用以實現語言模型對整段文本內容的分類，提升語言模型對文本內容的識別效果。

根據第一方面，提供了一種語言模型的訓練方法，包括：

分別從多篇文章中的每篇文章中采樣一段文本，得到多段文本；

將所述多段文本進行拼接，得到拼接文本；

將所述拼接文本輸入語言模型，經所述語言模型輸出文章數量的預測值；

基于所述多篇文章的實際文章數量與所述文章數量的預測值，對所述語言模型進行訓練，直至滿足預設訓練完成條件。

根據第二方面，提供了一種語言模型的訓練裝置，包括：

采樣單元，用于分別從多篇文章中的每篇文章中采樣一段文本，得到多段文本；

拼接單元，用于將所述多段文本進行拼接，得到拼接文本；

語言模型，用于接收輸入的所述拼接文本，輸出文章數量的預測值；

訓練單元，用于基于所述多篇文章的實際文章數量與所述文章數量的預測值，對所述語言模型進行訓練，直至滿足預設訓練完成條件。

根據第三方面，提供一種電子設備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行如上所述的方面和任一可能的實現方式的方法。

根據第四方面，提供一種存儲有計算機指令的非瞬時計算機可讀存儲介質，所述計算機指令用于使所述計算機執行如上所述的方面和任一可能的實現方式的方法。

由上述技術方案可知，本申請實施例通過分別從多篇文章中的每篇文章中采樣一段文本，得到多段文本，并將所述多段文本進行拼接，得到拼接文本，然后，將所述拼接文本輸入語言模型，經所述語言模型輸出文章數量的預測值，進而，基于所述多篇文章的實際文章數量與所述文章數量的預測值，對所述語言模型進行訓練，直至滿足預設訓練完成條件，即可得到訓練好的語言模型，使得訓練好的語言模型具有對整段文本的內容進行識別和分類的能力，從而提升了語言模型對文本內容的識別效果。