[發明專利]語言模型的訓練方法、裝置、電子設備及可讀存儲介質在審
| 申請號： | 202010564636.4 | 申請日： | 2020-06-19 |
| 公開（公告）號： | CN111859982A | 公開（公告）日： | 2020-10-30 |
| 發明（設計）人： | 朱丹翔 | 申請（專利權）人： | 北京百度網訊科技有限公司 |
| 主分類號： | G06F40/30 | 分類號： | G06F40/30;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 北京鴻德海業知識產權代理事務所(普通合伙) 11412 | 代理人： | 田宏賓 |
| 地址： | 100085 北京市*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 語言 模型 訓練 方法 裝置 電子設備 可讀 存儲 介質 | ||
1.一種語言模型的訓練方法，包括：
分別從多篇文章中的每篇文章中采樣一段文本，得到多段文本；
將所述多段文本進行拼接，得到拼接文本；
將所述拼接文本輸入語言模型，經所述語言模型輸出文章數量的預測值；
基于所述多篇文章的實際文章數量與所述文章數量的預測值，對所述語言模型進行訓練，直至滿足預設訓練完成條件。
2.根據權利要求1所述的方法，其中，所述分別從多篇文章中的每篇文章中采樣一段文本，得到多段文本，包括：
從文章數據庫中隨時選取所述多篇文章；
隨機從所述多篇文章中的每篇文章中采樣一段連續的文本，所述一段連續的文本包括至少一個句子。
3.根據權利要求1所述的方法，其中，所述多段文本的字符數不大于預設字符數。
4.根據權利要求1所述的方法，其中，所述將所述多段文本進行拼接，得到拼接文本，包括：
將所述多段文本中的句子順序打亂，并將順序打亂后的句子進行拼接，得到拼接文本。
5.根據權利要求1-4中任一項所述的方法，其中，所述語言模型包括知識增強語義表示ERNIE模型；和/或，
所述方法還包括：
將所述多段文本中各句子的句子標識設置為統一預設標識；或者，
將所述拼接文本中各句子的句子標識設置為統一預設標識。
6.根據權利要求1-4中任一項所述的方法，其中，所述滿足預設訓練完成條件之后，還包括：
利用所述語言模型進行自然語言處理NLP任務，得到處理結果；
根據所述處理結果與所述處理結果對應的標注結果信息之間的差異，對所述語言模型中的參數值進行精調。
7.一種語言模型的訓練裝置，包括：
采樣單元，用于分別從多篇文章中的每篇文章中采樣一段文本，得到多段文本；
拼接單元，用于將所述多段文本進行拼接，得到拼接文本；
語言模型，用于接收輸入的所述拼接文本，輸出文章數量的預測值；
訓練單元，用于基于所述多篇文章的實際文章數量與所述文章數量的預測值，對所述語言模型進行訓練，直至滿足預設訓練完成條件。
8.根據權利要求7所述的裝置，其中，所述采樣單元，具體用于
從文章數據庫中隨時選取所述多篇文章；
隨機從所述多篇文章中的每篇文章中采樣一段連續的文本，所述一段連續的文本包括至少一個句子。
9.根據權利要求7所述的裝置，其中，所述多段文本的字符數不大于預設字符數。
10.根據權利要求7所述的裝置，其中，所述拼接單元，具體用于
將所述多段文本中的句子順序打亂，并將順序打亂后的句子進行拼接，得到拼接文本。
11.根據權利要求7-10中任一項所述的裝置，其中，所述語言模型包括知識增強語義表示ERNIE模型；和/或，
所述裝置還包括：標識設置單元，用于
將所述多段文本中各句子的句子標識設置為統一預設標識；或者，
將所述拼接文本中各句子的句子標識設置為統一預設標識。
12.根據權利要求7-11中任一項所述的裝置，其中，所述語言模型，還用于在滿足預設訓練完成條件后，進行自然語言處理NLP任務，得到處理結果；
所述裝置還包括：
精調單元，用于根據所述處理結果與所述處理結果對應的標注結果信息之間的差異，對所述語言模型中的參數值進行精調。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于北京百度網訊科技有限公司，未經北京百度網訊科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010564636.4/1.html，轉載請聲明來源鉆瓜專利網。
