[發明專利]語言模型獲取及中文語義理解方法、裝置及存儲介質在審
| 申請號： | 202010552815.6 | 申請日： | 2020-06-17 |
| 公開（公告）號： | CN111859981A | 公開（公告）日： | 2020-10-30 |
| 發明（設計）人： | 丁思宇;王碩寰;孫宇 | 申請（專利權）人： | 北京百度網訊科技有限公司 |
| 主分類號： | G06F40/30 | 分類號： | G06F40/30;G06K9/62 |
| 代理公司： | 北京鴻德海業知識產權代理事務所(普通合伙) 11412 | 代理人： | 谷春靜 |
| 地址： | 100085 北京市*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 語言 模型 獲取 中文 語義 理解 方法 裝置 存儲 介質 | ||
1.一種語言模型獲取方法，包括：
獲取作為訓練數據的中文文本；
針對任一訓練數據，分別獲取其中的各文字的預定嵌入信息，所述預定嵌入信息中至少包括兩種嵌入信息，其中一種為音調嵌入信息；
根據所述預定嵌入信息，利用所述訓練數據訓練語言模型，所述語言模型用于根據待處理的中文文本中的各文字的所述預定嵌入信息、生成所述待處理的中文文本的語義表示信息。
2.根據權利要求1所述的方法，其中，所述音調包括：平聲、一聲、二聲、三聲和四聲。
3.根據權利要求1所述的方法，其中，所述預定嵌入信息中還包括以下之一或任意組合：詞嵌入信息、句嵌入信息、位置嵌入信息、任務嵌入信息。
4.根據權利要求1所述的方法，其中，所述根據所述預定嵌入信息，利用所述訓練數據訓練語言模型包括：針對任一訓練數據，分別將其中的各文字的嵌入信息加權相加，將各文字對應的加權相加結果作為所述語言模型的輸入，訓練所述語言模型。
5.根據權利要求1所述的方法，其中，所述利用所述訓練數據訓練語言模型包括：以詞層級預訓練任務、結構層級預訓練任務和語義層級預訓練任務為訓練任務，對所述語言模型進行訓練。
6.根據權利要求1所述的方法，其中，所述利用所述訓練數據訓練語言模型包括：基于預定模型熱啟，以持續學習的方式訓練所述語言模型。
7.一種中文語義理解方法，包括：
針對待處理的中文文本，分別獲取其中的各文字的預定嵌入信息，所述預定嵌入信息中至少包括兩種嵌入信息，其中一種為音調嵌入信息；
根據所述預定嵌入信息及預先訓練得到的語言模型，得到所述待處理的中文文本的語義表示信息。
8.根據權利要求7所述的方法，其中，所述音調包括：平聲、一聲、二聲、三聲和四聲。
9.根據權利要求7所述的方法，其中，所述預定嵌入信息中還包括以下之一或任意組合：詞嵌入信息、句嵌入信息、位置嵌入信息、任務嵌入信息。
10.根據權利要求7所述的方法，其中，所述根據所述預定嵌入信息及預先訓練得到的語言模型，得到所述待處理的中文文本的語義表示信息包括：
針對所述待處理的中文文本，分別將其中的各文字的嵌入信息加權相加，將各文字對應的加權相加結果作為所述語言模型的輸入，得到輸出的所述語義表示信息。
11.一種語言模型獲取裝置，包括：數據獲取模塊及模型訓練模塊；
所述數據獲取模塊，用于獲取作為訓練數據的中文文本；
所述模型訓練模塊，用于針對任一訓練數據，分別獲取其中的各文字的預定嵌入信息，所述預定嵌入信息中至少包括兩種嵌入信息，其中一種為音調嵌入信息，根據所述預定嵌入信息，利用所述訓練數據訓練語言模型，所述語言模型用于根據待處理的中文文本中的各文字的所述預定嵌入信息、生成所述待處理的中文文本的語義表示信息。
12.根據權利要求11所述的裝置，其中，所述音調包括：平聲、一聲、二聲、三聲和四聲。
13.根據權利要求11所述的裝置，其中，所述預定嵌入信息中還包括以下之一或任意組合：詞嵌入信息、句嵌入信息、位置嵌入信息、任務嵌入信息。
14.根據權利要求11所述的裝置，其中，所述模型訓練模塊針對任一訓練數據，分別將其中的各文字的嵌入信息加權相加，將各文字對應的加權相加結果作為所述語言模型的輸入，訓練所述語言模型。
15.根據權利要求11所述的裝置，其中，所述模型訓練模塊以詞層級預訓練任務、結構層級預訓練任務和語義層級預訓練任務為訓練任務，對所述語言模型進行訓練。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于北京百度網訊科技有限公司，未經北京百度網訊科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010552815.6/1.html，轉載請聲明來源鉆瓜專利網。
