[發明專利]語言模型獲取及中文語義理解方法、裝置及存儲介質

在審

• 申請號: 202010552815.6
• 申請日: 2020-06-17
• 公開（公告）號: CN111859981A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 丁思宇;王碩寰;孫宇
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06K9/62
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙) 11412
• 代理人: 谷春靜

本申請公開了語言模型獲取及中文語義理解方法、裝置及存儲介質，涉及自然語言處理及深度學習領域，其中的方法可包括：獲取作為訓練數據的中文文本；針對任一訓練數據，分別獲取其中的各文字的預定嵌入信息，預定嵌入信息中至少包括兩種嵌入信息，其中一種為音調嵌入信息；根據預定嵌入信息，利用訓練數據訓練語言模型，語言模型用于根據待處理的中文文本中的各文字的預定嵌入信息、生成待處理的中文文本的語義表示信息。應用本申請所述方案，可提升語義理解結果的準確性等。

技術領域

本申請涉及計算機應用技術，特別涉及自然語言處理及深度學習領域的語言模型獲取及中文語義理解方法、裝置及存儲介質。

背景技術

隨著知識增強語義表示模型(ERNIE，Enhanced Representation from kNowledgeIntEgration)、轉換器的雙向編碼表示(BERT，Bidirectional Encoder Representationsfrom Transformers)等大型通用預訓練語言模型的提出，中文語義理解任務取得了質的飛躍。Transformer作為此類模型的常用基本結構，其采用的自注意力(self-attention)機制使得模型能夠通過捕捉文本的上下文信息來更好地實現對于文本的語義信息的理解。

但是，中文中存在很多有歧義的文字，若單純的基于上下文信息很難消除所述歧義，從而導致語義理解結果不夠準確。

發明內容

本申請提供了語言模型獲取及中文語義理解方法、裝置及存儲介質。

一種語言模型獲取方法，包括：

獲取作為訓練數據的中文文本；

針對任一訓練數據，分別獲取其中的各文字的預定嵌入信息，所述預定嵌入信息中至少包括兩種嵌入信息，其中一種為音調嵌入信息；

根據所述預定嵌入信息，利用所述訓練數據訓練語言模型，所述語言模型用于根據待處理的中文文本中的各文字的所述預定嵌入信息、生成所述待處理的中文文本的語義表示信息。

一種中文語義理解方法，包括：

針對待處理的中文文本，分別獲取其中的各文字的預定嵌入信息，所述預定嵌入信息中至少包括兩種嵌入信息，其中一種為音調嵌入信息；

根據所述預定嵌入信息及預先訓練得到的語言模型，得到所述待處理的中文文本的語義表示信息。

一種語言模型獲取裝置，包括：數據獲取模塊及模型訓練模塊；

所述數據獲取模塊，用于獲取作為訓練數據的中文文本；

所述模型訓練模塊，用于針對任一訓練數據，分別獲取其中的各文字的預定嵌入信息，所述預定嵌入信息中至少包括兩種嵌入信息，其中一種為音調嵌入信息，根據所述預定嵌入信息，利用所述訓練數據訓練語言模型，所述語言模型用于根據待處理的中文文本中的各文字的所述預定嵌入信息、生成所述待處理的中文文本的語義表示信息。

一種中文語義理解裝置，包括：預處理模塊及語義獲取模塊；

所述預處理模塊，用于針對待處理的中文文本，分別獲取其中的各文字的預定嵌入信息，所述預定嵌入信息中至少包括兩種嵌入信息，其中一種為音調嵌入信息；

所述語義獲取模塊，用于根據所述預定嵌入信息及預先訓練得到的語言模型，得到所述待處理的中文文本的語義表示信息。

一種電子設備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行如以上所述的方法。