[發明專利]知識預訓練模型的訓練方法、裝置和電子設備

有效

• 申請號: 202011520100.9
• 申請日: 2020-12-21
• 公開（公告）號: CN112507706B
• 公開（公告）日: 2023-01-31
• 發明（設計）人: 龐超;王碩寰;孫宇;李芝
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06F40/30;G06F16/36;G06F18/214;G06N20/20
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 韓?；?/td>

本公開公開了知識預訓練模型的訓練方法、裝置和電子設備，涉及語音、自然語言處理、深度學習技術領域。具體實現方案為：獲取訓練文本，訓練文本包括結構化知識文本和對應的文章，結構化知識文本包括頭節點、尾節點和頭節點和尾節點之間的關系；根據訓練文本對待訓練的知識預訓練模型進行訓練。該方法中，待訓練的知識預訓練模型能夠同時學習到常識知識和豐富的語義知識，可實現常識知識和語義知識的聯合訓練，且不需要將訓練實體嵌入到待訓練的知識預訓練模型，知識預訓練模型的性能增益不受到訓練實體的嵌入質量的限制，知識預訓練模型可從訓練文本中的文章中獲取豐富的上下文信息，并可進行動態調整，靈活性較高。

技術領域

本公開涉及計算機技術領域中的語言、自然語言處理、深度學習技術領域，尤其涉及一種知識預訓練模型的訓練方法、裝置、電子設備、存儲介質和計算機程序產品。

背景技術

目前，模型大多不具備常識推理能力，例如，若問題為“利用什么可以使用墨水在紙上復印一份文件”，答案包括鋼筆、復印機、復寫紙、筆記本，人們根據常識能夠正確選擇復印機的答案，然而，由于復寫紙與問題中的復寫和紙的共現頻率很高，模型很可能會選擇復寫紙的答案，導致模型輸出錯誤的結果。相關技術中的模型訓練方法，不能實現常識學習和語義學習的聯合訓練，且模型增益受到樣本質量限制，往往需要重新訓練模型，靈活性較差。

發明內容

提供了一種知識預訓練模型的訓練方法、裝置、電子設備、存儲介質和計算機程序產品。

根據第一方面，提供了一種知識預訓練模型的訓練方法，包括：獲取訓練文本，所述訓練文本包括結構化知識文本和對應的文章，所述結構化知識文本包括頭節點、尾節點和所述頭節點和所述尾節點之間的關系；根據所述訓練文本對待訓練的知識預訓練模型進行訓練。

根據第二方面，提供了一種知識預訓練模型的訓練裝置，包括：獲取模塊，用于獲取訓練文本，所述訓練文本包括結構化知識文本和對應的文章，所述結構化知識文本包括頭節點、尾節點和所述頭節點和所述尾節點之間的關系；訓練模塊，用于根據所述訓練文本對待訓練的知識預訓練模型進行訓練。

根據第三方面，提供了一種電子設備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行本公開第一方面所述的知識預訓練模型的訓練方法。

根據第四方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，所述計算機指令用于使所述計算機執行本公開第一方面所述的知識預訓練模型的訓練方法。

根據第五方面，提供了一種計算機程序產品，包括計算機程序，其中，所述計算機程序被處理器執行時實現本公開第一方面所述的知識預訓練模型的訓練方法。

應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用于更好地理解本方案，不構成對本公開的限定。其中：

圖1是根據本公開第一實施例的知識預訓練模型的訓練方法的流程示意圖；

圖2是根據本公開第二實施例的知識預訓練模型的訓練方法中獲取訓練文本的流程示意圖；

圖3是根據本公開第三實施例的知識預訓練模型的訓練方法中根據訓練文本對待訓練的知識預訓練模型進行訓練的示意圖；

圖4是根據本公開第一實施例的知識預訓練模型的訓練裝置的框圖；

圖5是根據本公開第二實施例的知識預訓練模型的訓練裝置的框圖；

圖6是用來實現本公開實施例的知識預訓練模型的訓練方法的電子設備的框圖。

具體實施方式