[發明專利]知識預訓練模型的訓練方法、裝置和電子設備

有效

• 申請號: 202011520100.9
• 申請日: 2020-12-21
• 公開（公告）號: CN112507706B
• 公開（公告）日: 2023-01-31
• 發明（設計）人: 龐超;王碩寰;孫宇;李芝
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06F40/30;G06F16/36;G06F18/214;G06N20/20
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 韓海花

1.一種用于人機交互的知識預訓練模型的訓練方法，包括：

獲取訓練文本，所述訓練文本包括結構化知識文本和對應的文章，所述結構化知識文本包括頭節點、尾節點和所述頭節點和所述尾節點之間的關系，所述結構化知識文本具有語義信息，所述文章是根據所述語義信息搜索獲得的，所述文章具有語言表示信息；

根據所述訓練文本對待訓練的知識預訓練模型進行訓練；

所述根據所述訓練文本對待訓練的知識預訓練模型進行訓練，包括：

將掩掉預設元素的所述訓練文本輸入至所述待訓練的知識預訓練模型，生成所述預設元素的預測數據，其中，所述預設元素包括所述結構化知識文本中的頭節點、尾節點和所述頭節點和所述尾節點之間的關系中的任意一個，或者，所述文章中的任意一個詞語；

當所述預設元素為所述結構化知識文本中的頭節點、尾節點和所述頭節點和所述尾節點之間的關系中的任意一個時，根據所述預設元素的預測數據和所述預設元素對所述待訓練的知識預訓練模型進行訓練，以使所述知識預訓練模型進行所述語言表示信息的學習；

當所述預設元素為所述文章中的任意一個詞語時，根據所述預設元素的預測數據和所述預設元素對所述待訓練的知識預訓練模型進行訓練，以使所述知識預訓練模型進行所述語義信息的學習。

2.根據權利要求1所述的訓練方法，還包括：

獲取詞條；

根據所述詞條獲取對應的所述文章；

根據所述詞條和所述文章獲取對應的目標三元組；

將所述目標三元組文本化，得到所述結構化知識文本；

將所述結構化知識文本和所述文章進行拼接，得到所述訓練文本。

3.根據權利要求2所述的訓練方法，其中，所述根據所述詞條和所述文章獲取對應的目標三元組，包括：

將所述詞條作為所述頭節點從知識圖譜中獲取對應的候選三元組，所述候選三元組包括所述頭節點和對應的所述尾節點和所述關系；

將出現在所述文章中的所述尾節點對應的所述候選三元組確定為所述目標三元組。

4.一種用于人機交互的知識預訓練模型的訓練裝置，包括：

獲取模塊，用于獲取訓練文本，所述訓練文本包括結構化知識文本和對應的文章，所述結構化知識文本包括頭節點、尾節點和所述頭節點和所述尾節點之間的關系，所述結構化知識文本具有語義信息，所述文章是根據所述語義信息搜索獲得的，所述文章具有語言表示信息；

訓練模塊，用于根據所述訓練文本對待訓練的知識預訓練模型進行訓練；

所述訓練模塊，具體用于：

將掩掉預設元素的所述訓練文本輸入至所述待訓練的知識預訓練模型，生成所述預設元素的預測數據，其中，所述預設元素包括所述結構化知識文本中的頭節點、尾節點和所述頭節點和所述尾節點之間的關系中的任意一個，或者，所述文章中的任意一個詞語；

當所述預設元素為所述結構化知識文本中的頭節點、尾節點和所述頭節點和所述尾節點之間的關系中的任意一個時，根據所述預設元素的預測數據和所述預設元素對所述待訓練的知識預訓練模型進行訓練，以使所述知識預訓練模型進行所述語言表示信息的學習；

當所述預設元素為所述文章中的任意一個詞語時，根據所述預設元素的預測數據和所述預設元素對所述待訓練的知識預訓練模型進行訓練，以使所述知識預訓練模型進行所述語義信息的學習。

5.根據權利要求4所述的訓練裝置，所述獲取模塊，包括：

第一獲取單元，用于獲取詞條；

第二獲取單元，用于根據所述詞條獲取對應的所述文章；

第三獲取單元，用于根據所述詞條和所述文章獲取對應的目標三元組；

文本化單元，用于將所述目標三元組文本化，得到所述結構化知識文本；

拼接單元，用于將所述結構化知識文本和所述文章進行拼接，得到所述訓練文本。

6.根據權利要求5所述的訓練裝置，其中，所述第三獲取單元，具體用于：

將所述詞條作為所述頭節點從知識圖譜中獲取對應的候選三元組，所述候選三元組包括所述頭節點和對應的所述尾節點和所述關系；

將出現在所述文章中的所述尾節點對應的所述候選三元組確定為所述目標三元組。