[發明專利]自然語言處理模型的訓練方法、裝置、設備及存儲介質

在審

• 申請號: 202010699284.3
• 申請日: 2020-07-20
• 公開（公告）號: CN112001190A
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 歐陽軒;王碩寰;孫宇
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F40/42
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙) 11412
• 代理人: 田宏賓

1.一種自然語言處理模型的訓練方法，其中，所述方法包括：

基于預設的語料集，構建指代消解任務的各條訓練語料對，各所述訓練語料對中包括正樣本和負樣本；

采用各所述訓練語料對，訓練所述自然語言處理模型，使其學習識別對應的所述正樣本和所述負樣本的能力；

采用各所述訓練語料對的正樣本，訓練所述自然語言處理模型，使其學習指代消解任務的能力。

2.根據權利要求1所述的方法，其中，基于預設的語料集，構建指代消解任務的各條訓練語料對，包括：

對于所述預設的語料集中的各條語料，將對應的所述語料中非首次出現的目標名詞替換為代詞，作為訓練語料；

從所述訓練語料中獲取其他名詞；

將所述訓練語料以及所述代詞指代所述目標名詞的指代關系，作為所述訓練語料對的正樣本；

將所述訓練語料以及所述代詞指代所述其他名詞的指代關系，作為所述訓練語料對的負樣本。

3.根據權利要求1或者2所述的方法，其中，采用各所述訓練語料對，訓練所述自然語言處理模型，使其學習識別對應的所述正樣本和所述負樣本的能力，包括：

將各所述訓練語料對輸入至所述自然語言處理模型中，使得所述自然語言處理模型學習分別預測所述正樣本和所述負樣本中的指代關系是否正確；

在預測錯誤時，調整所述自然語言處理模型的參數，使得所述自然語言處理模型朝向預測所述正樣本和所述負樣本中的指代關系正確的方向調整。

4.根據權利要求1或者2所述的方法，其中，采用各所述訓練語料對的正樣本，訓練所述自然語言處理模型，使其學習指代消解任務的能力，包括：

將各所述訓練語料對的所述正樣本的訓練語料中的代詞遮掩；

將所述代詞遮掩后的所述訓練語料輸入至所述自然語言處理模型中，使得所述自然語言處理模型預測所述代詞屬于所述訓練語料中各名詞的概率；

基于所述自然語言處理模型預測所述代詞屬于所述訓練語料中各名詞的概率、以及所述正樣本中標識的所述代詞指代的目標名詞，生成目標損失函數；

判斷所述目標損失函數是否收斂；

若未收斂，基于梯度下降法調整所述自然語言處理模型的參數。

5.根據權利要求4所述的方法，其中，基于所述自然語言處理模型預測所述代詞屬于所述訓練語料中各名詞的概率、以及所述正樣本中標識的所述代詞指代的目標名詞，生成目標損失函數，包括：

基于所述正樣本中標識的所述代詞指代的目標名詞，獲取所述自然語言處理模型預測所述代詞屬于所述目標名詞的概率；

基于所述自然語言處理模型預測所述代詞屬于所述目標名詞的概率，構建第一損失函數；

基于所述自然語言處理模型預測所述代詞屬于所述目標名詞之外的其他名詞的概率，構建第二損失函數；

基于所述第一損失函數和所述第二損失函數，生成所述目標損失函數。

6.一種自然語言處理模型的訓練裝置，其中，所述裝置包括：

構建模塊，用于基于預設的語料集，構建指代消解任務的各條訓練語料對，各所述訓練語料對中包括正樣本和負樣本；

第一訓練模塊，用于采用各所述訓練語料對，訓練所述自然語言處理模型，使其學習識別對應的所述正樣本和所述負樣本的能力；

第二訓練模塊，用于采用各所述訓練語料對的正樣本，訓練所述自然語言處理模型，使其學習指代消解任務的能力。

7.根據權利要求6所述的裝置，其中，所述構建模塊，包括：

替換單元，用于對于所述預設的語料集中的各條語料，將對應的所述語料中非首次出現的目標名詞替換為代詞，作為訓練語料；

獲取單元，用于從所述訓練語料中獲取其他名詞；

設置單元，用于將所述訓練語料以及所述代詞指代所述目標名詞的指代關系，作為所述訓練語料對的正樣本；

所述設置單元，還用于將所述訓練語料以及所述代詞指代所述其他名詞的指代關系，作為所述訓練語料對的負樣本。