[發明專利]模型訓練方法、文本處理方法、裝置及電子設備

在審

• 申請號: 202210456716.7
• 申請日: 2022-04-27
• 公開（公告）號: CN115130542A
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 陳玉博;劉康;趙軍;曹鵬飛;閉瑋
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06N20/10
• 代理公司: 北京市立方律師事務所 11330
• 代理人: 張筱寧

1.一種模型訓練方法，其特征在于，包括：

獲取第一樣本集和第二樣本集，所述第一樣本集包括多個標注有標簽的第一樣本文本，所述第二樣本集包括多個未標注標簽的第二樣本文本，所述第一樣本文本的標簽表征了所述第一樣本文本中包含的事件信息間的事理關系；

根據所述第一樣本集對初始的事理關系識別模型進行訓練，得到第一事理關系識別模型，確定所述第一事理關系識別模型對于每個所述第二樣本文本預測的不確定性程度；

根據各個所述第二樣本文本對應的不確定性程度，從各個所述第二樣本文本中篩選多個第三樣本文本；

將帶有標簽的各個第一樣本文本和各個第三樣本文本作為目標樣本文本，基于多個所述目標樣本文本對第一事理關系識別模型進行迭代訓練，直至滿足訓練停止條件，得到訓練好的第二事理關系識別模型。

2.根據權利要求1所述的方法，其特征在于，所述確定所述第一事理關系識別模型對于每個所述第二樣本文本預測的不確定性程度，包括：

通過所述第一事理關系識別模型對每個第二樣本文本進行事理關系識別，得到對應的第一識別結果，并將所述第一識別結果作為對應的第二樣本文本的標簽；

在所述第一事理關系識別模型激活dropout的情況下，通過所述第一事理關系識別模型對各個所述第二樣本文本分別進行多次事理關系識別，得到各個所述第二樣本文本的多個第二識別結果；

根據每個所述第二樣本文本的多個第二識別結果，確定所述第一事理關系識別模型對于每個所述第二樣本文本預測的不確定性程度。

3.根據權利要求2所述的方法，其特征在于，還包括：對于多個目標樣本中的第三樣本文本，確定所述第三樣本文本的多個第二識別結果的離散程度；

所述基于多個所述目標樣本文本對第一事理關系識別模型進行迭代訓練，包括：

根據多個所述目標樣本中的各個第三樣本文本對應的所述離散程度，確定各個第三樣本文本對應的權重；其中，權重與離散程度的大小成反比；

將多個所述目標樣本輸入至第一事理關系識別模型，分別獲得多個所述目標樣本的預測識別結果；

根據多個所述目標樣本中的各個第一樣本文本的預測識別結果與對應標簽確定第一目標值；

對于多個所述目標樣本中的每個第三樣本文本，以所述第三樣本文本的預測識別結果與對應標簽確定初始的第二目標值，以所述第三樣本文本對應的權重對所述初始的第二目標值進行加權，獲得第二目標值；

根據所述第一目標值和所述第二目標值獲得所述第一事理關系識別模型的訓練目標值，若所述訓練目標值不滿足條件則調整參數，基于所述目標樣本文本以及調整后的參數繼續訓練。

4.根據權利要求3所述的方法，其特征在于，所述根據多個所述目標樣本中的各個第三樣本文本對應的所述離散程度，確定各個第三樣本文本對應的權重，包括：

對于多個所述目標樣本中的每個第三樣本文本，以所述第三樣本文本對應的所述離散程度確定所述第三樣本文本的權重。

5.根據權利要求1所述的方法，其特征在于，所述根據各個所述第二樣本文本對應的不確定性程度，從各個所述第二樣本文本中篩選多個第三樣本文本，包括：

根據所有第二樣本文本對應的不確定性程度的大小關系進行排序，根據排序結果篩選預設數量的第二樣本文本作為所述第三樣本文本。

6.根據權利要求1所述的方法，其特征在于，所述根據各個所述第二樣本文本對應的不確定性程度，從各個所述第二樣本文本中篩選多個第三樣本文本，包括：

根據所有第二樣本文本對應的不確定性程度的大小關系，確定將每個所述第二樣本文本作為第三樣本文本的概率；

根據各第二樣本文本對應的概率，篩選預設數量的第二樣本文本作為所述第三樣本文本。

7.根據權利要求6所述的方法，其特征在于，所述確定將每個所述第二樣本文本作為第三樣本文本的概率，包括：

將所述第二樣本文本對應的不確定性程度與所有第二樣本文本對應的不確定程度之和的比值，作為將所述第二樣本文本作為所述第三樣本文本的概率。