[發明專利]文本處理神經網絡模型的生成方法和文本處理方法

在審

• 申請號: 202210654336.4
• 申請日: 2022-06-10
• 公開（公告）號: CN114925816A
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 劉偉樂
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06F16/35;G06F17/18
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅嵐

1.一種文本處理神經網絡模型的生成方法，包括：

獲取樣本文本和所述樣本文本對應的實際處理結果；

將同一所述樣本文本分兩次輸入至待訓練的神經網絡模型中，所述待訓練的神經網絡模型中包括多個丟棄層和處理層，以生成第一預測處理結果、第二預測處理結果、第一丟棄層結果和第二丟棄層結果；

根據所述第一預測處理結果、所述第二預測處理結果、所述第一丟棄層結果、所述第二丟棄層結果和所述實際處理結果，計算所述待訓練的神經網絡模型的多個任務損失；

根據所述多個任務損失計算所述待訓練的神經網絡模型的綜合損失；以及

根據所述綜合損失對所述待訓練的神經網絡模型進行訓練，以生成神經網絡模型。

2.根據權利要求1所述的生成方法，其中，所述根據所述第一預測處理結果、所述第二預測處理結果、所述第一丟棄層結果、所述第二丟棄層結果和所述實際處理結果，計算所述待訓練的神經網絡模型的的多個任務損失，包括：

根據所述第一預測處理結果和第二預測處理結果，計算所述待訓練的神經網絡模型的第一任務損失；

根據所述第一丟棄層結果和所述第二丟棄層結果，計算所述待訓練的神經網絡模型的第二任務損失；以及

根據所述所述第一預測處理結果、所述第二預測處理結果和所述實際處理結果，計算所述待訓練的神經網絡模型的第三任務損失。

3.根據權利要求2所述的生成方法，其中，所述待訓練的神經網絡模型應用于文本分類任務中，則所述第一任務損失為散度損失，所述第二任務損失為均方誤差損失，所述第三任務損失為交叉熵損失。

4.根據權利要求2所述的生成方法，其中，所述待訓練的神經網絡模型應用于文本回歸任務中，則所述第一任務損失、所述第二任務損失和所述第三任務損失均為均方誤差損失。

5.根據權利要求2所述的生成方法，其中，所述根據所述第一丟棄層結果和所述第二丟棄層結果，計算所述待訓練的神經網絡模型的第二任務損失，包括：

根據所述多個丟棄層輸出的多個所述第一丟棄層結果和所述多個丟棄層中輸出的多個所述第二丟棄層結果，計算所述第二任務損失。

6.根據權利要求1所述的生成方法，其中，所述根據所述多個任務損失計算所述待訓練的神經網絡模型的綜合損失，包括：

獲取所述任務損失對應的權重；以及

根據所述多個任務損失和對應的多個所述權重計算所述綜合損失。

7.一種文本處理方法，包括：

獲取待處理文本；

獲取神經網絡模型，所述神經網絡模型為根據權利要求1-6中任一項所述的生成方法訓練得到的；

將所述待處理文本輸入至所述神經網絡模型中，以生成所述待處理文本的預測處理結果。

8.一種文本處理神經網絡模型的生成裝置，包括：

第一獲取模塊，用于獲取樣本文本和所述樣本文本對應的實際處理結果；

第一生成模塊，用于將同一所述樣本文本分兩次輸入至待訓練的神經網絡模型中，所述待訓練的神經網絡模型中包括多個丟棄層和處理層，以生成第一預測處理結果、第二預測處理結果、第一丟棄層結果和第二丟棄層結果；

第一計算模塊，用于根據所述第一預測處理結果、所述第二預測處理結果、所述第一丟棄層結果、所述第二丟棄層結果和所述實際處理結果，計算所述待訓練的神經網絡模型的多個任務損失；

第二計算模塊，用于根據所述多個任務損失計算所述待訓練的神經網絡模型的綜合損失；以及

訓練模塊，用于根據所述綜合損失對所述待訓練的神經網絡模型進行訓練，以生成神經網絡模型。