[發明專利]文本處理神經網絡模型的生成方法和文本處理方法

在審

• 申請號: 202210654336.4
• 申請日: 2022-06-10
• 公開（公告）號: CN114925816A
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 劉偉樂
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06F16/35;G06F17/18
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅嵐

本公開提供了文本處理神經網絡模型的生成方法和文本處理方法，涉及人工智能技術領域，尤其涉及深度學習、數據處理等領域。具體實現方案為：將同一樣本文本分兩次輸入至待訓練的神經網絡模型中生成第一和第二預測處理結果、第一和第二丟棄層結果，根據生成的結果和樣本文本對應的實際處理結果計算多個任務損失并根據多個任務損失計算綜合損失，根據綜合損失對模型進行訓練以生成神經網絡模型。本公開通過將同一樣本文本分兩次輸入至待訓練的神經網絡模型中生成多個結果，根據多個結果計算多個任務損失并根據計算損失計算綜合損失，最終根據綜合損失對待訓練的模型進行訓練以生成神經網絡模型，提高了神經網絡模型的泛化性。

技術領域

本公開涉及人工智能技術領域中的深度學習、數據處理等領域，尤其涉及一種文本處理神經網絡模型的生成方法和文本處理方法。

背景技術

目前，在解決神經網絡模型的過擬合問題的場景中，通過基于dropout(丟棄)的正則化方法在神經網絡中加入隨機丟棄層以隨機丟掉一部分神經元，從而引入隨機性。

但是基于dropout的正則化方法無法進一步提高神經網絡模型的泛化性。

發明內容

本公開提供了一種文本處理神經網絡模型的生成方法和文本處理方法、裝置、電子設備及存儲介質。

根據第一方面，提供了一種文本處理神經網絡模型的生成方法，包括：獲取樣本文本和所述樣本文本對應的實際處理結果；將同一所述樣本文本分兩次輸入至待訓練的神經網絡模型中，所述待訓練的神經網絡模型中包括多個丟棄層和處理層，以生成第一預測處理結果、第二預測處理結果、第一丟棄層結果和第二丟棄層結果；根據所述第一預測處理結果、所述第二預測處理結果、所述第一丟棄層結果、所述第二丟棄層結果和所述實際處理結果，計算所述待訓練的神經網絡模型的多個任務損失；根據所述多個任務損失計算所述待訓練的神經網絡模型的綜合損失；以及根據所述綜合損失對所述待訓練的神經網絡模型進行訓練，以生成神經網絡模型。

根據第二方面，提供了一種文本處理方法，包括：獲取待處理文本；獲取神經網絡模型，所述神經網絡模型為根據本公開第一方面所述的文本處理神經網絡模型的生成方法訓練得到的；將所述待處理文本輸入至所述神經網絡模型中，以生成所述待處理文本的預測處理結果。

根據第三方面，提供了一種文本處理神經網絡模型的生成裝置，包括：第一獲取模塊，用于獲取樣本文本和所述樣本文本對應的實際處理結果；第一生成模塊，用于將同一所述樣本文本分兩次輸入至待訓練的神經網絡模型中，所述待訓練的神經網絡模型中包括多個丟棄層和處理層，以生成第一預測處理結果、第二預測處理結果、第一丟棄層結果和第二丟棄層結果；第一計算模塊，用于根據所述第一預測處理結果、所述第二預測處理結果、所述第一丟棄層結果、所述第二丟棄層結果和所述實際處理結果，計算所述待訓練的神經網絡模型的多個任務損失；第二計算模塊，用于根據所述多個任務損失計算所述待訓練的神經網絡模型的綜合損失；以及訓練模塊，用于根據所述綜合損失對所述待訓練的神經網絡模型進行訓練，以生成神經網絡模型。

根據第四方面，提供了一種文本處理裝置，包括：第二獲取模塊，用于獲取待處理文本；第三獲取模塊，用于獲取神經網絡模型，所述神經網絡模型為根據權利要求8-13中任一項所述的生成裝置訓練得到的；第二生成模塊，用于將所述待處理文本輸入至所述神經網絡模型中，以生成所述待處理文本的預測處理結果。

根據第五方面，提供了一種電子設備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行本公開第一方面所述的文本處理神經網絡模型的生成方法或者本公開第二方面所述的文本處理方法。

根據第六方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，所述計算機指令用于使所述計算機執行根據本公開第一方面所述的文本處理神經網絡模型的生成方法或者本公開第二方面所述的文本處理方法。