[發明專利]基于深度學習的文本處理模型訓練方法、裝置及設備

有效

• 申請號: 202010301503.8
• 申請日: 2020-04-16
• 公開（公告）號: CN111507094B
• 公開（公告）日: 2023-10-10
• 發明（設計）人: 苗思奇;盧子填;胡榮杰
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F40/232
• 分類號: G06F40/232;G06F40/126
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 祝亞男

本申請實施例公開了一種基于深度學習的文本處理模型訓練方法、裝置及設備，涉及自然語言處理領域。方法包括：調用文本處理模型，對目標文本進行處理，得到多個處理結果的概率，選取概率最高的處理結果作為目標處理結果；獲取目標文本的糾錯信息，糾錯信息包括對目標處理結果進行糾錯后得到的糾錯處理結果，目標處理結果與糾錯處理結果不同；對多個處理結果的概率進行統計處理，獲取目標文本的處理結果分布特征；響應于處理結果分布特征滿足目標條件，根據目標文本及糾錯處理結果，對文本處理模型進行訓練，得到訓練后的文本處理模型。在文本處理模型輸出的處理結果不準確時繼續進行訓練，提高了文本處理模型的準確度。

技術領域

本申請涉及自然語言處理領域，特別涉及一種基于深度學習的文本處理模型訓練方法、裝置及設備。

背景技術

隨著人工智能技術和自然語言處理技術的發展，目前越來越多地應用模型對文本進行處理，例如文本分類模型、文本翻譯模型等。

相關技術中，通常會先獲取樣本集合，該樣本集合中包括多條樣本文本和該多條樣本文本對應的樣本處理結果，根據樣本集合對模型進行訓練，使用訓練后的模型對文本進行處理。其中，模型的訓練效果會受到樣本集合中樣本的數量以及樣本處理結果是否準確的影響，從而可能導致訓練后的模型的處理結果不夠準確。

發明內容

本申請實施例提供了一種基于深度學習的文本處理模型訓練方法、裝置、設備及介質，可以提高文本處理模型的準確度。所述技術方案如下：

一方面，提供了一種基于深度學習的文本處理模型訓練方法，所述方法包括：

調用文本處理模型，對目標文本進行處理，得到多個處理結果的概率，選取概率最高的處理結果作為目標處理結果；

獲取所述目標文本的糾錯信息，所述糾錯信息包括對所述目標處理結果進行糾錯后得到的糾錯處理結果，所述目標處理結果與所述糾錯處理結果不同；

對所述多個處理結果的概率進行統計處理，獲取所述目標文本的處理結果分布特征，所述處理結果分布特征用于指示所述文本處理模型處理所述目標文本得到的處理結果的不確定性程度；

響應于所述處理結果分布特征滿足目標條件，根據所述目標文本及所述糾錯處理結果，對所述文本處理模型進行訓練，得到訓練后的文本處理模型。

另一方面，提供了一種基于深度學習的文本處理模型訓練裝置，所述裝置包括：

處理模塊，用于調用文本處理模型，對目標文本進行處理，得到多個處理結果的概率，選取概率最高的處理結果作為目標處理結果；

糾錯信息獲取模塊，用于獲取所述目標文本的糾錯信息，所述糾錯信息包括對所述目標處理結果進行糾錯后得到的糾錯處理結果，所述目標處理結果與所述糾錯處理結果不同；

特征獲取模塊，用于對所述多個處理結果的概率進行統計處理，獲取所述目標文本的處理結果分布特征，所述處理結果分布特征用于指示所述文本處理模型處理所述目標文本得到的處理結果的不確定性程度；

訓練模塊，用于響應于所述處理結果分布特征滿足目標條件，根據所述目標文本及所述糾錯處理結果，對所述文本處理模型進行訓練，得到訓練后的文本處理模型。

可選地，所述訓練模塊，包括：

準確度獲取單元，用于對所述處理結果分布特征進行統計處理，獲取所述目標處理結果的準確度；

訓練單元，用于響應于所述目標處理結果的準確度小于預設準確度，根據所述目標文本及所述糾錯處理結果，對所述文本處理模型進行訓練，得到所述訓練后的文本處理模型。

可選地，所述處理結果分布特征為所述目標文本的困惑度，所述困惑度與所述目標處理結果的準確度呈正相關關系；或者，