[發明專利]文本質量評估模型的訓練方法和確定文本質量的方法

在審

• 申請號: 202110787492.3
• 申請日: 2021-07-12
• 公開（公告）號: CN113392218A
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 王恒;田振雷;于天寶
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/30;G06F16/335;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 呂朝蕙

本公開提供了一種文本質量評估模型的訓練方法和確定文本質量的方法、裝置、設備和存儲介質。涉及人工智能領域，更具體地涉及自然語言處理領域、深度學習領域和智能推薦領域。該文本質量評估模型的訓練方法包括：基于針對文本的指標數據，確定多個文本中滿足負樣本條件的第一文本和滿足正樣本條件的第二文本；針對第一文本和第二文本中的任一文本，基于任一文本滿足的條件向任一文本添加標簽，該標簽指示了任一文本的類別，該類別包括針對負樣本的低質量類別和針對正樣本的非低質量類別；以及將添加了所述標簽的第一文本和添加了所述標簽的第二文本構成訓練集，對所述文本質量評估模型進行訓練。

技術領域

本公開涉及人工智能技術領域，具體涉及自然語言處理領域、深度學習領域和智能推薦領域，更具體地涉及一種文本質量評估模型的訓練方法和確定文本質量的方法、裝置、電子設備和存儲介質。

背景技術

隨著計算機技術和網絡技術的發展，文本作為信息的傳播載體得到充分發展。為了向用戶提供高效的文本搜索和文本推薦等服務，通常需要對文本的質量進行評估，以向用戶提供高質量文本。

相關技術中，通常使用人工標注樣本對分類模型進行訓練，隨后使用分類模型對文本質量進行預測，以從文本庫中篩選出高質量文本推薦給用戶。

發明內容

本公開提供了一種降低模型訓練成本和提高模型精度的文本質量評估模型的訓練方法和確定文本質量的方法、裝置、電子設備和存儲介質。

根據本公開的一個方面，提供了一種文本質量評估模型的訓練方法，包括：基于針對文本的指標數據，確定多個文本中滿足負樣本條件的第一文本和滿足正樣本條件的第二文本；針對第一文本和第二文本中的任一文本，基于任一文本滿足的條件向任一文本添加標簽，標簽指示了任一文本的類別，該類別包括針對負樣本的低質量類別和針對正樣本的非低質量類別；將添加了標簽的第一文本和添加了標簽的第二文本構成訓練集，對文本質量評估模型進行訓練。

根據本公開的另一方面，提供了一種確定文本質量的方法，包括：以待處理文本作為文本質量評估模型的輸入，得到文本質量評估模型的輸出數據；基于輸出數據，確定待處理文本的類別，其中，文本質量評估模型是采用前述的文本質量評估模型的訓練方法訓練得到的。

根據本公開的另一方面，提供了一種文本質量評估模型的訓練裝置，包括：文本確定模塊，用于基于針對文本的指標數據，確定多個文本中滿足負樣本條件的第一文本和滿足正樣本條件的第二文本；標簽添加模塊，用于針對第一文本和第二文本中的任一文本，基于任一文本滿足的條件向任一文本添加標簽，該標簽指示了任一文本的類別，該類別包括針對負樣本的低質量類別和針對正樣本的非低質量類別；以及第一模型訓練模塊，用于將添加了標簽的第一文本和添加了標簽的第二文本構成訓練集，對所文本質量評估模型進行訓練。

根據本公開的另一方面，提供了一種確定文本質量的裝置，包括：輸出數據獲得模塊，用于以待處理文本作為文本質量評估模型的輸入，得到文本質量評估模型的輸出數據；以及文本質量確定模塊，用于基于輸出數據，確定待處理文本的類別，其中，文本質量評估模型是采用前述的文本質量評估模型的訓練裝置訓練得到的。

根據本公開的另一個方面，提供了一種電子設備，包括：至少一個處理器；以及與至少一個處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個處理器執行的指令，指令被至少一個處理器執行，以使至少一個處理器能夠執行本公開提供的文本質量評估模型的訓練方法和/或確定文本質量的方法。

根據本公開的另一個方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，計算機指令用于使計算機執行本公開提供的文本質量評估模型的訓練方法和/或確定文本質量的方法。

根據本公開的另一個方面，提供了一種計算機程序產品，包括計算機程序，所述計算機程序在被處理器執行時實現本公開提供的文本質量評估模型的訓練方法和/或確定文本質量的方法。