[發明專利]訓練樣本獲取方法、模型訓練方法、裝置以及設備

有效

• 申請號: 202010519680.3
• 申請日: 2020-06-09
• 公開（公告）號: CN111597809B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 鄭孫聰;徐程程
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F18/214
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 張所明

本申請公開了一種訓練樣本獲取方法、模型訓練方法、裝置以及設備，屬于自然語言處理技術領域。所述方法包括：獲取第一訓練樣本集合；將第一訓練樣本集合的第一樣本的語句輸入預測分詞模型，得到第一樣本的語句的預測分詞結果；根據第一樣本中的第一語句的預測分詞結果與第一語句的標準分詞結果之間的狀態關系，將第一語句與第一語句的預測分詞結果組合為第二樣本，或將第一語句與第一語句的標準分詞結果組合為所述第二樣本。該方法可以將不同粒度的訓練樣本進行融合，得到粒度相似的多個樣本。達到了提高訓練樣本獲取速度以及豐富訓練樣本的效果。

技術領域

本申請涉及自然語言處理技術領域，特別涉及一種訓練樣本獲取方法、模型訓練方法、裝置以及設備。

背景技術

分詞模型是一種能夠將語句中的詞語進行拆分的模型。服務器可以通過訓練樣本訓練分詞模型，以提高分詞模型分詞結果的準確性。

相關技術的一種訓練樣本獲取方法中，首先終端控制服務器獲取多個語句，之后由工作人員以某個粒度(粒度為表示分詞精細程度的量)來對每個語句進行分詞，得到每個語句的標準分詞結果，每個語句與其標準分詞結果構成用于訓練分詞模型的樣本。

但是，這種訓練樣本獲取方法獲取訓練樣本的過程較為緩慢，難以快速的獲取訓練樣本。

發明內容

本申請實施例提供了一種訓練樣本獲取方法、模型訓練方法、裝置以及設備。所述技術方案如下：

根據本申請的一方面，提供了一種訓練樣本獲取方法，所述訓練樣本獲取方法包括：

獲取第一訓練樣本集合，所述第一訓練樣本集合包括一個或多個第一樣本，所述第一樣本包括語句以及對所述語句的標準分詞結果；

將所述第一訓練樣本集合的所述第一樣本的語句輸入預測分詞模型，得到所述第一樣本的所述語句的預測分詞結果；

根據所述第一樣本中的第一語句的預測分詞結果與所述第一語句的標準分詞結果之間的狀態關系，將所述第一語句與所述第一語句的預測分詞結果組合為第二樣本，或將所述第一語句與所述第一語句的標準分詞結果組合為所述第二樣本。

另一方面，提供了一種模型訓練方法，所述模型訓練方法包括：

獲取第一訓練樣本集合，所述第一訓練樣本集合包括一個或多個第一樣本，所述第一樣本包括語句以及對所述語句的標準分詞結果；

將所述第一訓練樣本集合的所述第一樣本的語句輸入預測分詞模型，得到所述第一樣本的所述語句的預測分詞結果；

根據所述第一樣本中的第一語句的預測分詞結果與所述第一語句的標準分詞結果之間的狀態關系，將所述第一語句與所述第一語句的預測分詞結果組合為第二樣本，或將所述第一語句與所述第一語句的標準分詞結果組合為所述第二樣本；

根據所述第二樣本對所述預測分詞模型進行訓練。

另一方面，提供了一種訓練樣本獲取裝置，所述訓練樣本獲取裝置包括：

第一獲取模塊，用于獲取第一訓練樣本集合，所述第一訓練樣本集合包括一個或多個第一樣本，所述第一樣本包括語句以及對所述語句的標準分詞結果；

第二獲取模塊，用于將所述第一訓練樣本集合的所述第一樣本的語句輸入預測分詞模型，得到所述第一樣本的所述語句的預測分詞結果；

組合模塊，用于根據所述第一樣本中的第一語句的預測分詞結果與所述第一語句的標準分詞結果之間的狀態關系，將所述第一語句與所述第一語句的預測分詞結果組合為第二樣本，或將所述第一語句與所述第一語句的標準分詞結果組合為所述第二樣本。

另一方面，提供了一種模型訓練裝置，所述模型訓練裝置包括：