[發明專利]訓練樣本獲取方法、模型訓練方法、裝置以及設備

有效

• 申請號: 202010519680.3
• 申請日: 2020-06-09
• 公開（公告）號: CN111597809B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 鄭孫聰;徐程程
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F18/214
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 張所明

1.一種訓練樣本獲取方法，其特征在于，所述方法包括：

獲取第一訓練樣本集合，所述第一訓練樣本集合包括一個或多個第一樣本，所述第一樣本包括語句以及對所述語句的標準分詞結果；

將所述第一訓練樣本集合的所述第一樣本的語句輸入預測分詞模型，得到所述第一樣本的所述語句的預測分詞結果；

響應于所述第一樣本中的第一語句的預測分詞結果和標準分詞結果為一致狀態，拆分狀態以及合并狀態中的任意一種狀態，將所述第一語句與所述第一語句的預測分詞結果組合為第二樣本；

響應于所述第一語句的預測分詞結果和標準分詞結果為沖突狀態，將所述第一語句與所述第一語句的標準分詞結果組合為第二樣本；

其中，所述一致狀態用于表示所述第一語句的預測分詞結果和標準分詞結果一致，所述拆分狀態用于表示所述第一語句的預測分詞結果存在至少兩個詞語屬于所述第一語句的標準分詞結果中的一個詞語，所述合并狀態用于表示所述第一語句的標準分詞結果存在至少兩個詞語屬于所述第一語句的預測分詞結果中的一個詞語，所述沖突狀態用于表示所述第一語句的預測分詞結果相較于所述第一語句的標準分詞結果存在錯誤的詞語。

2.根據權利要求1所述的方法，其特征在于，所述獲取第一訓練樣本集合之前，所述方法還包括：

獲取第二訓練樣本集合，所述第二訓練樣本集合包括目標粒度的多個初始樣本；

根據所述第二訓練樣本集合訓練初始分詞模型，得到所述預測分詞模型。

3.一種模型訓練方法，其特征在于，所述方法包括：

獲取第一訓練樣本集合，所述第一訓練樣本集合包括一個或多個第一樣本，所述第一樣本包括語句以及對所述語句的標準分詞結果；

將所述第一訓練樣本集合的所述第一樣本的語句輸入預測分詞模型，得到所述第一樣本的所述語句的預測分詞結果；

響應于所述第一樣本中的第一語句的預測分詞結果和標準分詞結果為一致狀態，拆分狀態以及合并狀態中的任意一種狀態，將所述第一語句與所述第一語句的預測分詞結果組合為第二樣本；

響應于所述第一語句的預測分詞結果和標準分詞結果為沖突狀態，將所述第一語句與所述第一語句的標準分詞結果組合為第二樣本；

根據所述第二樣本對所述預測分詞模型進行訓練；

其中，所述一致狀態用于表示所述第一語句的預測分詞結果和標準分詞結果一致，所述拆分狀態用于表示所述第一語句的預測分詞結果存在至少兩個詞語屬于所述第一語句的標準分詞結果中的一個詞語，所述合并狀態用于表示所述第一語句的標準分詞結果存在至少兩個詞語屬于所述第一語句的預測分詞結果中的一個詞語，所述沖突狀態用于表示所述第一語句的預測分詞結果相較于所述第一語句的標準分詞結果存在錯誤的詞語。

4.據權利要求3所述的方法，其特征在于，所述獲取第一訓練樣本集合之前，所述方法還包括：

獲取第二訓練樣本集合，所述第二訓練樣本集合包括目標粒度的多個初始樣本；

根據所述第二訓練樣本集合訓練初始分詞模型，得到所述預測分詞模型。

5.一種訓練樣本獲取裝置，其特征在于，所述訓練樣本獲取裝置包括：

第一獲取模塊，用于獲取第一訓練樣本集合，所述第一訓練樣本集合包括一個或多個第一樣本，所述第一樣本包括語句以及對所述語句的標準分詞結果；

第二獲取模塊，用于將所述第一訓練樣本集合的所述第一樣本的語句輸入預測分詞模型，得到所述第一樣本的所述語句的預測分詞結果；

組合模塊，用于響應于所述第一樣本中的第一語句的預測分詞結果和標準分詞結果為一致狀態，拆分狀態以及合并狀態中的任意一種狀態，將所述第一語句與所述第一語句的預測分詞結果組合為第二樣本；響應于所述第一語句的預測分詞結果和標準分詞結果為沖突狀態，將所述第一語句與所述第一語句的標準分詞結果組合為第二樣本；

其中，所述一致狀態用于表示所述第一語句的預測分詞結果和標準分詞結果一致，所述拆分狀態用于表示所述第一語句的預測分詞結果存在至少兩個詞語屬于所述第一語句的標準分詞結果中的一個詞語，所述合并狀態用于表示所述第一語句的標準分詞結果存在至少兩個詞語屬于所述第一語句的預測分詞結果中的一個詞語，所述沖突狀態用于表示所述第一語句的預測分詞結果相較于所述第一語句的標準分詞結果存在錯誤的詞語。