[發明專利]用于增強已標注樣本的方法和設備

有效

• 申請號: 201911202165.6
• 申請日: 2019-11-29
• 公開（公告）號: CN110991181B
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 康戰輝
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/30
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 孫之剛;閆小龍

1.一種用于增強已標注樣本的方法，包括：

從用于訓練語義匹配模型的已標注樣本的集合中選擇待增強樣本，所述已標注樣本包括第一查詢條目、第一文檔以及第一標簽，所述第一標簽表示所述第一查詢條目與第一文檔的相關程度；

對所述待增強樣本中的第一查詢條目進行分詞處理，以得到多個詞；

基于所述多個詞對所述待增強樣本中的第一文檔中的至少一個詞進行替換以生成第二文檔；利用N-gram語言模型確定所生成的第二文檔的語言得分，并且基于所述語言得分確定表示所述第一查詢條目與第二文檔的相關程度的第二標簽，所述語言得分表示第二文檔符合語言習慣的程度；

生成增強后的已標注樣本，所述增強后的已標注樣本包括所述第一查詢條目、所述第二文檔以及第二標簽。

2.根據權利要求1所述的方法，其中，從用于訓練語義匹配模型的已標注樣本的集合中選擇待增強樣本，包括：

從所述已標注樣本的集合中選擇包括的第一標簽所表示的相關程度大于相關程度閾值的已標注樣本作為待增強樣本。

3.根據權利要求1所述的方法，其中，基于所述多個詞對所述待增強樣本中的第一文檔中的至少一個詞進行替換，包括：

確定所述多個詞中的重要詞；

對所述待增強樣本中的第一文檔中與所述重要詞不同的至少一個詞進行替換。

4.根據權利要求3所述的方法，其中，確定所述多個詞中的重要詞包括：

確定所述多個詞中每個詞的逆文檔頻率；

將其逆文檔頻率大于逆文檔頻率閾值的詞確定為重要詞。

5.根據權利要求3所述的方法，其中，確定所述多個詞中的重要詞包括：

確定所述多個詞中每個詞的逆文檔頻率和詞性；

將其逆文檔頻率大于逆文檔頻率閾值、且其詞性與預定詞性相同的詞劃分為重要詞。

6.根據權利要求3所述的方法，其中，對所述待增強樣本中的第一文檔中與所述重要詞不同的至少一個詞進行替換，包括

對所述待增強樣本中的第一文檔中與查詢條目相同的部分所包括的與所述重要詞不同的至少一個詞進行替換。

7.根據權利要求3或6所述的方法，其中，對所述待增強樣本中的第一文檔中與所述重要詞不同的至少一個詞進行替換，包括：

使用不同于所述重要詞中的任一個的替換詞對所述與所述重要詞不同的至少一個詞進行替換。

8.根據權利要求1所述的方法，其中，基于所述多個詞對所述待增強樣本中的第一文檔中的至少一個詞進行替換，包括：

將所述第一文檔中與查詢條目相同的部分所包括的所述多個詞中的至少一個詞替換成所述至少一個詞的同義詞。

9.根據權利要求1所述的方法，其中，利用N-gram語言模型確定所生成的第二文檔的語言得分，包括：

利用N-gram語言模型確定針對所述第二文檔的語言模型分數以作為所述語言得分。

10.根據權利要求1所述的方法，其中，利用N-gram語言模型確定所生成的第二文檔的語言得分，包括：

利用N-gram語言模型確定針對所述第二文檔的語言模型分數；

基于第二文檔中的替換詞的詞性與對應的第一文檔中的被替換詞的詞性確定第二文檔的詞性替換分數；

確定所述語言模型分數和詞性替換分數的加權平均值以作為所述語言得分。

11.根據權利要求1所述的方法，其中，生成增強后的已標注樣本，包括：

響應于所述第二標簽表示的符合語言習慣的程度大于符合程度閾值，生成所述增強后的已標注樣本。