[發明專利]訓練樣本的選取方法與裝置

在審

• 申請號: 202011225075.1
• 申請日: 2020-11-05
• 公開（公告）號: CN112417147A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 石磊
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62
• 代理公司: 北京勵誠知識產權代理有限公司 11647
• 代理人: 趙爽

1.一種訓練樣本的選取方法，其特征在于，包括：

獲取種子文本和N篇備選文本，并確定所述種子文本與每篇所述備選文本之間的相似度，所述備選文本為未作標注的待選樣本，所述種子文本為已作標注的樣本；

根據所述種子文本與每篇所述備選文本之間的相似度，從所述N篇備選文本中選取M篇第一備選文本；

確定每篇第一備選文本與所述種子文本之間的編輯距離；

根據每篇所述第一備選文本與所述種子文本之間的編輯距離，從所述M篇第一備選文本中選取編輯距離在第一預設范圍內的K篇第一備選文本作為訓練樣本；

其中，所述N、M、K均為大于或等于1的正整數。

2.根據權利要求1所述的方法，其特征在于，所述根據所述種子文本與每篇所述備選文本之間的相似度，從所述N篇備選文本中選取M篇第一備選文本，包括：

根據所述種子文本與每篇所述備選文本之間的相似度，從所述N篇備選文本中選取相似度最大的前M篇備選文本作為所述M篇第一備選文本。

3.根據權利要求1所述的方法，其特征在于，所述根據所述種子文本與每篇所述備選文本之間的相似度，從所述N篇備選文本中選取M篇第一備選文本，包括：

根據所述種子文本與每篇所述備選文本之間的相似度，從所述N篇備選文本中選取相似度位于第二預設范圍內的備選文本作為所述M篇第一備選文本。

4.根據權利要求1-3任一項所述的方法，其特征在于，所述確定所述種子文本與每篇所述備選文本之間的相似度，包括：

確定所述種子文本的標題的特征向量和正文的特征向量，以及每篇所述備選文本的標題的特征向量和正文的特征向量；

根據所述種子文本的標題的特征向量和正文的特征向量，確定所述種子文本的特征向量；

根據每篇所述備選文本的標題的特征向量和正文的特征向量，確定每篇所述備選文本的特征向量；

針對每篇所述備選文本，根據所述種子文本的特征向量與所述備選文本的特征向量，確定所述種子文本與所述備選文本之間的相似度。

5.根據權利要求4所述的方法，其特征在于，所述確定所述種子文本的標題的特征向量和正文的特征向量，以及每篇所述備選文本的標題的特征向量和正文的特征向量，包括：

從預設的詞集中查找目標文本的標題中每個單詞的特征向量以及所述目標文本的正文中每個單詞的特征向量，所述目標文本為所述種子文本或所述備選文本，所述詞集包括多個單詞所對應的特征向量；

根據所述目標文本的標題中每個單詞的特征向量，確定所述目標文本的標題的特征向量；

根據所述目標文本的正文中每個單詞的特征向量，確定所述目標文本的正文的特征向量。

6.根據權利要求5所述的方法，其特征在于，所述根據所述目標文本的標題中每個單詞的特征向量，確定所述目標文本的標題的特征向量，包括：

將所述目標文本的標題中每個單詞的特征向量進行累加，并對累加后的特征向量進行歸一化處理，將歸一化處理后的特征向量作為所述目標文本的標題的特性向量。

7.根據權利要求5所述的方法，其特征在于，所述根據所述目標文本的正文中每個單詞的特征向量，確定所述目標文本的正文的特征向量，包括：

將所述目標文本的正文中每個單詞的特性向量進行累加，并對累加后的特征向量進行歸一化處理，將歸一化處理后的特征向量作為所述目標文本的正文的特性向量。

8.根據權利要求5-7任一項所述的方法，其特征在于，所述根據所述種子文本的標題的特征向量和正文的特征向量，確定所述種子文本的特征向量，包括：

將所述種子文本的標題的特征向量和所述種子文本的正文的特征向量進行拼接，將拼接后的特征向量作為所述種子文本的特征向量。