[發(fā)明專利]一種訓(xùn)練集的生成方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202210430967.8
• 申請(qǐng)日: 2022-04-22
• 公開（公告）號(hào): CN114882311A
• 公開（公告）日: 2022-08-09
• 發(fā)明（設(shè)計(jì)）人: 沈元;校婭;朱迪;許曉燕;湯彪
• 申請(qǐng)（專利權(quán)）人: 北京三快在線科技有限公司
• 主分類號(hào): G06V10/774
• 分類號(hào): G06V10/774;G06K9/62
• 代理公司: 北京曼威知識(shí)產(chǎn)權(quán)代理有限公司 11709
• 代理人: 鄧超

1.一種訓(xùn)練集的生成方法，其特征在于，包括：

獲取基準(zhǔn)訓(xùn)練樣本；

根據(jù)所述基準(zhǔn)訓(xùn)練樣本中包含的搜索詞以及搜索結(jié)果，確定出所述基準(zhǔn)訓(xùn)練樣本對(duì)應(yīng)的特征表示，作為基準(zhǔn)特征表示，所述基準(zhǔn)特征表示用于表征所述基準(zhǔn)訓(xùn)練樣本包含的搜索詞的詞特征、以及所述搜索詞與所述搜索結(jié)果中的至少部分文本所構(gòu)成的各詞序列的匹配情況；

根據(jù)確定出的各候選樣本對(duì)應(yīng)的特征表示，從各候選樣本中，篩選出與所述基準(zhǔn)特征表示相匹配的候選樣本，作為目標(biāo)樣本，針對(duì)每個(gè)候選樣本，該候選樣本中包括歷史搜索詞與所述歷史搜索詞對(duì)應(yīng)的歷史搜索結(jié)果；

對(duì)所述目標(biāo)樣本進(jìn)行標(biāo)注，并根據(jù)標(biāo)注后的目標(biāo)樣本，生成用于訓(xùn)練排序模型的訓(xùn)練集。

2.如權(quán)利要求1所述的方法，其特征在于，從各候選樣本中，篩選出與所述基準(zhǔn)特征表示相匹配的候選樣本，具體包括：

根據(jù)每個(gè)候選樣本對(duì)應(yīng)的搜索時(shí)間，確定每個(gè)候選樣本對(duì)應(yīng)的權(quán)重；

根據(jù)每個(gè)候選樣本對(duì)應(yīng)的特征表示，以及每個(gè)候選樣本對(duì)應(yīng)的權(quán)重，從所述各候選樣本中，篩選出與所述基準(zhǔn)特征表示相匹配的候選樣本，作為目標(biāo)樣本。

3.如權(quán)利要求2所述的方法，其特征在于，根據(jù)每個(gè)候選樣本對(duì)應(yīng)的搜索時(shí)間，確定每個(gè)候選樣本對(duì)應(yīng)的權(quán)重，具體包括：

根據(jù)每個(gè)候選樣本對(duì)應(yīng)的搜索時(shí)間的先后順序，確定每個(gè)候選樣本對(duì)應(yīng)的權(quán)重，其中，針對(duì)每個(gè)候選樣本，若該候選樣本對(duì)應(yīng)的搜索時(shí)間距離當(dāng)前時(shí)間越近，該候選樣本對(duì)應(yīng)的權(quán)重越大。

4.如權(quán)利要求2所述的方法，其特征在于，根據(jù)每個(gè)候選樣本對(duì)應(yīng)的搜索時(shí)間，確定每個(gè)候選樣本對(duì)應(yīng)的權(quán)重，具體包括：

針對(duì)每個(gè)候選樣本，判斷該候選樣本對(duì)應(yīng)的搜索時(shí)間是否屬于指定時(shí)間；

若是，將預(yù)設(shè)的第一權(quán)重，作為該候選樣本對(duì)應(yīng)的權(quán)重，否則，將預(yù)設(shè)的第二權(quán)重，作為該候選樣本對(duì)應(yīng)的權(quán)重，所述第一權(quán)重大于所述第二權(quán)重。

5.如權(quán)利要求1所述的方法，其特征在于，根據(jù)標(biāo)注后的各目標(biāo)樣本，確定用于模型訓(xùn)練的訓(xùn)練集，具體包括：

根據(jù)標(biāo)注后的各目標(biāo)樣本，確定測(cè)試集和子訓(xùn)練集；

根據(jù)所述子訓(xùn)練集，對(duì)所述排序模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的排序模型；

將所述測(cè)試集中包含的訓(xùn)練樣本，分別輸入到未經(jīng)所述子訓(xùn)練集訓(xùn)練的排序模型和所述訓(xùn)練后的排序模型中，以確定出未經(jīng)所述子訓(xùn)練集訓(xùn)練的排序模型確定所述測(cè)試集中包含的搜索詞與歷史搜索結(jié)果之間匹配度時(shí)的準(zhǔn)確率，作為所述未經(jīng)所述子訓(xùn)練集訓(xùn)練的排序模型對(duì)應(yīng)的準(zhǔn)確率，以及所述訓(xùn)練后的排序模型確定所述測(cè)試集中包含的搜索詞與歷史搜索結(jié)果之間匹配度時(shí)的準(zhǔn)確率，作為所述訓(xùn)練后的排序模型對(duì)應(yīng)的準(zhǔn)確率；

若確定所述訓(xùn)練后的排序模型對(duì)應(yīng)的準(zhǔn)確率大于所述未經(jīng)所述子訓(xùn)練集訓(xùn)練的排序模型對(duì)應(yīng)的準(zhǔn)確率，將所述測(cè)試集和所述子訓(xùn)練集補(bǔ)充到預(yù)設(shè)的全量訓(xùn)練集中，得到用于對(duì)所述排序模型進(jìn)行訓(xùn)練的訓(xùn)練集。

6.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

針對(duì)所述訓(xùn)練集中的每個(gè)訓(xùn)練樣本，將該訓(xùn)練樣本輸入到待訓(xùn)練的排序模型中，得到所述排序模型輸出的該訓(xùn)練樣本中的歷史搜索結(jié)果與搜索詞之間的匹配度；

以最小化所述匹配度與該訓(xùn)練樣本對(duì)應(yīng)的標(biāo)注之間偏差為優(yōu)化目標(biāo)，對(duì)所述排序模型進(jìn)行訓(xùn)練。

7.如權(quán)利要求1～6任一項(xiàng)所述的方法，其特征在于，所述基準(zhǔn)訓(xùn)練樣本包括：排序模型預(yù)測(cè)出的搜索結(jié)果與搜索詞之間的匹配度與用戶實(shí)際執(zhí)行結(jié)果不一致的訓(xùn)練樣本、排序模型預(yù)測(cè)的搜索結(jié)果與搜索詞之間匹配度的置信度低于預(yù)設(shè)閾值的訓(xùn)練樣本中的至少一種。