[發(fā)明專利]一種訓(xùn)練集的生成方法及裝置

在審

• 申請?zhí)枺?/td>: 202210430967.8
• 申請日: 2022-04-22
• 公開（公告）號: CN114882311A
• 公開（公告）日: 2022-08-09
• 發(fā)明（設(shè)計(jì)）人: 沈元;校婭;朱迪;許曉燕;湯彪
• 申請（專利權(quán)）人: 北京三快在線科技有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06K9/62
• 代理公司: 北京曼威知識產(chǎn)權(quán)代理有限公司 11709
• 代理人: 鄧超

本說明書公開了一種訓(xùn)練集的生成方法及裝置，可以根據(jù)實(shí)際需求，先選定出基準(zhǔn)訓(xùn)練樣本，然后確定基準(zhǔn)訓(xùn)練樣本對應(yīng)的基準(zhǔn)特征表示，從而根據(jù)基準(zhǔn)特征表示，從各候選樣本中篩選出與基準(zhǔn)訓(xùn)練樣本相匹配的訓(xùn)練樣本，生成用于訓(xùn)練排序模型的訓(xùn)練集，這樣將極大的提高訓(xùn)練集的構(gòu)建效率，進(jìn)而可以降低排序模型訓(xùn)練的成本，提高了篩選訓(xùn)練樣本的效率，以及提高了篩選出的訓(xùn)練樣本的準(zhǔn)確率。

技術(shù)領(lǐng)域

本說明書涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種訓(xùn)練集的生成方法及裝置。

背景技術(shù)

搜索技術(shù)作為互聯(lián)網(wǎng)領(lǐng)域重要的流量入口和內(nèi)容分發(fā)渠道，在各網(wǎng)站和應(yīng)用中有著極其重要的作用，其中，用于根據(jù)用戶輸入的搜索詞，為用戶推薦與搜索詞相關(guān)的搜索結(jié)果的排序模型，則是搜索技術(shù)的一個(gè)核心。

現(xiàn)有技術(shù)中，通常會(huì)批量獲取用戶的歷史搜索數(shù)據(jù)，然后通過人工從批量獲取的歷史搜索數(shù)據(jù)中篩選出特定的難例，作為訓(xùn)練樣本對排序模型進(jìn)行訓(xùn)練，但是這樣往往會(huì)導(dǎo)致排序模型訓(xùn)練的成本增加，降低了篩選訓(xùn)練樣本的效率，并且篩選出的訓(xùn)練樣本的準(zhǔn)確率也較低，從而影響了排序模型訓(xùn)練。

因此，如何能夠提升為排序模型篩選出的訓(xùn)練樣本的效率，提高訓(xùn)練樣本篩選的準(zhǔn)確率，以及降低排序模型訓(xùn)練的成本，則是一個(gè)亟待解決的問題。

發(fā)明內(nèi)容

本說明書提供一種訓(xùn)練集的生成方法及裝置，以部分的解決現(xiàn)有技術(shù)存在的上述問題。

本說明書采用下述技術(shù)方案：

本說明書提供了一種訓(xùn)練集的生成方法，包括：

獲取基準(zhǔn)訓(xùn)練樣本；

根據(jù)所述基準(zhǔn)訓(xùn)練樣本中包含的搜索詞以及搜索結(jié)果，確定出所述基準(zhǔn)訓(xùn)練樣本對應(yīng)的特征表示，作為基準(zhǔn)特征表示，所述基準(zhǔn)特征表示用于表征所述基準(zhǔn)訓(xùn)練樣本包含的搜索詞的詞特征、以及所述搜索詞與所述搜索結(jié)果中的至少部分文本所構(gòu)成的各詞序列的匹配情況；

根據(jù)確定出的各候選樣本對應(yīng)的特征表示，從各候選樣本中，篩選出與所述基準(zhǔn)特征表示相匹配的候選樣本，作為目標(biāo)樣本，針對每個(gè)候選樣本，該候選樣本中包括歷史搜索詞與所述歷史搜索詞對應(yīng)的歷史搜索結(jié)果；

對所述目標(biāo)樣本進(jìn)行標(biāo)注，并根據(jù)標(biāo)注后的目標(biāo)樣本，生成用于訓(xùn)練排序模型的訓(xùn)練集。

可選地，從各候選樣本中，篩選出與所述基準(zhǔn)特征表示相匹配的候選樣本，具體包括：

根據(jù)每個(gè)候選樣本對應(yīng)的搜索時(shí)間，確定每個(gè)候選樣本對應(yīng)的權(quán)重；

根據(jù)每個(gè)候選樣本對應(yīng)的特征表示，以及每個(gè)候選樣本對應(yīng)的權(quán)重，從所述各候選樣本中，篩選出與所述基準(zhǔn)特征表示相匹配的候選樣本，作為目標(biāo)樣本。

可選地，根據(jù)每個(gè)候選樣本對應(yīng)的搜索時(shí)間，確定每個(gè)候選樣本對應(yīng)的權(quán)重，具體包括：

根據(jù)每個(gè)候選樣本對應(yīng)的搜索時(shí)間的先后順序，確定每個(gè)候選樣本對應(yīng)的權(quán)重，其中，針對每個(gè)候選樣本，若該候選樣本對應(yīng)的搜索時(shí)間距離當(dāng)前時(shí)間越近，該候選樣本對應(yīng)的權(quán)重越大。

可選地，根據(jù)每個(gè)候選樣本對應(yīng)的搜索時(shí)間，確定每個(gè)候選樣本對應(yīng)的權(quán)重，具體包括：

針對每個(gè)候選樣本，判斷該候選樣本對應(yīng)的搜索時(shí)間是否屬于指定時(shí)間；

若是，將預(yù)設(shè)的第一權(quán)重，作為該候選樣本對應(yīng)的權(quán)重，否則，將預(yù)設(shè)的第二權(quán)重，作為該候選樣本對應(yīng)的權(quán)重，所述第一權(quán)重大于所述第二權(quán)重。

可選地，根據(jù)標(biāo)注后的各目標(biāo)樣本，確定用于模型訓(xùn)練的訓(xùn)練集，具體包括：

根據(jù)標(biāo)注后的各目標(biāo)樣本，確定測試集和子訓(xùn)練集；

根據(jù)所述子訓(xùn)練集，對所述排序模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的排序模型；