[發(fā)明專利]一種基于用戶日志的視頻搜索排序訓(xùn)練集構(gòu)建方法及裝置

在審

• 申請?zhí)枺?/td>: 201810052822.2
• 申請日: 2018-01-19
• 公開（公告）號: CN108460085A
• 公開（公告）日: 2018-08-28
• 發(fā)明（設(shè)計(jì)）人: 趙曉萌;胡軍
• 申請（專利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京柏杉松知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 項(xiàng)京;馬敬

本發(fā)明實(shí)施例提供了一種基于用戶日志的視頻搜索排序訓(xùn)練集構(gòu)建方法及裝置，其中，所述方法包括：獲取用戶搜索日志，所述獲取的用戶搜索日志中包含被搜索到的視頻對應(yīng)的視頻相關(guān)特征；對獲取的用戶搜索日志進(jìn)行采樣，獲得采樣后的用戶搜索日志作為訓(xùn)練樣本；獲得每條訓(xùn)練樣本的視頻播放時長，按照預(yù)設(shè)的得分與視頻播放時長的對應(yīng)關(guān)系，獲得每條訓(xùn)練樣本的得分；將所有訓(xùn)練樣本及對應(yīng)的得分構(gòu)建為訓(xùn)練集。本發(fā)明實(shí)施例可實(shí)現(xiàn)自動構(gòu)建訓(xùn)練集，節(jié)省人力成本。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻檢索技術(shù)領(lǐng)域，特別是涉及一種基于用戶日志的視頻搜索排序訓(xùn)練集構(gòu)建方法及裝置。

背景技術(shù)

隨著機(jī)器學(xué)習(xí)排序模型(Learning to Rank)的興起，搜索引擎領(lǐng)域內(nèi)各大公司紛紛嘗試使用Learning to Rank替換已有的基于規(guī)則的排序模型。而機(jī)器學(xué)習(xí)排序模型在實(shí)現(xiàn)排序的過程中，需要以訓(xùn)練集數(shù)據(jù)為基礎(chǔ)進(jìn)行訓(xùn)練，那么在使用機(jī)器學(xué)習(xí)排序模型實(shí)現(xiàn)排序之前就需要先構(gòu)建訓(xùn)練集。

現(xiàn)有的Learning to Rank訓(xùn)練集，例如，微軟的LETOR，MSLR-WEB30K，以及雅虎的Learning to Rank Challenge訓(xùn)練集，均是針對網(wǎng)頁搜索引擎的訓(xùn)練集。并且，這些針對網(wǎng)頁搜索引擎的訓(xùn)練集是通過對查詢詞進(jìn)行搜索，然后針對搜索結(jié)果，根據(jù)查詢詞與文檔對，采用人工評價(jià)的方式來評價(jià)該查詢詞下的文檔對是否與該查詢詞相關(guān)，判斷相關(guān)之后進(jìn)行人工分檔給出這些搜索結(jié)果一定的分?jǐn)?shù)構(gòu)建訓(xùn)練集。其中，文檔對是一個查詢詞下搜索到的文檔。現(xiàn)有針對網(wǎng)頁搜索引擎的訓(xùn)練集構(gòu)建方法，在給定查詢詞的情況下，進(jìn)行人工評價(jià)給出搜索結(jié)果一定的分?jǐn)?shù)構(gòu)建訓(xùn)練集，其構(gòu)建過程簡單易實(shí)現(xiàn)。

然而，發(fā)明人在實(shí)現(xiàn)本發(fā)明的過程中發(fā)現(xiàn)，現(xiàn)有技術(shù)至少存在如下問題：

現(xiàn)有的針對網(wǎng)頁搜索引擎的訓(xùn)練集對查詢詞進(jìn)行搜索，采用人工評價(jià)的方式對搜索結(jié)果進(jìn)行人工分檔給出一定的分?jǐn)?shù)構(gòu)建訓(xùn)練集，這種訓(xùn)練集的構(gòu)建需要耗費(fèi)大量的人力成本，且因人的主觀性導(dǎo)致的人為影響因素很大。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種基于用戶日志的視頻搜索排序訓(xùn)練集構(gòu)建方法及裝置，以實(shí)現(xiàn)自動構(gòu)建訓(xùn)練集，節(jié)省人力成本。具體技術(shù)方案如下：

為達(dá)到上述目的，本發(fā)明實(shí)施例公開了一種基于用戶日志的視頻搜索排序訓(xùn)練集構(gòu)建方法，所述方法包括：

獲取用戶搜索日志，所述獲取的用戶搜索日志中包含被搜索到的視頻對應(yīng)的視頻相關(guān)特征；所述視頻相關(guān)特征中至少包含：視頻播放時長；

對獲取的用戶搜索日志進(jìn)行采樣，獲得采樣后的用戶搜索日志作為訓(xùn)練樣本；

獲得每條訓(xùn)練樣本的視頻播放時長，按照預(yù)設(shè)的得分與視頻播放時長的對應(yīng)關(guān)系，獲得每條訓(xùn)練樣本的得分；

將所有訓(xùn)練樣本及對應(yīng)的得分構(gòu)建為訓(xùn)練集。

可選地，所述獲取用戶搜索日志的步驟，為：每次用戶根據(jù)搜索詞進(jìn)行搜索時，獲取根據(jù)用戶搜索生成的搜索日志。

可選地，所述視頻相關(guān)特征還包括：視頻本身特征、視頻文本相關(guān)性特征和用戶維度特征；

所述獲取用戶搜索日志的步驟，包括：

當(dāng)用戶根據(jù)搜索詞進(jìn)行搜索時，生成針對搜索詞檢索的原始用戶搜索日志，原始用戶搜索日志中包含：視頻本身特征中的視頻時長、視頻數(shù)據(jù)類型特征及各特征對應(yīng)的特征值；

計(jì)算視頻本身特征中的視頻新鮮度特征值，搜索詞與搜索結(jié)果的視頻文本相關(guān)性特征值，和用戶點(diǎn)擊、歷史點(diǎn)擊率、搜索時間對應(yīng)的用戶維度特征值；

將包含所述視頻本身特征的特征值、視頻文本相關(guān)性特征值及用戶維度特征值的全部特征添加入所述原始用戶搜索日志，生成最終用戶搜索日志并保存。

可選地，所述訓(xùn)練樣本包括正樣本和負(fù)樣本；