[發(fā)明專利]視頻信息處理模型的訓(xùn)練方法、視頻信息處理方法及裝置

在審

• 申請?zhí)枺?/td>: 202010066286.9
• 申請日: 2020-01-20
• 公開（公告）號: CN111324769A
• 公開（公告）日: 2020-06-23
• 發(fā)明（設(shè)計(jì)）人: 彭廣舉;徐聰
• 申請（專利權(quán)）人: 騰訊科技（北京）有限公司
• 主分類號: G06F16/735
• 分類號: G06F16/735;G06F16/78;G06K9/62;G06N3/04
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 趙翠萍;張穎玲

本發(fā)明通過了一種視頻信息處理模型的訓(xùn)練方法，包括：獲取第一目標(biāo)視頻，確定與所述第一目標(biāo)視頻相對應(yīng)的第一視頻集合和第二視頻集合；對第一視頻集合行相關(guān)性標(biāo)注，并對第二視頻集合中的每一個視頻對應(yīng)的用戶行為特征進(jìn)行標(biāo)注；根據(jù)第一目標(biāo)視頻的視頻參數(shù)，對視頻信息處理模型中的網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整；通過視頻信息處理模型中的第一視頻處理網(wǎng)絡(luò)，確定與第一目標(biāo)視頻相匹配的融合特征向量。本發(fā)明還提供了視頻信息處理方法、裝置、電子設(shè)備及存儲介質(zhì)。本發(fā)明所獲取的融合特征向量能夠用于確定與相應(yīng)視頻推薦進(jìn)程相對應(yīng)的待推薦視頻，以更符合用戶的行為特征。

技術(shù)領(lǐng)域

本發(fā)明涉及信息處理技術(shù)，尤其涉及視頻信息處理模型的訓(xùn)練方法、視頻信息處理方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

視頻信息向量化表示是很多機(jī)器學(xué)習(xí)算法的基礎(chǔ)，如何能夠把視頻信息準(zhǔn)確的表示出來是該方向的研究重點(diǎn)?，F(xiàn)有技術(shù)大多相對比較片面，沒有結(jié)構(gòu)化地對視頻進(jìn)行表示學(xué)習(xí)。

常見的學(xué)習(xí)方式包括：1)直接使用視頻標(biāo)簽的表示方式，包括視頻分類、視頻主題、視頻發(fā)布來源等。通過此類標(biāo)簽對視頻進(jìn)行粗分，可以分為娛樂視頻、體育視頻，或者細(xì)分到籃球集錦、影視花絮。但是這類表示方法比較粗放，分類標(biāo)簽信息需要提前設(shè)置并及時更新，而且其內(nèi)容表示能力是有限的。2)基于文本的學(xué)習(xí)，包括對視頻標(biāo)題、視頻描述信息或者視頻標(biāo)簽進(jìn)行文本語義學(xué)習(xí)，該類方式比較依賴于文本信息的準(zhǔn)確性，但是很多視頻存在文本信息缺失的情況，從而使得視頻表示不準(zhǔn)確。3)基于神經(jīng)網(wǎng)絡(luò)模型，使用視頻的各種特征作為輸入，以人工標(biāo)注的視頻對的相關(guān)性作為目標(biāo)，設(shè)計(jì)深度網(wǎng)絡(luò)模型，端到端的學(xué)習(xí)視頻間的相關(guān)性，實(shí)現(xiàn)視頻推薦，但是模型訓(xùn)練時需要人工標(biāo)注相關(guān)視頻對數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，因而很難獲取大規(guī)模的訓(xùn)練數(shù)據(jù)，同時也無法根據(jù)用戶的觀看習(xí)慣與行為特征對模型進(jìn)行調(diào)整，嚴(yán)重影響用戶的使用體驗(yàn)。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例提供一種視頻信息處理模型的訓(xùn)練方法、視頻信息處理方法、裝置、電子設(shè)備及存儲介質(zhì)，本發(fā)明實(shí)施例的技術(shù)方案是這樣實(shí)現(xiàn)的：

本發(fā)明提供了一種視頻信息處理模型的訓(xùn)練方法，所述方法包括：

獲取第一目標(biāo)視頻，確定與所述第一目標(biāo)視頻相對應(yīng)的第一視頻集合和第二視頻集合；

對所述第一視頻集合中的每一個視頻信息進(jìn)行相關(guān)性標(biāo)注，并對所述第二視頻集合中的每一個視頻對應(yīng)的用戶行為特征進(jìn)行標(biāo)注；

基于對所述第一視頻集合的相關(guān)性標(biāo)注，對所述第一目標(biāo)視頻進(jìn)行解析以實(shí)現(xiàn)獲取所述第一目標(biāo)視頻的視頻參數(shù)；

根據(jù)所述第一目標(biāo)視頻的視頻參數(shù)，確定與所述第一目標(biāo)視頻相匹配的基礎(chǔ)特征，以及與所述第一目標(biāo)視頻相匹配的多模態(tài)特征；

基于與所述第一目標(biāo)視頻相匹配的基礎(chǔ)特征和多模態(tài)特征，對視頻信息處理模型中的網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，以實(shí)現(xiàn)所述視頻信息處理模型與所述第一視頻集合的相關(guān)性相匹配；

基于所述第二視頻集合的用戶行為特征標(biāo)注，對視頻信息處理模型中的網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，以實(shí)現(xiàn)所述視頻信息處理模型與所述第二視頻集合的用戶行為特征相匹配并且與所述第一視頻集合的相關(guān)性相匹配。

本發(fā)明實(shí)施例還提供了一種視頻信息處理方法，其特征在于，所述方法包括：

獲取上文視頻以及對應(yīng)的視頻源中的待推薦視頻；

對所述待推薦視頻進(jìn)行解析，確定所述待推薦視頻對應(yīng)的基礎(chǔ)特征和多模態(tài)特征

基于所述待推薦視頻的基礎(chǔ)特征和所述多模態(tài)特征，通過所述視頻信息處理模型中的第一視頻處理網(wǎng)絡(luò)，確定與所述待推薦視頻相匹配的第一特征向量；

通過所述視頻信息處理模型中的第一視頻處理網(wǎng)絡(luò)，確定與所述上文視頻相匹配的第二特征向量；