[發明專利]視頻信息處理模型的訓練方法、視頻信息處理方法及裝置

在審

• 申請號: 202010066286.9
• 申請日: 2020-01-20
• 公開（公告）號: CN111324769A
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 彭廣舉;徐聰
• 申請（專利權）人: 騰訊科技（北京）有限公司
• 主分類號: G06F16/735
• 分類號: G06F16/735;G06F16/78;G06K9/62;G06N3/04
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 趙翠萍;張穎玲

1.一種視頻信息處理模型的訓練方法，其特征在于，所述方法包括：

獲取第一目標視頻，確定與所述第一目標視頻相對應的第一視頻集合和第二視頻集合；

對所述第一視頻集合中的每一個視頻信息進行相關性標注，并對所述第二視頻集合中的每一個視頻對應的用戶行為特征進行標注；

基于對所述第一視頻集合的相關性標注，對所述第一目標視頻進行解析以實現獲取所述第一目標視頻的視頻參數；

基于所述第一目標視頻的視頻參數，對視頻信息處理模型中的網絡參數進行調整，以實現所述視頻信息處理模型與所述第一視頻集合的相關性相匹配；

基于所述第二視頻集合的用戶行為特征標注，對視頻信息處理模型中的網絡參數進行調整，以實現所述視頻信息處理模型與所述第二視頻集合的用戶行為特征相匹配并且與所述第一視頻集合的相關性相匹配。

2.根據權利要求1所述的方法，其特征在于，所述對所述第一視頻集合中的每一個視頻信息進行相關性標注，并對所述第二視頻集合中的每一個視頻對應的用戶行為特征進行標注，包括：

確定與所述第一目標視頻對應的不同維度的相關性參數；

根據所述不同維度的相關性參數對所述第一視頻集合中的每一個視頻的相關性進行標注，以獲取與所述第一視頻集合相匹配的訓練樣本集合；

確定與所述第二視頻集合對應的播放日志信息；

根據所述播放日志信息所包括的不同維度的播放行為參數，對所述第二視頻集合中的每一個視頻對應的用戶行為特征進行標注，以獲取與所述第二視頻集合相匹配的訓練樣本集合。

3.根據權利要求1所述的方法，其特征在于，所述對所述第一目標視頻進行解析以實現獲取所述第一目標視頻的視頻參數，包括：

對所述第一目標視頻進行解析，獲取所述第一目標視頻的標簽信息；

根據所述第一目標視頻的標簽信息，對所述第一目標視頻所對應的視頻信息進行解析，以實現分別獲取與所述第一目標視頻在基礎維度與多模態維度中的視頻參數。

4.根據權利要求1所述的方法，其特征在于，所述基于所述第一目標視頻的視頻參數，對視頻信息處理模型中的網絡參數進行調整，以實現所述視頻信息處理模型與所述第一視頻集合的相關性相匹配，包括：

根據所述第一目標視頻的視頻參數，確定與所述第一目標視頻相匹配的基礎特征，以及與所述第一目標視頻相匹配的多模態特征；

基于與所述第一目標視頻相匹配的基礎特征和多模態特征，對視頻信息處理模型中的網絡參數進行調整，以實現所述視頻信息處理模型與所述第一視頻集合的相關性相匹配。

5.根據權利要求4所述的方法，其特征在于，所述根據所述第一目標視頻的視頻參數，確定與所述第一目標視頻相匹配的基礎特征，以及與所述第一目標視頻相匹配的多模態特征，包括：

根據所述第一目標視頻在基礎維度中的視頻參數，確定與所述第一目標視頻相對應的類別參數、視頻標簽參數和視頻發布來源參數；

對所述第一目標視頻相對應的類別參數、視頻標簽參數和視頻發布來源參數分別進行特征抽取，以形成與所述第一目標視頻相匹配的基礎特征；

根據所述第一目標視頻在基礎維度中的視頻參數，確定與所述第一目標視頻相對應的標題文字參數、圖像信息參數和視覺信息參數；

對所述第一目標視頻相對應的標題文字參數、圖像信息參數和視覺信息參數分別進行特征抽取并融合，以形成與所述第一目標視頻相匹配的多模態特征。