[發明專利]視頻處理方法、裝置、計算機設備以及存儲介質

在審

• 申請號: 202011188874.6
• 申請日: 2020-10-30
• 公開（公告）號: CN113392270A
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 黃劍輝
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/75
• 分類號: G06F16/75;G06F16/78;G06F16/783;G06F40/126;G06F40/30;G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;杜維

1.一種視頻處理方法，其特征在于，包括：

獲取目標視頻，所述目標視頻包括第一模態視頻內容以及第二模態視頻內容；

提取所述第一模態視頻內容的第一模態特征，以及提取所述第二模態視頻內容的第二模態特征；

將所述第一模態特征和所述第二模態特征進行雙線性融合處理，得到多模態特征；

根據所述多模態特征確定所述目標視頻的多個視頻內容標簽的排序結果。

2.根據權利要求1所述的方法，其特征在于，所述第一模態視頻內容包括目標視頻文本，所述第二模態視頻內容包括N張視頻幀圖像，N是正整數；

所述提取所述第一模態視頻內容的第一模態特征，以及提取所述第二模態視頻內容的第二模態特征，包括：

調用循環神經網絡提取所述目標視頻文本的語義文本特征，將所述語義文本特征作為所述第一模態特征；

調用卷積神經網絡分別提取每一張視頻幀圖像的視覺圖像特征，將N張視頻幀圖像的N個視覺圖像特征進行平均處理，得到所述第二模態特征。

3.根據權利要求2所述的方法，其特征在于，所述目標視頻文本包括第一字符和第二字符；

所述調用循環神經網絡提取所述目標視頻文本的語義文本特征，包括：

將所述第一字符轉換的第一字符向量，將所述第二字符轉換為第二字符向量；

調用循環神經網絡對所述第一字符向量進行編碼處理，得到第一隱藏特征；

調用循環神經網絡對所述第一隱藏特征和所述第二字符向量進行編碼處理，得到第二隱藏特征；

將所述第二隱藏特征作為所述目標視頻文本的語義文本特征。

4.根據權利要求2所述的方法，其特征在于，所述卷積神經網絡包括卷積層以及殘差層；

針對N張視頻幀圖像中的任一視頻幀圖像，調用卷積神經網絡提取所述任一視頻幀圖像的視覺圖像特征的流程包括：

基于所述卷積層對所述任一視頻幀圖像進行卷積處理，得到卷積圖像特征；

基于所述殘差層對所述卷積圖像特征進行殘差處理，得到殘差卷積圖像特征；

將所述殘差卷積圖像特征和所述卷積圖像特征疊加為所述任一視頻幀圖像的視覺圖像特征。

5.根據權利要求2-4任一項所述的方法，其特征在于，所述目標視頻文本包括目標視頻標題文本和目標視頻字幕文本中的至少一個，所述目標視頻字幕文本是對每一張視頻幀圖像進行字符識別處理后生成的。

6.根據權利要求2所述的方法，其特征在于，所述將所述第一模態特征和所述第二模態特征進行雙線性融合處理，得到多模態特征，包括：

獲取特征融合網絡的網絡融合參數，所述網絡融合參數包括d個融合矩陣，所述d是正整數；

將所述第一模態特征、所述第二模態特征以及每個融合矩陣分別進行矩陣乘積運算，得到d個特征值；

將所述d個特征值組合為所述多模態特征。

7.根據權利要求1所述的方法，其特征在于，所述第一模態視頻內容包括目標視頻文本，所述第二模態視頻內容包括N張視頻幀圖像以及M張音頻幀，N和M均是正整數；

所述提取所述第一模態視頻內容的第一模態特征，以及提取所述第二模態視頻內容的第二模態特征，包括：

調用循環神經網絡提取所述目標視頻文本的語義文本特征，將所述語義文本特征作為所述第一模態特征；

調用圖像卷積神經網絡分別提取每一張視頻幀圖像的視覺圖像特征，將N張視頻幀圖像的N個視覺圖像特征進行平均處理，得到第一待融合特征；

將每張音頻幀均轉換為頻譜圖，調用音頻卷積神經網絡分別提取每一張頻譜圖的音頻特征，將M張頻譜圖的M個音頻特征進行平均處理，得到第二待融合特征；

將所述第一待融合特征和所述第二待融合特征進行雙線性融合處理，得到所述第二模態特征。