[發明專利]一種視頻查重方法及裝置

有效

• 申請號: 201911200231.6
• 申請日: 2019-11-29
• 公開（公告）號: CN111046227B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 陳小帥
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/71
• 分類號: G06F16/71;G06F16/735;G06F16/74;G06F16/75;G06N3/0464
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 汪阮磊

1.一種視頻查重方法，其特征在于，包括：

構建待處理視頻的多模態特征向量；

計算所述待處理視頻在每一模態上的注意力值，所述注意力值用于表示所述待處理視頻在所述模態上的特征向量與所述待處理視頻在其他模態上的特征向量之間的上下文關系；

融合所述待處理視頻在每一模態上的注意力值，得到所述待處理視頻的融合特征向量；

基于所述融合特征向量在視頻庫中進行近鄰檢索，篩選出與所述待處理視頻相似的候選視頻，得到候選視頻集合；

計算每一候選視頻與所述待處理視頻的相似度，得到相似度結果；

根據所述相似度結果確定所述待處理視頻是否通過查重檢測。

2.根據權利要求1所述的視頻查重方法，其特征在于，所述基于所述融合特征向量在視頻庫中進行近鄰檢索，篩選出與所述待處理視頻相似的候選視頻，包括：

對所述融合特征向量進行降維處理，得到降維后特征向量；

基于已有索引信息和所述降維后特征向量，從所述視頻庫中篩選出相應數量的視頻，作為與所述待處理視頻相似的候選視頻。

3.根據權利要求2所述的視頻查重方法，其特征在于，在計算所述待處理視頻在每一模態上的注意力值之前，還包括：

對所述視頻庫中每一視頻構建多模態特征向量；

基于每一視頻構建多模態特征向量，采用KD樹為視頻庫內的每一視頻建立索引。

4.根據權利要求1所述的視頻查重方法，其特征在于，所述計算每一候選視頻與所述待處理視頻的相似度，包括：

將所述候選視頻和所述待處理視頻分別輸入孿生網絡模型中的兩個子網絡模型，所述兩個子網絡模型分別提取相應視頻的特征信息；

所述孿生網絡模型的連接網絡根據所述兩個子網絡模型分別提取的特征信息，計算所述候選視頻和所述待處理視頻之間的相似度。

5.根據權利要求1-4任一項所述的視頻查重方法，其特征在于，所述構建待處理視頻的多模態特征向量，包括：

從多個不同角度提取待處理視頻的視頻信息；

采用預設多模態深度表示模型對所述視頻信息進行處理，以將所述視頻信息轉化為多模態特征向量。

6.根據權利要求5所述的視頻查重方法，其特征在于，所述視頻信息包括視頻標題、視頻描述文本、音頻和視頻幀。

7.根據權利要求1-4任一項所述的視頻查重方法，其特征在于，所述相似度結果包括多個相似度評估值；所述根據所述相似度結果確定所述待處理視頻是否通過查重檢測，包括：

當所述多個相似度評估值中均未超過預設閾值時，確定所述待處理視頻通過查重檢測；

當所述多個相似度評估值中存在大于預設閾值的相似度評估值時，確定所述待處理視頻未通過查重檢測。

8.根據權利要求7所述的視頻查重方法，其特征在于，在確定所述待處理視頻通過查重檢測之后，還包括：

將所述待處理視頻更新至所述視頻庫中，并對所述待處理視頻建立索引；

當更新至所述視頻庫的視頻數量達到指定數量時，重新對所述視頻庫構建索引信息。

9.一種視頻查重裝置，其特征在于，包括：

向量構建單元，用于構建待處理視頻的多模態特征向量；

篩選單元，用于計算所述待處理視頻在每一模態上的注意力值，融合所述待處理視頻在每一模態上的注意力值，得到所述待處理視頻的融合特征向量；基于所述融合特征向量在視頻庫中進行近鄰檢索，篩選出與所述待處理視頻相似的候選視頻，得到候選視頻集合；所述注意力值用于表示所述待處理視頻在所述模態上的特征向量與所述待處理視頻在其他模態上的特征向量之間的上下文關系；

計算單元，用于計算每一候選視頻與所述待處理視頻的相似度，得到相似度結果；

確定單元，用于根據所述相似度結果確定所述待處理視頻是否通過查重檢測。