[發明專利]用于提取視頻特征的方法和裝置

有效

• 申請號: 202010698407.1
• 申請日: 2020-07-20
• 公開（公告）號: CN111783731B
• 公開（公告）日: 2022-07-26
• 發明（設計）人: 邵杰;溫鑫;王長虎
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 魏嘉熹

1.一種用于提取視頻特征的方法，包括：

獲取目標視頻；

從所述目標視頻中提取目標數目的視頻幀，生成視頻幀集合；

提取所述視頻幀集合中的各視頻幀對應的幀特征向量；

將所提取的各視頻幀對應的幀特征向量進行聚合，得到與所述目標視頻對應的視頻特征，其中，所述聚合包括以下至少一項：自適應權重聚合，時序關聯聚合；

其中，所述視頻幀集合包括與視頻幀在所述目標視頻中的順序一致的視頻幀序列，所述聚合包括時序關聯聚合；以及

所述將所提取的各視頻幀對應的幀特征向量進行聚合，得到與所述目標視頻對應的視頻特征，包括：

基于所述視頻幀集合中的各視頻幀的上下文信息，對所述各視頻幀對應的幀特征向量進行調整，生成所述各視頻幀對應的調整后的幀特征向量；

基于所生成的各視頻幀對應的調整后的幀特征向量，生成與所述目標視頻對應的視頻特征，其中，將各視頻幀對應的調整后的幀特征向量中對應的元素取平均，生成新的特征向量作為與所述目標視頻對應的視頻特征；

其中，所述提取所述視頻幀集合中的各視頻幀對應的幀特征向量，包括：

將所述視頻幀集合中的各視頻幀輸入至預先訓練的特征提取網絡，生成所述特征提取網絡所包括的神經元輸出的分別與各視頻幀對應的第一特征圖；

對所生成的各第一特征圖進行第一池化，生成與各第一特征圖對應的第二特征圖；

對所生成的各第二特征圖進行第二池化，生成與各第二特征圖對應的特征值；

將所生成的特征值組合成各視頻幀對應的幀特征向量，其中，幀特征向量中的元素包括對應于同一視頻幀的特征值；

其中，所述第一池化包括局部最大值池化，所述第二池化包括平均池化。

2.根據權利要求1所述的方法，其中，所述聚合包括自適應權重聚合；以及

所述將所提取的各視頻幀對應的幀特征向量進行聚合，得到與所述目標視頻對應的視頻特征，包括：

將所提取的各視頻幀對應的幀特征向量輸入至預先訓練的特征聚合模型，生成尺度與幀特征向量一致的、聚合后的特征向量作為與所述目標視頻對應的視頻特征。

3.根據權利要求1所述的方法，其中，所述基于所述視頻幀集合中的各視頻幀的上下文信息，對所述各視頻幀對應的幀特征向量進行調整，生成所述各視頻幀對應的調整后的幀特征向量，包括：

根據所述各視頻幀對應的幀特征向量，生成與所述視頻幀序列順序一致的幀特征向量序列；

將所述幀特征向量序列輸入至預先訓練的時序聚合模型，生成聚合后的幀特征向量序列，其中，所述聚合后的幀特征向量序列中的幀特征向量與所生成的與所述視頻幀序列對應的幀特征向量序列中的幀特征向量的尺度一致。

4.根據權利要求1所述的方法，其中，所述基于所生成的各視頻幀對應的調整后的幀特征向量，生成與目標視頻對應的視頻特征，包括：

從時間維度對所述各視頻幀對應的調整后的幀特征向量進行聚合，生成尺度與幀特征向量一致的聚合后的特征向量作為與所述目標視頻對應的視頻特征。