[發明專利]視頻特征提取方法及應用該方法的視頻量化方法

在審

• 申請號: 202010771697.8
• 申請日: 2020-08-04
• 公開（公告）號: CN111897995A
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 宋井寬;郎睿敏;朱筱蘇;高聯麗
• 申請（專利權）人: 成都井之麗科技有限公司;電子科技大學
• 主分類號: G06F16/73
• 分類號: G06F16/73;G06F16/783;G06F17/16;G06N3/04
• 代理公司: 成都希盛知識產權代理有限公司 51226
• 代理人: 陳澤斌

1.視頻特征提取方法，其特征在于，包括：

從目標視頻中提取原始視覺特征并構建原始特征矩陣，所述原始特征矩陣包含每幀采樣圖像的空間信息和每幀采樣圖像之間的時序信息；

根據原始特征矩陣生成采樣圖像空間注意力熱度圖和采樣圖像時序注意力熱度圖；以及

將原始特征矩陣、采樣圖像空間注意力熱度圖、采樣圖像時序注意力熱度圖相加融合得到目標特征矩陣。

2.如權利要求1所述的視頻特征提取方法，其特征在于，

A)根據原始特征矩陣生成采樣圖像空間注意力熱度圖包括：

根據原始特征矩陣生成表示每幀采樣圖像中每個像素點和與該像素點處于同一行的其他所有像素點之間信息依賴關系的行維度注意力熱度圖；和

根據原始特征矩陣生成表示每幀采樣圖像中每個像素點和與該像素點處于同一列的其他所有像素點之間信息依賴關系的列維度注意力熱度圖；

并且/或者，

B)根據原始特征矩陣生成采樣圖像時序注意力熱度圖包括：

根據原始特征矩陣生成表示每幀采樣圖像中每個像素點和與該像素點處于同一時序的其他所有像素點之間信息依賴關系的時序維度注意力熱度圖。

3.如權利要求2所述的視頻特征提取方法，其特征在于：

若設目標視頻的原始特征矩陣o_i∈R^{T′×h×w×c}，其中h為視頻每幀圖像的高度、w為視頻每幀圖像的寬度、c為視頻每幀圖像的通道數、T′為采樣圖像幀數，則

A)根據原始特征矩陣生成表示每幀采樣圖像中每個像素點和與該像素點處于同一行的其他所有像素點之間信息依賴關系的行維度注意力熱度圖包括：

將原始特征矩陣重塑為{T′×h}×w×c；分別采用三個尺寸為c*1*1的卷積核對重塑后的矩陣進行卷積操作，得到三個維度均為{T′×h}×w×c的特征矩陣r_θ，r_ρ，r_γ，其中c*1*1為通道數*高度*寬度；將所述三個特征矩陣r_θ，r_ρ，r_γ按公式進行運算，得到行維度注意力熱度圖r，其中是特征矩陣r_γ的轉置矩陣；

并且/或者，

B)根據原始特征矩陣生成表示每幀采樣圖像中每個像素點和與該像素點處于同一列的其他所有像素點之間信息依賴關系的列維度注意力熱度圖包括：

將原始特征矩陣重塑為{T′×w}×h×c；分別采用三個尺寸為c*1*1的卷積核對重塑后的矩陣進行卷積操作，得到三個維度均為{T′×w}×h×c的三個特征矩陣c_θ，c_ρ，c_γ，其中c*1*1為通道數*高度*寬度；將所述三個特征矩陣c_θ，c_ρ，c_γ按公式進行運算，得到列維度注意力熱度圖c，其中為特征矩陣c_γ的轉置矩陣；

并且/或者，

C)根據原始特征矩陣生成表示每幀采樣圖像中每個像素點和與該像素點處于同一時序的其他所有像素點之間信息依賴關系的時序維度注意力熱度圖包括：

將原始特征矩陣重塑為{w×h}×T′×c；分別采用三個1*1的卷積核對重塑后的矩陣進行卷積操作，得到維度均為{w×h}×T′×c的三個特征矩陣t_θ，t_ρ，t_y；將所述三個特征矩陣t_θ，t_ρ，t_γ按公式進行運算，得到時序維度注意力熱度圖t，其中為特征矩陣t_γ的轉置矩陣。

4.視頻量化方法，其特征在于，包括：

根據權利要求1、2或3所述的視頻特征提取方法得到目標特征矩陣；

將目標特征矩陣轉變為代表目標視頻的特征向量；以及

將特征向量壓縮成二進制編碼實現視頻量化。