[發明專利]一種視頻特征提取方法及裝置

在審

• 申請號: 201810271774.6
• 申請日: 2018-03-29
• 公開（公告）號: CN110321759A
• 公開（公告）日: 2019-10-11
• 發明（設計）人: 何軼;李磊;楊成;李根;李亦錟
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京中原華和知識產權代理有限責任公司 11019
• 代理人: 壽寧;張華輝

1.一種視頻特征提取方法，所述方法包括：

對視頻對象進行抽幀，得到一個或多個幀圖像；

對每個所述幀圖像逐級地進行多種類型的池化，以得到所述幀圖像的圖像特征；其中，所述多種類型的池化包括最大池化、最小池化和平均池化；

根據所述一個或多個幀圖像的所述圖像特征確定視頻特征；

其中，所述的對每個所述幀圖像逐級地進行多種類型的池化，以得到所述幀圖像的圖像特征包括：根據所述幀圖像確定一個矩陣，利用所述多種類型的池化，逐級地生成更小的矩陣，直到縮小為僅包含一個點的矩陣，根據所述僅包含一個點的矩陣確定所述圖像特征。

2.根據權利要求1所述的視頻特征提取方法，其中，所述的對每個所述幀圖像逐級地進行多種類型的池化包括：

基于所述幀圖像的多種顏色通道逐級地進行所述多種類型的池化。

3.根據權利要求1所述的視頻特征提取方法，其中，所述的根據所述幀圖像確定一個矩陣，利用所述多種類型的池化，逐級地生成更小的矩陣，直到縮小為僅包含一個點的矩陣，根據所述僅包含一個點的矩陣確定所述圖像特征包括以下步驟：

(a)根據一個所述幀圖像，確定一個具有第一矩陣維度和第二矩陣維度的第一矩陣；所述第一矩陣中的點與所述幀圖像中的像素相對應；所述第一矩陣中的點的取值為第一向量，所述第一向量為3維的向量，用于表示對應像素的三個顏色通道的亮度；

(b)在所述第一矩陣上設置多個第一區塊，每個所述第一區塊包含多個所述第一向量；所述多個第一區塊在第一矩陣維度上的數量少于所述第一矩陣在第一矩陣維度上所包含的點的數量，且所述多個第一區塊在第二矩陣維度上的數量少于所述第一矩陣在第二矩陣維度上所包含的點的數量；對于每個所述第一區塊，分別計算所述第一區塊所包含的多個所述第一向量的各個維的最大值、最小值和平均值，得到一個9維的第二向量；

(c)根據所述多個第一區塊所對應的所述第二向量，確定第二矩陣；所述第二矩陣中的點與所述第一區塊相對應，所述第二矩陣中的點的取值為所述第二向量；

(d)重復步驟(b)和步驟(c)，直到將所述第一矩陣縮小成一個取值為3^N維向量的點，其中的N為正整數；將所述3^N維向量確定為所述幀圖像的圖像特征。

4.根據權利要求1所述的視頻特征提取方法，所述根據所述一個或多個幀圖像的所述圖像特征確定視頻特征包括：

對所述圖像特征進行二值化處理，得到二值化圖像特征；

根據所述一個或多個幀圖像的所述二值化圖像特征，確定視頻特征。

5.根據權利要求4所述的視頻特征提取方法，其中，所述的對所述圖像特征進行二值化處理，得到二值化圖像特征包括以下步驟：

根據所述圖像特征生成多個小組，每個所述小組包含所述圖像特征中的多個元素；

分別對每個所述小組中的所述多個元素進行求和，得到每個所述小組的加和值；

將所述多個小組兩兩配對，得到多個小組對；

對于每個所述小組，比較所述小組對中的兩個所述小組的所述加和值的大小，根據比較結果生成一個二值化的圖像特征比特；

根據所述多個小組對的所述圖像特征比特，確定所述幀圖像的二值化圖像特征。

6.一種視頻特征庫構建方法，所述方法包括：

按照如權利要求1到5中任意一項所述的視頻特征提取方法提取視頻對象的視頻特征；

將所述視頻特征存儲到視頻特征庫中。