[發明專利]一種視頻特征提取方法及裝置

在審

• 申請號: 201711390947.8
• 申請日: 2017-12-21
• 公開（公告）號: CN107977461A
• 公開（公告）日: 2018-05-01
• 發明（設計）人: 劉旭;丁大鈞;趙麗麗
• 申請（專利權）人: 廈門美圖之家科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/46;G06K9/62
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙)11371
• 代理人: 王文紅

1.一種視頻特征提取方法，其特征在于，該方法包括：

從目標視頻中提取多個視頻幀得到第一視頻幀集合以及提取每個所述視頻幀的相鄰幀得到第二視頻幀集合；

將所述第一視頻幀集合和第二視頻幀集合組合形成鄰近幀對集合輸入深度卷積網絡提取每個視頻幀的特征；

將提取得到的每個視頻幀的特征接入由sigmoid激活函數、鄰近幀對損失函數、以及類別交叉熵損失函數構成的視頻特征哈希層進行計算，得到所述目標視頻的哈希特征；

其中，所述鄰近幀對損失函數表示如下：

其中，f₁為所述鄰近幀對集合中第一視頻幀集合的特征表達，f₂為所述鄰近幀對集合中第二視頻幀集合的特征表達，m為預設的約束因子。

2.如權利要求1所述的視頻特征提取方法，其特征在于，所述從目標視頻中提取多個視頻幀得到第一視頻幀集合以及提取每個所述視頻幀的相鄰幀得到第二視頻幀集合，包括：

從所述目標視頻中按照預設幀間距提取多個視頻幀得到所述第一視頻幀集合；

從所述目標視頻中按照所述預設幀間距提取第一視頻幀集合中每個視頻幀的相鄰幀形成所述第二視頻幀集合。

3.如權利要求1所述的視頻特征提取方法，其特征在于，所述將提取得到的每個視頻幀的特征接入由sigmoid激活函數、鄰近幀對損失函數、以及類別交叉熵損失函數構成的視頻特征哈希層進行計算，得到所述目標視頻的哈希特征，的步驟包括：

通過所述sigmoid激活函數會將提取得到的每個視頻幀的特征映射到0到1的區間，根據設定閾值將sigmoid激活函數的輸出映射到二進制編碼中形成哈希碼并輸出。

4.如權利要求3所述的視頻特征提取方法，其特征在于，該方法還包括：

將所述sigmoid激活函數輸出的哈希碼通過一個類別掩碼矩陣生成目標二進制哈希碼，所述類別掩碼矩陣是一個M*N的矩陣，其中M是預先得到的視頻類別個數，N是哈希碼長度，每個類別對應一個長為哈希碼長度的權重參數；

獲得所述目標視頻所屬的類別，并根據該類別獲得對應的多個權重參數；

將多個所述權重參數取絕對值后進行排序；

按照排序結果獲取所述目標視頻的哈希特征中預設個數的哈希碼對應的位置，作為所述目標視頻的哈希特征表達的目標位置。

5.如權利要求1-4任意一項所述的視頻特征提取方法，其特征在于，該方法還包括：

計算所述目標視頻中目標位置對應的哈希特征與檢索數據集中的每個視頻中與所述目標位置對應的哈希特征之間的漢明距離；及

根據計算得到的漢明距離在所述檢索數據集中查詢與所述目標視頻的相關視頻。

6.一種視頻特征提取裝置，其特征在于，包括：

鄰近幀提取模塊，用于從目標視頻中提取多個視頻幀得到第一視頻幀集合以及提取每個所述視頻幀的相鄰幀得到第二視頻幀集合；

卷積網絡處理模塊，用于將所述第一視頻幀集合和第二視頻幀集合組合形成鄰近幀對集合輸入深度卷積網絡提取每個視頻幀的特征；及

哈希特征計算模塊，用于將提取得到的每個視頻幀的特征接入由sigmoid激活函數、鄰近幀對損失函數、以及類別交叉熵損失函數構成的視頻特征哈希層進行計算，得到所述目標視頻的哈希特征；

其中，所述鄰近幀對損失函數表示如下：

其中，f₁為所述鄰近幀對集合中第一視頻幀集合的特征表達，f₂為所述鄰近幀對集合中第二視頻幀集合的特征表達，m為預設的約束因子。

7.如權利要求6所述的視頻特征提取裝置，其特征在于，所述鄰近幀提取模塊通過從所述目標視頻中按照預設幀間距提取多個視頻幀得到所述第一視頻幀集合；以及通過從所述目標視頻中按照所述預設幀間距提取第一視頻幀集合中每個視頻幀的相鄰幀形成所述第二視頻幀集合。

8.如權利要求6所述的視頻特征提取裝置，其特征在于，所述哈希特征計算模塊通過所述sigmoid激活函數會將提取得到的每個視頻幀的特征映射到0到1的區間，根據設定閾值將sigmoid激活函數的輸出映射到二進制編碼中形成哈希碼并輸出。