[發明專利]一種視頻特征提取方法及裝置

在審

• 申請號: 201711390947.8
• 申請日: 2017-12-21
• 公開（公告）號: CN107977461A
• 公開（公告）日: 2018-05-01
• 發明（設計）人: 劉旭;丁大鈞;趙麗麗
• 申請（專利權）人: 廈門美圖之家科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/46;G06K9/62
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙)11371
• 代理人: 王文紅

技術領域

本申請涉及視頻處理技術領域，具體而言，涉及一種視頻特征提取方法及裝置。

背景技術

對視頻進行哈希編碼可以應用在視頻檢索、視頻聚類、視頻壓縮等視頻相關的領域。現有的視頻哈希特征提取方法得到的哈希特征是否有效，是由兩個因素決定的，一個因素是提取到的視頻特征是否有效代表視頻內容，另一因素是哈希算法的準確性。因此，如何設計視頻哈希特征的提取方法，使得視頻的特征表達更能反映視頻的內容信息，提升視頻特征表達的精度和利用率，是目前需要研究的一大課題。

發明內容

有鑒于此，本申請的目的在于提供一種視頻特征提取方法及裝置，以使視頻的特征表達更能反映視頻內容信息，并有效的提高了視頻特征表達的精度和利用效率。

為了達到上述目的，本申請實施例采用如下技術方案：

一方面，本申請提供一種視頻特征提取方法，包括：

從目標視頻中提取多個視頻幀得到第一視頻幀集合以及提取每個所述視頻幀的相鄰幀得到第二視頻幀集合；

將所述第一視頻幀集合和第二視頻幀集合組合形成鄰近幀對集合輸入深度卷積網絡提取每個視頻幀的特征；

將提取得到的每個視頻幀的特征接入由sigmoid激活函數、鄰近幀對損失函數、以及類別交叉熵損失函數構成的視頻特征哈希層進行計算，得到所述目標視頻的哈希特征；

其中，所述鄰近幀對損失函數表示如下：

其中，f₁為所述鄰近幀對集合中第一視頻幀集合的特征表達，f₂為所述鄰近幀對集合中第二視頻幀集合的特征表達，m為預設的約束因子。

另一方面，本申請提供一種視頻特征提取裝置，包括：

鄰近幀提取模塊，用于從目標視頻中提取多個視頻幀得到第一視頻幀集合以及提取每個所述視頻幀的相鄰幀得到第二視頻幀集合；

卷積網絡處理模塊，用于將所述第一視頻幀集合和第二視頻幀集合組合形成鄰近幀對集合輸入深度卷積網絡提取每個視頻幀的特征；及

哈希特征計算模塊，用于將提取得到的每個視頻幀的特征接入由sigmoid激活函數、鄰近幀對損失函數、以及類別交叉熵損失函數構成的視頻特征哈希層進行計算，得到所述目標視頻的哈希特征；

其中，所述鄰近幀對損失函數表示如下：

其中，f₁為所述鄰近幀對集合中第一視頻幀集合的特征表達，f₂為所述鄰近幀對集合中第二視頻幀集合的特征表達，m為預設的約束因子。

相較于現有技術，本申請實施例提供的視頻特征提取方法及裝置，針對視頻中鄰近幀圖像相似的特性，設計鄰近幀對損失函數，使得鄰近幀間的特征表達差異最小化，從而使視頻的特征表達更能反映視頻內容信息。其次，基于視頻的類別，提出了一個全新的方法用來找到對于當前類別特征表達貢獻最大的哈希編碼位置，有效的提高了視頻特征表達的精度和利用效率。

附圖說明

為了更清楚地說明本申請實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，應當理解，以下附圖僅示出了本申請的某些實施例，因此不應被看作是對范圍的限定，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他相關的附圖。

圖1為本申請實施例提供的一種視頻特征提取方法的流程圖。

圖2為圖1所示的步驟S101的子流程圖。

圖3為本申請實施例提供的通過深度哈希網絡結構提取視頻特征的過程示意圖。

圖4為本申請實施例提供的一種為intra-pair loss函數的示意圖。

圖5為本申請實施例提供的根據哈希特征的漢明距離進行相似視頻檢索任務的示意圖。

圖6為本申請實施例提供的用于實現上述視頻特征提取方法的視頻處理設備的方框示意圖。

具體實施方式

為使本申請實施例的目的、技術方案和優點更加清楚，下面將結合本申請實施例中的附圖，對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本申請的一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本申請實施例的組件可以以各種不同的配置來布置和設計。

因此，以下對在附圖中提供的本申請的實施例的詳細描述并非旨在限制要求保護的本申請的范圍，而是僅僅表示本申請的選定實施例?；诒旧暾堉械膶嵤├?，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬于本申請保護的范圍。