[發明專利]基于膠囊網絡的深度視頻指紋算法

有效

• 申請號: 202010121069.5
• 申請日: 2020-02-26
• 公開（公告）號: CN111325169B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 李新偉;徐良浩;楊藝
• 申請（專利權）人: 河南理工大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/774;G06V10/764;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 北京合創致信專利代理有限公司 16127
• 代理人: 劉素霞

1.一種基于膠囊網絡的深度視頻指紋方法，其特征在于，所述深度視頻指紋方法包括以下步驟：

S1、采用權值共享的三分支網絡為架構，以膠囊網絡為基礎，構建深度膠囊網絡，所述深度膠囊網絡具體包括：

S11、將三維卷積和二維卷積相結合，提取視頻時空特征；

S12、采用所述深度膠囊網絡將所述視頻時空特征壓縮為緊湊視頻指紋；

S13、采用三元組損失函數對所述緊湊視頻指紋進行度量學習，所述三元組損失函數為帶有中心損失約束的自適應的三元組角度損失函數，所述三元組角度損失函數具體為：

S131、采用歸一化的余弦相似性作為度量函數，通過所述視頻時空特征之間的距離運算轉化為角度運算，增強所述視頻時空特征之間的相關性學習，所述歸一化的余弦相似性表示為：

其中s₁,s₂表示為深度膠囊網絡提取的緊湊視頻指紋向量，||·||₂表示為2范數；

S132、設計自適應間隔損失，依據三元組樣本對自適應調整間隔值，自適應間隔損失β表示為：

其中S(v,v^-)表示原視頻與非拷貝視頻緊湊特征之間的余弦相似性，S(v,v⁺)表示原視頻與拷貝視頻緊湊特征之間的余弦相似性；

S133、所述S132中的所述三元組樣本對損失后增加一個中心損失約束項，規范正樣本對之間的相似性學習，所述中心損失約束項θ表示為：

θ＝||1-S(v,v⁺)||₂

帶有中心損失約束項的自適應三元組角度損失函數具體表示為：

其中，分別表示第t組視頻三元組中原視頻、拷貝視頻和非拷貝視頻的緊湊視頻特征，m表示為批次大小；

S2、對所述深度膠囊網絡進行訓練；

S3、對完成訓練的所述深度膠囊網絡進行視頻指紋提取與匹配。

2.根據權利要求1所述的基于膠囊網絡的深度視頻指紋方法，其特征在于，所述S2對所述深度膠囊網絡進行訓練，具體包括：

S21、建立訓練視頻數據集；

S22、對所述訓練視頻數據集進行預處理，得到視頻三元組；

S23、以視頻三元組作為所述三分支網絡的輸入，通過前向傳播算法提取每個視頻的高級語義特征以及緊湊視頻特征；

S24、通過所述深度膠囊網絡提取的所述緊湊視頻特征，計算度量損失所產生的損失值；

S25、通過所述深度膠囊網絡提取的所述高級語義特征，計算分類損失所產生的損失值；

S26、依據反向傳播算法計算所述深度膠囊網絡中每個節點的梯度；

S27、采用SGD隨機梯度下降法對所述深度膠囊網絡中每個節點的權值進行優化更新；

S28、重復所述S23-S27，直到S24和S25中的損失值不再變化為止，完成所述深度膠囊網絡的訓練。

3.根據權利要求1所述的基于膠囊網絡的深度視頻指紋方法，其特征在于，所述S3對完成訓練的所述深度膠囊網絡進行視頻指紋提取與匹配，具體包括：

S31、選取輸入視頻，所述輸入視頻包括原視頻和查詢視頻，對所述輸入視頻進行預處理；

S32、完成訓練的所述深度膠囊網絡中的單分支網絡作為提取器，分別將原視頻和查詢視頻作為所述深度膠囊網絡的輸入，以提取所述原視頻和所述查詢視頻的緊湊視頻特征；

S33、對所述深度膠囊網絡所提取到的所述緊湊視頻特征進行二值編碼，分別生成原視頻指紋和查詢視頻指紋；

S34、計算所述原視頻指紋和所述查詢是指紋之間的漢明距離；

S35、設定閾值并根據計算出的漢明距離，判斷所述查詢視頻和所述原視頻之間是否存在拷貝關系；

若漢明距離小于設定閾值，則查詢視頻定義為拷貝視頻，若漢明距離大于設定閾值，則查詢視頻定義為非拷貝視頻。