[發明專利]一種基于時序特征的同源視頻檢索方法及系統

在審

• 申請號: 202210067690.7
• 申請日: 2022-01-20
• 公開（公告）號: CN114595360A
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 陳建海;阮漢寧;鮑科;榮大中;何欽銘
• 申請（專利權）人: 浙江阿螞科技有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06N3/04;G06N3/08;G06K9/62;G06V10/762
• 代理公司: 杭州新澤知識產權代理事務所(特殊普通合伙) 33311
• 代理人: 管賓

本發明公開了一種基于時序特征的同源視頻檢索方法及系統，包括對視頻提取關鍵幀，使用深度殘差卷積神經網絡對關鍵幀提取特征，使用兩個子模塊提取對應的幀時序特征信息及幀重要性信息，經過特征聚合后得到視頻的整體特征向量表示，使用孿生網絡構建正負樣本對網絡參數進行訓練，得到固定參數的網絡模型后對保護視頻及檢索視頻分別提取特征并檢測相似度是否超過閾值，返回檢測結果。本發明給出的深度殘差卷積神經網絡實現特征提取，時序特征信息提取及幀重要性信息提取兩個子模塊實現對侵權視頻干擾幀及片段剪取調換順序等操作的檢測，提高了對多種侵權手段檢測覆蓋的效果，也提升了同源視頻檢索的準確性。

技術領域

本發明屬于視頻檢索技術領域，具體為一種基于時序特征的同源視頻檢索方法及系統。

背景技術

前時代下隨著信息技術不斷發展，不同形式的數字作品在互聯網上流傳，由于各大短視頻平臺的興起，短視頻成為不同形式的數字作品中較為廣泛的媒介，人們通過發布短視頻分享和記錄自己的生活和創意設計。但由于互聯網上數字內容的易盜用、可篡改的特點，侵權者往往可以通過增添水印、改變幀率、改變色調、調整畫面比例等操作對他人作品或內容簡單變換后進行盜用，一些盜用者更采取這些操作的組合使得視頻領域的侵權檢測成為難題。

人們開始探索不同的檢測方法嘗試保護視頻等數字作品的知識版權。目前視頻領域的侵權檢測一般需要同源視頻檢索方法(Near Duplicate Video Retrieval,NDVR)。NDVR的目標是對于需要檢查是否被侵權的視頻(查詢視頻)，在可能發生侵權的待檢索視頻庫中逐一比對與查詢視頻的相似度，返回超過一定閾值的視頻作為疑似侵權結果。

在深度學習技術興起之后，現有的同源視頻檢索方法一般對視頻提取關鍵幀。使用標注訓練數據對神經網絡參數進行訓練直至收斂，檢索時對關鍵幀使用訓練好的卷積神經網絡提取特征之后使用不同的對比方法得到視頻對之間的相似度。而不同的對比方法大體可以分為：

(1)對所有關鍵幀的特征向量使用求平均等方式進行聚合后得到視頻的整體特征向量表示，計算視頻特征向量之間的余弦距離得到相似度。

(2)計算視頻的關鍵幀與關鍵幀特征向量之間的距離作為幀與幀之間的相似度，使用詞袋(Bag-of-Words,BoW)等方法對視頻中各關鍵幀的序列關系進行分析。

然而，以上兩類方式在一些常見的侵權場景中都存在一些缺陷。現有算法往往對視頻均勻地每一定時長片段內提取一定數量幀作為關鍵幀，并且未能有效考慮幀與幀之間的時序關系信息。但是侵權者往往會對原視頻插入干擾幀、對原視頻關鍵幀增加大面積遮擋或是水印文字等內容、對原視頻進行截取之后將片段分開縫入自己的侵權視頻中，對現有檢測方法造成一定性能影響。此外，現有的神經網絡訓練方式使得模型參數較為固定，在面對大量、復雜、多變的侵權手段時性能會有所下降，使得檢測同源視頻的性能有限。

發明內容

針對現有技術的不足，本發明提供一種基于時序特征的同源視頻檢索方法及系統。

為實現上述目的，本發明提供的技術方案是：

本發明公開了一種基于時序特征的同源視頻檢索方法，其包括以下步驟：

(1)構建神經網絡模型，使用開源數據集對網絡模型參數進行訓練，訓練直至模型參數收斂后將網絡模型參數固定；

(2)使用訓練完成的模型對需要保護及檢索的視頻提取對應特征向量；

所述的步驟(1)具體包括以下步驟：

(1-1)關鍵幀提取：查詢及檢索視頻拆解成幀，按照視頻時長在一定時長內提取一定數量幀，最后對提取出的幀進行采樣，并縮放到特定尺寸后得到視頻關鍵幀；