[發明專利]一種基于時序特征的同源視頻檢索方法及系統

在審

• 申請號: 202210067690.7
• 申請日: 2022-01-20
• 公開（公告）號: CN114595360A
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 陳建海;阮漢寧;鮑科;榮大中;何欽銘
• 申請（專利權）人: 浙江阿螞科技有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06N3/04;G06N3/08;G06K9/62;G06V10/762
• 代理公司: 杭州新澤知識產權代理事務所(特殊普通合伙) 33311
• 代理人: 管賓

1.一種基于時序特征的同源視頻檢索方法，其特征在于，其包括以下步驟：

(1)構建神經網絡模型，使用開源數據集對網絡模型參數進行訓練，訓練直至模型參數收斂后將網絡模型參數固定；

(2)使用訓練完成的模型對需要保護及檢索的視頻提取對應特征向量；

(3)設定相似度檢索閾值，進行相似度計算。

2.根據基于時序特征的同源視頻檢索方法，其特征在于，所述的步驟(1)具體包括以下步驟：

(1-1)關鍵幀提?。翰樵兗皺z索視頻拆解成幀，按照視頻時長在一定時長內提取一定數量幀，最后對提取出的幀進行采樣，并縮放到設定尺寸后得到視頻關鍵幀；

(1-2)幀特征提?。簩⒁曨l關鍵幀輸入至在ImageNet數據集上預訓練好的深度殘差卷積神經網絡中，進行正向傳播對幀圖片各通道提取特征，經過池化、激活、正則操作后提取最后一層平均池化層輸出的向量作為各幀的特征向量；

(1-3)時序特征提?。簩⒏鲙奶卣飨蛄堪磶谝曨l中出現的時序順序輸入至Transformer編碼器中，得到幀與幀之間的時序信息特征向量；

(1-4)幀重要性信息提?。菏褂米⒁饬C制對各幀的特征向量提取不同語義空間中的映射，得到包含各幀重要性信息的特征向量，經過拼接聚合后得到幀重要性信息特征向量；

(1-5)特征聚合：將自注意力機制與時序特征提取模塊的輸出特征向量輸入全連接層加權聚合之后得到視頻整體特征向量表示；

(1-6)孿生網絡訓練：訓練網絡參數時，在每個訓練輪次對每個輸入視頻提取一個與該視頻同源的視頻作為正樣本，一個與該視頻不同源的視頻作為負樣本，構建成為三元組，使用三元組損失函數Triplet Loss得到損失值，使用損失值計算出梯度后對神經網絡進行反饋傳播并更新各層參數，重復此步驟直至網絡參數收斂。

3.根據基于時序特征的同源視頻檢索方法，其特征在于，步驟(2)具體包括以下步驟：

(2-1)構建需要保護的視頻數據庫：對系統需要保護的用戶原創視頻存入數據庫，每個保護視頻通過步驟(1)得到視頻的特征向量，將所有視頻的特征向量存放至數據庫中得到所有保護視頻的特征矩陣；

(2-2)對檢索視頻提取特征：對于需要檢測是否存在與保護視頻庫內視頻產生侵權的視頻，通過步驟(1)提取對應的視頻特征向量，進行比對檢索。

4.根據基于時序特征的同源視頻檢索方法，其特征在于，步驟(3)具體包括以下步驟：

(3-1)設定相似度檢索閾值：計算得到檢索視頻與保護視頻之間的相似度，該相似度在(0,1)區間內，1表示模型判斷檢索視頻與保護視頻100％相似，0表示完全不相似，其他值則表示相似性的百分比；設定一個檢索閾值，則系統將返回相似度超過該閾值的視頻對作為疑似產生侵權行為結果，供用戶后續進一步判定；

(3-2)計算相似度：在步驟(2)中得到的檢索視頻的特征向量，逐一與保護視頻庫內的特征矩陣進行點乘操作，得到檢索視頻與每一保護視頻的特征向量之間的余弦距離作為相似度；逐一比對相似度以判斷是否有超過設定的閾值，如有則返回該視頻對作為系統檢測結果，沒有則返回未檢測出疑似侵權視頻作為系統檢測結果。

5.一種基于時序特征的同源視頻檢索系統，所述系統用于權利要求1-5中任一于時序特征的同源視頻檢索方法，其特征在于，其包括

模型構建及訓練模塊，用于構建神經網絡模型，并訓練網絡模型參數至模型參數收斂后將網絡模型參數固定；

特征提取模塊，提取特征并構成保護視頻特征矩陣存入數據庫；

相似度計算模塊，用于對比檢索視頻是否產生侵權。