[發(fā)明專利]一種基于卷積及循環(huán)神經(jīng)網(wǎng)絡(luò)的視頻拷貝檢測系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 201810600019.8
• 申請日: 2018-06-12
• 公開（公告）號: CN108985165A
• 公開（公告）日: 2018-12-11
• 發(fā)明（設(shè)計(jì)）人: 路小波;胡耀聰
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 柏尚春

1.一種基于卷積及循環(huán)神經(jīng)網(wǎng)絡(luò)的視頻拷貝檢測系統(tǒng)，其特征在于，該系統(tǒng)包括：

數(shù)據(jù)集建立模塊，使用公開視頻拷貝檢測數(shù)據(jù)集CC_WEB作為循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集，使用公開視頻數(shù)據(jù)集VCDB作為測試集；

幀特征提取模塊，采用50層的殘差卷積神經(jīng)網(wǎng)絡(luò)ResNet50提取所述訓(xùn)練集視頻的圖像幀級靜態(tài)特征；

時空特征訓(xùn)練模塊，該模塊包括視頻剪輯模塊和循環(huán)網(wǎng)絡(luò)訓(xùn)練模塊，所述視頻剪輯模塊用于將所述訓(xùn)練集中的視頻剪輯成若干剪輯段，并將所述若干剪輯段組合成若干個剪輯對，所述剪輯對包括剪輯內(nèi)容相同的剪輯對和剪輯內(nèi)容不相同的剪輯對；所述循環(huán)網(wǎng)絡(luò)訓(xùn)練模塊利用所述剪輯對中的幀級靜態(tài)特征序列訓(xùn)練孿生循環(huán)神經(jīng)網(wǎng)絡(luò)，生成降維的時空特征表示，并采用比較損失函數(shù)優(yōu)化所述孿生循環(huán)網(wǎng)絡(luò)的參數(shù)；

循環(huán)網(wǎng)絡(luò)測試模塊，用于將所述測試集中的庫視頻和待查詢視頻生成時空特征表示，所述生成方法是采用所述循環(huán)網(wǎng)絡(luò)訓(xùn)練模塊中訓(xùn)練的孿生循環(huán)神經(jīng)網(wǎng)絡(luò)；

拷貝視頻匹配模塊，用于使用基于圖的時空網(wǎng)絡(luò)算法匹配所述測試集中的庫視頻，以確定所述待查詢視頻是否為拷貝視頻。

2.根據(jù)權(quán)利要求1所述的基于卷積及循環(huán)神經(jīng)網(wǎng)絡(luò)的視頻拷貝檢測系統(tǒng)，其特征在于，所述循環(huán)網(wǎng)絡(luò)訓(xùn)練模塊的孿生循環(huán)神經(jīng)網(wǎng)絡(luò)的基本神經(jīng)單元為長短期記憶胞元，所述長短期記憶胞元包括一個記憶胞元和三個控制門，所述三個控制門分別為輸入門、遺忘門和輸出門，所述控制門的輸入均為幀級靜態(tài)特征和上一個狀態(tài)的輸出值，所述輸入門、遺忘門和輸出的輸出分別通過所述剪輯對中的幀級靜態(tài)特征、權(quán)重矩陣和閾值項(xiàng)計(jì)算得到，分別將為i_t、f_t和o_t，所述輸入門的輸出值i_t可以調(diào)制所述長短期記憶胞元的輸入z_t，所述孿生循環(huán)神經(jīng)網(wǎng)絡(luò)的輸出由所述遺忘門和所述輸出門共同決定，進(jìn)而融合出時空特征表示。

3.根據(jù)權(quán)利要求2所述的基于卷積及循環(huán)神經(jīng)網(wǎng)絡(luò)的視頻拷貝檢測系統(tǒng)，其特征在于，所述輸入門、遺忘門和輸出門的輸出分別通過所述剪輯對的幀級靜態(tài)特征、權(quán)重矩陣和閾值項(xiàng)計(jì)算得到，計(jì)算公式為：

i_t＝σ(W_iX_t+R_ih_t-1+b_i)

f_t＝σ(W_fX_t+R_fh_t-1+b_f)

o_t＝σ(W_oX_t+R_oh_t-1+b_o)

z_t＝σ(W_zX_t+R_zh_t-1+b_z)

其中，W_i，W_f，W_o和W_z分別表示當(dāng)前狀態(tài)在輸入門、遺忘門、輸出門和所述孿生循環(huán)卷積神經(jīng)網(wǎng)絡(luò)的輸入的權(quán)重矩陣，X為經(jīng)過所述殘差卷積神經(jīng)網(wǎng)絡(luò)提取出剪輯對中單幀圖片的靜態(tài)特征，X_t∈X＝{X^(a),X^(b)}，L為剪輯對的幀長，h_t-1為上一個狀態(tài)的輸出值，R_i，R_f，R_o和R_z分別表示上一個狀態(tài)在輸入門、遺忘門、輸出門和所述孿生循環(huán)卷積神經(jīng)網(wǎng)絡(luò)的輸出的權(quán)重矩陣，b_i，b_f，b_o和b_z分別表示在輸入門、遺忘門、輸出門和所述孿生循環(huán)卷積神經(jīng)網(wǎng)絡(luò)閾值項(xiàng)，σ為sigmoid函數(shù)，φ為雙正切函數(shù)，表示元素內(nèi)積。