[發(fā)明專利]一種基于時序卷積網(wǎng)絡(luò)的視頻摘要方法

在審

• 申請?zhí)枺?/td>: 202310067028.6
• 申請日: 2023-02-01
• 公開（公告）號: CN116168323A
• 公開（公告）日: 2023-05-26
• 發(fā)明（設(shè)計）人: 李輝;金克;李浩然;戚學(xué)欣;陳榮;郭世凱
• 申請（專利權(quán)）人: 大連海事大學(xué)
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/82;G06V10/74;G06N3/0464;G06N3/0442;G06N3/0455;G06N3/049;G06N3/048;G06N3/047;G06N3/088;G06N3/0475;G06N3/094
• 代理公司: 大連東方專利代理有限責(zé)任公司 21212
• 代理人: 高意;李洪福

1.一種基于時序卷積網(wǎng)絡(luò)的視頻摘要方法，其特征在于，包括：

獲取視頻數(shù)據(jù)集；

基于獲取的視頻數(shù)據(jù)集，提取視頻特征；

將提取的視頻特征輸入深度摘要網(wǎng)絡(luò)，捕獲視頻幀的重要性；

通過判別器指導(dǎo)深度摘要網(wǎng)絡(luò)的訓(xùn)練；

對深度摘要網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

基于訓(xùn)練后的深度摘要網(wǎng)絡(luò)，進(jìn)行視頻摘要。

2.根據(jù)權(quán)利要求1所述的基于時序卷積網(wǎng)絡(luò)的視頻摘要方法，其特征在于，所述獲取視頻數(shù)據(jù)集，包括：

使用SumMe和TVSum數(shù)據(jù)集，數(shù)據(jù)包含視頻和對應(yīng)的視頻幀的重要性分?jǐn)?shù)標(biāo)簽，重要性分?jǐn)?shù)描述當(dāng)前視頻幀的重要性。

3.根據(jù)權(quán)利要求1所述的基于時序卷積網(wǎng)絡(luò)的視頻摘要方法，其特征在于，所述基于獲取的視頻數(shù)據(jù)集，提取視頻特征，包括：

給定一個原始視頻其中T表示視頻中幀的數(shù)量，通過特征提取模塊獲取每一幀的特征具體為：

通過幀采樣策略，將原始視頻下采樣為2FPS，將下采樣后的視頻幀送入在ImageNet上預(yù)訓(xùn)練的GoogLeNet模型，并將其pool5層的輸出作為視頻中每一幀的視覺特征，為每一個視頻幀得到1024維的特征向量，將這些特征送入時序卷積網(wǎng)絡(luò)TCN建立幀之間的長期依賴關(guān)系。

4.根據(jù)權(quán)利要求1所述的基于時序卷積網(wǎng)絡(luò)的視頻摘要方法，其特征在于，所述將提取的視頻特征輸入深度摘要網(wǎng)絡(luò)，捕獲視頻幀的重要性，包括：

將提取的視頻特征輸入到深度摘要模塊中，通過一系列的雙向時序卷積以及自注意力機(jī)制將視頻兩個方向的上下文信息進(jìn)行整合，從而捕獲視頻幀之間的長期依賴關(guān)系。

5.根據(jù)權(quán)利要求4所述的基于時序卷積網(wǎng)絡(luò)的視頻摘要方法，其特征在于，所述深度摘要網(wǎng)絡(luò)包括TCN和Self-Attention兩部分，其中：

TCN部分：為了處理視頻摘要任務(wù)，將TCN擴(kuò)展為雙向結(jié)構(gòu)，即Bi-TCN，給定具有n層的Bi-TCN，每個元素經(jīng)過n層一維膨脹卷積以及殘差塊處理后，將兩個方向的上下文信息進(jìn)行整合，形成具有長期依賴關(guān)系的特征表示；將視頻特征X輸入到具有n層的Bi-TCN中，其輸出表示為：

其中，θ_i表示第i層的一維膨脹卷積，v⁽ⁱ⁾表示第i層輸出的局部特征的長期依賴表示，dⁱ和δⁱ分別表示膨脹因子和卷積核大小，v⁽ⁿ⁾為局部特征的長期依賴表示；

Self-Attention部分：在得到每幀局部特征的長期依賴表示后，引入Self-Attention機(jī)制，用于進(jìn)一步補(bǔ)充視頻幀之間的長期依賴關(guān)系；在得到初步捕獲長期依賴關(guān)系的特征后，使用基于注意力的網(wǎng)絡(luò)來進(jìn)一步細(xì)化視頻幀之間的長期依賴關(guān)系，使視頻中重要部分的部分更加突出，然后用于預(yù)測最終的重要性得分；具體包括：

使用線性嵌入矩陣將TCN輸出的幀特征序列轉(zhuǎn)換為query，key和value，表示為：

其中，Q，K，V分別表示query，key和value矩陣，d表示特征的維度，W^Q∈R^d×d、W^K∈R^d×d和W^V∈R^d×d表示線性嵌入矩陣，也是要學(xué)習(xí)的權(quán)重；

將query和key矩陣進(jìn)行點(diǎn)積操作，得到注意力矩陣，表示為：

Atten(Q,K)＝QK^T

其中，Atten(Q,K)表示計算的注意力圖；

將獲得的注意力矩陣通過softmax進(jìn)行歸一化處理，并基于歸一化后的結(jié)果與value矩陣得到細(xì)化后的長期依賴關(guān)系，并通過殘差連接保證視頻的時間順序?qū)傩裕詈笸ㄟ^sigmoid激活的全連接層獲取最終預(yù)測的幀級重要性分?jǐn)?shù)，其處理流程表示為：

y＝softmax(Atten(Q,K))V

Z＝X+yW^z

S＝sigmoid(FC(norm(Z)))

其中，W^z表示線性嵌入層，softmax(·)、norm(·)、FC(·)、sigmoid(·)分別表示softmax激活函數(shù)、歸一化層、全連接層、sigmoid激活函數(shù)，S表示最終預(yù)測的幀級重要性分?jǐn)?shù)。