[發明專利]一種基于深度學習的視頻理解方法

在審

• 申請號: 201711053056.3
• 申請日: 2017-10-31
• 公開（公告）號: CN107909014A
• 公開（公告）日: 2018-04-13
• 發明（設計）人: 蘇育挺;劉瑤瑤;劉安安
• 申請（專利權）人: 天津大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 天津市北洋有限責任專利代理事務所12201
• 代理人: 杜文茹

1.一種基于深度學習的視頻理解方法，其特征在于，包括如下步驟：

1)通過訓練獲取基于LSTM網絡的模型，包括：

(1)使用C3D算法取得圖像特征；

(2)使用PCA算法進行降維處理，將特征向量的維數由4096降至128，并進行時域混疊和歸一化，得到歸一化后的特征向量；

(3)使用MSR-VTT數據庫在LSTM網絡中進行訓練，得到LSTM網絡模型，具體是對每個視頻圖像序列x歸一化后的特征向量，按視頻圖像序列x分組，將分組后的特征向量和MSR-VTT數據庫中對應的語句信息均輸入LSTM網絡，訓練得到基于LSTM網絡的模型；

2)通過基于LSTM網絡的模型，得到待測視頻圖像序列的語句信息，包括：

(1)使用C3D算法取得待測視頻圖像序列的特征向量；

(2)使用PCA算法進行降維處理，將特征向量的維數由4096降至128，并進行時域混疊和歸一化，得到歸一化后的特征向量；

(3)通過基于LSTM網絡的模型，得到待測視頻圖像序列的輸出的語句。

2.根據權利要求1所述的一種基于深度學習的視頻理解方法，其特征在于，步驟1)中的第(1)步包括：對于每一個輸入的視頻圖像序列x＝{x₁,x₂,...,x_t,...,x_n}，其中，x₁,x₂,...,x_t,...,x_n分別對應視頻圖像序列x中第1幀、第2幀、…、第t幀、…、第n幀圖像，將視頻圖像序列x的所有幀分為8幀一組的圖片組，每8幀輸出一次C3D的fc7層數據作為特征提取結果，得到k個4096維的特征向量，其中k為n÷8向下取整。

3.根據權利要求1所述的一種基于深度學習的視頻理解方法，其特征在于，步驟1)中的第(2)步包括：

對MSR-VTT數據庫中的所有視頻共有m個對象特征向量，特征是4096維，建立一個4096×m的矩陣作為樣本；求所述樣本的協方差矩陣，得到一個4096×4096的協方差矩陣；然后求出所述協方差矩陣的特征值和特征向量，有4096個特征值和4096個特征向量，根據特征值的大小，取前128個特征值所對應的特征向量，構成一個4096×128的特征矩陣，這個矩陣就是需要求的特征矩陣，用第(1)步所提取的所有視頻圖像序列x的特征向量乘上4096×128的特征矩陣，維數就下降為128維；將每個視頻圖像序列x中的相鄰兩個特征向量對應項相加，即第1項與第2項對應項，第2項與第3項對應項相加，依次進行，再進行歸一化，得到歸一化后的特征向量。

4.根據權利要求1所述的一種基于深度學習的視頻理解方法，其特征在于，步驟2)中的第(1)步包括：對于待測視頻圖像序列x₀＝{x₀₁,x₀₂,...,x_0t,...,x_0l}，x₀₁,x₀₂,...,x_0t,...,x_0l分別對應視頻圖像中第1幀、第2幀、…、第t幀、…、第l幀圖像，將待測視頻圖像序列x₀的所有幀分為8幀一組的圖片組，每8幀輸出一次C3D的fc7層數據作為特征提取結果，得到p個4096維的特征向量，其中p為n÷8向下取整。

5.根據權利要求1所述的一種基于深度學習的視頻理解方法，其特征在于，步驟2)中的第(2)步包括：對待測視頻圖像序列x₀生成的p×4096維特征向量，使用步驟1)的第(2)步中取得的4096×128的特征矩陣，進行矩陣乘法，得到p×128維特征向量，將待測視頻圖像序列x₀中的相鄰兩個特征向量對應項相加，即第1項與第2項對應項，第2項與第3項對應項相加，依次進行，再進行歸一化，得到歸一化后的特征向量。

6.根據權利要求1所述的一種基于深度學習的視頻理解方法，其特征在于，步驟2)中的第(3)步包括：將得到的p×128維特征向量輸入LSTM網絡，使用步驟1)的第(3)步中的得到的基于LSTM網絡的模型，得到待測視頻圖像序列x₀對應的輸出的語句。