[發明專利]基于空域分類網絡和時域分類網絡融合的視頻分類方法

有效

• 申請號: 201810475657.1
• 申請日: 2018-05-17
• 公開（公告）號: CN108764084B
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 韓冰;褚福躍;王平;高新波;連慧芳;張萌
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華;朱紅星

本發明公開了一種基于空域分類網絡和時域分類網絡融合的視頻分類方法，主要解決現有視頻分類方法準確率低的問題。其實現方案為1)獲取訓練集和測試視頻；2)從訓練集中提取視頻幀；3)使用訓練集對卷積神經網絡進行訓練；4)對從訓練集中提取的視頻幀提取特征；5)使用訓練集對空域分類網絡進行訓練；6)使用訓練集對時域分類網絡進行訓練；7)使用訓練后的空域分類網絡和時域分類網絡對測試視頻進行分類，并對空域分類網絡和時域分類網絡的分類結果進行融合，完成對視頻的分類。本發明相比現有視頻分類方法有效提高了分類準確率，可用于視頻的特征提取和識別。

技術領域

本發明屬于圖像處理技術領域，更進一步設計一種視頻的計算機分類方法，可用于視頻的特征提取和識別。

背景技術

隨著互聯網技術的不斷普及和視頻壓縮存儲技術的日益發展，互聯網上所能獲取的視頻數量呈現了爆炸式的增長。如何對海量的視頻數據進行分析管理，就成為了目前亟需解決的重要問題。其中，視頻分類技術是視頻分析的基礎。如果新增的互聯網視頻不能被適當的標記和分類，用戶就無法有效的利用互聯網獲取或者共享這些視頻文件。早期的視頻分類方法往往分為兩步。第一步是提取一種或多種視頻特征，第二步是利用分類器對提取到的特征進行分類。但是這類算法過度依賴所提取特征的質量，而且不能充分獲取視頻中復雜的視頻模式，因此對視頻的分類準確率并不理想。

近年來，深度神經網絡在計算機視覺領域取得了巨大成功，它能夠借助層次化的結構，從訓練數據中學習復雜多樣的特征模式，從而有效提取輸入數據的特征。研究人員也提出了多種基于深度神經網絡的視頻分類技術，使得視頻分類方法的效果得到了明顯的提升。但是研究表明，在一些情況下，對輸入視頻數據添加細微干擾，如改變部分像素點像素值后，深度神經網絡對于輸入樣本的識別結果可能會產生嚴重錯誤。這是由于深度神經網絡的本質在于理解訓練數據的統計特性，從訓練數據中學習其中復雜多樣的特征模式。一旦數據的統計特性改變，就會影響深度神經網絡的分類結果。而人工標記的過程就能夠排除此類干擾的影響，因此理解并模擬人工標記過程中人類的認知方式對提高視頻分類方法的效果，有著重要的意義。此外，目前一些分類效果較好的基于深度神經網絡的視頻分類方法大多包含兩個獨立的空域分類網絡和時域分類網絡，需要分別進行網絡結構的設計和網絡參數的訓練，設計難度較大，訓練耗時較多。同時，現有的視頻分類方法的分類準確率仍然有待提高。

發明內容

本發明的目的在于針對上述已有技術的不足，提出一種基于空域分類網絡和時域分類網絡融合的視頻分類方法，以降低網絡的設計難度和訓練時間，提升了視頻的分類準確率。

本發明的技術方案是：利用深度神經網絡技術，同時提取視頻的時域特征和空域特征，學習視頻中復雜多樣的特征模式；分別從空域和時域對視頻的類別進行分析；融合空域和時域的分析結果，得到最終對視頻的分類結果。其實現步驟包括如下：

1)獲取訓練集和測試視頻：

從已標記類別的視頻數據庫中任取N個視頻組成訓練集：X＝{x₁,x₂,...,x_k,...,x_N}，其中x_k是第k個訓練集視頻，x_k的標簽為y_k，k＝1,2,...,N；

將剩余視頻組成測試集，從測試集中取一個視頻作為測試視頻x_test；

2)提取訓練集X中訓練集視頻x_k的全部視頻幀其中，τ＝1,2,...,T，T為視頻x_k中所包含視頻幀的數目，以訓練集視頻x_k的標簽y_k作為全部視頻幀的標簽；

3)以全部視頻幀及其標簽y_k作為訓練數據，對卷積神經網絡進行訓練，得到訓練好的卷積神經網絡Z；

4)提取全部視頻幀的特征：