[發明專利]基于主角檢測和光流轉換的視頻序列情感識別方法

在審

• 申請號: 202011591272.5
• 申請日: 2020-12-29
• 公開（公告）號: CN112613442A
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 毛史清
• 申請（專利權）人: 蘇州元啟創人工智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 范晴

本發明公開了基于主角檢測和光流轉換的視頻序列情感識別方法，包括：定義主角關鍵幀選取方法；定義補丁特征提取轉換特征矩陣的方法以及構建深度學習網絡；構建光流信息轉換模塊以及深度學習網絡；構建用于融合補丁特征、光流特征以及人工給與的視覺的音頻特征的特征融合模塊；將經過預處理的視頻數據流以較小的批尺寸送入整體網絡進行訓練，利用定義好的支持向量機進行答案預測，使用均方差檢驗網絡性能，最終使網絡收斂至最佳狀態，并保存訓練好的模型用于直接使用。本發明方法適應性廣，魯棒性強，可用于多種情緒識別任務。通過將該方法在數據集上的進行實驗，實驗結果表明該方法具有較高的準確率，證明了其有效性。

技術領域

本發明涉及深度學習中的視頻序列領域，特別涉及一種基于主角檢測和光流轉換的視頻序列情感識別方法。

背景技術

情感識別一直是計算機視覺領域的研究熱點，它可以應用在許多領域中。隨著多模態深度學習領域的不斷發展，對情感識別的要求也越來越高。傳統的情感識別方法使用單一的卷積神經網絡模型進行特征提取，對視頻進行抽幀繼而對幀進行圖片特征提取，是為了得到圖片中的信息特征，再根據音頻分詞等特征，最終將特征簡單融合并通過分類器輸出該高維特征的分類類別。因此情感識別本質上是通過多種模態之間的特征，共同決定了預測的視頻的情感走向。除此之外，不同模態的特征對視頻走向的影響權重也不一樣。經過多模態深度學習領域的長期發展，產生了大量的多模態情感識別方法。

在傳統方法中，視頻幀提取方法通常存在一個統一的問題，即視頻幀中只有主角能決定視頻的情感走向，提取視頻幀的所有特征會對資源進行浪費。這種情況下，使用單一的卷積神經網絡往往會得到許多無用的特征。一些深度較大的神經網絡雖然可以更好的提取細粒度特征，但是網絡深度的增加也會導致參數增多，大量的卷積過程還造成特征信息的丟失以及梯度消失現象，從而影響模型性能。此外，視頻是一種時間上連續的數據，時間因素也是視頻中不可忽視的因素，這些因素都會影響后續的模型識別效果。

對于上述的這些問題，學者們研究出了一系列方法解決。尺度不變特征轉換用來偵測與描述影像中的局部性特征，它在空間尺度中尋找極值點，并提取出其位置、尺度、旋轉不變數。光流信息通過在時域中檢測圖像序列中像素強度的變化來計算相鄰幀之間物體的運動速率和方向。在情感識別領域，很少有方法能夠兼顧時間信息、尺度不變特征轉換這些方面。

發明內容

本發明目的是：為了解決上述問題，本發明提供一種基于主角檢測和光流轉換的視頻序列情感識別方法，可以從視頻中篩選出主角關鍵幀，并使用尺度不變特征轉換構建矩陣，且通過引入代表時間信息的光流信息轉換，使得模型能注意到連續的情感，增強識別準確率。

本發明的技術方案是：

本發明的優點是：

1、本發明的基于主角檢測和光流轉換的視頻序列情感識別方法，通過主角關鍵幀篩選方法，較好的解決了由于尋常幀抽取方法造成的關鍵幀中沒有主角出現的問題；

2、本發明通過補丁特征提取和尺度不變特征轉換構建矩陣的方法，解決了尋常視頻幀特征提取方法提取冗余信息的問題，節約了計算資源；

3、本發明通過將視頻幀中的光流信息轉化為數字矩陣，以引入時間信息加強模型對連續情感的捕捉能力，提高其準確率；

4、本發明提出的基于主角檢測和光流轉換的視頻序列情感識別方法，具有兼顧時間信息、尺度不變特征轉換這些優點。

附圖說明

下面結合附圖及實施例對本發明作進一步描述：

圖1為本發明的基于主角檢測和光流轉換的視頻序列情感識別方法的流程圖；

圖2為本發明的基于主角檢測和光流轉換的視頻序列情感識別方法中的主角關鍵幀篩選方法流程圖。

具體實施方式