[發明專利]基于時空注意卷積神經網絡的行為識別方法及裝置

有效

• 申請號: 201810824370.5
• 申請日: 2018-07-25
• 公開（公告）號: CN109241829B
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 胡衛明;楊浩;原春鋒
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩

本發明屬于計算機視覺技術領域，具體涉及一種基于時空注意卷積神經網絡的行為識別方法及裝置，旨在解決如何準確識別視頻中目標行為的技術問題。本發明提供的行為識別方法包括：將待測視頻等間隔地分割為多個視頻段；基于預先構建的空間注意網絡提取每個視頻段的光流特征，根據每個視頻段的光流特征獲取每個視頻段的運動顯著區域并且根據運動顯著區域生成空間運動顯著性映射圖；基于預先構建的視頻分類網絡并且根據多個預設的行為類別、每個視頻段以及相應的空間運動顯著性映射圖預測每個視頻段對應的行為類別；按可信度降序選取前N個視頻段的預測結果的加權平均值作為待測視頻的行為識別結果。本發明能夠有效提升行為識別的效果。

技術領域

本發明屬于計算機視覺技術領域，具體涉及一種基于時空注意卷積神經網絡的行為識別方法及裝置。

背景技術

人體行為識別技術廣泛應用于人機智能交互、虛擬實現和視頻監控等領域，其能夠對人在不同場景下面的行為進行區分和判斷。近年來人體行為識別得到了廣泛的研究，提出了大量的算法，基于卷積神經網絡的方法主要包括兩大類，一類在RGB視頻幀和光流幀中分別訓練一個深度卷積網絡，接著融合兩個網絡的預測結果能有效提升單個神經網絡的識別精度；另一類是利用人體關節點坐標或者人體邊界框提取人體部位的表觀特征，再利用該表觀特征進行行為分類預測。

在真實場景中有效的人體行為識別仍然非常困難，主要的挑戰來自于視頻數據的復雜性、類內散度大、背景運動和相機運動等。視頻中不同時間片段及不同空間區域對分類貢獻差別很大，傳統的行為識別算法同等對待不同時間片段及不同空間區域信息，這將會引入干擾信息到分類模型中。為了定位視頻中的顯著區域，通常在行為識別中引入視覺注意機制，然而以往的基于視覺注意機制的行為識別方法僅包含空域的視覺注意機制，而沒有涉及時域的視覺注意機制，并且計算復雜度高，實驗效果并不理想。在利用人體關節點坐標或者人體邊界框提取人體部位的表觀特征的方法中，需要手工標注人體關節點坐標和人體邊界框，這將至少帶來以下兩個缺點：1)人體關節點坐標和邊界框的標注依賴設備并需要大量人力和時間；2)在行為識別中，不是所有的人體部位都具有判別性。參閱附圖5，圖5示例性示出的是行為識別任務中視頻段及對應的空間運動顯著區域的對比圖，第一行示出的視頻圖片，第二行為對應于第一行視頻圖片的空間運動顯著區域。從左向右數第一列圖片可以看出人體具有判別性的區域在眼睛周圍，從左向右數第二列圖片中可以看出人體的關鍵部位是嘴巴，這兩列圖片的背景和運動都非常相似，但這兩個視頻分別屬于不同的人體行為。相反，從左向右數第三列和第四列對應的圖片屬于相同的人體行為，但視頻中的場景差別很大。

發明內容

為了解決現有技術中的上述問題，即為了解決如何準確識別視頻中目標行為的技術問題，本發明的第一方面，提供了一種基于時空注意卷積神經網絡的行為識別方法，包括：

將待測視頻等間隔地分割為多個視頻段；

基于預先構建的空間注意網絡提取每個所述視頻段的光流特征，根據每個所述視頻段的光流特征獲取每個所述視頻段的運動顯著區域并且根據所述運動顯著區域生成空間運動顯著性映射圖；

基于預先構建的視頻分類網絡并且根據多個預設的行為類別、每個所述視頻段以及相應的空間運動顯著性映射圖預測所述每個視頻段對應的行為類別；

計算每個所述視頻段的預測結果的可信度，并且按所述可信度降序選取前N個視頻段的預測結果，以所述前N個視頻段的預測結果的加權平均值作為所述待測視頻的行為識別結果；

其中，所述空間注意網絡和視頻分類網絡均是基于預設的視頻樣本并且利用機器學習算法所構建的深度卷積神經網絡；所述空間運動顯著性映射圖包括所述運動顯著區域的位置坐標和每個所述位置坐標對應的顯著性權值。

進一步地，本發明提供的一個優選技術方案為：

所述空間注意網絡還包括空間運動顯著性映射圖生成器和第一卷積處理單元，所述第一卷積處理單元包括多個順次連接的卷積層，所述空間運動顯著性映射圖生成器包括卷積層；