[發明專利]基于時空注意卷積神經網絡的行為識別方法及裝置

有效

• 申請號: 201810824370.5
• 申請日: 2018-07-25
• 公開（公告）號: CN109241829B
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 胡衛明;楊浩;原春鋒
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩

1.一種基于時空注意卷積神經網絡的行為識別方法，其特征在于包括：

將待測視頻等間隔地分割為多個視頻段；

基于預先構建的空間注意網絡提取每個所述視頻段的光流特征，根據每個所述視頻段的光流特征獲取每個所述視頻段的運動顯著區域并且根據所述運動顯著區域生成空間運動顯著性映射圖；

基于預先構建的視頻分類網絡并且根據多個預設的行為類別、每個所述視頻段以及相應的空間運動顯著性映射圖預測所述每個視頻段對應的行為類別；

計算每個所述視頻段的預測結果的可信度，并且按所述可信度降序選取前N個視頻段的預測結果，以所述前N個視頻段的預測結果的加權平均值作為所述待測視頻的行為識別結果；

其中，所述空間注意網絡和視頻分類網絡均是基于預設的視頻樣本并且利用機器學習算法所構建的深度卷積神經網絡；所述空間運動顯著性映射圖包括所述運動顯著區域的位置坐標和每個所述位置坐標對應的顯著性權值；

所述空間注意網絡還包括空間運動顯著性映射圖生成器和第一卷積處理單元，所述第一卷積處理單元包括多個順次連接的卷積層，所述空間運動顯著性映射圖生成器包括卷積層；

所述空間運動顯著性映射圖生成器按照下式所示的方法獲取所述運動顯著區域中每個位置坐標對應的顯著性權值：

其中，所述M(x,y)為所述運動顯著區域中位置坐標為(x,y)處的顯著性權值，所述w_k為所述空間運動顯著性映射圖生成器的卷積層中第k個卷積單元的權值，所述為所述第一卷積處理單元最后一層卷積層中第k個卷積單元在位置坐標(x,y)輸出的光流特征，所述S_n為第n個輸送至所述空間注意網絡的視頻段，所述θ為預設的空間注意網絡的卷積參數。

2.根據權利要求1中所述的基于時空注意卷積神經網絡的行為識別方法，其特征在于，所述空間注意網絡還包括全局平均池化層和輔助損失層；所述全局平均池化層的輸入端連接所述第一卷積處理單元的輸出端；所述輔助損失層的輸入端連接所述全局平均池化層的輸出端；

所述全局平均池化層，配置為對所述第一卷積處理單元輸出的光流特征進行平均池化處理；

所述輔助損失層，配置為基于預設的特征樣本和所述全局平均池化層處理后的光流特征計算所述全局平均池化層處理后的光流特征的損失函數。

3.根據權利要求1所述的基于時空注意卷積神經網絡的行為識別方法，其特征在于，所述視頻分類網絡包括順次連接的第二卷積處理單元、空間池化層、全連接層和分類函數層；所述第二卷積處理單元包括多個順次連接的卷積處理子單元并且每個所述卷積處理子單元均包括順次連接的卷積層和批量歸一化層；所述空間池化層還與所述空間注意網絡中空間運動顯著性映射圖生成器的輸出側連接；

所述空間池化層按照下式所示的方法獲取每個所述視頻段的時空特征：

其中，所述M(x,y)為所述顯著性權值，所述F(x,y)為所述第二卷積處理單元輸出的特征映射圖中位置坐標為(x,y)處對應的特征向量，所述K為所述特征映射圖F的空間維度。

4.根據權利要求3所述的基于時空注意卷積神經網絡的行為識別方法，其特征在于，所述空間池化層進一步配置為執行如下操作：

對所述第二卷積處理單元輸出的特征映射圖F進行分割，得到K²個D維的特征向量F(x,y)；

其中，所述特征映射圖F∈R^D×K×K，所述K表示所述特征映射圖F的空間維度，所述D表示所述第二卷積處理單元中卷積層的通道數，所述特征向量F(x,y)∈R^D，所述R表示實數。

5.根據權利要求1所述的基于時空注意卷積神經網絡的行為識別方法，其特征在于，

按照下式所示的方法計算每個所述視頻段的預測結果的可信度：

其中，所述p_j(s_n)為第n個視頻段S_n屬于第j個行為類別的概率，所述C為行為類別的數量，所述α_n為第n個視頻段S_n對應的可信度。