[發明專利]動作識別方法、裝置及存儲介質

有效

• 申請號: 202110313465.2
• 申請日: 2021-03-24
• 公開（公告）號: CN112818958B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 紀彬;尹澤強;孫新;熊超;章勇;曹李軍;陳衛東
• 申請（專利權）人: 蘇州科達科技股份有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/46;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 蘇州謹和知識產權代理事務所(特殊普通合伙) 32295
• 代理人: 徐磊

1.一種動作識別方法，其特征在于，所述方法包括：

獲取圖像幀序列；

將所述圖像幀序列輸入預先訓練的分類網絡，得到所述圖像幀序列對應的動作分類；

其中，所述分類網絡包括運動特征增強結構，所述運動特征增強結構用于提取相鄰兩幀圖像幀之間的前向運動特征差和后向運動特征差；所述圖像幀序列對應的動作分類結合所述前向運動特征差和所述后向運動特征差計算得到；

所述前向運動特征差為：第i幀圖像幀的第一維度的圖像特征與第i+1幀圖像幀的平滑后的圖像特征之差；

所述后向運動特征差為：第i幀圖像幀的平滑后的圖像特征與第i+1幀圖像幀的第一維度的圖像特征之差；

其中，所述平滑后的圖像特征是對第一維度的圖像特征進行運動平滑后得到的圖像特征；所述i為正整數，且i的值小于所述圖像幀序列的幀總數。

2.根據權利要求1所述的方法，其特征在于，所述運動特征增強結構包括二維的卷積層，所述二維的卷積層的輸入通道數和輸出通道數相同，并用于對所述第一維度的圖像特征進行運動平滑。

3.根據權利要求1所述的方法，其特征在于，所述運動特征增強結構包括時空信息計算結構；

其中，所述時空信息計算結構在接收到所述第i幀圖像幀對應的前向運動特征差和后向運動特征差后，計算所述前向運動特征差對應的時空概率圖和所述后向運動特征差對應的時空概率圖；基于所述時空概率圖對所述第i幀圖像幀對應的原始通道特征進行特征增強，得到增強后的運動特征；

相應地，所述圖像幀序列對應的動作分類基于所述增強后的運動特征計算得到。

4.根據權利要求3所述的方法，其特征在于，所述基于所述時空概率圖對所述第i幀圖像幀對應的原始通道特征進行特征增強，得到增強后的運動特征，包括：

將所述前向運動特征差對應的時空概率圖和所述后向運動特征差對應的時空概率圖轉換為第二維度，所述第二維度是所述原始通道特征的通道數；

計算變換后的所述 時空概率圖的平均值；

將所述平均值與所述原始通道特征進行點乘，得到所述增強后的運動特征。

5.根據權利要求3所述的方法，其特征在于，所述基于所述時空概率圖對所述第i幀圖像幀對應的原始通道特征進行特征增強，得到增強后的運動特征之后，還包括：

對所述增強后的運動特征進行時序融合，得到時序融合的圖像幀特征；

將所述原始通道特征與所述時序融合的圖像幀特征求取平均，得到所述第i幀圖像幀的背景信息補償，所述背景信息補償用于供所述分類網絡計算所述動作分類。

6.根據權利要求1至5任一所述的方法，其特征在于，所述分類網絡還包括基礎網絡，所述基礎網絡包括第一階段結構和第二階段結構，所述第一階段結構用于提取圖像的淺層特征，所述第二階段結構用于提取圖像的深層特征；所述運動特征增強結構位于所述第一階段結構和所述第二階段結構之間。

7.根據權利要求6所述的方法，其特征在于，所述將所述圖像幀序列輸入預先訓練的分類網絡，得到所述圖像幀序列對應的動作分類，包括：

通過所述第一階段網絡提取所述圖像幀序列的圖像特征，得到第二維度的圖像特征；

通過所述運動特征增強結構對所述第二維度的圖像特征進行處理，計算所述前向運動特征差和所述后向運動特征差；根據所述前向運動特征差和所述后向運動特征差計算得到增強后的特征信息；

通過所述第二階段網絡基于所述增強后的特征信息計算得到所述動作分類。

8.根據權利要求7所述的方法，其特征在于，所述通過所述第二階段網絡基于所述增強后的特征信息計算得到所述動作分類，包括：

將所述增強后的特征信息輸入所述第二階段網絡后，在時序維度上對網絡輸出結果求取平均，得到序列特征；

將所述序列特征依次輸入全連接層以及邏輯回歸層，得到所述圖像幀序列的類別概率分布；

將所述類別概率分布中最大的類別概率對應的分類確定為所述動作分類。