[發明專利]一種基于自我注意力機制的行為識別方法

有效

• 申請號: 202011128771.0
• 申請日: 2020-10-20
• 公開（公告）號: CN112257572B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 劉辰飛;高朋;井焜
• 申請（專利權）人: 神思電子技術股份有限公司
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V10/774;G06V40/20;G06N3/04;G06T3/40;G06T7/70;H04N19/172;G06V10/764
• 代理公司: 濟南泉城專利商標事務所 37218
• 代理人: 趙玉鳳

本發明公開一種基于自我注意力機制的行為識別方法，該方法采用基于多角度注意機制的關鍵幀目標位置預測和連續幀動作類別預測模塊，在完成連續幀動作檢測的同時，可以實現目標定位功能。方法中以基于多角度注意機制的關鍵幀目標位置預測和連續幀動作類別預測模塊代替3D卷積網絡，解決了3D卷積網絡模型計算量較大的問題，并提高了模型在GPU上的并行計算能力，同時，基于多角度注意機制的關鍵幀目標位置預測和連續幀動作類別預測模塊，可避免因為3D卷積在不同深度學習框架下，模型轉換或部署時兼容性較弱的問題。

技術領域

本發明涉及一種基于自我注意力機制的行為識別方法，屬于人體動作識別領域。

背景技術

動作識別通過提取連續視頻幀的動作特征，實現動作分類分類任務，在實際中避免可能存在的危險行為的發生，實際應用場景廣泛。

現有的動作識別方法，均以3D卷積為基礎，用于提取時間序列下的連續幀特征，提高算法對時間序列下圖像特征的提取能力，增加動作識別精度。相對于2D卷積而言，3D卷積需要考慮時間軸特征，導致核參數大為增加。同時，3D作為一種新的計算方式，在不同深度學習框架下，對3D卷積的支持程度較差，影響了基于3D卷積的動作識別算法的實際應用性。

發明內容

針對現有技術的缺陷，本發明提供一種基于自我注意力機制的行為識別算法，該方法使用自我注意力機制替代原用3D卷積操作，用于連續幀圖像的時序特征提取，實現對于連續幀的動作檢測及目標定位任務。

為了解決所述技術問題，本發明采用的技術方案是：一種基于自我注意力機制的行為識別方法，包括以下步驟：

S01)、連續幀圖像讀取：

以關鍵幀為首幀圖像，讀取連續時間序列下的連續幀圖像數據，并構建位置編碼矩陣；

位置編碼矩陣是一個維度為[H,W]的全1矩陣，其中H、W表示讀取圖像的高度和寬度；

S02)、基于2D卷積骨干網絡進行圖像特征提取：

將讀取的連續幀圖像數據的每一幀輸入2D卷積骨干網絡，獲取每一幀的圖像特征，并將每一幀的特征圖片進行拼接，從而獲取連續幀特征圖，關鍵幀圖像為連續幀圖像數據中的第一幀，則關鍵幀的特征圖取連續幀特征圖的第一幀，即key_frame＝clip_frame[0]，key_frame表示關鍵幀特征圖，clip_frame表示連續幀特征圖；

S03)、位置編碼：

將步驟S01的位置編碼矩陣按列方向進行逐列累加，獲得矩陣x_embed；

將步驟S01的位置編碼矩陣按列方向進行逐列累加，獲得矩陣y_embed；

對矩陣x_embed、y_embed進行優化，獲得優化后的結果PE_{x_embed},PE_{y_embed}，將PE_{x_embed},PE_{y_embed}按第3維度進行拼接，并進行維度順序變換，獲得最終的位置編碼矩陣；

由于關鍵幀數據與連續幀數據用在相同的圖像處理過程，因此設定關鍵幀位置編碼矩陣與連續幀位置編碼矩陣相同，即key_mask＝clip_mask，key_mask表示關鍵幀位置編碼矩陣，clip_mask表示連續幀位置編碼矩陣；

S04)、關鍵幀圖像目標位置預測：

S41)、使用單層2D卷積網絡對關鍵幀特征圖進行通道壓縮，使用線性連接層對關鍵幀位置編碼矩陣進行寬高壓縮，通道壓縮后的關鍵幀特征圖與寬高壓縮后的關鍵幀位置編碼矩陣具有相同的維度；

S42)、將通道壓縮后的關鍵幀特征圖與寬高壓縮后的關鍵幀位置編碼矩陣輸入關鍵幀圖像目標預測模塊，關鍵幀圖像目標預測模塊進行關鍵幀圖像目標位置預測；