[發明專利]一種基于自我注意力機制的行為識別方法

有效

• 申請號: 202011128771.0
• 申請日: 2020-10-20
• 公開（公告）號: CN112257572B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 劉辰飛;高朋;井焜
• 申請（專利權）人: 神思電子技術股份有限公司
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V10/774;G06V40/20;G06N3/04;G06T3/40;G06T7/70;H04N19/172;G06V10/764
• 代理公司: 濟南泉城專利商標事務所 37218
• 代理人: 趙玉鳳

1.一種基于自我注意力機制的行為識別方法，其特征在于：包括以下步驟：

S01)、連續幀圖像讀取：

以關鍵幀為首幀圖像，讀取連續時間序列下的連續幀圖像數據，并構建位置編碼矩陣；

位置編碼矩陣是一個維度為[H,W]的全1矩陣，其中H、W表示讀取圖像的高度和寬度；

S02)、基于2D卷積骨干網絡進行圖像特征提取：

將讀取的連續幀圖像數據的每一幀輸入2D卷積骨干網絡，獲取每一幀的圖像特征，并將每一幀的特征圖片進行拼接，從而獲取連續幀特征圖，關鍵幀圖像為連續幀圖像數據中的第一幀，則關鍵幀的特征圖取連續幀特征圖的第一幀，即key_frame＝clip_frame[0]，key_frame表示關鍵幀特征圖，clip_frame表示連續幀特征圖；

S03)、位置編碼：

將步驟S01的位置編碼矩陣按列方向進行逐列累加，獲得矩陣x_embed；

將步驟S01的位置編碼矩陣按列方向進行逐列累加，獲得矩陣y_embed；

對矩陣x_embed、y_embed進行優化，獲得優化后的結果PE_{x_embed},PE_{y_embed}，將PE_{x_embed},PE_{y_embed}按第3維度進行拼接，并進行維度順序變換，獲得最終的位置編碼矩陣；

由于關鍵幀數據與連續幀數據用在相同的圖像處理過程，因此設定關鍵幀位置編碼矩陣與連續幀位置編碼矩陣相同，即key_mask＝clip_mask，key_mask表示關鍵幀位置編碼矩陣，clip_mask表示連續幀位置編碼矩陣；

S04)、關鍵幀圖像目標位置預測：

S41)、使用單層2D卷積網絡對關鍵幀特征圖進行通道壓縮，使用線性連接層對關鍵幀位置編碼矩陣進行寬高壓縮，通道壓縮后的關鍵幀特征圖與寬高壓縮后的關鍵幀位置編碼矩陣具有相同的維度；

S42)、將通道壓縮后的關鍵幀特征圖與寬高壓縮后的關鍵幀位置編碼矩陣輸入關鍵幀圖像目標預測模塊，關鍵幀圖像目標預測模塊進行關鍵幀圖像目標位置預測；

S05)、連續幀動作預測：

S51)、使用多層2D卷積網絡對連續幀特征圖進行通道壓縮，使用線性連接層對連續幀位置編碼矩陣進行寬高壓縮，通道壓縮后的連續幀特征圖與寬高壓縮后的連續幀位置編碼矩陣具有相同的維度；

S52)、將通道壓縮后的連續幀特征圖與寬高壓縮后的連續幀位置編碼矩陣輸入連續幀圖像動作類別檢測模塊，連續幀圖像動作類別檢測模塊進行連接幀動作類別預測；

步驟S04的關鍵幀圖像目標預測模塊與步驟S05的連續幀圖像動作類別檢測模塊具有相同的結構，均包括編碼模塊和解碼模塊；

編碼模塊包括M個串聯的編碼單元，每個編碼單元包括1個多角度注意機制模塊和1個數據處理模塊，第一個編碼單元的輸入為通道壓縮后的關鍵幀/連續幀特征圖、寬高壓縮后的關鍵幀/連續幀位置編碼矩陣，后續編碼單元的輸入為前一個編碼單元的輸出；

解碼模塊包括K個串聯的解碼單元和1個前置多角度注意機制模塊，每個解碼單元包括1個多角度注意機制模塊和1個數據處理模塊，前置多角度注意機制模塊的輸入為寬高壓縮后的關鍵幀/連續幀位置編碼矩陣、輸出編碼初始化值，第一個解碼單元的輸入為前置多角度注意機制模塊的輸出和編碼模塊的輸出，后續解碼單元的輸入為前一個解碼單元的輸出；

上述多角度注意機制模塊采用多個平行注意層共同關注來自不同位置的不同表示空間的信息，即對其輸入進行多角度注意機制處理，然后通過數據處理模塊對多角度注意機制處理后的數據進行殘余連接和歸一化處理；

最終解碼器的輸出即為預測的關鍵幀圖像目標位置或連續幀圖像動作類別。