[發明專利]一種基于轉換模塊的行為識別方法

有效

• 申請號: 202011383635.6
• 申請日: 2020-12-01
• 公開（公告）號: CN113033276B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 高朋;劉辰飛;陳英鵬;于鵬
• 申請（專利權）人: 神思電子技術股份有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/32;G06V10/40;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南智本知識產權代理事務所(普通合伙) 37301
• 代理人: 張平平

本發明公開了一種基于轉換模塊的行為識別方法，涉及人體動作識別領域。基于轉換模塊的行為識別方法首先讀取連續幀圖像及構建掩碼；然后構建轉換模塊輸入數據，包括獲取轉換模塊輸入數據和位置掩碼矩陣mask操作；再轉換模塊動作識別，包括數據預處理操作，經過連續編碼模塊后的數據處理，獲得動作檢測結果；最后將類別檢測結果，與類別標簽target計算交叉熵損失，優化網絡參數。該方法使用使用自然語言理解中使用的轉換模塊用于提取連續幀圖像的時空特征，同時，整個識別過程中僅使用轉換模塊，進而降低了方法的參數量、降低了整體計算量、提高了動作識別頻率。

技術領域

本發明涉及人體動作識別領域，具體涉及一種基于轉換模塊的行為識別方法。

背景技術

動作識別通過提取連續視頻幀的動作特征，完成視頻動作內容的分析任務并獲取動作類別的一種分類任務，可有助與提高重點區域下危險行為的監控能力，避免可能存在的危險行為的發生。

專利號為CN202010708119.X的中國專利，提出了一種高效的基于通道融合和分類器對抗的無監督跨域動作識別方法(CAFCCN)，用于解決目標數據集訓練數據集無標簽的問題，通過使用源域數據集的信息和目標域無標簽訓練集的信息，實現了對目標域測試集的準確識別，本發明方法收斂速度快，識別精度高，從而為目標數據集訓練數據集無標簽上的動作識別問題提供了幫助。該方法不足之處在于，需要四個深度深度殘差網絡模型分別提取源光域光流圖特征及目標域光流圖特征，同時需要多個融合模塊完成源光域光流圖特征及目標域光流圖特征的融合，從而導致整個算法的模型參數較多，整體計算量較大。

專利號為201810431650.X的中國專利，公開了一種基于深度學習的時序動作識別方法，針對邊界檢測過程中長動作特征表達有效性不夠的問題，通過雙流網絡同時提取幀間信息和幀內信息，得到視頻單元的特征序列，并提出結合上下文信息的多尺度短動作段截選方案，有效地提高后續回歸準確率，利用特征序列訓練時間邊界模型，減小模型訓練時間，提高計算效率。該方法不足之處在于，方法中使用間隔幀圖像直接輸入動作識別網絡進行動作識別，當設備處于復雜環境、多目標時，不同目標不同的動作，會影響整個圖像的動作檢測結果，無法對每一個目標進行動作識別。同時，方法采用雙流網絡同時提取幀間信息和幀內信息，為了獲得時序下連續幀圖像特征不可避免的用到了3D卷積，這樣的就增加了模型的計算量，導致模型訓練周期增加，也增加了樣本的搜集量。

專利號為CN202010840934.1的中國專利，公開了一種強動態視頻的行為識別方法，根據數據集上的數據分布特征，將傳統雙流模型中的光流分支作為教導模型，輔助訓練RGB分支；RGB分支輸入源視頻全局的RGB圖像幀，光流分支輸入源視頻全局的光流圖像幀，其中光流圖像幀由RGB圖像幀通過光流計算得到；進行RGB分支和光流分支聯合推斷，實現視頻中行為的識別。專利中，分別以不同配置訓練RGB分支及光流分支，相對于傳統的雙流算法，配置動態識別，可適應性強。本發明通過強化光流特征學習，考慮了強動態行為視頻的性質，多階段傳遞光流信息，獲取充分的運動特征，提高了識別準確度。該專利還是以膨脹3D卷積用于獲取光流的時間特征，以2D卷積獲取空間特征，需要兩個不同網絡完成動作識別任務，并沒有解決模型計算量較大、3D卷積網絡移植性較差的問題。

專利號為201910064529.2的中國專利，公開了一種基于注意力機制的行為識別系統，利用通道注意模塊提取通道間特征碼，用于動作預測。但是該專利的注意模塊，使用的還是三維卷積集合二維卷積的方式，并沒有解決3D卷積模型參數多計算量大的問題。

經典的動作識別方法，以3D卷積和光流法為基礎，用于提取時間序列下的連續幀特征，獲取連續幀在時間軸下的依賴關系，提高了動作識別精度。

相對于2D卷積而言，3D卷積需要在三個維度上提取連續幀特征，導致3D卷積模型的參數量增加，并增加了模型計算量，導致模型的訓練周期較長。同時，3D作為一種新的計算方式，在不同深度學習框架下，對3D卷積的支持程度較差，影響了基于3D卷積的動作識別算法的實際應用性。