[發明專利]基于圖像融合的行為識別方法、裝置、電子設備及介質

在審

• 申請號: 202111093387.6
• 申請日: 2021-09-17
• 公開（公告）號: CN113792680A
• 公開（公告）日: 2021-12-14
• 發明（設計）人: 鄭喜民;蘇杭;舒暢;陳又新
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08;G06T3/40;G06T5/50;G06T7/11
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 鐘良;陳實順

本發明涉及人工智能技術領域，提供一種基于圖像融合的行為識別方法、裝置、電子設備及介質，通過將初始圖像與計算得到的光流圖像進行融合，實現了圖像信息與時間信息的融合，且通過光流信息指導3D卷積神經網絡對于初始圖像的信息的理解，通過注意力機制讓3D卷積神經網絡學習更多的感興趣信息，從而基于融合后的融合圖像進行行為識別，有效的保證了行為識別的準確度；訓練的3D卷積神經網絡為單分支網絡結構，相比雙分支的3D卷積神經網絡而言，在保證行為識別準確率的前提下，單分支網絡結構降低了網絡模型的復雜度，從而降低了整個行為識別過程的復雜度，讓整個過程更加集中化，提高了行為識別的效率。

技術領域

本發明涉及人工智能技術領域，具體涉及一種基于圖像融合的行為識別方法、裝置、電子設備及介質。

背景技術

行為識別是計算機視覺領域非常有挑戰性的課題，因為其不僅僅要分析目標體的空間信息，還要分析時間維度上的信息。如何更好的提取出空間-時間特征是問題的關鍵。隨著深度神經網絡在目標檢測方面的廣泛應用和取得的良好效果，人們也探索使用神經網絡進行動作識別。

發明人在實現本發明的過程中發現，現有技術中通過設置兩個網絡，一個網絡用于處理圖像空間，另一個網絡用于處理時間信息，最后利用SVM將這兩個網絡的輸出關聯起來，實現目標體的靜態和動態的融合，從而實現行為的識別。但該方法由于設置了兩個網絡結構，導致網絡結構較為復雜，且需要同時訓練兩個網絡，導致模型訓練復雜度加大，訓練效率較低，從而導致行為識別的效率較低。

發明內容

鑒于以上內容，有必要提出一種基于圖像融合的行為識別方法、裝置、電子設備及介質，能夠在保證行為識別準確率的前提下簡化神經網絡模型的結構，降低神經網絡模型的復雜度，提高行為識別的效率。

本發明的第一方面提供一種基于圖像融合的行為識別方法，所述方法包括：

響應于識別目標對象的行為的指令，獲取包含所述目標對象的視頻流；

從所述視頻流中提取多個初始圖像；

對所述多個初始圖像進行光流計算得到多個光流圖像；

基于注意力機制將每個所述初始圖像與對應的所述光流圖像進行融合，得到多個融合圖像；

將所述多個融合圖像輸入至預先訓練完成的3D卷積神經網絡中進行行為識別，其中，所述預先訓練完成的3D卷積神經網絡為單分支網絡結構。

在一個可選的實施方式中，在從所述視頻流中提取多個初始圖像之后，所述方法還包括：

檢測每個所述初始圖像中所述目標對象對應的目標區域；

對每個所述初始圖像中的目標區域進行裁剪，得到目標圖像；

對多個所述目標圖像進行采樣，得到多個采樣圖像；

所述對所述多個初始圖像進行光流計算得到多個光流圖像包括：對所述多個采樣圖像進行光流計算得到多個光流圖像。

在一個可選的實施方式中，所述對多個所述目標圖像進行采樣，得到多個采樣圖像包括：

獲取每個所述目標圖像的尺寸；

根據所述尺寸對每個所述目標圖像進行第一采樣得到第一采樣圖像，及對每個所述目標圖像進行第二采樣得到第二采樣圖像；

計算每個所述第一采樣圖像的第一圖像質量，及計算每個所述第二采樣圖像的第二圖像質量；

比較多個所述第一圖像質量及多個所述第二圖像質量，得到比較結果；

根據所述比較結果確定多個采樣圖像。